Rozwój interaktywnych narzędzi sztucznej inteligencji do spersonalizowanej oceny somatosensorycznej i rytmicznej w inteligentnych platformach edukacji muzycznej

Summary

Niniejsze badanie przedstawia powtarzalny protokół somatosensorycznego uczenia muzyki łączący resztkowe rozpoznawanie LSTM z TRPO dla adaptacyjnej trudności. Obejmuje wstępne przetwarzanie, funkcje FFT, szkolenia, personalizację i ocenę. Na publicznym zbiorze danych model hybrydowy osiągnął Acc 95.0 / P 93.5 / R 94.6 / F1 94.2 w trzech fałdach podmiotowo-rozłącznych.

Abstract

Tradycyjna edukacja muzyczna często nie jest interaktywna i adaptacyjna w czasie rzeczywistym, zwłaszcza w warunkach zdalnych. Niniejsze badanie wprowadza spersonalizowany system somatosensoryczny, TRPO-ResLSTM, dla platform edukacji muzycznej. System rejestruje ruch, rytm i czas odpowiedzi, wstępnie przetwarza dane za pomocą filtrowania Wienera i normalizacji Z-score oraz wyodrębnia cechy za pomocą FFT. Rozpoznawanie gestów jest realizowane przez DeepRes-LSTM, natomiast trudności adaptacyjne regulowane są przez uczenie ze wzmocnieniem TRPO. Stopniowe uczenie się zapewnia personalizację na różnych sesjach. Eksperymenty na publicznie dostępnym, anonimowym zbiorze danych dotyczących rytmu gestów (n = 2 730 próbek; podział trening/walidacja/test 70/15/15) wykazały lepsze wyniki w porównaniu z bazami multimodalnymi, osiągając 95% dokładności, 93,5% precyzji, 94,6% przypomnienia oraz 94,2% wyniku F1. Badania ablacji potwierdzają indywidualny wkład TRPO i Res-LSTM. Innowacją tego protokołu jest integracja uczenia ze wzmocnieniem z modelowaniem czasowym dla adaptacyjnego rozpoznawania gestów, umożliwiając stabilne, a jednocześnie spersonalizowane uczenie się. Prace te pokazują, że adaptacyjne, reagujące na gesty narzędzia mogą zwiększyć zaangażowanie, personalizację oraz stopniowy rozwój umiejętności w inteligentnej edukacji muzycznej. Ograniczenia obejmują poleganie na jednym zbiorze danych oraz konieczność weryfikacji przez prawdziwego ucznia, która definiuje kierunki przyszłej pracy.

Introduction

Najnowsze osiągnięcia w dziedzinie sztucznej inteligencji (AI) i technologii somatosensorycznej przekształcają edukację muzyczną, umożliwiając uczniom interakcję z muzyką poprzez ruchy ciała, gdzie gesty są tłumaczone na nuty, rytmy lub sterowanie dla instrumentów wirtualnych ^1,2. Te interaktywne funkcje zwiększają zaangażowanie, zapamiętywanie i kreatywność w porównaniu do tradycyjnej nauki w klasie, a narzędzia somatosensoryczne pozwalają uczniom ćwiczyć rytm, koordynację i ekspresję poprzez perkusję ciała, gesty dyrygujące i symulacje zespołowe³. W połączeniu z adaptacyjnymi ścieżkami opartymi na AI, uczniowie otrzymują indywidualne treści, informację zwrotną w czasie rzeczywistym oraz stopniowy rozwój umiejętności, które poprawiają motywację i wyniki ^4,5.

Pomimo tych rozwojów, istniejące platformy często polegają na ograniczonych metodach, brakuje im ciągłości personalizacji lub nie potrafią dostosować się do różnorodnych stylów uczenia się kulturowego i fizycznego ^6,7. Tradycyjne podejścia również nie dostatecznie dostarczają w czasie rzeczywistym, opartych na danych dostosowaniach, które odzwierciedlają ewoluujące zdolności ucznia. Na przykład motion capture i urządzenia noszone mogą generować bogate zbiory danych, ale często są niedostatecznie wykorzystywane w adaptacyjnej instrukcji ^8,9. Ponadto, choć biblioteki muzyczne i systemy zarządzania nauczaniem zwiększają dostępność, rzadko zapewniają dynamiczną personalizację między sesjami, co jest kluczowe w wielokulturowych i heterogenicznych kontekstach nauczania¹⁰.

Aby wypełnić te luki, niniejsze badanie proponuje nowatorskie ramy Trust Region Policy Optimized Deep Residual Long Short-Term Memory (TRPO-ResLSTM) dla platform edukacji muzycznej¹¹. System integruje zaawansowane metody wstępnego przetwarzania, w tym filtrowanie Wienera i normalizację Z-score, z szybką transformatą Fouriera do ekstrakcji cech w dziedzinie częstotliwości. Res-LSTM zapewnia solidne rozpoznawanie gestów i sekwencji czasowych, podczas gdy uczenie ze wzmocnieniem TRPO dynamicznie dostosowuje trudność zadania w odpowiedzi na wyniki ucznia. Uczenie się stopniowe dodatkowo wzmacnia personalizację poprzez aktualizację modeli na różnych sesjach.

Przeprowadzono eksperymenty na zbiorze danych Kaggle dotyczącym gestów i rytmów muzyki obejmującej 2 730 próbek, podzielonych na podzbiory treningowe, walidacyjne i testowe. Wyniki pokazują, że proponowana metoda konsekwentnie przewyższa bazowe architektury multimodalne, osiągając dokładność, precyzję, przypomnienie oraz wartości F1 w zakresie 93%-95%. Analizy ablacji potwierdzają skuteczność zarówno komponentów TRPO, jak i Res-LSTM. Poprzez zwiększenie dokładności rytmu, zaangażowania użytkowników i stabilności polityki w czasie rzeczywistym, ramy te stanowią praktyczne rozwiązanie poprawiające efektywność edukacji muzycznej w środowiskach nauki o ograniczonych zasobach i zdalnych. Powiązane prace nad edukacją muzyczną opartą na AI podkreśliły potencjał zaangażowania somatosensorycznego, adaptacyjnej personalizacji uczenia się, a nawet zastosowań w terapii muzycznej i zautomatyzowanej kompozycji^12,13. Badanie rozwija te ustalenia, oferując powtarzalny protokół łączący uczenie ze wzmocnieniem z głębokim modelowaniem czasowym, aby rozwijać dziedzinę inteligentnej edukacji muzycznej.

Protocol

Badanie to analizowało anonimizowane, publicznie dostępne dane i nie obejmowało ludzi ani zwierząt. Dlatego nie było wymagane dodatkowe zatwierdzenie etyczne.

1. Przegląd

Protokół ten opisuje powtarzalne ramy edukacji muzycznej somatosensorycznej oparte na głębokim rozpoznawaniu LSTM oraz optymalizacji polityki regionu zaufania (TRPO) dla adaptacyjnej kontroli trudności. Obejmuje przygotowanie zbiorów danych, wstępne przetwarzanie, ekstrakcję cech w dziedzinie częstotliwości, architekturę modeli, szkolenie, personalizację oraz ocenę. Rysunek 1 ilustruje proces od początku do końca¹⁴.

2. Zbiór danych

Wykorzystano publicznie dostępny, zanonimizowany zestaw danych dotyczących gestów i rytmów muzycznych, który rejestruje reakcje ciała na bodźce słuchowe, takie jak tempo i intensywność uderzenia. Zbiór danych dostarcza wielomodalnych szeregów czasowych odpowiednich do badania wykonywania rytmu i zachowań uczenia się. Każdy rekord zawiera wzorce ruchu, miary dokładności czasu i rytmu, informacje zwrotne oraz czas wykonania zadania. Ponieważ zbiór danych był w pełni zanonimizowany i publicznie dostępny, nie wymagano dodatkowej zatwierdzania przez instytucjonalną komisję przeglądową¹⁵. W eksperymentach dane były podzielone według badanego na podzbiory treningowe, walidacyjne i testowe, aby uniknąć wycieku tożsamości; szczegółowe statystyki i wskaźniki podziału przedstawione są w Tabeli 1. Zastosowano trzy fałdy podmiotowo-rozłączne, stałe losowe nasiona we wszystkich seriach oraz identyczne wstępne opracowanie dla wszystkich wariantów modelu, aby zapewnić porównywalność¹⁶.

Zbiór danych dał zrównoważony rozkład gestów rytmicznych, a partycje treningowe, walidacyjne i testowe wykazywały porównywalną zmienność w zakresie czasu i cech ruchu. Statystyki opisowe (mediana ± IQR) dotyczące odchylenia tempa i amplitudy ruchu były porównywalne we wszystkich podziałach, wskazując na minimalne przesunięcie kowarianu.

3. Wstępne przetwarzanie danych

1. Normalizacja wyniku Z
   Dane surowe zostały standaryzowane za pomocą normalizacji Z-score. Dla kanału c i czasu t:
       (1)
   Obliczyliśmy μ_c i σ_c tylko na zbiorze treningowym i zastosowaliśmy je do zestawów walidacyjnych i testowych, aby uniknąć wycieku¹⁷.
   Po normalizacji wszystkie kanały wykazały niemal zerową średnią i wariancję jednostkową, co zapewniło porównywalność między uczestnikami. Diagnostyka w poszczególnych partiach potwierdziła brak dryfu między fałdami.
2. Filtrowanie Wienera
   Aby stłumić szumy, zastosowaliśmy filtr Wienera w dziedzinie częstotliwości:
        (2)
   gdzie Y(k) to obserwowane widmo, \hat{X}(k) to szacunek z zaciemnienia, a S_xx(k), S_nn(k) oznaczają gęstość spektralną mocy sygnału/szumu. Użyliśmy długości okna i nakładania się zgodnej z dalszą FFT, aby utrzymać koherencję fazową¹⁸.
   Filtrowanie Wienera zmniejszyło szum wysokich częstotliwości o ~30%, zachowując dominujące składniki rytmiczne. Stosunek sygnału do szumu poprawił się bez tłumienia szczytów zablokowanych na uderzenie.
3. Ekstrakcja cech (FFT)
   Funkcje krótkoterminowe FFT były stosowane na nakładających się oknach:
       (3)
   Wyodrębniono deskryptory obejmujące częstotliwość dominującą, strumień spektralny oraz stosunki energii pasmowej. Obliczono również tempo-blokowaną prominencję szczytową oraz zmienność między szczytami, aby uchwycić stabilność mikro-timingu¹⁹.
   FFT ujawnił wyraźne szczyty spektralne zgodne z tempem muzycznym (2-3 Hz), potwierdzając strukturę rytmiczną w zbiorze danych. Stosunek szczytu do szumu przekroczył średnio 6-8 dB w poprawnie przeprowadzonych próbach.

4. Model: TRPO-ResLSTM

1. Resztkowy LSTM (ResLSTM)
   Wzorce czasowe modelowano za pomocą ułożonych LSTM z rezydualnymi skrótami:
   (4)
   gdzie P jest jednostką lub projekcją dopasowaną do wymiarów. Połączenia resztkowe łagodzą zanikające gradienty i umożliwiają głębsze stosy czasowe, jednocześnie zachowując stabilność treningu²⁰.
   Połączenia resztkowe poprawiły przepływ gradientowy i dokładność klasyfikacji w porównaniu do zwykłego LSTM. Ablacje wykazały dokładność +0,7-1,1 pp w porównaniu ze stosami nierezydualnymi przy porównywalnych parametrach.
2. Optymalizacja polityki regionu zaufania (TRPO)
   TRPO kontrolowało trudność zadania dynamicznie. Spersonalizowana nagroda to:
      (5)
   z wynikiem sukcesu s_t, odchyleniem tempa Δtempot, różnicą gestów d_t (np. dystansem DTW lub utratą klasyfikacji) oraz wskaźnikiem zmiany u_t (karzącym częste zmiany trudności). Zoptymalizowaliśmy cel regionu zaufania z ograniczeniem KL:
       (6)
   1. Układ i notacja uczenia ze wzmocnieniem
      Trudność adaptacyjna została sformułowana jako MDP z horyzontem skończonym, w którym stan s_t agreguje okna cechy somatosensoryczne (kanały akcelerometru, pozycje stawów dłoni, deskryptory rytmu po normalizacji, filtrowanie Wienera i FFT), a działanie _{a t} to dyskretny poziom trudności kontrolujący tolerancję tempa i rygorystyczność gestów. Nagroda równoważy sukces zadania, odchylenie czasu i zaangażowanie, z niewielką karą za nadmierne trudności przełączania, aby zniechęcić do oscylacji. Aktualizacje polityki następują po TRPO z ograniczeniem rozbieżności KL dla kroków konserwatywnych. W równaniach. (5-6), g(y,x) oznacza specyficzny dla zadania gradient strat, W(ζ) to regularyzator L₂ nad parametrami ζ, π_θ to polityka stochastyczna z parametrami θ, D_KL definiuje obszar zaufania, γ to współczynnik dyskontowy, a δ to promień obszaru zaufania. Hiperparametry α, β, γ, δ zostały wybrane za pomocą wyszukiwania siatki na podziale walidacyjnym (zakresy w Tabeli 2), aby zrównoważyć stabilność i responsywność; wczesne zatrzymanie nastąpiło, gdy średnia KL osiągnęła 0,9²¹.
   2. Uzasadnienie kontra alternatywy
      Aktualizacje TRPO ograniczone polityką były preferowane dla małych, sesyjnych partii i niestacjonarnych zachowań uczniów; PPO/SAC pozostają obiecujące i będą analizowane w przyszłych badaniach²².
      TRPO osiągnęło stabilne uczenie się i płynniejszą regulację trudności niż kontrolery bazowe, z konsekwentną zbieżnością. Krzywe uczenia się wykazały monotoniczną poprawę i wcześniejszą stabilizację KL dla TRPO-ResLSTM w porównaniu do bazowych jednoskładnikowych.
3. Personalizacja i aktualizacje sesji
   Aktualizacje stopniowe udoskonalają modele ResLSTM i TRPO po każdej sesji użytkownika, wprowadzając niewielkie tempo uczenia i prób. Wykorzystaliśmy niewielki bufor próbny z ostatnimi próbami na każdego ucznia, aby zapobiec dryfom, oraz ograniczyliśmy aktualizacje na sesję do stałego budżetu, aby zachować stabilność. Skuteczność personalizacji mierzono jako względny wzrost w F1 między pierwszą a ostatnią sesją uczącego się w ramach stałego horyzontu²³.
   Personalizacja sesja po sesji zwiększyła dokładność użytkownika o 2%-3% bez katastrofalnego zapominania. Największe zyski były u uczniów z dokładnością bazową w średnim zakresie, co sugeruje większą rezerwę na adaptacyjne rusztowania.
4. Algorytm i implementacja
   Pełny pseudokod ("Algorytm 1: TRPO-ResLSTM") oraz referencyjna implementacja Pythona 3.10.1 są udostępnione jako. Wszystkie rysunki i tabele zawierają definicje pomiarów, słupki błędów oraz wielkość prób. Średnią ± SD raportujemy w trzech fałdach rozdzielonych z podmiotem i oceniamy różnice między modelami za pomocą powtarzalnych testów ANOVA lub Friedmana, w razie potrzeby stosując porównania po-hoc o wielokrotność (α = 0,05). Aby zapewnić powtarzalność, w Tabeli Materiałów wymieniamy wersje pakietów i specyfikacje GPU/CPU oraz dołączamy README z konfiguracją środowiska i seed²⁴.
   Protokół konsekwentnie odtwarzał ulepszenia względem bazowych multimodalnych, potwierdzając jego powtarzalność. Niezależne powtórki nasion dały <0,5 pp odchylenia dokładności dla modelu zintegrowanego.

Results

Układ eksperymentalny
Framework TRPO-ResLSTM został zaimplementowany w Pythonie 3.10.1 z akceleracją GPU. Środowisko obliczeniowe, sprzęt do wykrywania ruchu oraz biblioteki Pythona są wymienione w Tabeli Materiałów. Dane zostały podzielone na podzielone na podmiot-rozłączne podziały treningowe/walidacyjne/testowe, jak pokazano w Tabeli 1 (70/15/15). Kluczowe hiperparametry podsumowano w Tabeli 2. Oceniono trzy modele: bazowe TRPO, bazowe ResLSTM oraz zintegrowany T...

Discussion

Niniejsze badanie proponuje hybrydowy protokół TRPO-ResLSTM, który integruje uczenie ze wzmocnieniem oraz modelowanie czasowe resztkowe w edukacji muzycznej opartej na gestach. Łącząc stabilność optymalizacji polityki regionu zaufania (TRPO) z możliwością uczenia sekwencji pozostałych LSTM, ramy zapewniają rozpoznawanie gestów w czasie rzeczywistym wraz z adaptacyjną kontrolą trudności, umożliwiając spersonalizowaną informację zwrotną i stopniowe zdobywanie umiejętności²⁵. Aby zapewnić powtarzalno...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Dane z czujnika akcelerometru	Kaggle (domena publiczna)		Multimodalne sygnały wejściowe (wzorce ruchu, cechy czasowe) zawarte w zbiorze danych
Stacja robocza GPU	NVIDIA Corporation, USA		Sprzęt treningowy: NVIDIA RTX 3080 (10 GB), 32 GB RAM, Ubuntu 20.04
Dane pozycji ręki i stawu	Kaggle (domena publiczna)		Bodźce somatosensoryczne do rozpoznawania gestów
Matplotlib (v3.7)	https://matplotlib.org		Biblioteka wizualizacji do wykresów danych i metryk wydajności
NumPy (wersja 1.23)	https://numpy.org		Biblioteka obliczeń numerycznych dla operacji z tablicami
Publiczna zbiór danych o gestach i rytmie muzyki publicznej	Kaggle (domena publiczna)		Zanonimizowany zbiór danych zawierający 2 730 próbek rejestrujących reakcje ciała na tempo i rytm; Wykorzystywane do treningu/walidacji/testowania (70/15/15)
Python 3.10.1	Python Software Foundation, https://www.python.org		Środowisko programistyczne do implementacji i analizy modeli
PyTorch (wersja 1.13)	https://pytorch.org		Ramy głębokiego uczenia do implementacji modułów ResLSTM i TRPO
SCikit - Learn (wersja 1.2)	https://scikit-learn.org		Narzędzia uczenia maszynowego do wstępnego przetwarzania i oceny
SciPy (wersja 1.10)	https://scipy.org		Biblioteka obliczeń naukowych (używana do filtrowania Wienera)