Разработка интерактивных инструментов искусственного интеллекта для персонализированной соматосенсорной и ритмической оценки на интеллектуальных образовательных платформах

Summary

В этом исследовании представлен воспроизводимый соматосенсорный протокол обучения музыке, сочетающий остаточное распознавание LSTM с TRPO для адаптивной сложности. Она охватывает предварительную обработку, функции FFT, обучение, персонализацию и оценку. В публичном наборе данных гибридная модель достигла Acc 95.0 / P 93.5 / R 94.6 / F1 94.2 по трём непересекающимся складкам.

Abstract

Традиционное музыкальное образование часто не обладает интерактивностью и адаптивностью в реальном времени, особенно в удалённых условиях. В данном исследовании представлена персонализированная соматосенсорная структура TRPO-ResLSTM для платформ музыкального образования. Система фиксирует движение, ритм и время отклика, предварительно обрабатывает данные с помощью фильтрации Винера и нормализации Z-score, а также извлекает признаки с помощью FFT. Распознавание жестов осуществляется с помощью DeepRes-LSTM, а адаптивная сложность регулируется подкреплением обучения TRPO. Постепенное обучение обеспечивает персонализацию на протяжении всех сессий. Эксперименты на общедоступном, анонимизированном наборе данных по жестам-ритмам (n = 2 730 образцов; разделение обучения/валидации/тестирования 15.70.15) демонстрируют превосходящую производительность по сравнению с мультимодальными базовыми линиями, достигая точности 95%, точности 93,5%, воспоминания 94,6% и 94,2% результата F1. Исследования абляции подтверждают индивидуальный вклад TRPO и Res-LSTM. Инновация этого протокола заключается в интеграции обучения с подкреплением с остаточным временным моделированием для адаптивного распознавания жестов, что обеспечивает стабильное, но персонализированное обучение. Эта работа демонстрирует, что адаптивные, реагирующие на жесты инструменты могут повысить вовлечённость, персонализацию и прогрессивное развитие навыков в интеллектуальном музыкальном образовании. Ограничения включают зависимость от единого набора данных и необходимость валидации реальных обучающихся, что определяет направления для будущей работы.

Introduction

Недавние достижения в области искусственного интеллекта (ИИ) и соматосенсорных технологий меняют музыкальное образование, позволяя учащимся взаимодействовать с музыкой через движения тела, где жесты преобразуются в ноты, ритмы или управление виртуальными^{инструментами 1,2}. Эти интерактивные функции повышают вовлечённость, запоминание и креативность по сравнению с традиционным обучением в классе, а соматосенсорные инструменты позволяют студентам практиковать ритм, координацию и выражение с помощью перкуссии тела, дирижирования жестов и ансамблевых^{симуляций 3}

Protocol

В этом исследовании анализировались анонимные, общедоступные данные и не участвовали в участии людей или животных. Поэтому дополнительное этическое одобрение не требовалось.

1. Обзор

Этот протокол описывает воспроизводимую структуру для соматосенсорного музыкального образования, основанную на глубоком остаточном распознавании LSTM и оптимизации политики региона доверия (TRPO) для адаптивного контроля сложности. Он включает подготовку наборов данных, предварительную обработку, извлечение признаков в частотной области, архитектуру моделей, обучение, персонализацию и ....

Results

Экспериментальная установка
Фреймворк TRPO-ResLSTM был реализован на Python 3.10.1 с ускорением GPU. Вычислительная среда, аппаратное обеспечение для датчиков движения и библиотеки на Python приведены в таблице материалов. Данные были разделены на разделы обучения/валидации/тестирования, как показано в Таблице 1 (15.07.15). Ключевые гиперпараметры приведены в таблице 2. Были оценены три модели: базовый TRPO, базовый ResLSTM и интегрир.......

Discussion

В данном исследовании предлагается гибридный протокол TRPO-ResLSTM, который интегрирует обучение с подкреплением и остаточное временное моделирование для музыкального образования на основе жестов. Объединяя стабильность оптимизации политики региона доверия (TRPO) с возможностью последовательного обучения остаточных LSTM, фреймворк обеспечивает распознавание жестов в реальном времени вместе с адаптивным контролем сложности, обеспечивая персонализированную обратную связь и прогрессивное пр.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Данные акселерометра с датчиков	Kaggle (общественное достояние)		Мультимодальные входные сигналы (паттерны движения, особенности тайминга), включённые в набор данных
Рабочая станция GPU	Корпорация NVIDIA, США		Оборудование для обучения: NVIDIA RTX 3080 (10 ГБ), 32 ГБ оперативной памяти, Ubuntu 20.04
Рука — данные положения суставов	Kaggle (общественное достояние)		Соматосенсорный ввод для распознавания жестов
Matplotlib (v3.7)	https://matplotlib.org		Библиотека визуализации для построения графиков и метрик производительности
NumPy (v1.23)	https://numpy.org		Численная вычислительная библиотека для операций с массивом
Публичный музыкальный набор жестов и ритмов	Kaggle (общественное достояние)		Анонимизированный набор данных из 2 730 образцов, фиксирующих реакции тела на темп и ритм; Используется для обучения/валидации/тестирования (15.70.15)
Python 3.10.1	Фонд программного обеспечения Python, https://www.python.org		Среда программирования для реализации и анализа модели
PyTorch (v1.13)	https://pytorch.org		Фреймворк глубокого обучения для реализации модулей ResLSTM и TRPO
SCIKIT - Учиться (v1.2)	https://scikit-learn.org		Утилиты машинного обучения для предварительной обработки и оценки
SciPy (v1.10)	https://scipy.org		Научная вычислительная библиотека (используется для фильтрации Винера)