지능형 음악 교육 플랫폼에서 개인화된 체감각 및 리듬 평가를 위한 인터랙티브 인공지능 도구 개발

Summary

본 연구는 잔여 LSTM 인식과 적응적 난이도에 대한 TRPO를 결합한 재현 가능한 체성감각 음악 학습 프로토콜을 제시합니다. 전처리, FFT 기능, 교육, 개인화, 평가를 포함합니다. 공개 데이터셋에서 하이브리드 모델은 세 개의 주체-분리 접힘에서 Acc 95.0 / P 93.5 / R 94.6 / F1 94.2에 도달했습니다.

Abstract

전통적인 음악 교육은 특히 원격 환경에서 상호작용성과 실시간 적응성이 부족한 경우가 많습니다. 본 연구는 음악 교육 플랫폼을 위한 맞춤형 체성감각 프레임워크인 TRPO-ResLSTM을 소개합니다. 이 시스템은 움직임, 리듬, 반응 시간을 포착하고, Wiener 필터링과 Z-점수 정규화로 데이터를 전처리하며, FFT 를 통해 특징을 추출합니다. 제스처 인식은 DeepRes-LSTM에 의해 수행되며, 적응적 난이도는 TRPO 강화 학습에 의해 조절됩니다. 점진적 학습은 세션 전반에 걸쳐 개인화를 보장합니다. 공개된 익명 제스처-리듬 데이터셋(n = 2,730표본; 훈련/검증/테스트 70/15/15 분할)에서의 실험은 다중 모달 기준선보다 우수한 성과를 보여 95% 정확도, 93.5% 정확도, 94.6% 회상 및 94.2% F1 점수를 달성했습니다. 절제 연구는 TRPO와 Res-LSTM의 개별 기여를 확인시켜 줍니다. 이 프로토콜의 혁신은 강화 학습과 잔류 시간 모델링을 통합하여 적응형 제스처 인식을 가능하게 하여 안정적이면서도 개인화된 학습을 가능하게 하는 데 있습니다. 이 연구는 적응적이고 제스처 반응형 도구들이 지능적인 음악 교육에서 참여도, 개인화, 점진적 기술 개발을 향상시킬 수 있음을 보여줍니다. 제한 사항으로는 단일 데이터셋에 의존하는 점과 실제 학습자 검증이 필요하며, 이는 향후 연구의 방향을 정의합니다.

Introduction

인공지능(AI)과 체성감각 기술의 최근 발전은 학습자들이 몸짓을 통해 음악과 상호작용할 수 있게 하여, 제스처를 음표, 리듬, 가상 악기의 조작으로 변환함으로써 음악 교육을 재편하고^{있습니다.} 이러한 상호작용 기능은 전통적인 교실 수업에 비해 참여도, 기억력, 창의성을 향상시키며, 체성감각 도구를 통해 학생들이 바디 퍼커션, 제스처 수행, 앙상블 시뮬레이션을 통해 리듬, 협응, 표현을 연습할 수 있게^합니다. AI 기반 적응 경로와 결합하여 학습자는 개별화된 콘텐츠, 실시간 피드백, 그리고 동기 부여와 성과를 향상시키는 점진적인 기술 개발을 받습니다 ^4,5.

이러한 발전에도 불구하고, 기존 플랫폼은 제한된 학습 방식에 의존하거나, 개인화의 연속성이 부족하거나, 다양한 문화적·신체적 학습 스타일에 적응하지 못하는 경우가 많습니다 ^6,7. 전통적인 접근법은 학습자의 진화하는 역량을 반영하는 실시간 데이터 기반 조정을 제공하는 데도 부족합니다. 예를 들어, 모션 캡처와 웨어러블 기기는 풍부한 데이터셋을 생성할 수 있지만, 적응형 교육 ^8,9에서는 종종 충분히 활용되지 않습니다. 더불어, 음악 라이브러리와 학습 관리 시스템이 접근성을 확장했지만, 세션 간 동적 개인화를 거의 제공하지 않으며, 이는 다문화적이고 이질적인 학습 맥락에서 매우 중요합니다.¹⁰.

이러한 격차를 해소하기 위해, 본 연구는 음악 교육 플랫폼을 위한 새로운 신뢰 지역 정책 최적화 심층 잔여 장기 단기 기억(TRPO-ResLSTM) 프레임워크를 제안합니다¹¹. 이 시스템은 Wiener 필터링과 Z-점수 정규화 등 고급 전처리 기법과 고속 푸리에 변환을 통합하여 주파수 영역 특징 추출을 수행합니다. Res-LSTM은 제스처와 시간 순서를 강력히 인식하며, TRPO 강화 학습은 학습자의 성과에 따라 과제 난이도를 동적으로 조정합니다. 점진적 학습은 세션 전반에 걸쳐 모델을 업데이트하여 개인화를 더욱 강화합니다.

실험은 2,730개의 샘플로 구성된 Kaggle 음악 제스처 및 리듬 데이터셋을 훈련, 검증, 테스트 하위 집합으로 나누어 수행했습니다. 결과는 제안된 방법이 기본 멀티모달 아키텍처보다 지속적으로 우수한 성능을 보이며, 정확도, 정밀도, 회상 및 F1 값 범위 내에서 93%-95% 범위에 도달함을 보여줍니다. 소작 분석은 TRPO와 Res-LSTM 구성 요소의 효과성을 확인했습니다. 실시간으로 리듬 정확도, 사용자 참여, 정책 안정성을 향상시킴으로써, 이 프레임워크는 자원이 제한된 원격 학습 환경에서 음악 교육 효율성을 향상시키는 실질적인 해결책을 제공합니다. AI 기반 음악 교육에 관한 관련 연구들은 체성감각 참여, 적응형 학습 개인화, 심지어 음악 치료 및 자동 작곡 분야에서의 응용의 가능성을 부각시켰습니다^12,13. 본 연구는 강화 학습과 심층 시간 모델링을 결합한 재현 가능한 프로토콜을 제공하여 지능형 음악 교육 분야를 발전시키고 있습니다.

Protocol

이 연구는 익명화된 공개 데이터를 분석했으며 인간 대상이나 동물은 포함하지 않았습니다. 따라서 추가적인 윤리적 승인은 필요하지 않았습니다.

1. 개요

이 프로토콜은 심층 잔여 LSTM 인식과 적응적 난이도 제어를 위한 신뢰 영역 정책 최적화(TRPO)를 기반으로 한 체성감각 음악 교육의 재현 가능한 프레임워크를 설명합니다. 데이터셋 준비, 전처리, 주파수 영역 특징 추출, 모델 아키텍처, 학습, 개인화, 평가 등이 포함됩니다. 그림 1 은 종단 간 워크플로우를 보여줍니다¹⁴.

2. 데이터셋

템포와 박자 강도 같은 청각 신호에 대한 신체 반응을 기록하는 공개된 익명 음악 제스처 및 리듬 데이터셋이 사용되었습니다. 이 데이터셋은 리듬 실행 및 학습 행동 연구에 적합한 다중 모달 시계열 데이터를 제공합니다. 각 기록에는 움직임 패턴, 타이밍, 리듬 정확도 측정, 반응 피드백, 작업 완료 시간이 포함되어 있습니다. 데이터셋이 완전히 익명화되고 공개적으로 접근 가능했기 때문에, 추가적인 기관 심사 위원회의 승인이 필요하지 않았습니다¹⁵. 실험의 경우, 데이터는 정체성 누출을 방지하기 위해 피험자별로 학습, 검증, 테스트 하위 집합으로 나누어졌다; 상세 통계와 분배 비율은 표 1에 보고되어 있습니다. 세 가지 주제-불순 접힘, 모든 실행에 고정된 무작위 시드, 그리고 모든 모델 변종에 대해 동일한 전처리를 사용하여 비교 가능성을 보장했다¹⁶.

데이터셋은 리드미컬한 제스처의 균형 잡힌 분포를 제공했으며, 훈련, 검증, 테스트 파티션에서 타이밍과 동작 특성에서 유사한 변동성을 보였습니다. 템포 편차와 동작 진폭에 대한 기술적 통계(중앙값 ± IQR)는 분할 간 비교 가능하여 공변량 이동이 최소화되었음을 나타냈다.

3. 데이터 전처리

1. Z-점수 정규화
   원시 데이터는 Z 점수 정규화를 사용하여 표준화되었습니다. 채널 c와 시간 t에 대해:
   (1)
   우리는 훈련 집합에 μ_c와 σ_c만 계산하여 검증 및 테스트 세트에 적용하여 누설을 방지했다¹⁷.
   정규화 후 모든 채널은 평균 및 단위 분산이 거의 0에 가까워 참가자 간 비교 가능성을 보장했습니다. 배치별 진단 결과 접힘 사이에 드리프트가 없다는 것이 확인되었습니다.
2. 비너 필터링
   잡음을 억제하기 위해 주파수 영역에 Wiener 필터를 적용했습니다:
   (2)
   여기서 Y(k)는 관측된 스펙트럼, \hat{X}(k)는 잡음 제거 추정치, S_xx(k), S_nn(k)는 신호/잡음 파워 스펙트럼 밀도를 나타냅니다. 우리는 위상 코히어런스¹⁸을 유지하기 위해 하위 FFT와 일치하는 윈도우 길이와 겹침을 사용했습니다.
   위너 필터링은 고주파 잡음을 ~30% 줄이면서도 지배적인 리듬 성분을 유지했습니다. 비트 고정 피크를 감쇠하지 않고도 신호 대 잡음비가 개선되었습니다.
3. 특징 추출(FFT)
   짧은 시간 FFT 기능은 겹치는 창에 사용되었습니다:
   (3)
   추출된 기술자에는 지배 주파수, 스펙트럼 플럭스, 대역-에너지 비율이 포함되었다. 템포 락드 피크 프로미넨스와 피크 간 변동성도 계산하여 미세 타이밍 안정성을 포착했다¹⁹.
   FFT는 음악 템포(2-3 Hz)에 맞춰 명확한 스펙트럼 피크를 확인하여 데이터셋의 리듬 구조를 확인했습니다. 올바르게 실행된 실험에서 피크 대 잡음비는 평균 6-8 dB를 초과했습니다.

4. 모델: TRPO-ResLSTM

1. 잔류 LSTM (ResLSTM)
   시간 패턴은 잔여 지름길을 가진 스택 LSTM을 사용하여 모델링되었습니다:
   (4)
   여기서 P는 차원을 맞추기 위한 항등성 또는 투영법이다. 잔류 연결은 사라지는 구배를 완화하고 더 깊은 시간 중첩을 가능하게 하면서 훈련 안정성을 유지합니다²⁰.
   잔류 연결은 일반 LSTM에 비해 구배 흐름과 분류 정확도를 향상시켰습니다. 소작 검사는 비잔여 스택에서 유사한 매개변수 수에서 +0.7-1.1 pp 정확도를 보였다.
2. 신뢰 지역 정책 최적화(TRPO)
   TRPO는 과제 난이도를 동적으로 제어했습니다. 개인 맞춤형 보상은 다음과 같았습니다:
   (5)
   성공 점수 s_t, 템포 편차 Δtempot, 제스처 불일치 d_t(예: DTW 거리 또는 분류 손실), 그리고 스위치 표시 u_t(빈번한 난이도 변경에 페널티)가 있습니다. 우리는 KL 제약을 사용하여 신뢰 영역 목적을 최적화했습니다:
   (6)
   1. 강화 학습 설정 및 표기법
      적응 난이도는 상태 s_t가 창 처리된 체성감각 특징(가속도계 채널, 손 관절 위치, 정규화 후 리듬 묘사자, 위너 필터링, FFT)을 집계하는 유한한 지평선 MDP로 공식화되었고, action a_t는 템포 허용성과 제스처 엄격성을 제어하는 이산 난이도 수준입니다. 보상 r_t는 과제 성공, 타이밍 편차, 몰입도를 균형 있게 맞추며, 과도한 난이도 전환에 대한 소소한 페널티를 적용해 진동을 억제합니다. 정책 업데이트는 보수적 단계에 대해 KL-발산 제약을 적용한 TRPO 이후에 이루어집니다. 방정식에서. (5-6), g(y,x)는 작업별 손실 기울기, W(ζ)는 매개변수 ζ에 대한 L₂ 정규화자, π_θ는 매개변수 θ를 가진 확률 정책, D_KL은 신뢰 영역, γ은 할인 계수, δ는 신뢰 영역 반경을 정의합니다. 하이퍼파라미터 α,β,γ,δ는 검증 분할(표 2의 범위)에서 격자 검색을 통해 선택되어 안정성과 반응성의 균형을 맞추었으며; KL의 평균 상승률이 0.9²¹에 도달하자 조기 정지가 시작되었습니다.
   2. 근거와 대안
      TRPO의 KL 제약 기반 정책 업데이트는 소규모 세션 단위 배치와 비고정 학습자 행동에 선호되었으며; PPO/SAC는 여전히 유망하며 향후 작업²²에서 벤치마킹될 예정입니다.
      TRPO는 기본 컨트롤러보다 안정적인 학습과 부드러운 난이도 조정, 일관된 수렴을 달성했습니다. 학습 곡선은 단일 성분 기준선보다 단조 개선과 TRPO-ResLSTM의 KL 안정화를 더 일찍 보였습니다.
3. 개인화 및 세션 업데이트
   각 사용자 세션 후 ResLSTM과 TRPO 모델을 모두 학습률과 리허설 버퍼로 점진적으로 개선했습니다. 학습자당 최근 시도 내용을 소량 리허설 버퍼로 활용해 편차를 방지했고, 안정성을 유지하기 위해 세션별 업데이트를 제한적으로 고정 예산으로 제한했습니다. 개인화 효과는 학습자의 첫 세션과 마지막 세션 사이 F1에서의 상대적 증가로 측정되었다²³.
   세션 간 개인화는 치명적인 망각 없이 사용자 특정 정확도를 2%-3% 향상시켰습니다. 중간 기준 정확도를 가진 학습자들에서 가장 큰 향상이 있었으며, 이는 적응형 스캐폴딩을 위한 여유가 있음을 시사합니다.
4. 알고리즘 및 구현
   완전한 의사 코드("알고리즘 1: TRPO-ResLSTM")와 참조용 Python 3.10.1 구현체가 다음과 같이 제공됩니다. 모든 수치와 표에는 측정값 정의, 오차 바, 표본 크기가 포함되어 있습니다. 우리는 세 개의 피험자-분리 군± 접힘에 대한 평균 SD를 보고하고, 적절한 경우 반복 측정 ANOVA 또는 프리드만 검정으로 모델 간 차이를 평가하며, 다중 조정 사후 비교(α = 0.05)를 포함합니다. 재현성을 보장하기 위해 Table of Materials 에 패키지 버전과 GPU/CPU 사양을 나열하고, 환경 및 시드 구성²⁴가 포함된 README를 포함합니다.
   프로토콜은 다중 모달 기준선에 비해 지속적으로 개선점을 재현하여 재현성을 검증했습니다. 종자 간 독립적인 재실행은 통합 모델에서 정확도 <0.5pp의 분산을 기록했습니다.

Results

실험 장치
TRPO-ResLSTM 프레임워크는 GPU 가속을 적용한 Python 3.10.1로 구현되었습니다. 컴퓨팅 환경, 모션 감지 하드웨어, Python 라이브러리는 재료표에 나열되어 있습니다. 데이터는 표 1 (70/15/15)에 나타난 대상자-비서로 연결된 훈련/검증/시험 구획으로 나뉘었습니다. 주요 하이퍼파라미터는 표 2에 요약되어 있습니다. 세 가지 모델이 평가되었습니다: 기본 TRPO, 기본 ResLSTM, 그리고 통합 TRPO-ResLSTM. 이 설정은 음악 학습 시나리오에서 제스처 인식, 적응적 난이도 제어, 개인화에 대한 일관된 평가를 가능하게 했습니다.

혼란 매트릭스
분류 수행은 처음에 보류된 시험 세트의 혼동 행렬을 사용하여 검토되었습니다(

Discussion

본 연구는 강화 학습과 잔여 시간 모델링을 통합하여 제스처 기반 음악 교육을 위한 하이브리드 프로토콜인 TRPO-ResLSTM을 제안합니다. 신뢰 영역 정책 최적화(TRPO)의 안정성과 잔류 LSTM의 시퀀스 학습 능력을 결합함으로써, 이 프레임워크는 실시간 제스처 인식과 적응적 난이도 제어를 제공하여 개인화된 피드백과 점진적 기술 습득을 가능하게^합니다. 재현성을 보장하기 위해 피험자-불순 접힘, 고정 시드, 모델 간 동일한 전처리가 사용되었으며, 평균 ± SD는 3회 접힘에 걸쳐 보고되었으며, 유의성 검정은 결과 섹션에 맞춰 진행되었습니다.

이 연구의 기여는 개인화되고 상호작용적인 학습 환경을 발전시키는 데 있습니다. 정적 지시나 단방향 인식에 의존하는 시스템과 달리, TRPO-ResLSTM은 학습자의 리듬 및 움직임 패턴에 동적으로 적응하여 실습 지향

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
가속도계 센서 데이터	캐글 (퍼블릭 도메인)		데이터셋에 포함된 다중 모달 입력 신호(운동 패턴, 타이밍 특징)
GPU 워크스테이션	NVIDIA Corporation, 미국		학습 하드웨어: NVIDIA RTX 3080 (10 GB), 32 GB RAM, Ubuntu 20.04
손 - 관절 위치 데이터	캐글 (퍼블릭 도메인)		제스처 인식을 위한 체감각 입력
Matplotlib (v3.7)	https://matplotlib.org		수치 및 성능 지표를 시각화하는 시각화 라이브러리
넘치파이 (v1.23)	https://numpy.org		배열 연산을 위한 수치 계산 라이브러리
공공 음악 제스처 및 리듬 데이터셋	캐글 (퍼블릭 도메인)		템포와 박자에 대한 신체 반응을 기록한 2,730개의 익명 데이터셋; 교육/검증/테스트에 사용됨 (70/15/15)
파이썬 3.10.1	파이썬 소프트웨어 재단, https://www.python.org		모델 구현 및 분석을 위한 프로그래밍 환경
파이토치 (v1.13)	https://pytorch.org		ResLSTM 및 TRPO 모듈 구현을 위한 딥러닝 프레임워크
Scikit - Learn (v1.2)	https://scikit-learn.org		전처리 및 평가를 위한 머신러닝 유틸리티
SciPy (v1.10)	https://scipy.org		과학 컴퓨팅 라이브러리 (Wiener 필터링에 사용됨)