Исследовательская статья

Построение модели распознавания предпочтений музыкального жанра на основе глубокого обучения

DOI:

10.3791/70514

⸱

26 мая 2026 г.

1College of Teacher Education, Quzhou University

В этой статье

Краткое содержание

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В этом исследовании была создана модель глубокого обучения, используя сигналы ЭЭГ и знакомство с музыкой для прогнозирования предпочтений музыкального жанра. Данные собирались с помощью недорогого устройства Muse S и анализировались с использованием модели CNN+RNN и EEGNet. Знакомство значительно улучшило точность, достигнув до 99%, что свидетельствует о значительном значительном прогнозировании предпочтений.

Аннотация

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

С ростом числа проблем с психическим здоровьем музыкальная терапия привлекает внимание как нефармакологическое вмешательство, а методы глубокого обучения демонстрируют перспективы в распознавании музыкальных эмоций и прогнозировании предпочтений. В этом исследовании была построена модель глубокой нейронной сети (CNN+RNN/EEGNet) для эффективного выявления предпочтений музыкальных типов и изучения влияния знакомства пользователя на точность предсказаний. ЭЭГ-сигналы собирались с помощью четырёхканального носимого устройства Muse S, а показатели знакомства пользователя использовались в качестве входных элементов. Исследование проходило по четырёхэтапному рабочему процессу: подготовка, экспериментальное проектирование, создание модели и анализ результатов. В экспериментальном дизайне музыка была классифицирована на рок, балладу и фолк, а также были собраны данные ЭЭГ и оценки знакомства для каждой категории. Данные обучались и тестировались с использованием моделей CNN+RNN или EEGNet, а производительность модели оценивалась с помощью 10-кратной кросс-валидации на уровне субъекта. Результаты показали, что прогнозирование всех типов музыки только с помощью данных ЭЭГ достигало точности 82,28 ± 3,42%. По отдельным музыкальным типам точности составляли 91,13 ± 3,60% (рок), 91,83 ± 2,07% (баллада) и 87,87 ± 4,76% (фолк). При включении знакомства пользователя как функции и использовании многоуровневого рейтинга общая точность прогнозирования выросла до 94,94 ± 1,61%, а точность отдельных музыкальных типов достигла 99,15 ± 1,56% (рок), 98,51 ± 2,30% (баллада) и 98,21 ± 2,60% (фолк). Эти результаты показывают, что сочетание признаков знакомства с многоуровневой системой оценки значительно улучшает прогнозирование музыкальных предпочтений. Используя доступное, носимое устройство Muse S EEG и используя опыт пользователя, это исследование успешно разработало эффективную модель глубокой нейронной сети (CNN+RNN/EEGNet) для распознавания предпочтений музыкальных типов. Результаты показывают, что как общие, так и индивидуальные прогнозы музыкального типа выигрывают от включения информации о знакомстве, что подчеркивает потенциал этого подхода для персонализированных музыкальных рекомендаций и применений в музыкальной терапии.

Введение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Музыка играет значительную роль в жизни человека, а широкое использование онлайн-платформ сделало прослушивание музыки рутинной повседневной практикой. Помимо развлечений, музыка служит терапевтическим инструментом, способствующим расслаблению, уменьшающему боль и поддерживающим людей с нарушениями развития. Музыкальные предпочтения напрямую влияют как на терапевтические результаты, так и на эмоциональные реакции. Предыдущие исследования показывают, что предпочитаемая музыка повышает физическую производительность, такую как выносливость и способность кбегу 1, а также снижает стресс и боль2. Это также важное вмешательство для пожилых людей, при котором индивидуальные предпочтения влияют на эффективностьлечения 3,4. Также доказано, что предпочитаемая музыка снижает частоту сердечных сокращений и дыхания, способствуя расслаблению. Кроме того, музыкальные предпочтения повышают точность прогнозированияэмоций 5, усиливают эмоциональныереакции 6 и повышают производительность модели машинного обучения, повышая точность прогнозирования с 53,18% до 71,09%. Повторное воздействие дополнительно увеличивает предпочтения, независимо от первоначальногосмещения 7.

Несмотря на эти данные, существующие исследования по прогнозированию музыкальных предпочтений остаются ограниченными небольшими размерами выборки, узкими возрастными диапазонами и недостаточным вниманием к знакомству пользователей. Эти ограничения снижают обобщимость модели и практическую применимость. Включение специфических для пользователя факторов, таких как знакомство, остаётся малоизученным подходом для повышения эффективности прогнозирования.

Распознавание музыкальных эмоций (ЭМР) стало активной областью исследований, а его точность зависит от музыкальных предпочтений и знакомства 8,9,10,11. Участники обеспечивают более последовательные эмоциональные оценки при воздействии знакомой и предпочитаемой музыки, а повышение знакомства повышает точность распознавания как в экспериментальных, так и в образовательныхусловиях 12,13,14,15,16,17. Эти результаты подчёркивают знакомство как критический фактор как для распознавания эмоций, так и при прогнозировании предпочтений.

Глубокое обучение, основанное на искусственных нейронных сетях, позволяет автоматически извлекать высокоразмерные признаки и демонстрирует более эффективное распознавание образов, чем поверхностные модели 18,19,20. Техники глубокого обучения также широко применяются к музыкальным задачам, включая классификацию жанров, распознавание сигналов и персонализированные системырекомендаций 21, 22, 23, 24, 25, 26. Электроэнцефалография (ЭЭГ) широко используется для измерения электрической активности мозга в частотных диапазонах (Таблица 1) для когнитивного и эмоциональногоанализа 27,28. Интеграция ЭЭГ с глубоким обучением предоставляет эффективную основу для фиксации нейронных реакций на музыкальные предпочтения.

Традиционные системы ЭЭГ часто требуют электродов на основе геля и дорогого оборудования, что ограничивает их применение в реальных условиях. Носимые ЭЭГ-устройства с сухими электродами предлагают практичную альтернативу, обеспечивая снижение стоимости, улучшение удобства использования и большую гибкость. Устройство Muse S записывает сигналы из ключевых областей мозга (TP9, TP10, AF7, AF8) с частотой 256 Гц, обеспечивая надёжный и масштабируемый сбор данных как для контролируемых экспериментов, так и для реальных приложений.

Это исследование решает выявленные ограничения, сочетая сигналы ЭЭГ с функциями знакомства пользователя для прогнозирования музыкальных предпочтений с помощью моделей глубокого обучения. Архитектуры CNN+RNN и EEGNet используются для извлечения как временно-частотных признаков, так и временных зависимостей, что позволяет улучшить представление сигналов ЭЭГ по сравнению с традиционными подходами. Исследование проверяет две гипотезы: (1) знакомство с музыкой пользователя повышает точность прогнозирования предпочтений на основе ЭЭГ; (2) жанровые модели (рок, лирика и фолк) превосходят моделей, обученных в смешанных категориях.

Была включена когорта из 30 здоровых взрослых с сбалансированным распределением по полу. Хотя ограниченный размер выборки и использование четырёхканального ЭЭГ ограничивают обобщённость и разрешение сигнала, интеграция особенностей знакомства с моделями глубокого обучения обеспечивает надёжную производительность прогнозирования. Цель состоит в классификации музыкальных жанров и выполнении индивидуальных прогнозов для каждой категории, а также в использовании знакомства пользователя как функции для повышения точности прогнозов.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Протокол

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Это исследование было проведено в соответствии с руководящими принципами Этического комитета Университета Цюйчжоу. Протокол исследований был утверждён Институциональным обзорным советом Университета Цюйчжоу (IRB) под номером одобрения QZU-IRB-2026-037. Все участники дали информированное согласие до их включения в исследование.

Экспериментальная подготовка и набор участников
Эксперимент состоял из четырёх этапов (рисунок 1): подготовка, проектирование эксперимента, создание модели и анализ результатов. На этапе подготовки цели исследований определялись на основе обзора литературы по музыкальной терапии, сбору данных ЭЭГ и моделям глубокого обучения. На этапе экспериментального проектирования было привлечено 30 здоровых участников для выполнения задач по прослушиванию музыки. Записывались сигналы ЭЭГ и оценки знакомства с музыкой. Данные ЭЭГ были стандартизированы и сегментированы на окна из 2048 образцов с перекрытием 1024 выборок. Признаки знакомства сочетались с данными ЭЭГ в качестве входных данных модели. Были построены две модели — CNN+RNN и EEGNet. Слои CNN извлекали временно-частотные характеристики, а двунаправленный LSTM — временные зависимости. Для классификации использовался полностью связанный слой с функцией активации softmax. Модели обучались с размером партии 50 для 30 эпох с использованием оптимизатора Адама. Применялись отказ от учёбы и досрочное прекращение. Производительность в основном оценивалась с использованием Точности в качестве отчётной метрики, при этом для дополнительной оценки также рассчитывались метрики Точности, Отзыва и F1.

Экспериментальная среда и настройка оборудования
Эксперимент проводился в тихой, закрытой комнате, свободной от внешних помех, с поддержанной температурой в комнате на уровне 27 °C. Использовалось следующее оборудование: устройство ЭЭГ (Muse S, InteraXon Inc.), четырёхканальная система ЭЭГ (TP9, AF7, AF8, TP10) с частотой дискретизации 256 Гц; Финальные наушники E3000; а также компьютер для сбора данных, работающий под управлением Muse SDK и Lab Streaming Layer (LSL).

Перед каждой экспериментальной сессией поверхности наушников очищались спиртом для поддержания гигиены и снижения риска перекрёстного загрязнения. Гарнитура Muse S устанавливалась на каждого участника, обеспечивая стабильный контакт между всеми четырьмя сухими электродами (TP9, AF7, AF8, TP10) и обшивкой. Если качество сигнала было плохим, положение головной повязки корректировалось до получения стабильных сигналов. Участников посадили в удобное кресло с поддержкой спины и инструктовали держать глаза закрытыми, избегать разговоров и минимизировать большие движения тела во время эксперимента.

Подготовка музыкальных стимулов
Были подготовлены три музыкальных жанра: рок, лирическая (баллада) и народная музыка. Каждый жанр включал три китайские песни, всего девять песен. Для контроля различий в музыкальном знакомстве песни каждого жанра отбирались по следующим критериям: одна старая песня; одна актуальная популярная песня (из чарта Spotify Top Songs); и одну новую песню (из чарта Spotify New Releases).

Каждая песня была смонтирована в стандартизированный аудиосегмент, начинающийся с вступления, за которым следовал куплет и заканчивался первым припевом, с общей длительностью 90–130 секунд. Каждой песне присваивался уникальный идентификатор (например, R1–R3, B1–B3, F1–F3) для последующего маркировки данных и управления файлами.

Экспериментальная процедура и запись анкет
Перед формальным экспериментом проводился тест громкости с воспроизведением тестового аудиофрагмента. Участники регулировали громкость на чистый, комфортный и не слишком громкий, поддерживая её постоянной на протяжении всего эксперимента. Порядок воспроизведения девяти песен был рандомизирован (например, с использованием таблицы случайных чисел или программного обеспечения) для уменьшения эффектов порядка. Все участники самостоятельно выполняли задачи по прослушиванию музыки. Каждый музыкальный сегмент был представлен от вступления до первого хора, продолжительностью 90–130 секунд. Между песнями был предусмотрен 30-секундный перерыв. В этот период участники заполняли анкету знакомства с помощью онлайн-платформы (Questionnaire Star). Участники оценивали своё знакомство с каждой песней с помощью пятибалльной шкалы Лайкерта (1 = полностью незнакомый; 5 = очень знакомый). Метка предпочтений участника для каждой песни записывалась (0 = не нравится; 1 = лайк) согласно заранее определённой бинарной классификации. Полная экспериментальная процедура показана на рисунке 2.

Получение ЭЭГ и журналирование данных
Данные EEG собирались с помощью официального Muse SDK и передавались через Lab Streaming Layer (LSL). Данные EEG, соответствующие каждой песне, сохранялись в виде файлов Comma-Separated Values (CSV), содержащих минимум следующие поля: временная метка (миллисекунды); сырые ЭЭГ-сигналы с четырёх каналов (TP9, AF7, AF8, TP10); ручной записанный балл знакомства (1–5); и этикетка предпочтений (0/1). Использовалась согласованная система именования файлов (например, S01_R1.csv, указывающая участника 01 и рок-песню 1) для облегчения автоматизированной обработки и отслеживания.

Предобработка, нормализация и оконная обработка данных
ЭЭГ-сигналы записывались с помощью четырёхканального EEG-устройства Muse S с частотой дискретизации 256 Гц, а индивидуальные программы разрабатывались с использованием официального комплекта разработки. Сырые данные EEG собирались через Lab Streaming Layer (LSL) и сохранялись в формате CSV. Файлы CSV включали следующие столбцы: временная метка (миллисекунды), значения четырёхканального EEG (TP9, AF7, AF8, TP10), оценки знакомства с пользовательской музыкой (1–5) и рейтинги пользовательских музыкальных предпочтений.

Общее количество записей данных соответствует нескольким оконам, сгенерируемым для каждого участника и каждого музыкального произведения, что приводит к крупномасштабному набору данных в зависимости от схемы окон. В оригинальном эксперименте музыкальные предпочтения представлялись как бинарная метка (0 = не нравится, 1 = нравится), что может привести к искусственно высокой точности и ограниченному обобщению моделей.

Для повышения практической значимости задачи прогнозирования метки предпочтений были преобразованы в многоуровневую оценочную шкалу: 0 = Сильно не согласен; 1 = Не согласен; 2 = Нейтральный; 3 = Согласен; 4 = Полностью согласен.

До появления машинного обучения данные стандартизировались и сегментировались на окна по 2048 образцов каждое, при этом 1024 выборки перекрывались между соседними окнами для сохранения временной непрерывности. Кроме того, была применена дополнительная система данных для увеличения количества обучающих образцов и снижения риска перенагонки.

Архитектура модели
Исследовательская модель состояла из трёх сверточных слоёв, трёх слоёв пула и полностью соединённого слоя. Max pooling использовался для выбора признаков, dropout применялся для уменьшения перенагона, а итоговый результат генерировался с помощью слоя softmax классификации. Каждое входное окно включало четырёхканальные ЭЭГ-сигналы (2048 выборок в окно) и функцию знакомства. Результат представлял собой рейтинг предпочтений из пяти классов. Архитектура показана на рисунке 3, а параметры модели изложены в таблице 2.

Обучение модели и кросс-валидация
Набор данных был случайным образом разделён на 80% для обучения и 20% для тестирования. Была применена десятикратная кросс-валидация: для валидации использовалась одна подгруппа, а оставшиеся девять — для обучения в каждой итерации. Этот процесс повторялся десять раз, и результаты были агрегированы. Обучающие гиперпараметры были установлены следующим образом: эпохи = 30; Размер партии = 50; Оптимизатор = Адам; Функция потерь = категориальная кроссентропия; Метрика оценки = Точность. Исполнение модели записывалось только в условиях ЭЭГ и ЭЭГ + знакомства, как для всех жанров вместе взятых, так и для отдельных жанров.

Методы статистического анализа
Анализ данных проводился с использованием Python 3.10 с TensorFlow 2.12, Keras 2.12 и MNE-Python 1.3. Обработка и анализ данных проводились с использованием Pandas 2.1 и NumPy 1.26. Метрики производительности из 10-кратной перекрёстной валидации были агрегированы, и рассчитаны средние и стандартные значения отклонения. Статистические сравнения состояний проводились с помощью парных t-тестов или тестов с знаками Уилкоксона, при этом уровень значимости P < 0,05.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Результаты

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Производительность модели оценивалась при двух условиях: (1) только функции ЭЭГ и (2) функции ЭЭГ в сочетании с знакомством с музыкой. Классификация проводилась как для объединённых музыкальных категорий, так и для отдельных музыкальных категорий (рок, лирическая и фолк).

В таблице 3 представлены результаты, полученные только с использованием признаков ЭЭГ, а в таблице 4 представлены результаты, полученные с использованием признаков ЭЭГ в соче...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обсуждение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Предыдущие исследования по прогнозированию музыкальных предпочтений на основе ЭЭГ в значительной степени опирались на многоканальные системы, ограничивая практическоеприменение 21,22,23,24,25,26. В этом исследовании четырёхканальное носимое ЭЭГ-устройство (Muse S) достигло сопоставимых характ...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

У автора нет конфликта интересов, которые нужно раскрывать.

Благодарности

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Автор с благодарностью выражает признательность за поддержку и услуги, оказанные исследовательским учреждением в ходе этого исследования. Особая благодарность выражается сотрудникам лаборатории за помощь в технических процедурах.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
Спиртовые салфеткиЛюбой стандартный поставщикН/ДИспользуется для чистки наушников между участниками
Компьютер для сбора данныхЛюбой стандартный производительН/ДЗапускает Muse SDK и лабораторный потоковый слой (LSL)
ЭЭГ-гарнитура (Muse S)InteraXon Inc.https://choosemuse.com/muse-s/Четырёхканальное носимое ЭЭГ-устройство (TP9, AF7, AF8, TP10)
Финальные наушники E3000Окончательный аудиодизайнhttps://snext-final.com/en/products/detail/E3000Используется для воспроизведения звука во время экспериментов
Программное обеспечение для лабораторного потокового слоя (LSL)Открытый исходный кодhttps://github.com/sccn/labstreaminglayerИспользуется для потоковой передачи данных ЭЭГ
Muse SDKInteraXon Inc.https://developer.choosemuse.com/Используется для сбора данных ЭЭГ
Анкета Star (онлайн-платформа)Changsha Ranxing Information Technology Co., Ltd.https://www.wjx.cn/Используется для сбора данных о знакомстве
Python 3.10Фонд программного обеспечения Pythonhttps://www.python.org/downloads/Используется для обработки и анализа данных
TensorFlow 2.12Googlehttps://www.tensorflow.org/Фреймворк глубокого обучения
Keras 2.12Googlehttps://keras.io/API нейронных сетей
MNE-Python 1.3Открытый исходный кодhttps://mne.tools/stable/index.htmlАнализ данных ЭЭГ
NumPy 1.26Открытый исходный кодhttps://numpy.org/Численное вычисление
Панды 2.1Открытый исходный кодhttps://pandas.pydata.org/Обработка данных

Ссылки

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Ballmann, C. G., McCullum, M. J., Rogers, R. R., Marshall, M. R., Williams, T. D. Effects of preferred vs. nonpreferred music on resistance exercise performance. J. Strength Cond. Res. 35 (6), 1650-1655 (2021).
  2. Banks, D. Neurotechnology: microelectronics. Handbook of Neuroprosthetic Methods. Finn, W. E., LoPresti, P. G. , CRC Press. Boca Raton, FL. 361-400 (2002).
  3. Aldridge, D. An overview of music therapy research. Complement. Ther. Med. 2, 204-216 (1994).
  4. Hillecke, T., Nickel, A., Bolay, H. V. Scientific perspectives on music therapy. Ann. N. Y. Acad. Sci. 1060, 271-282 (2005).
  5. Lai, H. L. Music preference and relaxation in Taiwanese elderly people. Geriatr. Nurs. 25 (5), 286-291 (2004).
  6. Kreutz, G., Lotze, M. Neuroscience of music and emotion. Neurosciences in Music Pedagogy. Rauscher, F., Gruhn, W. , Nova Science Publishers. New York. 143-167 (2007).
  7. Madison, G., Schiölde, G. Repeated listening increases the liking for music regardless of its complexity: implications for the appreciation and aesthetics of music. Front. Neurosci. 11, 147(2017).
  8. Pereira, C. S., et al. Music and emotions in the brain: familiarity matters. PLoS One. 6 (11), e27241(2011).
  9. Hamlen, K. R., Shuell, T. J. The effects of familiarity and audiovisual stimuli on preference for classical music. Bull. Counc. Res. Music Educ. 168, 21-34 (2006).
  10. Liu, W. J. Unit learning in junior high school music class based on deep understanding. Prim. Second. Sch. Music Educ. 3, 5(2022).
  11. A vocal range balancing method, device, and system based on deep learning. China Patent. , CN109147807B (2024).
  12. Yin, D. H. Constructing a music classroom teaching paradigm from the perspective of deep learning (Part 2). Prim. Second. Sch. Music Educ. 6, 4(2022).
  13. Zhang, C., Shi, T., Ai, J., Tian, W. Construction of GUI elements recognition model for AI testing based on deep learning. Proceedings of the 2021 8th International Conference on Dependable Systems and Their Applications (DSA), , 508-515 (2021).
  14. Shi, Y., Ko, Y. C. Construction of English pronunciation judgment and detection model based on deep learning neural networks data stream fusion. Int. J. Pattern Recognit. Artif. Intell. 36 (6), 2252011(2022).
  15. Li, X. H., et al. Survey of remote sensing image registration based on deep learning. Natl. Remote Sens. Bull. 27 (2), 267-284 (2023).
  16. Bishop, C. M., Nasrabadi, N. M. Pattern recognition and machine learning. , Springer. New York. (2006).
  17. Goodfellow, I., Bengio, Y., Courville, A. Deep learning. , MIT Press. Cambridge, MA. (2016).
  18. LeCun, Y., Bengio, Y., Hinton, G. Deep learning. Nature. 521, 436-444 (2015).
  19. Janiesch, C., Zschech, P., Heinrich, K. Machine learning and deep learning. Electron. Mark. 31 (3), 685-695 (2021).
  20. A deep learning-based system and method for Gongche notation character recognition. China Patent. , CN202210650096.0 (2024).
  21. Sun, L. Y. Research on music genre classification and generation technology based on deep learning. , Nanjing Audit University. Nanjing, China. Master's thesis (2022).
  22. Gan, Q. Deep learning-based electronic music signal recognition method. Inf. Comput. 35, 54-56 (2023).
  23. Zhang, H. Building a music teaching and research community using deep learning. Music World. 1, 16-19 (2022).
  24. Liu, L., Kong, M., Cao, C., Shu, Z., Liu, K., et al. Personalized music recommendation algorithm based on machine learning. Multimed. Syst. 31, 166(2025).
  25. Naser, D. S., Saha, G. Influence of music liking on EEG-based emotion recognition. Biomed. Signal Process. Control. 64, 102251(2021).
  26. Cannard, C., Brandmeyer, T., Wahbeh, H., Delorme, A. Self-health monitoring and wearable neurotechnologies. Handbook of Clinical Neurology. Ramsey, N. F., Millán, J. delR. 168, 207-232 (2020).
  27. Kumari, P., Vaish, A. Brainwave-based user identification system: a pilot study in robotics environment. Robot. Auton. Syst. 65, 15-23 (2015).
  28. Asif, A., Majid, M., Anwar, S. M. Human stress classification using EEG signals in response to music tracks. Comput. Biol. Med. 107, 182-196 (2019).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE

Запросить разрешение

Теги

Music Genre RecognitionDeep Learning ModelEEG Signal AnalysisMusic Preference PredictionCNN RNN ModelEEGNet ArchitectureUser Familiarity FeatureMuse S DeviceMusic Therapy ApplicationPersonalized Music Recommendation

Похожие статьи