$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Badanie to zostało przeprowadzone zgodnie z wytycznymi Komisji Etyki Uniwersytetu Quzhou. Protokół badawczy został zatwierdzony przez Instytucjonalną Radę Przeglądową Uniwersytetu Quzhou (IRB) pod numerem zatwierdzenia QZU-IRB-2026-037. Wszyscy uczestnicy wyrazili świadomą zgodę przed włączeniem do badania.
Przygotowanie eksperymentalne i rekrutacja uczestników
Eksperyment składał się z czterech etapów (rysunek 1): przygotowania, projektowania eksperymentu, budowy modelu oraz analizy wyników. Na etapie przygotowań cele badawcze zostały określone na podstawie przeglądu literatury na temat muzykoterapii, pozyskiwania danych EEG oraz modeli głębokiego uczenia. W fazie projektowania eksperymentalnego zrekrutowano 30 zdrowych uczestników do wykonywania zadań związanych ze słuchaniem muzyki. Zarejestrowano sygnały EEG i oceny znajomości muzyki. Dane EEG zostały ustandaryzowane i podzielone na okna 2048 próbek z nakładaniem się 1024 próbek. Funkcje znajomości zostały połączone z danymi EEG jako dane wejściowe do modelu. Zbudowano dwa modele: CNN+RNN i EEGNet. Warstwy CNN wyodrębniały cechy czasowo-częstotliwościowe, a dwukierunkowe LSTM rejestrowały zależności czasowe. Do klasyfikacji zastosowano w pełni połączoną warstwę z funkcją aktywacji softmax. Modele były trenowane z rozmiarem partii 50 dla 30 epok za pomocą optymalizatora Adama. Wprowadzono rezygnację z nauki i wcześniejsze zakończenie nauki. Wyniki były głównie oceniane za pomocą wskaźnika Accuracy jako raportowanej metryki, a także do dodatkowej oceny obliczano metryki Precyzji, Przypomnienia i F1 score.
Środowisko eksperymentalne i konfiguracja sprzętu
Eksperyment przeprowadzono w cichym, zamkniętym pomieszczeniu, wolnym od zewnętrznych zakłóceń, z temperaturą w pomieszczeniu utrzymywaną na poziomie 27 °C. Użyto następującego sprzętu: urządzenia EEG (Muse S, InteraXon Inc.), czterokanałowego systemu EEG (TP9, AF7, AF8, TP10) o częstotliwości próbkowania 256 Hz; Ostatnie słuchawki douszne E3000; oraz komputer do akwizycji danych działający na Muse SDK i warstwie strumieniowania laboratorium (LSL).
Przed każdą sesją eksperymentalną powierzchnie kontaktowe słuchawek były czyszczone alkoholem, aby zapewnić higienę i zmniejszyć ryzyko zanieczyszczenia krzyżowego. Każdy uczestnik miał założony zestaw Muse S, zapewniając stabilny kontakt między wszystkimi czterema suchymi elektrodami (TP9, AF7, AF8, TP10) a skórą. Jeśli jakość sygnału była słaba, pozycja paska była dostosowywana, aż uzyskano stabilne sygnały. Uczestnicy byli usiądni na wygodnym krześle z podparciem oparcia i instruowani, by trzymać oczy zamknięte, unikać mówienia i minimalizować duże ruchy ciała podczas eksperymentu.
Przygotowanie bodźców muzycznych
Przygotowano trzy gatunki muzyczne: rock, liryczny (ballada) i muzykę ludową. Każdy gatunek zawierał trzy chińskie piosenki, co dawało łącznie dziewięć utworów. Aby kontrolować różnice w znajomości muzyki, utwory z każdego gatunku były wybierane według następujących kryteriów: jedna stara piosenka; jedną aktualną popularną piosenkę (z listy Spotify Top Songs); oraz jeden nowy utwór (z listy Spotify New Releases).
Każdy utwór był montowany w ustandaryzowany segment audio, zaczynając od wstępu, następnie zwrotki, aż do pierwszego refrenu, o łącznym czasie trwania 90–130 sekund. Każdemu utworowi przypisywano unikalny identyfikator (np. R1–R3, B1–B3, F1–F3) do późniejszego oznaczania danych i zarządzania plikami.
Procedura eksperymentalna i rejestrowanie kwestionariuszy
Przed formalnym eksperymentem przeprowadzono test głośności poprzez odtwarzanie testowego klipu audio. Uczestnicy dostosowali głośność do poziomu wyraźnego, komfortowego i niezbyt głośnego, utrzymując go stałą przez cały eksperyment. Kolejność odtwarzania dziewięciu utworów była losowa (np. za pomocą losowej tablicy liczbowej lub losowej losowości), aby zmniejszyć efekty kolejności. Wszyscy uczestnicy samodzielnie wykonali zadania związane z muzyką. Każdy segment muzyczny był prezentowany od wprowadzenia do pierwszego refrenu, trwając 90–130 sekund. Między utworami przewidziano 30-sekundową przerwę na odpoczynek. W tym okresie uczestnicy wypełniali kwestionariusz znajomości za pomocą platformy internetowej (Questionnaire Star). Uczestnicy oceniali swoją znajomość każdej piosenki za pomocą pięciopunktowej skali Likerta (1 = całkowicie nieznany; 5 = bardzo zaznajomiony). Etykieta preferencji uczestnika dla każdej piosenki była rejestrowana (0 = nielubienie; 1 = lubienie) zgodnie z wcześniej ustalonym schematem klasyfikacji binarnej. Pełna procedura eksperymentalna została zilustrowana na Rysunku 2.
Akwizycja EEG i rejestrowanie danych
Dane EEG były pozyskiwane za pomocą oficjalnego SDK Muse i przesyłane strumieniowo przez warstwę Lab Streaming Layer (LSL). Dane EEG odpowiadające każdej piosence zostały zapisane jako pliki Comma-Separated Values (CSV), zawierające co najmniej następujące pola: znacznik czasu (milisekundy); surowe sygnały EEG z czterech kanałów (TP9, AF7, AF8, TP10); ręcznie rejestrowany wynik znajomości (1–5); oraz etykietę preferencji (0/1). Stosowano spójną konwencję nazewnictwa plików (np. S01_R1.csv, oznaczającą uczestnika 01 i rockową piosenkę 1), aby ułatwić automatyczne przetwarzanie i śledzenie.
Wstępne przetwarzanie danych, normalizacja i okienka
Sygnały EEG były nagrywane za pomocą czterokanałowego urządzenia EEG Muse S o częstotliwości próbkowania 256 Hz, a programy niestandardowe były rozwijane przy użyciu oficjalnego zestawu deweloperskiego. Surowe dane EEG były pozyskiwane przez warstwę Lab Streaming Layer (LSL) i zapisywane w formacie CSV. Pliki CSV zawierały następujące kolumny: znacznik czasu (milisekundy), wartości EEG dla czterech kanałów (TP9, AF7, AF8, TP10), oceny znajomości muzyki użytkownika (1–5) oraz oceny preferencji muzycznych.
Łączna liczba wpisów danych odpowiada wielu wygenerowanym oknom dla każdego uczestnika i każdego utworu muzycznego, co skutkuje dużym zbiorem danych w zależności od schematu okien. W oryginalnym eksperymencie preferencje muzyczne były reprezentowane jako etykieta binarna (0 = nielubienie, 1 = lubienie), co może prowadzić do sztucznie wysokiej dokładności i ograniczonej generalizacji modelu.
Aby zwiększyć praktyczne znaczenie zadania predykcji, etykiety preferencji zostały przekształcone w wielopoziomową skalę oceny: 0 = Zdecydowanie się nie zgadzam; 1 = Nie zgadzam się; 2 = Neutralny; 3 = Zgadzam się; 4 = Zdecydowanie się zgadzam.
Przed wprowadzeniem uczenia maszynowego dane były standaryzowane i podzielone na okna po 2048 próbek każdy, z 1024 próbkami nakładającymi się na sąsiednie okna, aby zachować ciągłość czasową. Dodatkowo zastosowano augmentację danych, aby zwiększyć liczbę próbek treningowych i zmniejszyć ryzyko nadmiernego dopasowania.
Architektura modelu
Model badawczy składał się z trzech warstw splotowych, trzech warstw poolingowych oraz w pełni połączonej warstwy. Do wyboru cech stosowano maksymalny pooling, dropout stosowano, aby zmniejszyć przeszarpnięcie, a końcowy wynik generowano przy użyciu warstwy klasyfikacji softmax. Każde okno wejściowe zawierało czterokanałowe sygnały EEG (2048 próbek na okno) oraz funkcję znajomości. Produkcja obejmowała preferencję pięciu klas. Architektura przedstawiona jest na Rysunku 3, a parametry modelu przedstawiono w Tabeli 2.
Trening modelowania i walidacja krzyżowa
Zbiór danych został losowo podzielony na 80% do treningu i 20% do testowania. Stosowano dziesięciokrotną walidację krzyżową, z jednym podzbiorem do walidacji, a pozostałymi dziewięcioma do trenowania w każdej iteracji. Proces ten powtórzono dziesięć razy, a wyniki zostały zagregowane. Treningowe hiperparametry zostały ustawione następująco: Epoki = 30; Wielkość partii = 50; Optymalizator = Adam; Funkcja straty = kategoryczna crossentropia; Metryka oceny = Dokładność. Wydajność modelu była rejestrowana wyłącznie w warunkach EEG + znajomości, zarówno dla wszystkich gatunków łącznie, jak i dla poszczególnych gatunków.
Metody analizy statystycznej
Analiza danych została przeprowadzona w Pythonie 3.10 z TensorFlow 2.12, Keras 2.12 oraz MNE-Python 1.3. Przetwarzanie i analizę danych przeprowadzono przy użyciu Pandas 2.1 i NumPy 1.26. Metryki wydajności z 10-krotnej walidacji krzyżowej zostały zagregowane, a średnie i odchylenia standardowe obliczone. Porównania statystyczne między schorzeniami przeprowadzono za pomocą testów t w parach lub testów rangi znakowej Wilcoxona, z poziomem istotności P < 0,05.