Onderzoeksartikel
Deze studie bouwde een deep learning-model met behulp van EEG-signalen en muziekvertrouwdheid om muziekgenrevoorkeur te voorspellen. De gegevens werden verzameld met een goedkoop Muse S-apparaat en geanalyseerd met behulp van een CNN+RNN en een EEGNet-model. Vertrouwdheid verbeterde de nauwkeurigheid aanzienlijk, tot wel 99%, wat de aanzienlijke waarde in voorkeurvoorspelling aantoont.
Met de toenemende prevalentie van psychische problemen heeft muziektherapie aandacht gekregen als een niet-farmacologische interventie, en deep learning-technieken hebben veelbelovend bewijs getoond in het herkennen van emoties en het voorspellen van voorkeuren in muziek. Deze studie construeerde een diep neuraal netwerkmodel (CNN+RNN/EEGNet) om muziekvoorkeuren efficiënt te identificeren en de invloed van gebruikersvertrouwdheid op voorspellingsnauwkeurigheid te onderzoeken. EEG-signalen werden verzameld met een vierkanaals Muse S wearable-apparaat, en gebruikersvertrouwdheidsscores werden als invoer gebruikt. De studie volgde een workflow van vier fasen: voorbereiding, experimenteel ontwerp, modelbouw en resultaatanalyse. In het experimentele ontwerp werd muziek gecategoriseerd in rock, ballade en folk, en werden EEG-gegevens en vertrouwdheidsbeoordelingen verzameld voor elke categorie. De gegevens werden getraind en getest met CNN+RNN- of EEGNet-modellen, en de modelprestaties werden geëvalueerd via 10-voudige kruisvalidatie op proefpersoonsniveau. De resultaten gaven aan dat het voorspellen van alle muziektypes met alleen EEG-gegevens een nauwkeurigheid van 82,28 ± 3,42% behaalde. Voor individuele muziektypen waren de nauwkeurigheden 91,13 ± 3,60% (rock), 91,83 ± 2,07% (ballade) en 87,87 ± 4,76% (folk). Door gebruikersvertrouwdheid als functie te integreren en een multi-level beoordelingsoutput te gebruiken, steeg de totale voorspellingsnauwkeurigheid tot 94,94 ± 1,61%, terwijl individuele muziektypenauwkeurigheden 99,15 ± 1,56% (rock), 98,51 ± 2,30% (ballad) en 98,21 ± 2,60% (folk) bereikten. Deze resultaten tonen aan dat het combineren van vertrouwdheidsfuncties met een meerlagig scoresysteem de voorspelling van muziekvoorkeuren aanzienlijk verbetert. Door gebruik te maken van een betaalbaar, draagbaar Muse S EEG-apparaat en gebruikmaking van gebruikersvertrouwdheid, ontwikkelde deze studie met succes een zeer effectief diep neuraal netwerkmodel (CNN+RNN/EEGNet) om muziekvoorkeuren te herkennen. De bevindingen geven aan dat zowel algemene als individuele muziektypevoorspellingen profiteren van de opname van vertrouwdheidsinformatie, wat het potentieel van deze aanpak benadrukt voor gepersonaliseerde muziekaanbevelingen en toepassingen van muziektherapie.
Muziek speelt een belangrijke rol in het menselijk leven, en het wijdverbreide gebruik van online platforms heeft het luisteren naar muziek tot een dagelijkse routine gemaakt. Naast entertainment functioneert muziek als een therapeutisch hulpmiddel dat ontspanning bevordert, pijn vermindert en mensen met ontwikkelingsstoornissen ondersteunt. Muzikale voorkeur beïnvloedt direct zowel therapeutische uitkomsten als emotionele reacties. Eerdere studies tonen aan dat voorkeursmuziek de fysieke prestaties verbetert, zoals uithoudingsvermogen en sprintcapaciteit1, en stress en pijn vermindert2. Het is ook een belangrijke interventie voor oudere volwassenen, waarbij individuele voorkeuren de effectiviteit van de behandelingbeïnvloeden 3,4. Van voorkeursmuziek is ook aangetoond dat het de hart- en ademhalingsfrequentie verlaagt, wat ontspanning bevordert. Daarnaast verbetert muzikale voorkeur de nauwkeurigheid van emotievoorspelling5, versterkt emotionele reacties6 en verbetert de prestaties van machine learning-modellen, waardoor de voorspellingsnauwkeurigheid stijgt van 53,18% naar 71,09%. Herhaalde blootstelling verhoogt de voorkeur verder, ongeacht de initiële bias7.
Ondanks deze bevindingen blijven bestaande studies over het voorspellen van muziekvoorkeuren beperkt door kleine steekproefgroottes, smalle leeftijdsbanden en onvoldoende rekening met gebruikersvertrouwdheid. Deze beperkingen verminderen de generaliseerbaarheid van het model en de praktische toepasbaarheid. Het integreren van gebruikersspecifieke factoren zoals vertrouwdheid blijft een onderbelichte aanpak om de voorspellingsprestaties te verbeteren.
Muziekemotieherkenning (EMR) is een actief onderzoeksgebied geworden, en de nauwkeurigheid ervan wordt beïnvloed door muziekvoorkeur en vertrouwdheid 8,9,10,11. Deelnemers geven consistentere emotionele evaluaties wanneer ze worden blootgesteld aan bekende en voorkeursmuziek, en toenemende vertrouwdheid verbetert de herkenningsnauwkeurigheid in zowel experimentele als educatieve omgevingen 12,13,14,15,16,17. Deze bevindingen benadrukken vertrouwdheid als een cruciale factor bij zowel emotieherkenning als voorkeurvoorspelling.
Deep learning, gebaseerd op kunstmatige neurale netwerken, maakt het automatisch extraheren van hoog-dimensionale kenmerken mogelijk en demonstreert een sterkere patroonherkenning dan ondiepe modellen 18,19,20. Deep learning-technieken zijn ook veelvuldig toegepast op muziekgerelateerde taken, waaronder genreclassificatie, signaalherkenning en gepersonaliseerde aanbevelingssystemen 21,22,23,24,25,26. Elektro-encefalografie (EEG) wordt veel gebruikt om elektrische activiteit van de hersenen over frequentiebanden te meten (Tabel 1) voor cognitieve en emotionele analyse27,28. De integratie van EEG met deep learning biedt een effectief kader om neurale reacties op muziekvoorkeuren vast te leggen.
Traditionele EEG-systemen vereisen vaak gel-gebaseerde elektroden en dure apparatuur, waardoor hun toepasbaarheid in de praktijk beperkt wordt. Draagbare EEG-apparaten met droge elektroden bieden een praktisch alternatief, met lagere kosten, verbeterde gebruiksvriendelijkheid en meer flexibiliteit. Het Muse S-apparaat registreert signalen van belangrijke hersengebieden (TP9, TP10, AF7, AF8) op 256 Hz, waardoor betrouwbare, schaalbare dataverzameling mogelijk is voor zowel gecontroleerde experimenten als toepassingen in de praktijk.
Deze studie pakt de geïdentificeerde beperkingen aan door EEG-signalen te combineren met gebruikersvertrouwdheidsfuncties om muziekvoorkeuren te voorspellen met behulp van deep learning-modellen. CNN+RNN- en EEGNet-architecturen worden gebruikt om zowel tijd-frequentiekenmerken als temporele afhankelijkheden te extraheren, waardoor een betere representatie van EEG-signalen mogelijk is ten opzichte van traditionele benaderingen. De studie test twee hypothesen: (1) de vertrouwdheid van de muziek door gebruikers verbetert de nauwkeurigheid van de op EEG gebaseerde voorkeurvoorspelling; (2) genre-specifieke modellen (rock, lyrisch en folk) presteren beter dan modellen die getraind zijn op gemengde categorieën.
Een cohort van 30 gezonde volwassenen met een evenwichtige genderverdeling werd opgenomen. Hoewel de beperkte steekproefgrootte en het gebruik van vierkanaals EEG de generaliseerbaarheid en signaalresolutie beperken, maakt het integreren van vertrouwdheidsfuncties met deep learning-modellen robuuste voorspellingsprestaties mogelijk. De doelstellingen zijn het classificeren van muziekgenres en het uitvoeren van individuele voorspellingen voor elke categorie, en het integreren van gebruikersbekendheid als een kenmerk om de voorspellingsnauwkeurigheid te verbeteren.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Deze studie werd uitgevoerd volgens de richtlijnen van de Ethische Commissie van de Universiteit van Quzhou. Het onderzoeksprotocol werd goedgekeurd door de Institutionele Beoordelingscommissie (IRB) van de Universiteit van Quzhou onder goedkeuringsnummer QZU-IRB-2026-037. Alle deelnemers gaven geïnformeerde toestemming voorafgaand aan hun opname in de studie.
Experimentele voorbereiding en deelname werving
Het experiment bestond uit vier fasen (Figuur 1): voorbereiding, experimenteel ontwerp, modelconstructie en resultaatanalyse. In de voorbereidingsfase werden onderzoeksdoelstellingen gedefinieerd op basis van een literatuuroverzicht over muziektherapie, EEG-gegevensverzameling en deep learning-modellen. In de experimentele ontwerpfase werden 30 gezonde deelnemers gerekruteerd om muziekluistertaken uit te voeren. EEG-signalen en muziekvertrouwdheidsbeoordelingen werden opgenomen. EEG-gegevens werden gestandaardiseerd en gesegmenteerd in vensters van 2048 monsters met 1024 overlap in steekproeven. Vertrouwdheidskenmerken werden gecombineerd met EEG-gegevens als modelinvoer. Twee modellen, CNN+RNN en EEGNet, werden gebouwd. CNN-lagen extraherden tijd-frequentie kenmerken, en bidirectionele LSTM legde temporele afhankelijkheden vast. Voor classificatie werd een volledig verbonden laag met een softmax-activatiefunctie gebruikt. Modellen werden getraind met een batchgrootte van 50 voor 30 epochs met behulp van de Adam-optimizer. Uitvallen en vroegtijdig stoppen werden toegepast. De prestaties werden voornamelijk geëvalueerd met Nauwkeurigheid als gerapporteerde maatstaf, waarbij ook Nauwkeurigheid, Terugroepen en F1-score meetwaarden werden berekend voor aanvullende evaluatie.
Experimentele omgeving en uitrustingsopstelling
Het experiment werd uitgevoerd in een stille, afgesloten ruimte zonder externe interferentie, met een kamertemperatuur op 27 °C. De volgende apparatuur werd gebruikt: een EEG-apparaat (Muse S, InteraXon Inc.), een vierkanaals EEG-systeem (TP9, AF7, AF8, TP10) met een bemonsteringsfrequentie van 256 Hz; Definitieve E3000 in-ear koptelefoons; en een data-acquisitiecomputer die draait op de Muse SDK en Lab Streaming Layer (LSL).
Voor elke experimentele sessie werden de oorcontactoppervlakken van de koptelefoon schoongemaakt met alcohol om hygiëne te waarborgen en het risico op kruisbesmetting te verminderen. De Muse S-headset werd aan elke deelnemer gemonteerd, zodat er stabiel contact was tussen alle vier de droge elektroden (TP9, AF7, AF8, TP10) en de huid. Als de signaalkwaliteit slecht was, werd de positie van de kopband aangepast totdat stabiele signalen waren verkregen. Deelnemers zaten in een comfortabele stoel met rugsteun en kregen de instructie om hun ogen gesloten te houden, niet te spreken en grote lichaamsbewegingen tijdens het experiment te minimaliseren.
Voorbereiding van muziekstimuli
Er werden drie muziekgenres voorbereid: rock, lyrische (ballade) en volksmuziek. Elk genre bevatte drie Chinese liedjes, in totaal negen liedjes. Om verschillen in muzikale bekendheid te beheersen, werden nummers in elk genre geselecteerd volgens de volgende criteria: één oud lied; één actueel populair nummer (van de Spotify Top Songs-hitlijst); en één nieuw nummer (van de Spotify New Releases chart).
Elk nummer werd gemonteerd tot een gestandaardiseerd audiosegment, beginnend bij de introductie, gevolgd door het couplet, en eindigend bij het eerste refrein, met een totale duur van 90–130 s. Aan elk nummer werd een unieke identificatie toegewezen (bijv. R1–R3, B1–B3, F1–F3) voor het latere labelen en bestandsbeheer.
Experimentele procedure en vragenlijstregistratie
Voor het formele experiment werd een volumetest uitgevoerd door een testaudioclip af te spelen. Deelnemers stelden het volume aan tot een niveau dat helder, comfortabel en niet overdreven luid was, en hielden het gedurende het hele experiment constant. De afspeelvolgorde van de negen nummers werd gerandomiseerd (bijvoorbeeld met behulp van een willekeurige nummertabel of software-randomisatie) om de volgorde-effecten te verminderen. Alle deelnemers voltooiden de muziekluistertaken zelfstandig. Elk muzieksegment werd gepresenteerd vanaf de introductie tot het eerste refrein, en duurde 90–130 seconden. Er werd een rustperiode van 30 seconden tussen de nummers gecreëerd. Tijdens deze periode vulden deelnemers een vertrouwdheidsvragenlijst in via een online platform (Questionnaire Star). Deelnemers beoordeelden hun vertrouwdheid met elk nummer met behulp van een vijfpunts Likert-schaal (1 = volledig onbekend; 5 = zeer bekend). Het voorkeurslabel van de deelnemer voor elk nummer werd vastgelegd (0 = niet leuk; 1 = leuk) volgens het vooraf gedefinieerde binaire classificatieschema. De volledige experimentele procedure wordt geïllustreerd in Figuur 2.
EEG-acquisitie en datalogging
EEG-gegevens werden verkregen met de officiële Muse SDK en gestreamd via de Lab Streaming Layer (LSL). De EEG-gegevens die bij elk nummer hoorden, werden opgeslagen als Comma-Separated Values (CSV)-bestanden, met minimaal de volgende velden: tijdstempel (milliseconden); ruwe EEG-signalen van vier kanalen (TP9, AF7, AF8, TP10); handmatig opgenomen vertrouwdheidsscore (1–5); en voorkeurslabel (0/1). Er werd een consistente bestandsnaamgevingsconventie gebruikt (bijvoorbeeld S01_R1.csv, waarbij deelnemer 01 en rocknummer 1 worden aangegeven) om geautomatiseerde verwerking en traceerbaarheid te vergemakkelijken.
Datapreprocessing, normalisatie en windowing
EEG-signalen werden opgenomen met een Muse S vierkanaals EEG-apparaat met een bemonsteringsfrequentie van 256 Hz, en aangepaste programma's werden ontwikkeld met behulp van de officiële ontwikkelkit. Ruwe EEG-gegevens werden verkregen via de Lab Streaming Layer (LSL) en opgeslagen in CSV-formaat. De CSV-bestanden bevatten de volgende kolommen: tijdstempel (milliseconden), vierkanaals EEG-waarden (TP9, AF7, AF8, TP10), gebruikersmuziekvertrouwdheidsbeoordelingen (1–5) en muziekvoorkeuren van de gebruiker.
Het totale aantal gegevensinvoer komt overeen met meerdere vensters die voor elke deelnemer en elk muziekstuk worden gegenereerd, wat resulteert in een grootschalige dataset afhankelijk van het vensterschema. In het oorspronkelijke experiment werd muziekvoorkeur weergegeven als een binair label (0 = niet leuk, 1 = leuk), wat kan leiden tot kunstmatig hoge nauwkeurigheid en beperkte modelgeneralisatie.
Om de praktische betekenis van de voorspellingstaak te verbeteren, werden de voorkeurlabels omgezet in een meerlagige beoordelingsschaal: 0 = Sterk One-Agree; 1 = Oneens; 2 = Neutraal; 3 = Mee eens; 4 = Volledig mee eens.
Voor machine learning werden de gegevens gestandaardiseerd en gesegmenteerd in vensters van elk 2048 samples, met 1024 samples die overlappen tussen aangrenzende vensters om de temporele continuïteit te behouden. Daarnaast werd data-augmentatie toegepast om het aantal trainingsvoorbeelden te verhogen en het risico op overfitting te verminderen.
Modelarchitectuur
Het onderzoeksmodel bestond uit drie convolutionele lagen, drie poolinglagen en een volledig verbonden laag. Max pooling werd gebruikt voor feature-selectie, dropout werd toegepast om overfitting te verminderen, en de uiteindelijke output werd gegenereerd met een softmax-classificatielaag. Elk invoervenster bevatte vierkanaals EEG-signalen (2048 samples per venster) en een vertrouwdheidsfunctie. De output vertegenwoordigde een voorkeursbeoordeling van vijf klassen. De architectuur is weergegeven in Figuur 3, en modelparameters zijn weergegeven in Tabel 2.
Modeltraining en kruisvalidatie
De dataset werd willekeurig verdeeld in 80% voor training en 20% voor testen. Tienvoudige kruisvalidatie werd toegepast, waarbij één subset werd gebruikt voor validatie en de resterende negen voor training in elke iteratie. Dit proces werd tien keer herhaald en de resultaten werden geaggregeerd. Trainingshyperparameters werden als volgt ingesteld: Epochs = 30; Batchgrootte = 50; Optimizer = Adam; Verliesfunctie = categorische kruisentropie; Evaluatiemetriek = Nauwkeurigheid. De modelprestaties werden geregistreerd onder uitsluitend EEG en EEG + vertrouwdheidscondities, zowel voor alle genres gecombineerd als voor individuele genres.
Statistische analysemethoden
Data-analyse werd uitgevoerd met Python 3.10 met TensorFlow 2.12, Keras 2.12 en MNE-Python 1.3. Dataverwerking en -analyse werden uitgevoerd met behulp van Pandas 2.1 en NumPy 1.26. Prestatie-metrics uit de 10-voudige kruisvalidatie werden geaggregeerd en gemiddelde en standaarddeviatiewaarden werden berekend. Statistische vergelijkingen tussen aandoeningen werden uitgevoerd met behulp van gepaarde t-tests of Wilcoxon tekentest, met een significantieniveau van P < 0,05.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
De modelprestaties werden geëvalueerd onder twee voorwaarden: (1) alleen EEG-kenmerken en (2) EEG-kenmerken gecombineerd met muziekvertrouwdheid. Er werd geclassificeerd voor zowel gecombineerde muziekcategorieën als individuele muziekcategorieën (rock, lyrisch en folk).
Tabel 3 toont resultaten verkregen uitsluitend met EEG-kenmerken, terwijl Tabel 4 resultaten toont die zijn verkregen met EEG-kenmerken gecombineerd met vertrouwdheid. Zowel C...
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Eerdere studies naar EEG-gebaseerde muziekvoorkeurvoorspelling hebben grotendeels vertrouwd op multikanaalsystemen, waardoor de praktische toepassing beperktis tot 21,22,23,24,25,26. In deze studie behaalde een vierkanaals draagbaar EEG-apparaat (Muse S) vergelijkbare prestaties in combinatie...
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
De auteur heeft geen belangenconflicten om te melden.
De auteur erkent dankbaar de ondersteuning en faciliteiten die het onderzoeksinstituut tijdens deze studie heeft geboden. Speciale dank wordt uitgesproken aan het laboratoriumpersoneel voor hun hulp bij technische procedures.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| Alcoholdoekjes | Elke standaardleverancier | N/A | Wordt gebruikt voor het schoonmaken van hoofdtelefoons tussen deelnemers |
| Gegevensverwervingscomputer | Elke standaardfabrikant | N/A | Draait Muse SDK en Lab Streaming Layer (LSL) |
| EEG-headset (Muse S) | InteraXon Inc. | https://choosemuse.com/muse-s/ | Vierkanaals draagbaar EEG-apparaat (TP9, AF7, AF8, TP10) |
| Final E3000 in-ear hoofdtelefoons | Final Audio Design | https://snext-final.com/en/products/detail/E3000 | Wordt gebruikt voor audio-weergave tijdens het experiment |
| Lab Streaming Layer (LSL) software | Open-source | https://github.com/sccn/labstreaminglayer | Wordt gebruikt voor EEG-gegevensstreaming |
| Muse SDK | InteraXon Inc. | https://developer.choosemuse.com/ | Wordt gebruikt voor EEG-gegevensverwerving |
| Vragenlijst Star (online platform) | Changsha Ranxing Information Technology Co., Ltd. | https://www.wjx.cn/ | Wordt gebruikt voor het verzamelen van vertrouwdheidsgegevens |
| Python 3.10 | Python Software Foundation | https://www.python.org/downloads/ | Wordt gebruikt voor gegevensverwerking en -analyse |
| TensorFlow 2.12 | https://www.tensorflow.org/ | Deep learning-framework | |
| Keras 2.12 | https://keras.io/ | Neural network API | |
| MNE-Python 1.3 | Open-source | https://mne.tools/stable/index.html | EEG-gegevensanalyse |
| NumPy 1.26 | Open-source | https://numpy.org/ | Numerieke berekening |
| Pandas 2.1 | Open-source | https://pandas.pydata.org/ | Gegevensmanipulatie |
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Toestemming aanvragen om de tekst of afbeeldingen van dit JoVE-artikel te hergebruiken
Toestemming aanvragen