Op memorisatie gebaseerd trainings- en testparadigma voor robuuste vocale identiteitsherkenning in expressieve spraak met behulp van gebeurtenisgerelateerde potentialenanalyse

Summary

De studie introduceert een trainingstestparadigma om oude/nieuwe effecten van gebeurtenisgerelateerde potentialen te onderzoeken in zelfverzekerde en twijfelachtige prosodische scenario's. Gegevens onthullen een verbeterde late positieve component tussen 400-850 ms bij Pz en andere elektroden. Deze pijplijn kan factoren onderzoeken die verder gaan dan spraakprosodie en hun invloed op cue-bindende doelidentificatie.

Abstract

Het herkennen van bekende sprekers uit vocale streams is een fundamenteel aspect van menselijke verbale communicatie. Het blijft echter onduidelijk hoe luisteraars de identiteit van de spreker nog kunnen onderscheiden in expressieve spraak. Deze studie ontwikkelt een op memorisatie gebaseerde benadering van individuele sprekersidentiteitsherkenning en een bijbehorende pijplijn voor elektro-encefalogram (EEG) gegevensanalyse, die controleert hoe luisteraars bekende sprekers herkennen en onbekende uit elkaar houden. EEG-gegevens leggen online cognitieve processen vast tijdens het onderscheid tussen nieuwe en oude sprekers op basis van spraak, en bieden een real-time meting van hersenactiviteit, het overwinnen van limieten van reactietijden en nauwkeurigheidsmetingen. Het paradigma bestaat uit drie stappen: luisteraars leggen associaties tussen drie stemmen en hun namen (training); luisteraars geven de naam aan die overeenkomt met een stem van drie kandidaten (controleren); Luisteraars maken onderscheid tussen drie oude en drie nieuwe luidsprekerstemmen in een twee-alternatieve forced-choice-taak (testen). De spraakprosodie bij het testen was zelfverzekerd of twijfelachtig. EEG-gegevens werden verzameld met behulp van een 64-kanaals EEG-systeem, gevolgd door voorbewerking en geïmporteerd in RStudio voor ERP en statistische analyse en MATLAB voor hersentopografie. De resultaten toonden aan dat een vergrote late positieve component (LPC) werd opgewekt in de oude prater in vergelijking met de nieuwe prater in het 400-850 ms-venster in de Pz en een ander breder scala aan elektroden in beide prosodieën. Toch was het oude/nieuwe effect robuust in centrale en achterste elektroden voor twijfelachtige prosodieperceptie, terwijl de voorste, centrale en achterste elektroden voor zelfverzekerde prosodieconditie zijn. Deze studie stelt voor dat dit experimentontwerp als referentie kan dienen voor het onderzoeken van sprekerspecifieke cue-bindende effecten in verschillende scenario's (bijv. anaforische expressie) en pathologieën bij patiënten zoals fonagnosie.

Introduction

Menselijke vocale stromen zijn rijk aan informatie, zoals emotie ^1,2, gezondheidstoestand ^3,4, biologisch geslacht^{5, 6 jaar} en, nog belangrijker, de individuele vocale identiteit ^7,8. Studies hebben gesuggereerd dat menselijke luisteraars een robuust vermogen hebben om de identiteit van hun leeftijdsgenoten te herkennen en te differentiëren door middel van stemmen, waardoor variaties binnen de spreker rond de gemiddelde representatie van de sprekeridentiteit in de akoestische ruimte worden overwonnen⁹. Dergelijke variaties worden teweeggebracht door akoestische manipulatie (fundamentele frequentie en lengte van het stemkanaal, d.w.z. F0 en VTL) die niet overeenkomt met duidelijke pragmatische bedoelingen⁹, emotieprosodieën¹⁰ en vocaal vertrouwen dat het gevoel van weten van de sprekers overbrengt¹¹. Gedragsexperimenten hebben zich gericht op vele factoren die van invloed zijn op de prestaties van luisteraars bij het herkennen van de sprekers, waaronder taalgerelateerde manipulaties ^8,12,13, deelnemersgerelateerde kenmerken zoals muziekervaring of leesvaardigheid^14,15, en stimuli-gerelateerde aanpassingen zoals achterwaartse spraak of niet-woorden^16,17; Meer is te vinden in literatuuroverzichten^18,19. Een paar recente experimenten hebben onderzocht hoe individuele variatie van de representatie van de identiteit van de spreker de herkenningsnauwkeurigheid zou kunnen ondermijnen, rekening houdend met aspecten als hoge versus lage emotionele expressiviteit¹⁶ en neutrale versus angstige prosodieën⁵; Er staan meer mogelijke scenario's open voor verder onderzoek, zoals gesuggereerd door een review²⁰.

Voor de eerste onderzoekslacune stelt de studie voor dat de neurologische onderbouwing van sprekeridentificatie nog niet volledig moet worden onderzocht hoe variatie binnen de spreker de hersenactiviteiten van luisteraars uitdaagt. Bijvoorbeeld, in een op fMRI gebaseerde sprekerherkenningstaak van Zäske et al., vertoonden de rechter posterieure superieure temporale gyrus (pSTG), rechter inferieure/middelste frontale gyrus (IFG/MFG), rechter mediale frontale gyrus en linker caudatus verminderde activering wanneer ze correct werden geïdentificeerd als oude versus nieuwe praters, ongeacht of de taalkundige inhoud hetzelfde of anders was²¹. Een eerdere elektro-encefalografie (EEG) studie van Zäske et al. observeerde dit oude/nieuwe effect echter niet wanneer variatie in de identiteit van de spreker werd geïntroduceerd via verschillende teksten²². In het bijzonder was een grotere, late positieve component (LPC) variërend van 300 tot 700 ms, gedetecteerd aan de Pz-elektrode wanneer luisteraars hun bekende getrainde spreker tegenkwamen die dezelfde tekst uitdrukte (d.w.z. een herhaling hoorde met niet-gevarieerde taalkundige inhoud), afwezig wanneer de sprekers nieuwe teksten leverden.

Ter ondersteuning van de bewering van Zäske et ^al.21 vermoedt deze studie dat er nog steeds een oud/nieuw-effect kan worden waargenomen, ondanks verschillen in taalkundige inhoud tussen trainings- en testsessies in event-related potential (ERP) analyses. Deze grondgedachte komt voort uit het idee dat het ontbreken van het oude/nieuwe effect in Zäske et ^al.22, onder omstandigheden waarin andere teksten werden gebruikt, kan worden toegeschreven aan het ontbreken van een extra controlesessie tijdens de trainingstaak om grondig en effectief identiteitsleren te garanderen, zoals gesuggereerd door Lavan et ^al.23. Het eerste doel van de studie is dan ook om deze hypothese te onderzoeken en te valideren. Deze studie heeft tot doel dit te testen door een controlesessie toe te voegen aan het trainings-testparadigma²².

Een andere belangrijke vraag die deze studie wil beantwoorden, is de robuustheid van sprekersidentificatie in aanwezigheid van spraakprosodie. Eerdere gedragsstudies hebben gesuggereerd dat luisteraars vooral moeite hebben om praters in verschillende prosodieën te herkennen, wat wijst op een modulerende rol van de prosodische context - luisteraars presteerden ondermaats in de verschillende trainingstestende prosodiecondities. Deze studie heeft tot doel dit te testen door luisteraars bloot te stellen aan het herkennen van bekende praters in zelfverzekerde of twijfelachtige prosodieën²⁴. Deze studie verwacht dat de waargenomen ERP-verschillen zullen helpen verklaren hoe spraakprosodie identiteitsherkenning beïnvloedt.

Het kerndoel van de huidige studie is om de robuustheid van het oude/nieuwe effect in sprekerherkenning te onderzoeken, waarbij specifiek wordt onderzocht of er verschillen zijn in het herkennen van praters in zelfverzekerde versus twijfelachtige prosodieën. Xu en Armony¹⁰ voerden een gedragsonderzoek uit met behulp van een trainingstestparadigma, en hun bevindingen suggereren dat luisteraars prosodische verschillen niet kunnen overwinnen (bijvoorbeeld getraind om een prater te herkennen in neutrale prosodie en getest op angstige prosodie) en alleen een nauwkeurigheid kunnen bereiken die lager is dan kansniveau¹⁰. Akoestische analyse geeft aan dat luidsprekers die verschillende emotionele toestanden uitdrukken, geassocieerd zijn met VTL/F0-modulatie; zelfverzekerde prosodie wordt bijvoorbeeld gekenmerkt door verlengde VTL en lagere F0, terwijl het tegenovergestelde waar is voor twijfelachtige prosodie^11,24. Een ander bewijs komt uit de studie van Lavan et ^al.23, die bevestigde dat luisteraars zich kunnen aanpassen aan VTL- en F0-veranderingen van de spreker en op gemiddelden gebaseerde representaties van de sprekers kunnen vormen. Deze studie verzoent dat, vanuit het perspectief van gedragsgegevens, luisteraars waarschijnlijk nog steeds de identiteit van de spreker herkennen in prosodieën (bijv. getraind om er een te herkennen in zelfverzekerde prosodie, maar getest in twijfelachtige prosodie; gerapporteerd in een afzonderlijk manuscript in voorbereiding). Toch blijven de neurale correlaten van sprekeridentificatie, met name de generaliseerbaarheid van het oude/nieuwe effect waargenomen door Zäske et ^al.22, onduidelijk. Daarom zet de huidige studie zich in voor het valideren van de robuustheid van het oude/nieuwe effect in zelfverzekerde versus twijfelachtige prosodieën als contexten voor testen.

De studie introduceert een afwijking van eerdere onderzoeksparadigma's in oude/nieuwe effectstudies. Terwijl eerder onderzoek zich richtte op hoe herkenning van oude/nieuwe praters de perceptie beïnvloedt, breidt deze studie dit uit door twee betrouwbaarheidsniveaus (zelfverzekerd versus twijfelachtig) in het paradigma op te nemen (dus een 2+2-studie). Dit stelt ons in staat om sprekerherkenning te onderzoeken binnen de context van zelfverzekerde en twijfelachtige spraakprosodieën. Het paradigma maakt het mogelijk om de robuustheid van oude/nieuwe effecten te verkennen. De analyses van geheugeneffecten en interessegebieden (ROI) binnen zowel zelfverzekerde als twijfelachtige spraakcontexten dienen als bewijs voor dit onderzoek.

Al met al heeft de studie tot doel het begrip van de EEG-correlaten van spraakherkenning bij te werken, met de hypothesen dat de vergrote LPC van het EEG oud/nieuw-effect waarneembaar is, zelfs wanneer 1) de taalkundige inhoud niet hetzelfde is, en 2) met de aanwezigheid van zelfverzekerde versus twijfelachtige prosodie. Deze studie onderzocht de hypothesen aan de hand van een paradigma in drie stappen. Ten eerste legden de deelnemers tijdens de trainingsfase associaties tussen drie stemmen en hun bijbehorende namen. Vervolgens, in de controlefase, kregen ze de taak om uit een selectie van drie kandidaten de naam te identificeren die overeenkwam met een stem. Deze controle, in navolging van Lavan et ^al.23, heeft tot doel onvoldoende vertrouwd te raken met oude sprekers, wat leidde tot het niet-waargenomen oud/nieuw-effect wanneer de tekst in de trainings- en testfasen verschilde⁶, en praters praters over neutrale en angstige prosodieën niet konden herkennen¹⁰. Ten slotte maakten de deelnemers in de testfase onderscheid tussen drie oude en drie nieuwe sprekersstemmen in een taak met twee alternatieve gedwongen keuzes, waarbij spraakprosodie werd gepresenteerd als zelfverzekerd of twijfelachtig. EEG-gegevens werden verzameld met behulp van een 64-kanaals EEG-systeem en ondergingen voorbewerking vóór analyse. Statistische analyse en event-related potential (ERP) analyse werden uitgevoerd in RStudio, terwijl MATLAB werd gebruikt voor analyse van de hersentopografie.

Wat de ontwerpdetails betreft, stelt deze studie een experiment voor het leren van de identiteit van de spreker voor dat de lengte van de spreker controleert, wat gerelateerd is aan VTL en de indrukken van wie er aan het woord is^{beïnvloedt 23}. Dit aspect beïnvloedt ook sociale indrukken, zoals waargenomen dominantie²⁵, en een dergelijke indrukvorming op een hoger niveau kan interageren met het decoderen van de identiteit van de spreker²⁶.

Protocol

De ethische commissie van het Institute of Linguistics, Shanghai International Studies University, heeft het hieronder beschreven experimentontwerp goedgekeurd. Voor dit onderzoek werd geïnformeerde toestemming verkregen van alle deelnemers.

1. Voorbereiding en validatie van de audiobibliotheek

1. Audio-opname en -bewerking
   1. Creëer een Chinese vocale database volgens de standaardprocedure van het maken van een eerdere Engelse versie, terwijl u waar nodig aanpassingen maakt om in de context van China¹¹ te passen. Voor het experiment hier werden 123 zinnen gebruikt met drie soorten pragmatische bedoelingen, namelijk oordeel, intentie en feit. Raadpleeg hiervoor een bestaand Engels statement corpus¹¹ en maak een gelokaliseerde Chinese versie met aanvullende gelokaliseerde scenario's.
   2. Rekruteer 24 sprekers (12 vrouwen) om deze zinnen uit te drukken in neutrale, twijfelachtige en zelfverzekerde prosodieën, terwijl je verwijst naar en past aan gespecificeerde instructies van eerdere opnametaken^11,24.
      1. Voor de sprekers hier schakelt u 24 standaard Mandarijnsprekers van de Shanghai International Studies University in, 12 vrouwen en 12 mannen, met aangetoonde vaardigheid in het Mandarijn door middel van scores van 87 tot 91 op de Putonghua Proficiency Test. Mannelijke deelnemers waren gemiddeld 24,55 ± 2,09 jaar oud, met 18,55 ± 1,79 jaar opleiding en een gemiddelde lengte van 174,02 ± 20,64 cm. Vrouwen waren gemiddeld 22,30 ± 2,54 jaar oud, met 18,20 ± 2,59 jaar onderwijs en een gemiddelde lengte van 165,24 ± 11,42 cm. Geen van hen meldde spraakstoornissen of neurologische of psychiatrische stoornissen.
   3. Vraag de sprekers om elke tekst twee keer te herhalen. Stel de bemonsteringsfrequentie in op 48.000 Hz in de software Praat²⁷. Zorg ervoor dat geen enkele stream langer dan 10 minuten duurt, aangezien Praat kan uitvallen, waardoor de opname verloren gaat.
   4. Bewerk de lange audiostream tot fragmenten per zin met Praat. Aangezien er twee herhalingen van dezelfde tekst zijn, selecteert u de versie die het beste de beoogde prosodie als doelzin weergeeft.
2. Audio selectie
   1. Normaliseer de audiobibliotheek op 70 dB en de bemonsteringsfrequentie op 41.000 Hz met Praat script²⁸. Open hiervoor Praat, laad de geluidsbestanden en selecteer ze in het venster Objecten. Ga naar het menu Wijzigen, kies Intensiteit schalen..., stel de Nieuwe gemiddelde intensiteit (dB SPL) in op 70 in het instellingenvenster en klik op OK om de normalisatie toe te passen.
   2. Rekruteer 48 onafhankelijke luisteraars om elke audio te beoordelen op een 7-Likert-schaal over het betrouwbaarheidsniveau: 1 voor helemaal niet en 7 voor zeer zelfverzekerd¹¹. Zorg ervoor dat elke zin is beoordeeld door 12 beoordelaars.
   3. Selecteer de audio die voldoet aan bepaalde drempels met één belangrijk principe: zorg ervoor dat de gemiddelde beoordeling voor audio met zelfverzekerde bedoelingen hoger is dan voor audio met twijfelachtige bedoelingen. Zorg ervoor dat deze drempels consistent zijn voor 12 praters van hetzelfde biologische geslacht. Als deze sprekers bijvoorbeeld twee zinnen uitspraken, elk met zelfverzekerde en twijfelachtige prosodieën, moeten er significante verschillen in beoordelingen worden waargenomen.
   4. Gebruik voor het huidige experimentele ontwerp vier audioblokken met in totaal 480 audioclips, waarbij elk blok 120 audio bevat.
      1. Verdeel 24 praters in vier groepen van zes, met twee groepen mannen en twee groepen vrouwen, waarbij elke groep bestaat uit praters van hetzelfde biologische geslacht.
      2. Selecteer voor elke groep audiofragmenten op basis van perceptuele beoordelingen (op dezelfde tekst) en zorg ervoor dat de gemiddelde betrouwbaarheidsbeoordelingen hoger waren dan de twijfelachtige beoordelingen voor elke zin. Deze vier blokken verschillen op de volgende manieren: 1) de gecombineerde zes sprekers - hun identiteiten zijn verschillend; 2) de helft van de blokken wordt uitgedrukt door mannen en de andere helft door vrouwen; en 3) de tekst die in elk blok wordt uitgedrukt is anders.
   5. Voordat het selectieproces begint, documenteert u de hoogtegegevens voor elke luidspreker. Gebruik deze informatie om de sprekers in vier onafhankelijke groepen te verdelen op basis van geslacht en lengte.
      1. Er zijn in totaal 24 sprekers, gelijk verdeeld over mannen en vrouwen. Sorteer binnen elke geslachtsgroep de 12 personen op lengte.
   6. Verdeel deze 12 individuen afwisselend in twee groepen; Uit een gesorteerde lijst van 1 tot 12 zouden bijvoorbeeld de individuen 1, 3, 5, 7, 9 en 11 één groep vormen en de andere helft de tweede groep. Voer binnen deze groepen de selectie van luidsprekers voor de audioclips met regelmatige tussenpozen uit op basis van hun hoogte.
      OPMERKING: De opname van hoogte als controlefactor is gebaseerd op bevindingen die suggereren dat luidsprekerhoogtegerelateerde akoestische metingen (VTL en F0) van invloed zijn op de herkenning van de spreker en de spreker²³.

2. Programmering voor het verzamelen van EEG-gegevens

1. Ontwerp de experimentmatrix
   1. De studie maakt gebruik van een within-subject design. Bereid een testsessie voor die voor elk onderwerp wordt gepresenteerd terwijl u de trainingssessie aanpast. Bereid vier blokken voor, waarbij mannelijke en vrouwelijke sprekers elke helft van twee blokken innemen. Wijs twee blokken toe om getraind te worden in zelfverzekerde prosodie en getest te worden op zowel zelfverzekerde als twijfelachtige, evenals getraind in twijfelachtige prosodie en getest op zowel zelfverzekerde als twijfelachtige, zoals voorgesteld in figuur 1.
   2. Bepaal de duur van de functionerende schermen door te verwijzen naar bestaande EEG-onderzoeken naar sprekeridentificatie en perceptie van vocaal vertrouwen^22,29. Organiseer de volgorde van de vier blokken met een Latijnse vierkante matrix tussen de deelnemers ^30,31. Aangepaste Python-codering wordt aanbevolen om een dergelijke lijst op te stellen. Zie de Code Snippet voor de Latijnse Vierkant matrix en de lijst met proefversies voor het PsychoPy-programma op OSF³².
   3. Selecteer praters bij elk interval uit een hoogtesequentie van hetzelfde biologische geslacht. Selecteer voor elk blok zes sprekers uit de oorspronkelijke 24 sprekers, die in vier lijsten worden gegroepeerd op basis van de gerapporteerde lengte van de sprekers.
   4. Selecteer de eerste 24 namen in China's Honderd Familienamen. Wijs willekeurig de achternamen toe aan de 24 sprekers die de audio hebben uitgedrukt door ze aan te spreken als Xiao (Junior in het Chinees) ZHAO.
   5. Zet alle relevante informatie samen in een spreadsheet met kolommen voor Spreker (1 tot 24), Biologisch geslacht (man of vrouw), Naam van personen (van de 24 achternamen), Vertrouwensniveau (zelfverzekerd of twijfelachtig), Item (tekstindex), Beoordeeld betrouwbaarheidsniveau (gemiddelde score van het perceptuele onderzoek), Geluid (bijv. geluid/1_h_c_f_56.wav),
   6. Herken correct één van de drie (1, 2 of 3) en herken oud en nieuw (oud of nieuw) correct. Zorg er bovendien voor dat kolommen met de namen training_a, training_b, training_c, check en test zijn toegevoegd.
   7. Voeg de kolommen training_a_marker, training_b_marker, check_marker en testing_marker toe aan de spreadsheets om EEG-markeringen te verzenden. Formatteer deze markeringen met drie cijfers, wat betekent dat zelfs het cijfer 1 als 001 wordt geschreven.
2. Opbouw van de drie sessies
   OPMERKING: PsychoPy wordt aanbevolen om het programma op te bouwen, voornamelijk door gebruik te maken van de builder-modus. De codecomponent in de builder wordt bovendien gebruikt om het programma te verbinden met het EEG-gegevensverzamelingssysteem, waardoor de F- en J-knoppen worden gecompenseerd en de nauwkeurigheid wordt berekend die op het scherm moet worden gerapporteerd.
   1. Klik eerst op het pictogram Experimentinstellingen bewerken en pas de cel Experimentinformatie aan in twee velden, namelijk Deelnemer en Blokkeren. Laat de standaardinstelling voor beide leeg staan. In deze studie doorliepen 4/40 deelnemers van de 40 deelnemers, elk met vier blokken, bepaalde blokkades opnieuw (als de nauwkeurigheid in de Check-sessie lager is dan 10/12), met een herhalingspercentage van 19 herhalingen/4 blokken x 40 deelnemers = 11,875%.
   2. Trainingssessie: drie keer herhaaldelijk identiteitsleren
      1. Definieer een lus met de naam Training_A, die drie schermen bevat: Fixatie, Presentatie en een Blanco. Vink de optie Is Trials aan. Houd de nReps 1 en laat Geselecteerde rijen en Random Seed leeg. Schrijf de voorwaarde als volgt:
         "$"trials/{:}_training_a.xlsx".format(expInfor["Deelnemer"]), expInfo["Block"])
         Waar de trials/ is de naam van de map; Deelnemer is de index van de deelnemer; Blok is de opeenvolging van blokken van het huidige blok.
      2. Voeg in het fixatiescherm een tekstcomponent toe, met de starttijd ingesteld op 0, de duurtijd ingesteld op 2 (s) en een +-teken in het tekstinvoervenster dat elke herhaling instellen selecteert. Neem op dezelfde manier een vergelijkbare tekstcomponent op in het lege scherm zonder informatie in de tekstcel en deze duurt 0.5 seconden.
      3. Voer in het presentatiescherm de volgende acties uit:
         1. Voeg een geluidscomponent toe, waarbij de begintijd is ingesteld op 0, de stopduur is leeg gelaten en de celinvoer geluid is $Sound en selecteer Elke herhaling instellen. Vink de Synchronisatie starten met scherm aan.
         2. Voeg nog een tekstcomponent toe, waarbij de cel Startvoorwaarde wordt ingevoerd met Cross_for_Training_A.status == VOLTOOID. Laat de cel Stopduur leeg. In de tekstcel wordt $Name weergegeven. Selecteer Elke herhaling instellen.
         3. Voeg een Key_Response_Training_A toe, waarbij de startvoorwaarde Training_A.status == VOLTOOID is. Laat de cel Stopduur leeg. Vink het geforceerde einde van de routine aan. Voeg voor de cel Toegestane toetsen ruimte toe; selecteer voor instelling Constant.
         4. Voeg een Cross_for_Training_A toe. De starttijd is ingesteld op 0; de cel Stopvoorwaarde is ingesteld op Training_A.status == VOLTOOID. Plaats een +-teken in het venster voor tekstinvoer en selecteer Elke herhaling instellen.
      4. Bereid Training_B voor door een vergelijkbare procedure te volgen als Training_A.
   3. Sessie controleren: Selecteer de namen van de drie deelnemers die aan het woord zijn.
      1. Definieer een lus met de naam Check, met hetzelfde fixatie- en lege scherm als de trainingssessie.
      2. Gebruik een andere presentatie dan de training door een functie toe te voegen om de reactie van het toetsenbord op te halen. Voer in het presentatiescherm de volgende actie uit.
         1. Voeg een geluidscomponent toe en geef deze een Checking_audio, stel de begintijd in op 0 en laat de cel Duur stoppen leeg. Stel de cel Geluid in op $Sound en stel elke herhaling in ingeschakeld.
         2. Voeg een tekstcomponent toe met de naam Show_names, met Startvoorwaarde geschreven met een opdracht:
            Checking_audio.status == AFGEROND
            en laat Stopduur leeg. Stel de tekstcel in op $ People_Name, met Elke herhaling instellen ingeschakeld.
         3. Voeg een toetsenbordcomponent toe en geef deze de Key_Response_Check, waarbij de startvoorwaarde Checking_audio.status == VOLTOOID is en laat Stop Duur leeg. Selecteer Einde van routine forceren met de toegestane toetsen num_1, num_2 en num_3 resterende constante, zodat deelnemers het numerieke toetsenblok kunnen gebruiken om hun keuze te indexeren.
         4. Voeg een fixatie toe met de naam Cross_Check, waarbij de starttijd 0 is en de invoer van de stopvoorwaarde met Checking_audio.status == VOLTOOID. Voeg een + toe aan de cel Tekst, waarmee Elke herhaling instellen wordt geselecteerd.
      3. Voeg een codecomponent in. Initialiseer in de sectie Experiment beginnen total_trials, current_correct, current_incorrect en current_accuracy als 0. Definieer in de beginroutine user_input als Geen. Verzamel in de sectie Elk frame de invoer van de gebruiker van het toetsenbord en controleer deze aan de hand van het juiste antwoord dat is opgeslagen in het spreadsheetbestand, met een sleutelcode van user_key = Key_Response_Check.keys om 1, 2 of 3 te extraheren. Gebruik het vervolgens om te meten tegen de opgeslagen 1,2 of 3 in een kolom met de naam Correctly_recognize_one_out_of_three.
      4. Zorg ervoor dat er een feedbackscherm verschijnt met het volgende bericht: check_feedbacks.text = f" De tweede stap is voltooid.\nU hebt de spreker geïdentificeerd in een totaal van {total_trials} zinnen,\nCorrect herkende {current_correct} sprekers,\nOnjuist beoordeelde {current_incorrect} sprekers.\nUw algehele nauwkeurigheidspercentage is {current_accuracy}%.\n\nAls het lager is dan 83.33%, geef een signaal aan de onderzoeker,\nU maakt opnieuw kennis met de drie bovengenoemde luidsprekers.\n\nAls u aan de vereisten voldoet, drukt u op de spatiebalk om verder te gaan.
   4. Testsessie: het classificeren van de oude en nieuwe prater
      1. Definieer een lus met de naam Testen. Het bevat Fixatie en Leeg (hetzelfde als in de trainingssessie) en een presentatiescherm.
      2. Bereid het gedeelte Presentatie voor zoals hieronder.
         1. Voeg een component voor het afspelen van geluid toe, Testing_sound, met instellingen die identiek zijn aan die in de trainingssessie. Voeg een Key_response_old_new component toe, die een Startvoorwaarde heeft van Testing_sound.status == FINISHED, laat Stop Duration leeg en vink Force End of Routine aan aan. Neem in de toegestane toetsen f en j op en selecteer Constant.
      3. Voeg een tekstcomponent toe met de naam Testing_old_new, met de startvoorwaarde Testing_sound.status == FINISHED, laat Stop Duration leeg en laat de tekstcel leeg met Set Every Repeat - de tekst wordt gedefinieerd door een latere codecomponent.
      4. Voeg een Cross_Testing toe, waarbij de starttijd 0 is, de stopvoorwaarde Testing_sound.status == VOLTOOID is en een + in de cel Tekst terwijl Elke herhaling instellen is ingeschakeld.
      5. Voeg een codecomponent toe zoals hieronder wordt beschreven.
         1. Initialiseer in de sectie Experiment beginnen het totale aantal proeven (total_trials_t), het aantal juiste proeven (correct_trials_t) en het aantal onjuiste proeven (incorrect_trials_t).
         2. Begin in de sectie Routine beginnen met een voorwaardelijke controle om de presentatie-indeling te bepalen op basis van het ID-nummer van de deelnemer (expInfo["Deelnemer"]). Als het ID-nummer oneven is, zorg er dan voor dat de instructies voor het identificeren van oude versus nieuwe stimuli in één formaat worden gepresenteerd, ofwel ("Oud (F) Nieuw (J)") of ("Nieuw (F) 'Oud (J)").
         3. Buiten deze lus is er een feedbackscherm met een codecomponent. Zorg ervoor dat elk framegedeelte luidt: testing_feedbacks.text = f"U hebt de spreker geïdentificeerd in een totaal van {total_trials_t} zinnen,\nCorrect herkende {correct_trials_t} sprekers,\nOnjuist beoordeelde {incorrect_trials_t} luidsprekers.\nUw algehele nauwkeurigheidspercentage is {accuracy_t:.2f}%.\nDruk op de spatiebalk om dit huidige deel te beëindigen.
   5. Verbind het programma met het Brain Products systeem zoals hieronder beschreven.
      1. Synchroniseer de markering door een markering in te stellen als het begin van elke audio. Definieer vóór het allereerste begin van de lus Training_A een protocol voor het verzenden van EEG-markers in het codeonderdeel Begin Experiment, zoals hieronder beschreven.
         1. Importeer essentiële PsychoPy-componenten, waaronder de parallelle module, en configureer het adres van de parallelle poort met behulp van 0x3EFC.
         2. Stel een sendTrigger-functie in om EEG-markers te verzenden. Deze functie verzendt een gespecificeerde triggerCode via de parallelle poort met parallel.setData (triggerCode) nadat is geverifieerd of het een geheel getal van NumPy is en deze indien nodig wordt geconverteerd.
         3. Voeg een korte wachttijd van 16 ms toe om ervoor te zorgen dat de markering wordt vastgelegd voordat u het triggerkanaal terugzet naar 0 met parallel.setData(0).
      2. Het verzenden van de marker naar de EEG-recorder maakt gebruik van sendTrigger(). Zet de exacte naam van de bijbehorende kolom tussen haakjes. In dit onderzoek zijn er training_a_marker, training_b_marker, check_marker en testing_marker - verwijzen naar de kolom die eerder in de spreadsheet is gedefinieerd.

3. Verzamelen van EEG-gegevens

1. Voorbereiding van de locatie
   OPMERKING: Er zijn ten minste twee computers beschikbaar om de gegevensverzameling uit te voeren. De ene is om verbinding te maken met het EEG-systeem en de andere is om gedragsgegevens te verzamelen. Het wordt aanbevolen om een ander scherm te bouwen om de computer met gedragsgegevens te spiegelen. Het systeem bestaat uit een versterker en passieve EEG-caps.
   1. Rekruteer voor deze studie deelnemers zonder enige gerapporteerde spraak-gehoorstoornis. Zorg ervoor dat deelnemers geen psychiatrische of neurologische stoornissen hebben. In totaal werden 43 deelnemers geselecteerd, waarvan er drie werden uitgesloten vanwege uitlijningsproblemen met de EEG-markers. Van de overige 40 waren er 20 vrouwelijke en 20 mannelijke deelnemers. Vrouwen waren tussen de 20,70 ± 0,37 jaar oud, terwijl de mannen 22,20 ± 0,37 jaar oud waren. Hun opleidingsjaren waren 17,55 ± 0,43 voor vrouwen en 18,75 ± 0,38 voor mannen.
   2. Wijs deelnemers-ID's toe en nodig deelnemers uit om hun haar binnen een uur voordat ze deelnemen aan het experiment te wassen en te drogen.
   3. Meng de elektrolytgel en schurende elektrolytgel in een verhouding van 1:3 en voeg een kleine hoeveelheid water toe. Roer het mengsel gelijkmatig in een bakje met een lepel.
   4. Bereid wattenstaafjes met een fijne punt en een droge EEG-dop voor.
   5. Laat de deelnemer comfortabel in een stoel zitten en informeer hem dat de onderzoeker de EEG-dop zal aanbrengen. Leg uit dat geleidende pasta, die onschadelijk is voor mensen en de ontvangst van hersensignalen verbetert, met wattenstaafjes op de gaten van de dop wordt aangebracht.
   6. Geef de deelnemer instructies over de experimentele taken en een formulier voor geïnformeerde toestemming voor het experiment. Ga verder met de voorbereidingsfase na het verkrijgen van de handtekening van de deelnemer.
   7. Sluit de EEG-dop aan op de versterker, die op zijn beurt verbinding maakt met de EEG-data-acquisitiecomputer. Deze studie maakt gebruik van een passieve dop, dus het is noodzakelijk om een extra monitor te gebruiken om de kleurindicatoren op de 64 elektroden te controleren.
   8. Open BrainVision Recorder³³ en importeer een aangepast werkruimtebestand dat de opnameparameters heeft gedefinieerd. Klik op Monitor om de impedantie te controleren. De kleurbalk, van rood naar groen, wordt beïnvloed door de ingestelde weerstandsniveaus, waarbij de doelimpedanties variëren van 0 tot 10 kΩ.
2. Voorbereiding van de deelnemers
   1. Vraag de deelnemer om rechtop in een stoel te gaan zitten. Kies een passief elektrodesysteem op gelbasis van de juiste grootte (maat 54 of 56) voor het hoofd van de deelnemer en zorg ervoor dat het elektrodesysteem correct is aangebracht volgens het 10-20-systeem^28,34.
   2. Begin met het dopen van een wegwerpwattenstaafje in de geleidende pasta en breng het aan in de gaten van de dop, zorg ervoor dat het tegen de hoofdhuid van de deelnemer wrijft. Als de overeenkomstige indicator van een elektrode groen wordt op de computer voor het verzamelen van EEG-gegevens, betekent dit dat deze met succes optimale gegevens verzamelt.
   3. Nadat de indicatieve kleur voor alle elektroden op het scherm, behalve de twee onafhankelijkzijdige elektroden, groen wordt (op het beeldscherm), brengt u de geleidende pasta aan op de zij-elektroden. Bevestig de linkerelektrode bij het linkeroog van de deelnemer, in het gebied van het onderste ooglid en de rechterelektrode bij de rechterslaap.
   4. Zodra alle elektroden groen zijn, plaatst u een elastisch net over het hoofd van de deelnemer om de EEG-dop steviger en stabieler tegen het hoofd van de deelnemer te laten passen.
   5. Rust de deelnemer uit met een bedrade hoofdtelefoon (specifieke luchtgeleidende hoofdtelefoons die in het laboratorium worden gebruikt). Sluit de deur van de elektromagnetische afscherming en leid de acties van de deelnemer via een microfoon die communicatie binnen en buiten mogelijk maakt. Bewaak bovendien de bewegingen van de deelnemer via een externe monitor, bijvoorbeeld door hen eraan te herinneren hun lichaam niet veel te bewegen; Bewaak ook de voortgang van de deelnemer in gedragstaken via een gedragsgegevensmonitor.
   6. Vraag de deelnemer om oortelefoons te dragen die via een audio-interface zijn aangesloten op de computer voor het verzamelen van gedrag.
3. Het experiment blok voor blok onafhankelijk uitvoeren
   1. Open op de computer voor het verzamelen van EEG-gegevens de BrainVision Recorder en klik op Monitor om de impedantie en Stat/Resume Recording te controleren en de opname te starten. Maak een nieuw EEG-opnamebestand aan en geef het een dienovereenkomstige naam, bijvoorbeeld 14_2, wat het tweede blok voor deelnemer nummer 14 betekent.
   2. Open het Run-experiment van het PsychoPy-programma (groene knop) voor het gedragsexperiment, voer de ID van de deelnemer (bijv. 14) en het bijbehorende bloknummer (bijv. 2) in en klik op OK om het experiment te starten.
   3. Houd nauwlettend de nauwkeurigheid van de gegevens die op het scherm worden gerapporteerd in de gaten nadat de deelnemer de controlefase op de computer met gedragsgegevens heeft voltooid. Als de nauwkeurigheid lager is dan 10 op 12, vraag de deelnemer dan om de trainingssessie opnieuw te doen totdat hij de vereiste nauwkeurigheid heeft bereikt voordat hij doorgaat naar de testfase.
   4. Let goed op de uiteindelijke nauwkeurigheid van oude versus nieuwe herkenning die op het scherm wordt gerapporteerd nadat de deelnemer de testfase van het blok heeft voltooid. Als de nauwkeurigheid uitzonderlijk laag is (bijvoorbeeld onder de 50%), informeer dan bij de deelnemer naar mogelijke redenen.
4. Post-EEG-experiment
   1. Nadat de deelnemer alle blokken heeft voltooid, nodig je hem uit om zijn haar te wassen. Reinig de EEG-dop door achtergebleven geleidende pasta met een tandenborstel te verwijderen, zorg ervoor dat de signaalconnectoren niet nat worden en wikkel ze in plastic zakken. Eenmaal schoongemaakt, hang je de EEG-dop in een goed geventileerde ruimte om te drogen.
   2. Kopieer de EEG- en gedragsgegevens naar een draagbare harde schijf en zorg ervoor dat de EEG-gegevens en gedragsgegevens overeenkomen. De EEG-gegevens worden bijvoorbeeld benoemd met twee bestanden, 14_2.eeg en 14_2.vhdr, en de gedragsgegevens als een 14_2.xlsx bestand.

4. Verwerking van EEG-gegevens

OPMERKING: De volgende beschrijvingen omvatten voorverwerking van EEG-gegevens, statistische analyse en visualisatie met behulp van MATLAB en RStudio voor batchverwerking.

1. Voorbewerking van de EEG-gegevens met MATLAB
   1. Samenvoegen van de EEG- en gedragsgegevens
      1. Aangezien deelnemers de taak mogelijk opnieuw moeten uitvoeren als ze niet de vereiste nauwkeurigheid van 10/12 of hoger bereiken, wat van invloed is op de naamgeving van EEG- en gedragsgegevens, kan bijvoorbeeld 14_2.vhdr 14_2(1).vhdr worden, standaardiseer de bestandsnamen door andere tekens dan 14_2 te verwijderen. Terwijl u de gegevens van elke deelnemer doorneemt, geeft u de gegevensbestanden een naam als sub, stripped_filename, .set, wat resulteert in bestanden zoals sub14_2.set (met metadata en links naar de EEG-dataset) en sub10_1.fdt (de daadwerkelijke EEG-gegevens) die automatisch worden opgeslagen. Hierdoor worden de bestanden 14_2.vhdr en 14_2.eeg hernoemd naar sub14_2.fdt en sub14_2.set.
      2. Gebruik de functie EEG = pop_mergeset() om de gegevens samen te voegen tot een enkel bestand voor elke deelnemer, waarbij verschillende blokgegevens in chronologische volgorde worden gecombineerd in plaats van de numerieke volgorde van blokken 1,2,3,4.
      3. Voeg meerdere gedragsgegevensbestanden samen tot één spreadsheet per deelnemer op basis van chronologische volgorde, wat essentieel is voor latere synchronisatie.
      4. Pas de code aan om proeven in de EEG-signalen te synchroniseren met proeven in de gedragssignalen. Bijvoorbeeld, testing_list = [37:108, 145:216, 253:324, 361:432] zou overeenkomen met de EEG-markeringspunten voor de vier blokken.
      5. Converteer de spreadsheet met gedragsgegevens naar een .txt-bestand, wat resulteert in een tabel met gegevens in zowel rijen als kolommen. Kolomnamen bevatten de meeste van de namen die in stap 2.1 worden genoemd.
      6. Herdefinieer de inhoud van EEG-gegevens door informatie toe te voegen aan de EEG-gegevens met behulp van code die lijkt op de volgende, bijvoorbeeld EEG = pop_importepoch(EEG, behav_txt_path, {'Epoch', 'Sound', 'Speaker', 'Gender', 'Confidence_level', 'old_new_speaker', 'same_different_prosody', 'Response'}, 'timeunit', 1, 'headerlines', 1). Dit proces voegt de bijbehorende EEG- en gedragsgegevens van elke deelnemer samen door middel van batchverwerking.
         OPMERKING: De responswaarden van 1 en 0 zijn afkomstig van gedragsgegevens, waarbij 1 staat voor een correct oordeel en 0 voor een onjuist oordeel.
   2. Voorbewerking van de EEG-gegevens
      1. Voor referentie en herverwijzing^29,35 roept u de pop_reref-functie aan om de EEG-gegevens opnieuw te verwijzen naar de FCz-elektrode, waarbij u ervoor zorgt dat elk signaal wordt berekend ten opzichte van de FCz-elektrode. Gebruik de pop_reref-functie om de EEG-gegevens opnieuw te verwijzen naar kanalen 28 en 29, die de bilaterale mastoïde elektroden vertegenwoordigen die zich op de achterste hoofdhuid bevinden, en zorg ervoor dat elk signaal wordt berekend ten opzichte van de bilaterale mastoïden.
      2. Stel een hoogdoorlaatfilter in (voor het verwijderen van lineaire trends) met EEG = pop_eegfiltnew(EEG, [], 0.1, 16500, 1, [], 0) en voer basislijncorrectie uit van -500 tot 0 ms met EEG = pop_rmbase(EEG, [-500 0]).
      3. Inspecteer handmatig slechte proeven: na het importeren van de gegevens met EEGLAB, selecteert u Plot, klikt u vervolgens op Kanaalgegevens (scroll) en stelt u het maximum van de waarde in op 50.
      4. Verwijder proeven met zichtbare spier- en andere soorten artefacten en markeer slechte elektroden: als u de muis over de golfvorm van het kanaal beweegt, wordt de elektrode weergegeven. Noteer alle slechte elektroden, keer terug naar de hoofdpagina van EEGLAB, selecteer Elektroden interpoleren onder Gereedschap, kies Selecteren uit datakanalen, selecteer de elektroden die interpolatie nodig hebben en bevestig met OK. Sla het bestand op in een nieuwe map.
      5. Voer de hoofdcomponentenanalyse (PCA) uit met EEG = pop_runica(EEG, 'extended', 1, 'pca', 30, 'interupt', 'on'). Weiger problematische ICA's handmatig, verwijder artefacten uit ogen, spieren en kanaalruis en sla het bestand vervolgens op.
      6. Gebruik de pop_eegthresh-functie om een drempelwaarde in te stellen van -75 tot +75 Hz om extreme waarden 34,36,37 te verwijderen.
      7. Pas pop_eegfiltnew toe met parameters die zijn ingesteld (de derde invoerparameter) op 30 om frequenties van 30 Hz en lager dan³⁸ te behouden.
      8. Pas de code aan om alle voorwaarden van belang weer te geven, inclusief old_new_speaker = {'oud', 'nieuw'}; same_different_prosody = {'hetzelfde', 'anders'}; Confidence_level = {'c', 'd'}; en Antwoord = {'1', '0'}. Combineer deze voorwaarden vervolgens om gegevenscombinaties zoals sub1_new_different_c_0 te maken en sla ze op als bestanden met de extensie txt.
2. ERP-analyse met RStudio
   1. Om de gegevens te ordenen, converteert u deze naar een lang formaat. Importeer alle .txt bestanden in RStudio en gebruik de rbind-functie om elk tijdelijk gegevensframe aan alldata toe te voegen, waardoor een groot gegevensframe ontstaat dat alle bestandsgegevens bevat. Wijzig de naam van de kolom Rij in alle gegevens in Tijd voor nauwkeurigheid. Gebruik de smeltfunctie om alle gegevens te converteren van breed naar lang formaat (Data_Long), waarbij elke waarneming een rij in beslag neemt en alle gerelateerde omstandigheden en kanaalinformatie bevat.
   2. Gebruik de filterfunctie van het dplyr-pakket om gegevens te selecteren die aan specifieke voorwaarden voldoen: Oordeel is 1. Bron is h. Het geheugen is oud of nieuw. Prosodie is c of d.
   3. Definieer gebieden op basis van elektrodekanalen als volgt: Linker voorste (F3, F7, FC5, F5, FT7, FC3, AF7, AF3). Links centraal (C3, T7, CP5, C5, TP7, CP3). Links posterieur (P3, P7, P5, PO7, PO3). Mediale anterieur (Fz, AFz, FC1, FC2, F1, F2, FCz). Mediaal centraal (CP1, CP2, Cz, C1, C2, CPz). Mediaal posterieur (Pz, O1, Oz, O2, P1, POz, P2). Rechter vooraan (FC6, F4, F8, FC4, F6, AF4, AF8, FT8). Rechts centraal (CP6, C4, T8, CP4, C6, TP8). Rechts achter (P4, P8, PO4, PO8, P6). Groepeer deze regio's in anterieure, centrale en posterieure regio's.
   4. Sla de werkruimte op om vervolgens gegevens te laden. Om op te slaan, gebruik setwd(); Om te laden, gebruik LOAD().
3. Statistische analyse
   1. Voor EEG-gegevensanalyse over alle elektroden filtert u de dataset om alleen relevante gegevenspunten op te nemen waarbij Oordeel 1 is, Bron h is, Geheugen oud of nieuw is, Onderwerp niet leeg is en Tijd tussen 400 en 850 ms ligt.
   2. Werk de namen van de interessegebieden (ROI) bij op basis van vooraf gedefinieerde toewijzingen. Linker voorkant, mediaal voorste en rechter voorste zijn bijvoorbeeld voor anterieur.
   3. Pas een lineair model met gemengde effecten toe aan de gegevens met behulp van lmer uit het lme4-pakket³⁹, met Voltage als de responsvariabele en Geheugen en ROI als vaste effecten, inclusief willekeurige onderscheppingen voor Onderwerp en Kanaal: fit_time_window <- lmer(Voltage ~ Geheugen * ROI + (1|Onderwerp) + (1| kanaal), data=DATA). Vervang DATA herhaaldelijk door gecombineerde, alleen zelfverzekerde en twijfelachtige gegevens. Zie een voorbeeldcode op OSF³².
      1. Verkrijg de analyseresultaten van het aangepaste model: anova(fit_time_window), eta_squared(fit_time_window) en emmeans(fit_time_window, specs = paarsgewijs ~ Geheugen * ROI, adjust = "Tukey").
   4. Voor EEG-data-analyse in Pz volg je bij het filteren van de dataset dezelfde stappen als hierboven, maar voeg je ook de voorwaarde Channel == 'ChPz' toe. Herhaal het bovenstaande proces, maar gebruik lmer(Voltage ~ Geheugen + (1|Onderwerp)) om Pz-gegevens van 400 tot 850 ms te analyseren.
   5. Om ERP's in de Pz te plotten (herhaal dit over de gecombineerde, alleen zelfverzekerde en twijfelachtige alleen dataset), filtert u de dataset om alleen relevante gegevenspunten op te nemen waarbij Oordeel 1 is, Bron h is, Geheugen oud of nieuw is en Onderwerp niet leeg is.
      1. Definieer een vector met meerdere elektrodepunten (inclusief Pz) en voorvoegsel deze met Ch om overeen te komen met de kanaalnaamgevingsconventie in de gegevens. Selecteer Pz uit.
      2. Geef het tijdvenster voor ERP-analyse op: time_window <- c(400, 850). Definieer de elektrode die van belang is, in dit geval Pz. Lus door de geselecteerde elektrode en maak plots zoals hieronder beschreven.
         1. Filter de gegevens voor de Pz-elektrode met behulp van een filter (kanaal == k) om de relevante gegevenspunten te isoleren.
         2. Maak een interactiefactor voor lijntype en kleur op basis van de geheugenconditie met behulp van interaction(current_channel_data$Memory) en label de condities als Oud en Nieuw.
         3. Bereken samenvattende statistieken en standaardfouten voor de spanningsmetingen in de loop van de tijd met behulp van de summarySEwithin-functie, waarbij Voltage wordt opgegeven als de meetvariabele en Tijd als de binnenvariabele .
         4. Genereer de ERP-plot voor de Pz-elektrode door een achtergrond toe te voegen voor het opgegeven tijdvenster met behulp van geom_rect met de parameters xmin, xmax, ymin en ymax. Voeg standaard foutlinten toe met geom_ribbon en teken de gemiddelde spanning met geom_line. Pas het uiterlijk en de labels van de plot aan met behulp van functies zoals scale_x_continuous, scale_y_reverse, scale_linetype_manual, scale_fill_manual en scale_color_manual.
      3. Gebruik theme_minimal voor het basisthema en pas de tekstgrootte en de plaatsing van legenda's verder aan met het thema.
4. Topografie plotten met MATLAB
   1. Importeer gegevens en stel voorwaarden in, definieer de lijst met onderwerpen van 1 tot 40 met subject_list = 1:40. Definieer twee lege celmatrices om gegevens op te slaan voor de juiste classificatie van oude en nieuwe voorwaarden: "human_timelocked_old_correct = {}; human_timelocked_new_correct = {}. Doorloop de lijst met onderwerpen, importeer de gegevens van elk onderwerp en filter deze op basis van voorwaarden.
   2. Extraheer gebeurtenisinformatie uit onbewerkte EEGLAB-gegevens en selecteer alleen gebeurtenissen waarbij de respons gelijk is aan 1. Selecteer proeven met een bron gelijk aan h en werk de gegevensstructuur dienovereenkomstig bij. Scheid gegevens voor oude en nieuwe omstandigheden, beperkt tot het corrigeren van proeven met Bron h, en voer een tijdslotanalyse uit.
      1. Bereken het algemeen gemiddelde voor zowel oude als nieuwe omstandigheden: cfg = []; grandavg_old_correct = ft_timelockgrandaverage(cfg, human_timelocked_old_correct{:}); grandavg_new_correct = ft_timelockgrandaverage(cfg, human_timelocked_new_correct{:}).
   3. Voer de permutatietest uit zoals hieronder beschreven.
      1. Definieer de buurconfiguratie met behulp van een opgegeven lay-outbestand: cfg_neigh = []; cfg_neigh.method = 'afstand'; cfg_neigh.layout = 'path_to_layout_file'; buren = ft_prepare_neighbours(cfg_neigh).
      2. Configureer parameters voor de permutatietest, inclusief de ontwerpmatrix en statistische methode: cfg = []; cfg.method = 'montecarlo'; cfg.statistic = 'ft_statfun_indepsamplesT'; cfg.correctm = 'cluster'; cfg.clusteralpha = 0,05; cfg.clusterstatistic = 'maxsum'; cfg.minnbchan = 2; cfg.tail = 0; cfg.clustertail = 0; cfg.alpha = 0,05; cfg.numrandomisatie = 1000; cfg.buren = buren; cfg.design = [2*enen(1; lengte(human_timelocked_new_correct)) enen(1; lengte(human_timelocked_old_correct))]; cfg.ivar = 1. Zie ook de volgende link (https://www.fieldtriptoolbox.org/tutorial/cluster_permutation_freq/) voor tutorials over het gebruik van Fieldtrip⁴⁰.
      3. Voer de statistische test uit op de gemiddelde gegevens voor oude en nieuwe omstandigheden: stat = ft_timelockstatistics(cfg, human_timelocked_old_correct{:}, human_timelocked_new_correct{:}).
   4. Voer aangepaste intervalplotten uit zoals hieronder beschreven.
      1. Bereken het verschil tussen de twee voorwaarden: cfg = []; cfg.operation = 'aftrekken'; cfg.parameter = 'gem.'; grandavg_difference = ft_math(cfg, grandavg_old_correct, grandavg_new_correct).
      2. Definieer tijdvensters: time_windows = { [0.500, 0.800] % LPC}.
      3. Maak een figuur en plot het verschil tussen condities met ft_topoplotER(cfg_plot, grandavg_difference).

Results

Het klassieke oud/nieuw-effect wordt gekenmerkt door een significante toename van de hersenactiviteit van luisteraars op de Pz-elektrode (tussen 300 en 700 ms) wanneer de spraakinhoud van de testsessie overeenkomt met die van de trainingssessie, met name in de oude sprekersconditie in vergelijking met de nieuwe sprekersconditie²². Het protocol onthult een bijgewerkte versie van dit effect: ten eerste worden grotere positieve trends waargenomen in de Pz-elektrode en over het hele hersengebied voor de oude aandoening in vergelijking met de nieuwe prateraandoening tussen 400 en 850 ms. Ten tweede zal de spraakinhoud in de testsessie verschillen van die van de trainingssessie. Ten derde wordt verwacht dat zowel zelfverzekerde als twijfelachtige spraakprosodie-condities deze trends zullen vertonen. Ten slotte is het oude/nieuwe effect meer uitgesproken in twijfelachtige toestand tijdens de testsessie (Figuur 2).

De LMER-analyse met de formule

lmer(Spanning ~ Geheugen * ROI + (1|Onderwerp) + (1|Kanaal))

suggereert dat zowel geheugentypen (oud versus nieuw) als ROI de belangrijkste effecten hebben, evenals een interactie tussen geheugen en ROI (Tabel 1). Verdere post-hoc analyse toonde aan dat in alle hersengebieden de oude toestand een grotere positieve spanning vertoont dan de twijfelachtige toestand, ook in de voorste, centrale en achterste gebieden (Tabel 2). Vergelijking van de bètawaarden suggereert dat het oude/nieuwe effect meer uitgesproken was bij centrale en achterste elektroden dan bij voorste elektroden: voor de gecombineerde dataset - anterieure β = .40, centrale β = .63 en posterieure β = .60; voor de zelfverzekerde dataset - Anterior β = .61, Central β = .63 en Posterior β = .76, en voor de twijfelachtige dataset - Anterior β = .44, Central β = .87 en Posterior β = .69. De betrokkenheid van centrale en posterieure elektroden was het meest merkbaar in de twijfelachtige prosodietoestand.

Met de formule

lmer(Spanning ~ Geheugen + (1|Onderwerp))

we bevestigden het bestaan van oude/nieuwe effecten in de Pz-elektrode. Bij de Pz-elektrode werd een hoofdeffect van geheugen (oud versus nieuw) waargenomen (F(1, 69341.99) = 120.46, p < .001, η²_p = .002, β = .425, SE = .039, z-ratio = 10.98, p < .001). In de toestand met alleen vertrouwen werd een hoofdeffect van geheugen (oud versus nieuw) waargenomen bij de Pz-elektrode (F(1, 34318.32) = 5.04, p = .025, η²_p = .0001, β = .125, SE = .056, z-ratio = 2.25, p = .025). In de twijfelachtige toestand werd een hoofdeffect van het geheugen (oud versus nieuw) waargenomen bij de Pz-elektrode (F(1, 34993.20) = 317.02, p < .001, η²_p = .009, β = .914, SE = .051, z-ratio = 17.81, p < .001).

Figuur 1: Workflow van de gegevensverzameling voor elk blok. In (A) Training horen luisteraars een stem en associëren ze de naam die vervolgens wordt gepresenteerd ermee. Drie oude praters zijn nodig om herinnerd te worden. De taal die in het programma verscheen was oorspronkelijk Chinees. De A en C staan voor namen als Xiao (Junior) ZHANG. Bij (B) Controle identificeren luisteraars de naam van de spreker bij het horen van een stem door op 1, 2 of 3 op het numerieke toetsenblok te drukken om de stemidentiteit te associëren met namen zoals Xiao ZHAO. Bij (C) Testen horen luisteraars een stem en classificeren deze als uitgesproken door de oude of nieuwe spreker. Zoals geïllustreerd in (D) Prosody Design, leren luisteraars dat drie praters alleen zelfverzekerd of twijfelachtig uitdrukken, maar dat ze zes praters zowel zelfverzekerd als twijfelachtig horen spreken. Het uiterlijk van versie A of B sluit elkaar uit. Als versie A wordt weergegeven met een mannelijke of vrouwelijke luidspreker, verschijnt versie B met de overeenkomstige vrouwelijke of mannelijke luidspreker. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2: Het oude/nieuwe effect. (A, B, C) Figuren tonen de grijs aangegeven ERP van Pz-elektroden van 400 tot 850 ms voor respectievelijk de prosodie-gecombineerde, confident-only en doubtful-only condities. (D, E, F) Figuren illustreren de topografie van de oude minus nieuwe toestand over alle elektroden (afgebeeld als zwarte stippen) voor de prosodie-gecombineerde, confident-only en twijfelachtige condities. Klik hier om een grotere versie van deze figuur te bekijken.

Context	Hersengebied	F-waarde	Pr(>F)	Eta2_partial
Gecombineerd	Geheugen	9938.98	.00	.00
	ROI	4.13	.02	.13
	Geheugen:ROI	182.37	.00	.00
Zelfverzekerd	Geheugen	7291.22	.00	.00
	ROI	3.60	.03	.12
	Geheugen:ROI	41.94	.00	.00
Twijfelachtig	Geheugen	8333.38	.00	.00
	ROI	4.65	.01	.15
	Geheugen:ROI	290.15	.00	.00

Tabel 1: Resultaten van LMER-analyse voor oud/nieuw effect in hersengebieden: gecombineerde, zelfverzekerde en twijfelachtige datasets. Met behulp van post-hocanalyse, * significant bij p < .05, ** significant bij p < .01, *** significant bij p < .001.

Context	Hersengebied	Tegenstelling	Schatten	SE	z	p
Gecombineerd	Anterior	oud-nieuw	.40	.01	43.70	.00***
	Centraal	oud-nieuw	.63	.01	61.74	.00***
	Zitvlak	oud-nieuw	.60	.01	67.51	.00***
Zelfverzekerd	Anterior	oud-nieuw	.61	.01	46.63	.00***
	Centraal	oud-nieuw	.63	.01	43.22	.00***
	Zitvlak	oud-nieuw	.76	.01	59.95	.00***
Twijfelachtig	Anterior	oud-nieuw	.44	.01	35.95	.00***
	Centraal	oud-nieuw	.87	.01	64.05	.00***
	Zitvlak	oud-nieuw	.69	.01	57.75	.00***

Tabel 2: Post-hoc testresultaten voor oude/nieuwe effecten in hersengebieden: gecombineerde, zelfverzekerde en twijfelachtige datasets. Met behulp van post-hoc analyse, significant bij p < .001 (***).

Discussion

De studie presenteert een pijplijn voor het verzamelen en analyseren van EEG-gegevens, gericht op het herkennen van eerder geleerde sprekersidentiteiten. Deze studie richt zich op variaties tussen leer- en herkenningsfasen, waaronder verschillen in spraakinhoud²² en prosodie¹⁰. Het ontwerp is aanpasbaar aan een reeks onderzoeksgebieden, waaronder psycholinguïstiek, zoals voornaamwoord- en anaforische verwerking⁴¹.

Het trainings-testparadigma is een klassiek experimenteel ontwerp dat wordt gebruikt om de leerresultaten van deelnemers over specifieke onderwerpen zoals spraakleren^{te beoordelen 42,43}. Dit paradigma evalueert hoe goed deelnemers bepaalde informatie hebben geleerd (zoals weerspiegeld in nauwkeurigheid)¹⁰. Het stelt onderzoekers in staat om variabelen stapsgewijs te introduceren onder gecontroleerde experimentele omstandigheden, zoals verschillende prosodieën tijdens trainings- en testfasen, om hun invloed op de nauwkeurigheid van spraakherkenning te begrijpen, bijvoorbeeld VTL/F0 gemoduleerde stemmen²³, angstig versus neutraal¹⁰, of twijfelachtig versus zelfverzekerd in deze studie.

Het paradigma heeft echter beperkingen. De verschillen tussen de leer- en toetsomgevingen kunnen van invloed zijn op de validiteit van experimentele resultaten, aangezien gecontroleerde leeromstandigheden mogelijk niet de meer variabele testomstandigheden weerspiegelen. De trainingssessie maakt bijvoorbeeld gebruik van een enkele prosodie in plaats van een evenredig verschil, zoals 30% versus 70%⁴⁴. Om deze onevenwichtigheid aan te pakken, zou het zorgen voor een meer diverse leeromgeving beter kunnen repliceren van real-life scenario's waarin sprekers gevarieerde prosodieën gebruiken tijdens de interactie met luisteraars. Bovendien erkent deze studie dat de complexiteit van het experimentele ontwerp, met meerdere fasen en geavanceerd programmeren (met behulp van tools zoals R Studio, MATLAB en Python), een uitdaging kan zijn voor nieuwkomers.

Het primaire inzicht benadrukt het belang van een adequate inwerkperiode en een controlefase. Het werk van Xu en Armony benadrukt dat luisteraars moeite hebben om oude sprekersidentiteiten te identificeren zonder voldoende training en controles boven kansniveau¹⁰. Bovendien ontdekten Zaske et al. dat het LPC oud/nieuw-effect alleen aanwezig was wanneer dezelfde tekst werd herhaald, niet met andere tekst²². In deze studie toonde de implementatie van een controlefase de persistentie van het oude/nieuwe ERP-effect aan, zelfs met verschillende tekststimuli, wat de beweringen van de fMRI-studies ondersteunt²¹. De studie suggereert dat, voor op training gebaseerde paradigma's, het invoegen van een controlesessie van cruciaal belang is. Het stelt luisteraars in staat om een robuuste indruk te vormen van de akoestische identiteit van de spreker, door een spreker te associëren met een specifiek symbool, zoals een naam²³. Zonder voldoende kennis van de representatie van de spreker, kunnen luisteraars moeite hebben om zich aan te passen aan variaties in de spreker¹⁰.

Deze studie observeerde ook de rol van prosodie als een bindende aanwijzing voor sprekerherkenning⁴⁵. In tegenstelling tot eerdere opvattingen dat prosodie de herkenning van oude praters kan belemmeren, vond deze studie het oude/nieuwe effect aanwezig bij zelfverzekerde en twijfelachtige prosodie-aandoeningen. Dit robuuste effect suggereert een modulerende rol van prosodie bij de herkenning van sprekers. Verdere analyse onthulde verschillen in activering van het voorste gebied tussen prosodie-aandoeningen. Zelfverzekerde prosodie veroorzaakte lagere niveaus van het oude/nieuwe effect in voorste regio's in vergelijking met twijfelachtige prosodie. Deze bevinding suggereert dat zelfverzekerde spraak de identificatie van de spreker uitdagender kan maken vanwege de langere lengte van het stemkanaal en de verlaagde fundamentele frequentie, wat mogelijk leidt tot meer aandacht van luisteraars^11,29.

De opzet van deze studie kan toekomstige onderzoeken naar herkenningsstoornissen in patiëntenpopulaties, zoals die met prosopagnosie of fonagnosie^46,47 informeren. Bovendien kunnen aanpassingen om tegemoet te komen aan deelnemers met een kortere aandachtsspanne, zoals personen met autismespectrumstoornissen⁴⁸, de toegankelijkheid van de studie verbeteren.

Bovendien gaat het paradigma verder dan de herkenning van de spreker en onderzoekt het de verwerking van voornaamwoorden en anaforisch begrip binnen psycholinguïstisch onderzoek. Coopmans en Nieuwland⁴¹ laten zien hoe neurale oscillerende synchronisatiepatronen onderscheid maken tussen antecedente activering en integratie in anaforbegrip, wat aansluit bij de verkenning van deze studie van identiteitsgerelateerde signalen. Aanwijzingen omvatten zowel communicatieve stijlen (bijv. letterlijke of ironische uitspraken), woordvolgordes (Onderwerp-Object-Werkwoord (SOV) of Object-Onderwerp-Werkwoord (OSV) zinsbouw 44,45,49,50) en vocale uitdrukkingstypen (zelfverzekerde versus twijfelachtige prosodie) in dit artikel.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
64Ch Standard BrainCap for BrainAmp	Easycap GmbH	Steingrabenstrasse 14 DE-82211	https://shop.easycap.de/products/64ch-standard-braincap
Abrasive Electrolyte-Gel	Easycap GmbH	Abralyt 2000	https://shop.easycap.de/products/abralyt-2000
actiCHamp Plus	Brain Products GmbH	64 channels + 8 AUX	https://www.brainproducts.com/solutions/actichamp/
Audio Interface	Native Instruments GmbH	Komplete audio 6	https://www.native-instruments.com/en/products/komplete/audio-interfaces/komplete-audio-6/
Foam Eartips	Neuronix	ER3-14	https://neuronix.ca/products/er3-14-foam-eartips
Gel-based passive electrode system	Brain Products GmbH	BC 01453	https://www.brainproducts.com/solutions/braincap/
High-Viscosity Electrolyte Gel	Easycap GmbH	SuperVisc	https://shop.easycap.de/products/supervisc