Name: Op memorisatie gebaseerd trainings- en testparadigma voor robuuste vocale identiteitsherkenning in expressieve spraak met behulp van gebeurtenisgerelateerde potentialenanalyse (Video) | JoVE Journal
Uploaded: 2024-08-09T13:40:00.000+00:00
Duration: 5 min 48 s
Description: Leer een op memorisatie gebaseerd trainings- en testparadigma voor vocale identiteitsherkenning met ERP-analyse. Deze methode onthult hoe emotionele prosodie de stemherkenning beïnvloedt.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Dit werk werd ondersteund door de Natural Science Foundation of China (Grant No. 31971037); het Shuguang-programma dat wordt ondersteund door de Shanghai Education Development Foundation en het Shanghai Municipal Education Committee (subsidie nr. 20SG31); de Natuurwetenschappelijke Stichting van Shanghai (22ZR1460200); het Supervisor Guidance Program van de Shanghai International Studies University (2022113001); en het grote programma van de National Social Science Foundation of China (subsidie nr. 18ZDA293).

EEG-onderzoek naar het herkennen van bekende sprekers in expressieve spraak

<ol><li>Larrouy-Maestri, P., Poeppel, D., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+sound+of+emotional+prosody%3A+Nearly+3+decades+of+research+and+future+directions%5BTitle%5D)+AND+%22Perspect+Psychol+Sci%22%5BJournal%5D)">The sound of emotional prosody: Nearly 3 decades of research and future directions.</a> Perspect Psychol Sci. , 17456916231217722(2024).</li>
<li>Pell, M. D., Kotz, S. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comment%3A+The+next+frontier%3A+Prosody+research+gets+interpersonal%5BTitle%5D)+AND+%22Emotion+Rev%22%5BJournal%5D)">Comment: The next frontier: Prosody research gets interpersonal.</a> Emotion Rev. 13 (1), 51-56 (2021).</li>
<li>Cummins, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multilingual+markers+of+depression+in+remotely+collected+speech+samples%3A+A+preliminary+analysis%5BTitle%5D)+AND+%22J+Affect+Disor%22%5BJournal%5D)">Multilingual markers of depression in remotely collected speech samples: A preliminary analysis.</a> J Affect Disor. 341, 128-136 (2023).</li>
<li>Cummins, N., Baird, A., Schuller, B. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Speech+analysis+for+health%3A+Current+state-of-the-art+and+the+increasing+impact+of+deep+learning%5BTitle%5D)+AND+%22Methods%22%5BJournal%5D)">Speech analysis for health: Current state-of-the-art and the increasing impact of deep learning.</a> Methods. 151, 41-54 (2018).</li>
<li>Kennedy, E., Thibeault, S. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Voice-gender+incongruence+and+voice+health+information-seeking+behaviors+in+the+transgender+community%5BTitle%5D)+AND+%22Am+J+Speech-language+Pathol%22%5BJournal%5D)">Voice-gender incongruence and voice health information-seeking behaviors in the transgender community.</a> Am J Speech-language Pathol. 29 (3), 1563-1573 (2020).</li>
<li>Zäske, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Electrophysiological+correlates+of+voice+memory+for+young+and+old+speakers+in+young+and+old+listeners%5BTitle%5D)+AND+%22Neuropsychologia%22%5BJournal%5D)">Electrophysiological correlates of voice memory for young and old speakers in young and old listeners.</a> Neuropsychologia. 116, 215-227 (2018).</li>
<li>Lavan, N., Burton, A. M., Scott, S. K., Mcgettigan, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Flexible+voices%3A+Identity+perception+from+variable+vocal+signals%5BTitle%5D)+AND+%22Psychonomic+Bullet+Rev%22%5BJournal%5D)">Flexible voices: Identity perception from variable vocal signals.</a> Psychonomic Bullet Rev. 26, 90-102 (2019).</li>
<li>Perrachione, T. K., Del Tufo, S. N., Gabrieli, J. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Human+voice+recognition+depends+on+language+ability%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Human voice recognition depends on language ability.</a> Science. 333 (6042), 595-595 (2011).</li>
<li>Lavan, N., Knight, S., Mcgettigan, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Listeners+form+average-based+representations+of+individual+voice+identities%5BTitle%5D)+AND+%22Nat+Comm%22%5BJournal%5D)">Listeners form average-based representations of individual voice identities.</a> Nat Comm. 10 (1), 2404(2019).</li>
<li>Xu, H., Armony, J. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Influence+of+emotional+prosody%2C+content%2C+and+repetition+on+memory+recognition+of+speaker+identity%5BTitle%5D)+AND+%22Quart+J+Exp+Psychol%22%5BJournal%5D)">Influence of emotional prosody, content, and repetition on memory recognition of speaker identity.</a> Quart J Exp Psychol. 74 (7), 1185-1201 (2021).</li>
<li>Jiang, X., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+sound+of+confidence+and+doubt%5BTitle%5D)+AND+%22Speech+Comm%22%5BJournal%5D)">The sound of confidence and doubt.</a> Speech Comm. 88, 106-126 (2017).</li>
<li>Winters, S. J., Levi, S. V., Pisoni, D. B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Identification+and+discrimination+of+bilingual+talkers+across+languages%5BTitle%5D)+AND+%22J+Acoustical+Soci+Am%22%5BJournal%5D)">Identification and discrimination of bilingual talkers across languages.</a> J Acoustical Soci Am. 123 (6), 4524-4538 (2008).</li>
<li>Orena, A. J., Polka, L., Theodore, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Identifying+bilingual+talkers+after+a+language+switch%3A+Language+experience+matters%5BTitle%5D)+AND+%22J+Acoustical+Soc+Am%22%5BJournal%5D)">Identifying bilingual talkers after a language switch: Language experience matters.</a> J Acoustical Soc Am. 145 (4), EL303-EL309 (2019).</li>
<li>Xie, X., Myers, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+impact+of+musical+training+and+tone+language+experience+on+talker+identification%5BTitle%5D)+AND+%22J+Acoustical+Soc+Am%22%5BJournal%5D)">The impact of musical training and tone language experience on talker identification.</a> J Acoustical Soc Am. 137 (1), 419-432 (2015).</li>
<li>Kadam, M. A., Orena, A. J., Theodore, R. M., Polka, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Reading+ability+influences+native+and+non-native+voice+recognition%2C+even+for+unimpaired+readers%5BTitle%5D)+AND+%22J+Acoustical+Soc+Am%22%5BJournal%5D)">Reading ability influences native and non-native voice recognition, even for unimpaired readers.</a> J Acoustical Soc Am. 139 (1), EL6-EL12 (2016).</li>
<li>Fleming, D., Giordano, B. L., Caldara, R., Belin, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+language-familiarity+effect+for+speaker+discrimination+without+comprehension%5BTitle%5D)+AND+%22Proc+Natl+Acad+Sci%22%5BJournal%5D)">A language-familiarity effect for speaker discrimination without comprehension.</a> Proc Natl Acad Sci. 111 (38), 13795-13798 (2014).</li>
<li>White, K. S., Yee, E., Blumstein, S. E., Morgan, J. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Adults+show+less+sensitivity+to+phonetic+detail+in+unfamiliar+words%2C+too%5BTitle%5D)+AND+%22J+Memory+Lang%22%5BJournal%5D)">Adults show less sensitivity to phonetic detail in unfamiliar words, too.</a> J Memory Lang. 68 (4), 362-378 (2013).</li>
<li>Levi, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Methodological+considerations+for+interpreting+the+language+familiarity+effect+in+talker+processing%5BTitle%5D)+AND+%22Wiley+Interdiscip+Revi%3A+Cognitive+Sci%22%5BJournal%5D)">Methodological considerations for interpreting the language familiarity effect in talker processing.</a> Wiley Interdiscip Revi: Cognitive Sci. 10 (2), e1483(2019).</li>
<li>Perrachione, T. K. Recognizing Speakers Across Languages. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aPerrachione%2C+TK+%22The+Oxford+Handbook+of+Voice+Perception%22">The Oxford Handbook of Voice Perception</a>. Frühholz, S., Belin, P. , Oxford University Press. 515-538 (2018).</li>
<li>Lavan, N., Burton, A. M., Scott, S. K., Mcgettigan, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Flexible+voices%3A+Identity+perception+from+variable+vocal+signals%5BTitle%5D)+AND+%22Psychonomic+Bullet+Rev%22%5BJournal%5D)">Flexible voices: Identity perception from variable vocal signals.</a> Psychonomic Bullet Rev. 26 (1), 90-102 (2019).</li>
<li>Zäske, R., Hasan, B. aS., Belin, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((It+doesn%27t+matter+what+you+say%3A+Fmri+correlates+of+voice+learning+and+recognition+independent+of+speech+content%5BTitle%5D)+AND+%22Cortex%22%5BJournal%5D)">It doesn't matter what you say: Fmri correlates of voice learning and recognition independent of speech content.</a> Cortex. 94, 100-112 (2017).</li>
<li>Zäske, R., Volberg, G., Kovács, G., Schweinberger, S. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Electrophysiological+correlates+of+voice+learning+and+recognition%5BTitle%5D)+AND+%22J+Neurosci%22%5BJournal%5D)">Electrophysiological correlates of voice learning and recognition.</a> J Neurosci. 34 (33), 10821-10831 (2014).</li>
<li>Lavan, N., Knight, S., Mcgettigan, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Listeners+form+average-based+representations+of+individual+voice+identities%5BTitle%5D)+AND+%22Nat+Comm%22%5BJournal%5D)">Listeners form average-based representations of individual voice identities.</a> Nat Comm. 10 (1), 1-9 (2019).</li>
<li>Chen, W., Jiang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Voice-Cloning+Artificial-Intelligence+Speakers+Can+Also+Mimic+Human-Specific+Vocal+Expression%5BTitle%5D)+AND+%22Preprints%22%5BJournal%5D)">Voice-Cloning Artificial-Intelligence Speakers Can Also Mimic Human-Specific Vocal Expression.</a> Preprints. , 10.20944/preprints202312.0807.v1 (2023).</li>
<li>Pisanski, K., Anikin, A., Reby, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Vocal+size+exaggeration+may+have+contributed+to+the+origins+of+vocalic+complexity%5BTitle%5D)+AND+%22Philosoph+Trans+Royal+Soc+B%22%5BJournal%5D)">Vocal size exaggeration may have contributed to the origins of vocalic complexity.</a> Philosoph Trans Royal Soc B. 377 (1841), 20200401(2022).</li>
<li>Belin, P., Fecteau, S., Bedard, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Thinking+the+voice%3A+Neural+correlates+of+voice+perception%5BTitle%5D)+AND+%22Trend+Cognitive+Sci%22%5BJournal%5D)">Thinking the voice: Neural correlates of voice perception.</a> Trend Cognitive Sci. 8 (3), 129-135 (2004).</li>
<li>Boersma, P., Weenink, D. Praat: doing phonetics by computer. , Available from: 
 <a target="_blank" href="https://www.fon.hum.uva.nl/praat/">https://www.fon.hum.uva.nl/praat/</a> (2022).</li>
<li>Jiang, X., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((On+how+the+brain+decodes+vocal+cues+about+speaker+confidence%5BTitle%5D)+AND+%22Cortex%22%5BJournal%5D)">On how the brain decodes vocal cues about speaker confidence.</a> Cortex. 66, 9-34 (2015).</li>
<li>Jiang, X., Gossack-Keenan, K., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((To+believe+or+not+to+believe%3F+How+voice+and+accent+information+in+speech+alter+listener+impressions+of+trust%5BTitle%5D)+AND+%22Quart+J+Exp+Psychol%22%5BJournal%5D)">To believe or not to believe? How voice and accent information in speech alter listener impressions of trust.</a> Quart J Exp Psychol. 73 (1), 55-79 (2020).</li>
<li>Rigoulot, S., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Seeing+emotion+with+your+ears%3A+Emotional+prosody+implicitly+guides+visual+attention+to+faces%5BTitle%5D)+AND+%22PloS+One%22%5BJournal%5D)">Seeing emotion with your ears: Emotional prosody implicitly guides visual attention to faces.</a> PloS One. 7 (1), e30740(2012).</li>
<li>Cui, X., Jiang, X., Ding, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Affective+prosody+guides+facial+emotion+processing%5BTitle%5D)+AND+%22Curr+Psychol%22%5BJournal%5D)">Affective prosody guides facial emotion processing.</a> Curr Psychol. 42 (27), 23891-23902 (2023).</li>
<li>Chen, W., Jiang, X. Memorization-based training and testing paradigm for robust vocal identity recognition in expressive speech using event-related potentials analysis. , Available from: 
 <a target="_blank" href="https://osf.io/6zu83/">https://osf.io/6zu83/</a> (2024).</li>
<li>Gmbh, B. P. Brainvision recorder. , Available from: 
 <a target="_blank" href="https://www.brainproducts.com/downloads/recorder/">https://www.brainproducts.com/downloads/recorder/</a> (2024).</li>
<li>Jiang, X., Paulmann, S., Robin, J., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((More+than+accuracy%3A+Nonverbal+dialects+modulate+the+time+course+of+vocal+emotion+recognition+across+cultures%5BTitle%5D)+AND+%22J+Exp+Psychol%22%5BJournal%5D)">More than accuracy: Nonverbal dialects modulate the time course of vocal emotion recognition across cultures.</a> J Exp Psychol. 41 (3), 597(2015).</li>
<li>Jiang, X., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+feeling+of+another%27s+knowing%3A+How+%26%2334%3Bmixed+messages%26%2334%3B+in+speech+are+reconciled%5BTitle%5D)+AND+%22J+Exp+Psychol%22%5BJournal%5D)">The feeling of another's knowing: How &#34;mixed messages&#34; in speech are reconciled.</a> J Exp Psychol. 42 (9), 1412(2016).</li>
<li>Zhou, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Semantic+integration+processes+at+different+levels+of+syntactic+hierarchy+during+sentence+comprehension%3A+An+erp+study%5BTitle%5D)+AND+%22Neuropsychologia%22%5BJournal%5D)">Semantic integration processes at different levels of syntactic hierarchy during sentence comprehension: An erp study.</a> Neuropsychologia. 48 (6), 1551-1562 (2010).</li>
<li>Jiang, X., Tan, Y., Zhou, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Processing+the+universal+quantifier+during+sentence+comprehension%3A+Erp+evidence%5BTitle%5D)+AND+%22Neuropsychologia%22%5BJournal%5D)">Processing the universal quantifier during sentence comprehension: Erp evidence.</a> Neuropsychologia. 47 (8-9), 1799-1815 (2009).</li>
<li>Acunzo, D. J., Mackenzie, G., Van Rossum, M. C. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Systematic+biases+in+early+erp+and+erf+components+as+a+result+of+high-pass+filtering%5BTitle%5D)+AND+%22J+Neurosci+Meth%22%5BJournal%5D)">Systematic biases in early erp and erf components as a result of high-pass filtering.</a> J Neurosci Meth. 209 (1), 212-218 (2012).</li>
<li>Bates, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fitting+linear+mixed+models+in+r%5BTitle%5D)+AND+%22R%22%5BJournal%5D)">Fitting linear mixed models in r.</a> R. 5 (1), 27-30 (2005).</li>
<li>Oostenveld, R., Fries, P., Maris, E., Schoffelen, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fieldtrip%3A+Open+source+software+for+advanced+analysis+of+meg%2C+eeg%2C+and+invasive+electrophysiological+data%5BTitle%5D)+AND+%22Computat+Intelligence+Neurosci%22%5BJournal%5D)">Fieldtrip: Open source software for advanced analysis of meg, eeg, and invasive electrophysiological data.</a> Computat Intelligence Neurosci. 2011, 1-9 (2011).</li>
<li>Coopmans, C. W., Nieuwland, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Dissociating+activation+and+integration+of+discourse+referents%3A+Evidence+from+erps+and+oscillations%5BTitle%5D)+AND+%22Cortex%22%5BJournal%5D)">Dissociating activation and integration of discourse referents: Evidence from erps and oscillations.</a> Cortex. 126, 83-106 (2020).</li>
<li>Humble, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+jena+voice+learning+and+memory+test+%28jvlmt%29%3A+A+standardized+tool+for+assessing+the+ability+to+learn+and+recognize+voices%5BTitle%5D)+AND+%22Behavior+Res+Meth%22%5BJournal%5D)">The jena voice learning and memory test (jvlmt): A standardized tool for assessing the ability to learn and recognize voices.</a> Behavior Res Meth. 55 (3), 1352-1371 (2023).</li>
<li>Holmes, E., To, G., Johnsrude, I. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((How+long+does+it+take+for+a+voice+to+become+familiar%3F+Speech+intelligibility+and+voice+recognition+are+differentially+sensitive+to+voice+training%5BTitle%5D)+AND+%22Psychol+Sci%22%5BJournal%5D)">How long does it take for a voice to become familiar? Speech intelligibility and voice recognition are differentially sensitive to voice training.</a> Psychol Sci. 32 (6), 903-915 (2021).</li>
<li>Kroczek, L. O. H., Gunter, T. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Communicative+predictions+can+overrule+linguistic+priors%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Communicative predictions can overrule linguistic priors.</a> Sci Rep. 7 (1), 17581(2017).</li>
<li>Kroczek, L. O. H., Gunter, T. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+time+course+of+speaker-specific+language+processing%5BTitle%5D)+AND+%22Cortex%22%5BJournal%5D)">The time course of speaker-specific language processing.</a> Cortex. 141, 311-321 (2021).</li>
<li>Schroeger, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Atypical+prosopagnosia+following+right+hemispheric+stroke%3A+A+23-year+follow-up+study+with+mt%5BTitle%5D)+AND+%22Cognitive+Neuropsychol%22%5BJournal%5D)">Atypical prosopagnosia following right hemispheric stroke: A 23-year follow-up study with mt.</a> Cognitive Neuropsychol. 39 (3-4), 196-207 (2022).</li>
<li>Garrido, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Developmental+phonagnosia%3A+A+selective+deficit+of+vocal+identity+recognition%5BTitle%5D)+AND+%22Neuropsychologia%22%5BJournal%5D)">Developmental phonagnosia: A selective deficit of vocal identity recognition.</a> Neuropsychologia. 47 (1), 123-131 (2009).</li>
<li>Schelinski, S., Borowiak, K., Von Kriegstein, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Temporal+voice+areas+exist+in+autism+spectrum+disorder+but+are+dysfunctional+for+voice+identity+recognition%5BTitle%5D)+AND+%22Social+Cognitive+Affective+Neurosci%22%5BJournal%5D)">Temporal voice areas exist in autism spectrum disorder but are dysfunctional for voice identity recognition.</a> Social Cognitive Affective Neurosci. 11 (11), 1812-1822 (2016).</li>
<li>Holle, H., Gunter, T. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+iconic+gestures+in+speech+disambiguation%3A+Erp+evidence%5BTitle%5D)+AND+%22J+Cognitive+Neurosci%22%5BJournal%5D)">The role of iconic gestures in speech disambiguation: Erp evidence.</a> J Cognitive Neurosci. 19 (7), 1175-1192 (2007).</li>
<li>Regel, S., Coulson, S., Gunter, T. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+communicative+style+of+a+speaker+can+affect+language+comprehension%3F+Erp+evidence+from+the+comprehension+of+irony%5BTitle%5D)+AND+%22Brain+Res%22%5BJournal%5D)">The communicative style of a speaker can affect language comprehension? Erp evidence from the comprehension of irony.</a> Brain Res. 1311, 121-135 (2010).</li>
</ol>

Er is geen informatie die openbaar moet worden gemaakt.

De studie presenteert een pijplijn voor het verzamelen en analyseren van EEG-gegevens, gericht op het herkennen van eerder geleerde sprekersidentiteiten. Deze studie richt zich op variaties tussen leer- en herkenningsfasen, waaronder verschillen in spraakinhoud22 en prosodie10. Het ontwerp is aanpasbaar aan een reeks onderzoeksgebieden, waaronder psycholinguïstiek, zoals voornaamwoord- en anaforische verwerking41. 
Het tra...

Menselijke vocale stromen zijn rijk aan informatie, zoals emotie 1,2, gezondheidstoestand 3,4, biologisch geslacht5, 6 jaar en, nog belangrijker, de individuele vocale identiteit 7,8. Studies hebben gesuggereerd dat menselijke luisteraars een robuust vermogen hebben om de identiteit van hun leeftijdsgenoten te herkennen en te differentiëren door middel van stemmen, waardoor variaties binnen de spreker rond de gemiddelde representatie van de sprekeridentiteit in de akoestische ruimte worden overwonnen9. Dergelijke variaties worden teweeggebracht door akoestische manipulatie (fundamentele frequentie en lengte van het stemkanaal, d.w.z. F0 en VTL) die niet overeenkomt met duidelijke pragmatische bedoelingen9, emotieprosodieën10 en vocaal vertrouwen dat het gevoel van weten van de sprekers overbrengt11. Gedragsexperimenten hebben zich gericht op vele factoren die van invloed zijn op de prestaties van luisteraars bij het herkennen van de sprekers, waaronder taalgerelateerde manipulaties 8,12,13, deelnemersgerelateerde kenmerken zoals muziekervaring of leesvaardigheid14,15, en stimuli-gerelateerde aanpassingen zoals achterwaartse spraak of niet-woorden16,17; Meer is te vinden in literatuuroverzichten18,19. Een paar recente experimenten hebben onderzocht hoe individuele variatie van de representatie van de identiteit van de spreker de herkenningsnauwkeurigheid zou kunnen ondermijnen, rekening houdend met aspecten als hoge versus lage emotionele expressiviteit16 en neutrale versus angstige prosodieën5; Er staan meer mogelijke scenario's open voor verder onderzoek, zoals gesuggereerd door een review20.
Voor de eerste onderzoekslacune stelt de studie voor dat de neurologische onderbouwing van sprekeridentificatie nog niet volledig moet worden onderzocht hoe variatie binnen de spreker de hersenactiviteiten van luisteraars uitdaagt. Bijvoorbeeld, in een op fMRI gebaseerde sprekerherkenningstaak van Zäske et al., vertoonden de rechter posterieure superieure temporale gyrus (pSTG), rechter inferieure/middelste frontale gyrus (IFG/MFG), rechter mediale frontale gyrus en linker caudatus verminderde activering wanneer ze correct werden geïdentificeerd als oude versus nieuwe praters, ongeacht of de taalkundige inhoud hetzelfde of anders was21. Een eerdere elektro-encefalografie (EEG) studie van Zäske et al. observeerde dit oude/nieuwe effect echter niet wanneer variatie in de identiteit van de spreker werd geïntroduceerd via verschillende teksten22. In het bijzonder was een grotere, late positieve component (LPC) variërend van 300 tot 700 ms, gedetecteerd aan de Pz-elektrode wanneer luisteraars hun bekende getrainde spreker tegenkwamen die dezelfde tekst uitdrukte (d.w.z. een herhaling hoorde met niet-gevarieerde taalkundige inhoud), afwezig wanneer de sprekers nieuwe teksten leverden. 
Ter ondersteuning van de bewering van Zäske et al.21 vermoedt deze studie dat er nog steeds een oud/nieuw-effect kan worden waargenomen, ondanks verschillen in taalkundige inhoud tussen trainings- en testsessies in event-related potential (ERP) analyses. Deze grondgedachte komt voort uit het idee dat het ontbreken van het oude/nieuwe effect in Zäske et al.22, onder omstandigheden waarin andere teksten werden gebruikt, kan worden toegeschreven aan het ontbreken van een extra controlesessie tijdens de trainingstaak om grondig en effectief identiteitsleren te garanderen, zoals gesuggereerd door Lavan et al.23. Het eerste doel van de studie is dan ook om deze hypothese te onderzoeken en te valideren. Deze studie heeft tot doel dit te testen door een controlesessie toe te voegen aan het trainings-testparadigma22. 
Een andere belangrijke vraag die deze studie wil beantwoorden, is de robuustheid van sprekersidentificatie in aanwezigheid van spraakprosodie. Eerdere gedragsstudies hebben gesuggereerd dat luisteraars vooral moeite hebben om praters in verschillende prosodieën te herkennen, wat wijst op een modulerende rol van de prosodische context - luisteraars presteerden ondermaats in de verschillende trainingstestende prosodiecondities. Deze studie heeft tot doel dit te testen door luisteraars bloot te stellen aan het herkennen van bekende praters in zelfverzekerde of twijfelachtige prosodieën24. Deze studie verwacht dat de waargenomen ERP-verschillen zullen helpen verklaren hoe spraakprosodie identiteitsherkenning beïnvloedt. 
Het kerndoel van de huidige studie is om de robuustheid van het oude/nieuwe effect in sprekerherkenning te onderzoeken, waarbij specifiek wordt onderzocht of er verschillen zijn in het herkennen van praters in zelfverzekerde versus twijfelachtige prosodieën. Xu en Armony10 voerden een gedragsonderzoek uit met behulp van een trainingstestparadigma, en hun bevindingen suggereren dat luisteraars prosodische verschillen niet kunnen overwinnen (bijvoorbeeld getraind om een prater te herkennen in neutrale prosodie en getest op angstige prosodie) en alleen een nauwkeurigheid kunnen bereiken die lager is dan kansniveau10. Akoestische analyse geeft aan dat luidsprekers die verschillende emotionele toestanden uitdrukken, geassocieerd zijn met VTL/F0-modulatie; zelfverzekerde prosodie wordt bijvoorbeeld gekenmerkt door verlengde VTL en lagere F0, terwijl het tegenovergestelde waar is voor twijfelachtige prosodie11,24. Een ander bewijs komt uit de studie van Lavan et al.23, die bevestigde dat luisteraars zich kunnen aanpassen aan VTL- en F0-veranderingen van de spreker en op gemiddelden gebaseerde representaties van de sprekers kunnen vormen. Deze studie verzoent dat, vanuit het perspectief van gedragsgegevens, luisteraars waarschijnlijk nog steeds de identiteit van de spreker herkennen in prosodieën (bijv. getraind om er een te herkennen in zelfverzekerde prosodie, maar getest in twijfelachtige prosodie; gerapporteerd in een afzonderlijk manuscript in voorbereiding). Toch blijven de neurale correlaten van sprekeridentificatie, met name de generaliseerbaarheid van het oude/nieuwe effect waargenomen door Zäske et al.22, onduidelijk. Daarom zet de huidige studie zich in voor het valideren van de robuustheid van het oude/nieuwe effect in zelfverzekerde versus twijfelachtige prosodieën als contexten voor testen.
De studie introduceert een afwijking van eerdere onderzoeksparadigma's in oude/nieuwe effectstudies. Terwijl eerder onderzoek zich richtte op hoe herkenning van oude/nieuwe praters de perceptie beïnvloedt, breidt deze studie dit uit door twee betrouwbaarheidsniveaus (zelfverzekerd versus twijfelachtig) in het paradigma op te nemen (dus een 2+2-studie). Dit stelt ons in staat om sprekerherkenning te onderzoeken binnen de context van zelfverzekerde en twijfelachtige spraakprosodieën. Het paradigma maakt het mogelijk om de robuustheid van oude/nieuwe effecten te verkennen. De analyses van geheugeneffecten en interessegebieden (ROI) binnen zowel zelfverzekerde als twijfelachtige spraakcontexten dienen als bewijs voor dit onderzoek. 
Al met al heeft de studie tot doel het begrip van de EEG-correlaten van spraakherkenning bij te werken, met de hypothesen dat de vergrote LPC van het EEG oud/nieuw-effect waarneembaar is, zelfs wanneer 1) de taalkundige inhoud niet hetzelfde is, en 2) met de aanwezigheid van zelfverzekerde versus twijfelachtige prosodie. Deze studie onderzocht de hypothesen aan de hand van een paradigma in drie stappen. Ten eerste legden de deelnemers tijdens de trainingsfase associaties tussen drie stemmen en hun bijbehorende namen. Vervolgens, in de controlefase, kregen ze de taak om uit een selectie van drie kandidaten de naam te identificeren die overeenkwam met een stem. Deze controle, in navolging van Lavan et al.23, heeft tot doel onvoldoende vertrouwd te raken met oude sprekers, wat leidde tot het niet-waargenomen oud/nieuw-effect wanneer de tekst in de trainings- en testfasen verschilde6, en praters praters over neutrale en angstige prosodieën niet konden herkennen10. Ten slotte maakten de deelnemers in de testfase onderscheid tussen drie oude en drie nieuwe sprekersstemmen in een taak met twee alternatieve gedwongen keuzes, waarbij spraakprosodie werd gepresenteerd als zelfverzekerd of twijfelachtig. EEG-gegevens werden verzameld met behulp van een 64-kanaals EEG-systeem en ondergingen voorbewerking vóór analyse. Statistische analyse en event-related potential (ERP) analyse werden uitgevoerd in RStudio, terwijl MATLAB werd gebruikt voor analyse van de hersentopografie.
Wat de ontwerpdetails betreft, stelt deze studie een experiment voor het leren van de identiteit van de spreker voor dat de lengte van de spreker controleert, wat gerelateerd is aan VTL en de indrukken van wie er aan het woord isbeïnvloedt 23. Dit aspect beïnvloedt ook sociale indrukken, zoals waargenomen dominantie25, en een dergelijke indrukvorming op een hoger niveau kan interageren met het decoderen van de identiteit van de spreker26.

<table><tbody><tr><td>64Ch Standard BrainCap for BrainAmp</td><td>Easycap GmbH</td><td>Steingrabenstrasse 14 DE-82211</td><td>https://shop.easycap.de/products/64ch-standard-braincap</td></tr><tr><td>Abrasive Electrolyte-Gel</td><td>Easycap GmbH</td><td>Abralyt 2000</td><td>https://shop.easycap.de/products/abralyt-2000</td></tr><tr><td>actiCHamp Plus</td><td>Brain Products GmbH</td><td>64 kanalen + 8 AUX</td><td>https://www.brainproducts.com/solutions/actichamp/</td></tr><tr><td>Audio Interface</td><td>Native Instruments GmbH</td><td>Komplete audio 6</td><td>https://www.native-instruments.com/en/products/komplete/audio-interfaces/komplete-audio-6/</td></tr><tr><td>Foam Eartips</td><td>Neuronix</td><td>ER3-14&nbsp;</td><td>https://neuronix.ca/products/er3-14-foam-eartips</td></tr><tr><td>Gel-based passief elektrodensysteem</td><td>Brain Products GmbH</td><td>BC 01453</td><td>https://www.brainproducts.com/solutions/braincap/</td></tr><tr><td>High-Viscosity Electrolyte Gel&nbsp;</td><td>Easycap GmbH</td><td>SuperVisc</td><td>https://shop.easycap.de/products/supervisc</td></tr></tbody></table>

op memorisatie gebaseerd trainings- en testparadigma voor robuuste vocale identiteitsherkenning in expressieve spraak met behulp van gebeurtenisgerelateerde potentialenanalyse

Memorization-Based Training and Testing Paradigm for Robust Vocal Identity Recognition in Expressive Speech Using Event-Related Potentials Analysis

Het herkennen van bekende sprekers uit vocale streams is een fundamenteel aspect van menselijke verbale communicatie. Het blijft echter onduidelijk hoe luisteraars de identiteit van de spreker nog kunnen onderscheiden in expressieve spraak. Deze studie ontwikkelt een op memorisatie gebaseerde benadering van individuele sprekersidentiteitsherkenning en een bijbehorende pijplijn voor elektro-encefalogram (EEG) gegevensanalyse, die controleert hoe luisteraars bekende sprekers herkennen en onbekende uit elkaar houden. EEG-gegevens leggen online cognitieve processen vast tijdens het onderscheid tussen nieuwe en oude sprekers op basis van spraak, en bieden een real-time meting van hersenactiviteit, het overwinnen van limieten van reactietijden en nauwkeurigheidsmetingen. Het paradigma bestaat uit drie stappen: luisteraars leggen associaties tussen drie stemmen en hun namen (training); luisteraars geven de naam aan die overeenkomt met een stem van drie kandidaten (controleren); Luisteraars maken onderscheid tussen drie oude en drie nieuwe luidsprekerstemmen in een twee-alternatieve forced-choice-taak (testen). De spraakprosodie bij het testen was zelfverzekerd of twijfelachtig. EEG-gegevens werden verzameld met behulp van een 64-kanaals EEG-systeem, gevolgd door voorbewerking en geïmporteerd in RStudio voor ERP en statistische analyse en MATLAB voor hersentopografie. De resultaten toonden aan dat een vergrote late positieve component (LPC) werd opgewekt in de oude prater in vergelijking met de nieuwe prater in het 400-850 ms-venster in de Pz en een ander breder scala aan elektroden in beide prosodieën. Toch was het oude/nieuwe effect robuust in centrale en achterste elektroden voor twijfelachtige prosodieperceptie, terwijl de voorste, centrale en achterste elektroden voor zelfverzekerde prosodieconditie zijn. Deze studie stelt voor dat dit experimentontwerp als referentie kan dienen voor het onderzoeken van sprekerspecifieke cue-bindende effecten in verschillende scenario's (bijv. anaforische expressie) en pathologieën bij patiënten zoals fonagnosie.

Het klassieke oud/nieuw-effect wordt gekenmerkt door een significante toename van de hersenactiviteit van luisteraars op de Pz-elektrode (tussen 300 en 700 ms) wanneer de spraakinhoud van de testsessie overeenkomt met die van de trainingssessie, met name in de oude sprekersconditie in vergelijking met de nieuwe sprekersconditie22. Het protocol onthult een bijgewerkte versie van dit effect: ten eerste worden grotere positieve trends waargenomen in de Pz-elektrode en over het hele hersengebied voor ...

De studie introduceert een trainingstestparadigma om oude/nieuwe effecten van gebeurtenisgerelateerde potentialen te onderzoeken in zelfverzekerde en twijfelachtige prosodische scenario's. Gegevens onthullen een verbeterde late positieve component tussen 400-850 ms bij Pz en andere elektroden. Deze pijplijn kan factoren onderzoeken die verder gaan dan spraakprosodie en hun invloed op cue-bindende doelidentificatie.

Op memorisatie gebaseerd trainings- en testparadigma voor robuuste vocale identiteitsherkenning in expressieve spraak met behulp van gebeurtenisgerelateerde potentialenanalyse

Recognizing familiar speakers from vocal streams is a fundamental aspect of human verbal communication. However, it remains unclear how listeners can ...

memorization-based-training-testing-paradigm-for-robust-vocal

Research

JoVE Journal

Behavior

Gedrag

De geïnduceerde imitatieprocedure werd vastgesteld om de ontwikkeling van het recallgeheugen in de babytijd en vroege kinderjaren te onderzoeken. Deze procedure is veel gebruikt om een solide basis te leggen voor de aard van het recallgeheugen in de babytijd en vroege kinderjaren.

Het onderzoeken van Recall Geheugen in de kinderschoenen en Early Childhood Met behulp van de ontlokte Imitation Paradigm

De neurale correlaten van het luisteren naar consonante en dissonante intervallen zijn in grote mate bestudeerd, maar de neurale mechanismen die verband houden met de productie van consonante en dissonante intervallen zijn minder bekend. In dit artikel worden gedragstesten en fMRI gecombineerd met intervalidentificatie en zangtaken om deze mechanismen te beschrijven.

FMRI Mapping of Brain Activity Associated met de Vocal Production of Consonant en Dissonant Intervals

De methode gepresenteerd hier geïnduceerde valse herinneringen met behulp van de lijsten met verwante woorden en beoordeeld ook de effecten van beelden instructies over het terugroepen en erkenning van die valse herinneringen. Dit protocol gegevens een gemodificeerde versie van het paradigma van delesse Roediger McDermott (DRM).

Met behulp van een klas gebaseerde delesse Roediger McDermott paradigma te beoordelen van de effecten van beeldspraak op valse herinneringen

We presenteren een protocol om de relatieve activeringsvolgorde van fonologie en semantiek in visuele woordherkenning te verkennen. De resultaten tonen aan dat in overeenstemming met interactieve verslagen, semantische en fonologische representaties interactief kunnen worden verwerkt en dat taalkundige representaties op een hoger niveau van invloed kunnen zijn op vroege verwerking.

Interactie tussen fonologische en semantische processen in visuele woordherkenning met behulp van elektrofysiologie

Dit protocol is ontworpen om onderliggende leergerelateerde elektrofysiologische veranderingen te onderzoeken bij proefpersonen met diepe doofheid na een korte trainingsperiode in audio-tactiele sensorische substitutie door de gebeurtenisgerelateerde potentiële techniek toe te passen.

Beoordeling van audio-tactiele sensorische substitutietraining bij deelnemers met diepe doofheid met behulp van de gebeurtenisgerelateerde potentiële techniek

Dit onderzoek had tot doel een vergelijking te maken tussen L1-L2-Engels en L1-L2 Portugees om te controleren hoeveel de invloed van een buitenlands accent verantwoordelijk is voor beide metrische en prosodische-akoestische parameters, evenals voor de keuze van de doelstem in een stemmenopstelling.

Buitenlands accent en forensische sprekersidentificatie in stemmenopstellingen: de invloed van akoestische kenmerken op basis van prosodie

Onderzoek naar sociale uitsluiting is de afgelopen jaren enorm gegroeid. Naarmate het veld zich uitbreidt, is het van cruciaal belang om geavanceerde methodologieën te ontwikkelen die het mogelijk maken om neurale en gedragsresultaten tijdens sociale uitsluiting gelijktijdig te meten. Dit protocol maakt gebruik van gebeurtenis-gerelateerde hersenpotentialen om lopende neurale activiteit tijdens gecomputeriseerde sociale interacties op te nemen.

Meten Neurale en Behavioral Activity Tijdens Lopende Computerized sociale interacties: een onderzoek van-Event Related Potentials Brain

Met behulp van event-related EEG potentials (ERP's), onderzoeken we de effecten van antipsychotische medicatie op abnormale semantische hersenactiviteit bij gezonde personen met schizotypische trekken. We maken gebruik van ERP om duidelijke veranderingen in hersenactiviteit te volgen, het afstoten van inzicht in de cognitieve processen die verband houden met semantische categorisatie.

Het onderzoeken van de effecten van antipsychotica en Schizotypie op de N400 behulp-Event Related Potentials en Semantische categorisatie

High-density elektro-encefalografie (dEEG) wordt steeds vaker gebruikt om de hersenontwikkeling en plasticiteit in de vroege levensjaren te bestuderen. Hier presenteren we een toepassing van geavanceerde analysetechnieken die voortbouwt op traditionele EEG-opnames om de oscillerende dynamiek van snelle auditieve verwerking in de babyhersenen te begrijpen.

Infant Auditieve Verwerking en Event-gerelateerde Brain Oscillations

We beschrijven hoe we een batterij van gedragstaakjes kunnen implementeren om de verwerking en integratie van sensorische stimuli bij kinderen met ASS te onderzoeken. Het doel is om individuele verschillen in de temporele verwerking van eenvoudige auditieve en visuele stimuli te karakteriseren en deze te relateren aan hogere orde perceptuele vaardigheden zoals spraakperceptie.

Testen Sensorische en Multisensorische Functie bij kinderen met Autisme Spectrum Stoornis

Leer een op memorisatie gebaseerd trainings- en testparadigma voor vocale identiteitsherkenning met ERP-analyse. Deze methode onthult hoe emotionele prosodie de stemherkenning beïnvloedt.

Op memorisatie gebaseerd trainings- en testparadigma voor robuuste vocale identiteitsherkenning in expressieve spraak met behulp van gebeurtenisgerelateerde potentialenanalyse (Video) | JoVE Journal

Op memorisatie gebaseerd trainings- en testparadigma voor robuuste vocale identiteitsherkenning in expressieve spraak met behulp van gebeurtenisgerelateerde potentialenanalyse

Meer video's verkennen