Name: 이벤트 관련 전위 분석을 사용하여 표현 음성에서 강력한 음성 정체성 인식을 위한 암기 기반 교육 및 테스트 패러다임 (동영상) | JoVE Journal
Uploaded: 2024-08-09T13:40:00.000+00:00
Duration: 5 min 48 s
Description: 학습하세요 이벤트 관련 전위 분석을 사용한 암기 기반 교육 및 테스트 패러다임으로 표현 음성에서 강력한 음성 정체성 인식을 수행하는 방법입니다. 이 기법은 신뢰와 의심 시나리오 간 처리 차이를 밝혀냅니다.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

이 연구는 중국 자연 과학 재단 (Grant No. 31971037)의 지원을 받았습니다. 상하이 교육 발전 재단 (Shanghai Education Development Foundation)과 상하이시 교육위원회 (Shanghai Municipal Education Committee)가 지원하는 Shuguang 프로그램 (보조금 번호 20SG31); 상하이 자연과학재단(22ZR1460200); Shanghai International Studies University (2022113001)의 감독자지도 프로그램; 중국 국가사회과학재단(National Social Science Foundation of China)의 주요 프로그램(보조금 번호 18ZDA293).

표현적 연설에서 친숙한 화자를 인식하는 EEG 연구

<ol><li>Larrouy-Maestri, P., Poeppel, D., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+sound+of+emotional+prosody%3A+Nearly+3+decades+of+research+and+future+directions%5BTitle%5D)+AND+%22Perspect+Psychol+Sci%22%5BJournal%5D)">The sound of emotional prosody: Nearly 3 decades of research and future directions.</a> Perspect Psychol Sci. , 17456916231217722(2024).</li>
<li>Pell, M. D., Kotz, S. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comment%3A+The+next+frontier%3A+Prosody+research+gets+interpersonal%5BTitle%5D)+AND+%22Emotion+Rev%22%5BJournal%5D)">Comment: The next frontier: Prosody research gets interpersonal.</a> Emotion Rev. 13 (1), 51-56 (2021).</li>
<li>Cummins, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multilingual+markers+of+depression+in+remotely+collected+speech+samples%3A+A+preliminary+analysis%5BTitle%5D)+AND+%22J+Affect+Disor%22%5BJournal%5D)">Multilingual markers of depression in remotely collected speech samples: A preliminary analysis.</a> J Affect Disor. 341, 128-136 (2023).</li>
<li>Cummins, N., Baird, A., Schuller, B. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Speech+analysis+for+health%3A+Current+state-of-the-art+and+the+increasing+impact+of+deep+learning%5BTitle%5D)+AND+%22Methods%22%5BJournal%5D)">Speech analysis for health: Current state-of-the-art and the increasing impact of deep learning.</a> Methods. 151, 41-54 (2018).</li>
<li>Kennedy, E., Thibeault, S. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Voice-gender+incongruence+and+voice+health+information-seeking+behaviors+in+the+transgender+community%5BTitle%5D)+AND+%22Am+J+Speech-language+Pathol%22%5BJournal%5D)">Voice-gender incongruence and voice health information-seeking behaviors in the transgender community.</a> Am J Speech-language Pathol. 29 (3), 1563-1573 (2020).</li>
<li>Zäske, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Electrophysiological+correlates+of+voice+memory+for+young+and+old+speakers+in+young+and+old+listeners%5BTitle%5D)+AND+%22Neuropsychologia%22%5BJournal%5D)">Electrophysiological correlates of voice memory for young and old speakers in young and old listeners.</a> Neuropsychologia. 116, 215-227 (2018).</li>
<li>Lavan, N., Burton, A. M., Scott, S. K., Mcgettigan, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Flexible+voices%3A+Identity+perception+from+variable+vocal+signals%5BTitle%5D)+AND+%22Psychonomic+Bullet+Rev%22%5BJournal%5D)">Flexible voices: Identity perception from variable vocal signals.</a> Psychonomic Bullet Rev. 26, 90-102 (2019).</li>
<li>Perrachione, T. K., Del Tufo, S. N., Gabrieli, J. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Human+voice+recognition+depends+on+language+ability%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Human voice recognition depends on language ability.</a> Science. 333 (6042), 595-595 (2011).</li>
<li>Lavan, N., Knight, S., Mcgettigan, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Listeners+form+average-based+representations+of+individual+voice+identities%5BTitle%5D)+AND+%22Nat+Comm%22%5BJournal%5D)">Listeners form average-based representations of individual voice identities.</a> Nat Comm. 10 (1), 2404(2019).</li>
<li>Xu, H., Armony, J. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Influence+of+emotional+prosody%2C+content%2C+and+repetition+on+memory+recognition+of+speaker+identity%5BTitle%5D)+AND+%22Quart+J+Exp+Psychol%22%5BJournal%5D)">Influence of emotional prosody, content, and repetition on memory recognition of speaker identity.</a> Quart J Exp Psychol. 74 (7), 1185-1201 (2021).</li>
<li>Jiang, X., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+sound+of+confidence+and+doubt%5BTitle%5D)+AND+%22Speech+Comm%22%5BJournal%5D)">The sound of confidence and doubt.</a> Speech Comm. 88, 106-126 (2017).</li>
<li>Winters, S. J., Levi, S. V., Pisoni, D. B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Identification+and+discrimination+of+bilingual+talkers+across+languages%5BTitle%5D)+AND+%22J+Acoustical+Soci+Am%22%5BJournal%5D)">Identification and discrimination of bilingual talkers across languages.</a> J Acoustical Soci Am. 123 (6), 4524-4538 (2008).</li>
<li>Orena, A. J., Polka, L., Theodore, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Identifying+bilingual+talkers+after+a+language+switch%3A+Language+experience+matters%5BTitle%5D)+AND+%22J+Acoustical+Soc+Am%22%5BJournal%5D)">Identifying bilingual talkers after a language switch: Language experience matters.</a> J Acoustical Soc Am. 145 (4), EL303-EL309 (2019).</li>
<li>Xie, X., Myers, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+impact+of+musical+training+and+tone+language+experience+on+talker+identification%5BTitle%5D)+AND+%22J+Acoustical+Soc+Am%22%5BJournal%5D)">The impact of musical training and tone language experience on talker identification.</a> J Acoustical Soc Am. 137 (1), 419-432 (2015).</li>
<li>Kadam, M. A., Orena, A. J., Theodore, R. M., Polka, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Reading+ability+influences+native+and+non-native+voice+recognition%2C+even+for+unimpaired+readers%5BTitle%5D)+AND+%22J+Acoustical+Soc+Am%22%5BJournal%5D)">Reading ability influences native and non-native voice recognition, even for unimpaired readers.</a> J Acoustical Soc Am. 139 (1), EL6-EL12 (2016).</li>
<li>Fleming, D., Giordano, B. L., Caldara, R., Belin, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+language-familiarity+effect+for+speaker+discrimination+without+comprehension%5BTitle%5D)+AND+%22Proc+Natl+Acad+Sci%22%5BJournal%5D)">A language-familiarity effect for speaker discrimination without comprehension.</a> Proc Natl Acad Sci. 111 (38), 13795-13798 (2014).</li>
<li>White, K. S., Yee, E., Blumstein, S. E., Morgan, J. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Adults+show+less+sensitivity+to+phonetic+detail+in+unfamiliar+words%2C+too%5BTitle%5D)+AND+%22J+Memory+Lang%22%5BJournal%5D)">Adults show less sensitivity to phonetic detail in unfamiliar words, too.</a> J Memory Lang. 68 (4), 362-378 (2013).</li>
<li>Levi, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Methodological+considerations+for+interpreting+the+language+familiarity+effect+in+talker+processing%5BTitle%5D)+AND+%22Wiley+Interdiscip+Revi%3A+Cognitive+Sci%22%5BJournal%5D)">Methodological considerations for interpreting the language familiarity effect in talker processing.</a> Wiley Interdiscip Revi: Cognitive Sci. 10 (2), e1483(2019).</li>
<li>Perrachione, T. K. Recognizing Speakers Across Languages. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aPerrachione%2C+TK+%22The+Oxford+Handbook+of+Voice+Perception%22">The Oxford Handbook of Voice Perception</a>. Frühholz, S., Belin, P. , Oxford University Press. 515-538 (2018).</li>
<li>Lavan, N., Burton, A. M., Scott, S. K., Mcgettigan, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Flexible+voices%3A+Identity+perception+from+variable+vocal+signals%5BTitle%5D)+AND+%22Psychonomic+Bullet+Rev%22%5BJournal%5D)">Flexible voices: Identity perception from variable vocal signals.</a> Psychonomic Bullet Rev. 26 (1), 90-102 (2019).</li>
<li>Zäske, R., Hasan, B. aS., Belin, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((It+doesn%27t+matter+what+you+say%3A+Fmri+correlates+of+voice+learning+and+recognition+independent+of+speech+content%5BTitle%5D)+AND+%22Cortex%22%5BJournal%5D)">It doesn't matter what you say: Fmri correlates of voice learning and recognition independent of speech content.</a> Cortex. 94, 100-112 (2017).</li>
<li>Zäske, R., Volberg, G., Kovács, G., Schweinberger, S. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Electrophysiological+correlates+of+voice+learning+and+recognition%5BTitle%5D)+AND+%22J+Neurosci%22%5BJournal%5D)">Electrophysiological correlates of voice learning and recognition.</a> J Neurosci. 34 (33), 10821-10831 (2014).</li>
<li>Lavan, N., Knight, S., Mcgettigan, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Listeners+form+average-based+representations+of+individual+voice+identities%5BTitle%5D)+AND+%22Nat+Comm%22%5BJournal%5D)">Listeners form average-based representations of individual voice identities.</a> Nat Comm. 10 (1), 1-9 (2019).</li>
<li>Chen, W., Jiang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Voice-Cloning+Artificial-Intelligence+Speakers+Can+Also+Mimic+Human-Specific+Vocal+Expression%5BTitle%5D)+AND+%22Preprints%22%5BJournal%5D)">Voice-Cloning Artificial-Intelligence Speakers Can Also Mimic Human-Specific Vocal Expression.</a> Preprints. , 10.20944/preprints202312.0807.v1 (2023).</li>
<li>Pisanski, K., Anikin, A., Reby, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Vocal+size+exaggeration+may+have+contributed+to+the+origins+of+vocalic+complexity%5BTitle%5D)+AND+%22Philosoph+Trans+Royal+Soc+B%22%5BJournal%5D)">Vocal size exaggeration may have contributed to the origins of vocalic complexity.</a> Philosoph Trans Royal Soc B. 377 (1841), 20200401(2022).</li>
<li>Belin, P., Fecteau, S., Bedard, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Thinking+the+voice%3A+Neural+correlates+of+voice+perception%5BTitle%5D)+AND+%22Trend+Cognitive+Sci%22%5BJournal%5D)">Thinking the voice: Neural correlates of voice perception.</a> Trend Cognitive Sci. 8 (3), 129-135 (2004).</li>
<li>Boersma, P., Weenink, D. Praat: doing phonetics by computer. , Available from: 
 <a target="_blank" href="https://www.fon.hum.uva.nl/praat/">https://www.fon.hum.uva.nl/praat/</a> (2022).</li>
<li>Jiang, X., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((On+how+the+brain+decodes+vocal+cues+about+speaker+confidence%5BTitle%5D)+AND+%22Cortex%22%5BJournal%5D)">On how the brain decodes vocal cues about speaker confidence.</a> Cortex. 66, 9-34 (2015).</li>
<li>Jiang, X., Gossack-Keenan, K., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((To+believe+or+not+to+believe%3F+How+voice+and+accent+information+in+speech+alter+listener+impressions+of+trust%5BTitle%5D)+AND+%22Quart+J+Exp+Psychol%22%5BJournal%5D)">To believe or not to believe? How voice and accent information in speech alter listener impressions of trust.</a> Quart J Exp Psychol. 73 (1), 55-79 (2020).</li>
<li>Rigoulot, S., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Seeing+emotion+with+your+ears%3A+Emotional+prosody+implicitly+guides+visual+attention+to+faces%5BTitle%5D)+AND+%22PloS+One%22%5BJournal%5D)">Seeing emotion with your ears: Emotional prosody implicitly guides visual attention to faces.</a> PloS One. 7 (1), e30740(2012).</li>
<li>Cui, X., Jiang, X., Ding, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Affective+prosody+guides+facial+emotion+processing%5BTitle%5D)+AND+%22Curr+Psychol%22%5BJournal%5D)">Affective prosody guides facial emotion processing.</a> Curr Psychol. 42 (27), 23891-23902 (2023).</li>
<li>Chen, W., Jiang, X. Memorization-based training and testing paradigm for robust vocal identity recognition in expressive speech using event-related potentials analysis. , Available from: 
 <a target="_blank" href="https://osf.io/6zu83/">https://osf.io/6zu83/</a> (2024).</li>
<li>Gmbh, B. P. Brainvision recorder. , Available from: 
 <a target="_blank" href="https://www.brainproducts.com/downloads/recorder/">https://www.brainproducts.com/downloads/recorder/</a> (2024).</li>
<li>Jiang, X., Paulmann, S., Robin, J., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((More+than+accuracy%3A+Nonverbal+dialects+modulate+the+time+course+of+vocal+emotion+recognition+across+cultures%5BTitle%5D)+AND+%22J+Exp+Psychol%22%5BJournal%5D)">More than accuracy: Nonverbal dialects modulate the time course of vocal emotion recognition across cultures.</a> J Exp Psychol. 41 (3), 597(2015).</li>
<li>Jiang, X., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+feeling+of+another%27s+knowing%3A+How+%26%2334%3Bmixed+messages%26%2334%3B+in+speech+are+reconciled%5BTitle%5D)+AND+%22J+Exp+Psychol%22%5BJournal%5D)">The feeling of another's knowing: How &#34;mixed messages&#34; in speech are reconciled.</a> J Exp Psychol. 42 (9), 1412(2016).</li>
<li>Zhou, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Semantic+integration+processes+at+different+levels+of+syntactic+hierarchy+during+sentence+comprehension%3A+An+erp+study%5BTitle%5D)+AND+%22Neuropsychologia%22%5BJournal%5D)">Semantic integration processes at different levels of syntactic hierarchy during sentence comprehension: An erp study.</a> Neuropsychologia. 48 (6), 1551-1562 (2010).</li>
<li>Jiang, X., Tan, Y., Zhou, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Processing+the+universal+quantifier+during+sentence+comprehension%3A+Erp+evidence%5BTitle%5D)+AND+%22Neuropsychologia%22%5BJournal%5D)">Processing the universal quantifier during sentence comprehension: Erp evidence.</a> Neuropsychologia. 47 (8-9), 1799-1815 (2009).</li>
<li>Acunzo, D. J., Mackenzie, G., Van Rossum, M. C. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Systematic+biases+in+early+erp+and+erf+components+as+a+result+of+high-pass+filtering%5BTitle%5D)+AND+%22J+Neurosci+Meth%22%5BJournal%5D)">Systematic biases in early erp and erf components as a result of high-pass filtering.</a> J Neurosci Meth. 209 (1), 212-218 (2012).</li>
<li>Bates, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fitting+linear+mixed+models+in+r%5BTitle%5D)+AND+%22R%22%5BJournal%5D)">Fitting linear mixed models in r.</a> R. 5 (1), 27-30 (2005).</li>
<li>Oostenveld, R., Fries, P., Maris, E., Schoffelen, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fieldtrip%3A+Open+source+software+for+advanced+analysis+of+meg%2C+eeg%2C+and+invasive+electrophysiological+data%5BTitle%5D)+AND+%22Computat+Intelligence+Neurosci%22%5BJournal%5D)">Fieldtrip: Open source software for advanced analysis of meg, eeg, and invasive electrophysiological data.</a> Computat Intelligence Neurosci. 2011, 1-9 (2011).</li>
<li>Coopmans, C. W., Nieuwland, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Dissociating+activation+and+integration+of+discourse+referents%3A+Evidence+from+erps+and+oscillations%5BTitle%5D)+AND+%22Cortex%22%5BJournal%5D)">Dissociating activation and integration of discourse referents: Evidence from erps and oscillations.</a> Cortex. 126, 83-106 (2020).</li>
<li>Humble, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+jena+voice+learning+and+memory+test+%28jvlmt%29%3A+A+standardized+tool+for+assessing+the+ability+to+learn+and+recognize+voices%5BTitle%5D)+AND+%22Behavior+Res+Meth%22%5BJournal%5D)">The jena voice learning and memory test (jvlmt): A standardized tool for assessing the ability to learn and recognize voices.</a> Behavior Res Meth. 55 (3), 1352-1371 (2023).</li>
<li>Holmes, E., To, G., Johnsrude, I. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((How+long+does+it+take+for+a+voice+to+become+familiar%3F+Speech+intelligibility+and+voice+recognition+are+differentially+sensitive+to+voice+training%5BTitle%5D)+AND+%22Psychol+Sci%22%5BJournal%5D)">How long does it take for a voice to become familiar? Speech intelligibility and voice recognition are differentially sensitive to voice training.</a> Psychol Sci. 32 (6), 903-915 (2021).</li>
<li>Kroczek, L. O. H., Gunter, T. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Communicative+predictions+can+overrule+linguistic+priors%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Communicative predictions can overrule linguistic priors.</a> Sci Rep. 7 (1), 17581(2017).</li>
<li>Kroczek, L. O. H., Gunter, T. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+time+course+of+speaker-specific+language+processing%5BTitle%5D)+AND+%22Cortex%22%5BJournal%5D)">The time course of speaker-specific language processing.</a> Cortex. 141, 311-321 (2021).</li>
<li>Schroeger, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Atypical+prosopagnosia+following+right+hemispheric+stroke%3A+A+23-year+follow-up+study+with+mt%5BTitle%5D)+AND+%22Cognitive+Neuropsychol%22%5BJournal%5D)">Atypical prosopagnosia following right hemispheric stroke: A 23-year follow-up study with mt.</a> Cognitive Neuropsychol. 39 (3-4), 196-207 (2022).</li>
<li>Garrido, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Developmental+phonagnosia%3A+A+selective+deficit+of+vocal+identity+recognition%5BTitle%5D)+AND+%22Neuropsychologia%22%5BJournal%5D)">Developmental phonagnosia: A selective deficit of vocal identity recognition.</a> Neuropsychologia. 47 (1), 123-131 (2009).</li>
<li>Schelinski, S., Borowiak, K., Von Kriegstein, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Temporal+voice+areas+exist+in+autism+spectrum+disorder+but+are+dysfunctional+for+voice+identity+recognition%5BTitle%5D)+AND+%22Social+Cognitive+Affective+Neurosci%22%5BJournal%5D)">Temporal voice areas exist in autism spectrum disorder but are dysfunctional for voice identity recognition.</a> Social Cognitive Affective Neurosci. 11 (11), 1812-1822 (2016).</li>
<li>Holle, H., Gunter, T. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+iconic+gestures+in+speech+disambiguation%3A+Erp+evidence%5BTitle%5D)+AND+%22J+Cognitive+Neurosci%22%5BJournal%5D)">The role of iconic gestures in speech disambiguation: Erp evidence.</a> J Cognitive Neurosci. 19 (7), 1175-1192 (2007).</li>
<li>Regel, S., Coulson, S., Gunter, T. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+communicative+style+of+a+speaker+can+affect+language+comprehension%3F+Erp+evidence+from+the+comprehension+of+irony%5BTitle%5D)+AND+%22Brain+Res%22%5BJournal%5D)">The communicative style of a speaker can affect language comprehension? Erp evidence from the comprehension of irony.</a> Brain Res. 1311, 121-135 (2010).</li>
</ol>

공개할 정보는 없습니다.

이 연구는 EEG 데이터 수집 및 분석을 위한 파이프라인을 제시하며, 이전에 학습된 화자 정체성을 인식하는 데 중점을 둡니다. 본 연구는 학습 단계와 인식 단계 간의 차이를 다루는데, 여기에는 말하기 내용22 과 운율10의 차이도 포함된다. 이 디자인은 대명사 및 아나포릭 처리(anaphoric processing)와 같은 심리언어학을 포함한 다양한 연구 분야에 적용할 수 있다(41). 
훈련-테스트 패러다임은 음성 학습과 같은 특정 주제에 대한 참가자의 학습 결과를 평가하는 데 사용되는 고전적인 실험 설계입니다42,43. 이 패러다임은 참가자가 특정 정보를 얼마나 잘 학습했는지를 평가합니다(정확성에 반영됨)10</s...

인간의 발성에는 감정(emotion)1,2, 건강 상태3,4, 생물학적 성(biological sex)5, 나이(age)6, 그리고 더 중요하게는 개인의 발성 정체성(vocal identity)7,8과 같은 정보가 풍부하다. 연구에 따르면 인간 청취자는 목소리를 통해 동료의 정체성을 인식하고 구별할 수 있는 강력한 능력을 가지고 있으며, 음향 공간에서 화자 정체성의 평균 기반 표현을 둘러싼 화자 내 변동을 극복한다9. 이러한 변화는 명확한 실용적 의도9, 감정 운율(emotion prosodies)10, 화자의 앎감을 전달하는 목소리 자신감(vocal confidence)11에 해당하는 음향 조작(기본 주파수 및 성도 길이, 즉 F0 및 VTL)에 의해 발생한다. 행동 실험은 언어 관련 조작8,12,13, 음악 경험 또는 읽기 능력과 같은 참가자 관련 특성14,15, 거꾸로 말하기 또는 비단어와 같은 자극 관련 적응16,17 등 청취자가 화자를 인식하는 데 영향을 미치는 많은 요인에 초점을 맞췄다. 더 많은 것은 문헌 검토18,19에서 찾을 수 있습니다. 최근의 몇몇 실험에서는 화자의 정체성 표현의 개인적 차이가 어떻게 인식 정확도를 저해할 수 있는지를 조사했으며, 이는 높은 감정 표현력과 낮은 감정 표현력(high and low emotional expressiveness)16, 중립적 표현력과 두려운 표현력(neutral versus fearful prosodies5)을 포함한 여러 측면을 고려했다. 리뷰20에서 제안한 바와 같이 추가 조사를 위해 더 많은 가능한 시나리오가 열려 있습니다.
첫 번째 연구 격차에 대해, 이 연구는 화자 식별의 신경학적 토대가 화자 내 변이가 청취자의 뇌 활동에 어떻게 도전하는지 아직 완전히 탐구하지 않았다고 제안합니다. 예를 들어, Zäske et al.의 fMRI 기반 화자 인식 과제에서 참가자의 우측 후방상측두이랑(pSTG), 우측 하측/중전두회(IFG/MFG), 우측 내측 전두이랑, 좌측 미상이랑은 언어 내용이 같거나 다르는지에 관계없이 오래된 화자와 새로운 화자로 올바르게 식별되었을 때 활성화가 감소한 것으로 나타났다21. 그러나 Zäske et al.의 초기 뇌파 검사(EEG) 연구에서는 화자 정체성 변이가 다른 텍스트를 통해 도입되었을 때 이러한 구/신 효과를 관찰하지 못했다22. 구체적으로, 청취자가 동일한 텍스트를 표현하는 친숙하고 훈련된 발화자를 만났을 때(즉, 다양하지 않은 언어 내용의 재생을 들었을 때) Pz 전극에서 감지된 300ms에서 700ms에 이르는 더 큰 LPC(Late Positive Component)는 발화자가 새로운 텍스트를 전달할 때 없었습니다. 
Zäske et al.21의 주장을 뒷받침하기 위해 이 연구는 ERP(Event-Related Potential) 분석에서 교육 세션과 테스트 세션 간의 언어 내용의 차이에도 불구하고 이전/새로운 효과가 여전히 관찰될 수 있다고 의심합니다. 이 이론적 근거는 다른 텍스트가 사용된 조건에서 Zäske et al.22에서 구/신 효과가 없는 것은 Lavan et al.23이 제안한 것처럼 철저하고 효과적인 정체성 학습을 보장하기 위해 훈련 과제 중에 추가 점검 세션이 부족했기 때문일 수 있다는 개념에서 비롯됩니다. 결과적으로 이 연구의 첫 번째 목표는 이 가설을 조사하고 검증하는 것입니다. 본 연구는 훈련-테스팅 패러다임22에 체크 세션(checking session)을 추가하여 이를 검증하는 것을 목표로 한다. 
이 연구가 다루고자 하는 또 다른 핵심 질문은 언어 운율이 있을 때 화자 식별의 견고성입니다. 이전의 행동 연구는 청취자가 서로 다른 운율에 걸쳐 화자를 인식하는 데 특히 어려움을 겪는다는 것을 시사했는데, 이는 운율 맥락의 조절적 역할, 즉 청취자는 다양한 훈련 테스트 운율 조건에서 저조한 성과를 보였습니다. 본 연구는 청자가 자신감 있는 또는 의심스런 운율에서 친숙한 화자를 인식하도록 노출시킴으로써 이를 검증하는 것을 목표로 한다24. 이 연구는 관찰된 ERP 차이가 음성 운율이 ID 인식에 미치는 영향을 설명하는 데 도움이 될 것으로 기대합니다. 
본 연구의 핵심 목적은 화자 인식에서 구/신 효과의 견고성을 조사하고, 특히 자신감 있는 운율과 의심스러운 운율에서 발화자를 인식하는 데 차이가 있는지 여부를 조사하는 것입니다. Xu와 Armony10은 훈련-테스트 패러다임을 사용하여 행동 연구를 수행했으며, 그들의 연구 결과는 청취자가 운율 차이를 극복할 수 없으며(예: 중립 운율에서 발화자를 인식하도록 훈련받은 후 두려운 운율에서 테스트) 확률 수준10 미만의 정확도만 달성할 수 있음을 시사합니다. 음향 분석에 따르면 다양한 감정 상태를 표현하는 스피커는 VTL/F0 변조와 관련이 있습니다. 예를 들어, 자신감 있는 운율은 VTL이 길어지고 F0가 낮아지는 것이 특징인 반면, 의심스런 운율11,24의 경우 그 반대입니다. 또 다른 증거는 Lavan et al.23의 연구에서 나온 것으로, 청취자는 화자의 VTL 및 F0 변화에 적응하고 화자의 평균 기반 표현을 형성할 수 있음을 확인했습니다. 이 연구는 행동 데이터 관점에서 청취자가 운율 전반에 걸쳐 화자의 정체성을 여전히 인식할 가능성이 있음을 조정합니다(예: 자신감 있는 운율에서 자신을 인식하도록 훈련받았지만 의심스러운 운율에서 테스트됨, 준비 중인 별도의 원고에 보고됨). 그러나 화자 식별의 신경 상관 관계, 특히 Zäske et al.22이 관찰한 이전/새로운 효과의 일반화 가능성은 여전히 불분명합니다. 따라서 현재 연구는 테스트를 위한 맥락으로 확신에 찬 운율과 의심스러운 운율에서 이전/새로운 효과의 견고성을 검증하는 데 전념하고 있습니다.
이 연구는 구/신 효과 연구에서 기존 연구 패러다임에서 벗어난 것을 소개합니다. 과거의 연구는 오래된/새로운 화자 인식이 인식에 미치는 영향에 초점을 맞췄지만, 이 연구는 패러다임에 두 가지 자신감 수준(확신 대 의심)을 통합함으로써 이를 확장했습니다(따라서 2+2 연구). 이를 통해 우리는 자신감 있고 의심스러운 언어 운율의 맥락에서 화자 인식을 조사할 수 있습니다. 이 패러다임은 이전/새로운 효과의 견고성을 탐구할 수 있게 해줍니다. 자신감 있는 음성 맥락과 의심스러운 음성 맥락 모두에서 기억 효과와 관심 영역(ROI)에 대한 분석은 이 조사의 증거로 사용됩니다. 
전체적으로, 이 연구는 1) 언어 내용이 동일하지 않고 2) 확신 대 의심 운율이 있는 경우에도 EEG 이전/새 효과의 확대된 LPC가 관찰 가능하다는 가설을 통해 음성 인식의 EEG 상관 관계에 대한 이해를 업데이트하는 것을 목표로 합니다. 본 연구는 3단계 패러다임을 통해 가설을 조사하였다. 첫째, 훈련 단계에서 참가자들은 세 가지 목소리와 그에 해당하는 이름 사이의 연관성을 확립했습니다. 그 후, 확인 단계에서 그들은 3명의 후보 중에서 선택한 음성에 해당하는 이름을 식별하는 임무를 맡았습니다. Lavan et al.23에 따른 이러한 점검은 훈련 단계와 테스트 단계의텍스트가 다를 때 관찰되지 않는 오래된 화자 친숙화(old speaker familiarization)가 불충분하고6, 발화자가 중립적이고 두려운 운율(prosodies)을 가로지르는 발화자를 인식할 수 없을 때 관찰되지 않는 오래된 화자에 대한 친숙함을 극복하는 것을 목표로 한다10. 마지막으로, 테스트 단계에서 참가자들은 두 가지 대안 강제 선택 과제에서 세 가지 기존 화자 목소리와 세 가지 새로운 화자 목소리를 구별했으며, 언어 운율은 자신감 있거나 의심스러운 것으로 제시되었습니다. EEG 데이터는 64채널 EEG 시스템을 사용하여 수집되었으며 분석 전에 전처리를 거쳤습니다. 통계 분석과 ERP(Event-related Potential) 분석은 RStudio에서 수행되었으며, MATLAB은 뇌 지형 분석에 활용되었습니다.
디자인 세부사항과 관련하여, 본 연구는 VTL과 관련이 있고 말하는 사람에 대한 인상에 영향을 미치는 화자의 키를 조절하는 화자 정체성 학습 실험을 제안한다23. 이러한 측면은 또한 인지된 지배력(perceived dominance)25과 같은 사회적 인상에 영향을 미치며, 이러한 높은 수준의 인상 형성은 화자 정체성(화자 정체성)26을 해독하는 것과 상호작용할 수 있다.

<table><tbody><tr><td>64Ch Standard BrainCap for BrainAmp</td><td>Easycap GmbH</td><td>Steingrabenstrasse 14 DE-82211</td><td>https://shop.easycap.de/products/64ch-standard-braincap</td></tr><tr><td>연마 전해질-겔</td><td>Easycap GmbH</td><td>Abralyt 2000</td><td>https://shop.easycap.de/products/abralyt-2000</td></tr><tr><td>actiCHamp Plus</td><td>Brain Products GmbH</td><td>64 채널 + 8 AUX</td><td>https://www.brainproducts.com/solutions/actichamp/</td></tr><tr><td>오디오 인터페이스</td><td>Native Instruments GmbH</td><td>Komplete audio 6</td><td>https://www.native-instruments.com/en/products/komplete/audio-interfaces/komplete-audio-6/</td></tr><tr><td>폼 이어팁</td><td>Neuronix</td><td>ER3-14&nbsp;</td><td>https://neuronix.ca/products/er3-14-foam-eartips</td></tr><tr><td>겔 기반 수동 전극 시스템</td><td>Brain Products GmbH</td><td>BC 01453</td><td>https://www.brainproducts.com/solutions/braincap/</td></tr><tr><td>고점도 전해질 겔&nbsp;</td><td>Easycap GmbH</td><td>SuperVisc</td><td>https://shop.easycap.de/products/supervisc</td></tr></tbody></table>

이벤트 관련 전위 분석을 사용하여 표현 음성에서 강력한 음성 정체성 인식을 위한 암기 기반 교육 및 테스트 패러다임

Memorization-Based Training and Testing Paradigm for Robust Vocal Identity Recognition in Expressive Speech Using Event-Related Potentials Analysis

음성 스트림에서 친숙한 화자를 인식하는 것은 인간의 언어 의사 소통의 기본 측면입니다. 그러나 청취자가 어떻게 표현 언어에서 화자의 정체성을 식별할 수 있는지는 여전히 불분명합니다. 이 연구는 암기 기반 개별 화자 정체성 인식 접근 방식과 수반되는 뇌파(EEG) 데이터 분석 파이프라인을 개발하여 청취자가 친숙한 화자를 인식하고 낯선 화자를 구별하는 방법을 모니터링합니다. EEG 데이터는 음성을 기반으로 새로운 화자와 기존 화자를 구분하는 동안 온라인 인지 과정을 캡처하여 뇌 활동을 실시간으로 측정하고 반응 시간 및 정확도 측정의 한계를 극복합니다. 패러다임은 세 단계로 구성됩니다 : 청취자는 세 가지 목소리와 그들의 이름 (훈련) 사이의 연관성을 설정합니다. 청취자는 세 명의 후보의 음성에 해당하는 이름을 나타냅니다(확인). 청취자는 두 가지 대안 강제 선택 작업(테스트)에서 세 가지 이전 화자 목소리와 세 가지 새로운 화자 목소리를 구별합니다. 테스트에서 언어 운율은 자신감이 있거나 의심스러웠습니다. EEG 데이터는 64채널 EEG 시스템을 사용하여 수집한 다음 전처리를 거쳐 ERP 및 통계 분석을 위한 RStudio와 뇌 지형학을 위한 MATLAB으로 가져왔습니다. 결과는 Pz의 400-850ms 창 및 두 프로소디의 다른 더 넓은 범위의 전극에서 새로운 토커 조건과 비교하여 올드 토커에서 확대된 후기 양성 성분(LPC)이 유도되었음을 보여주었습니다. 그러나 이전/새 효과는 의심스런 운율 인식을 위해 중앙 및 후방 전극에서 강력했던 반면, 전방, 중앙 및 후방 전극은 확신 있는 운율 상태를 위한 것입니다. 이 연구는 이 실험 설계가 다양한 시나리오(예: 혐기성 표현) 및 발성아증과 같은 환자의 병리에서 화자별 신호 결합 효과를 조사하기 위한 참고 자료 역할을 할 수 있음을 제안합니다.

고전적인 구/신 효과는 테스트 세션의 음성 내용이 훈련 세션의 내용과 일치할 때, 특히 새로운 발화자 조건(22)과 비교하여 이전 발화자 조건에서 Pz 전극(300 내지 700ms 사이)에서 청취자의 뇌 활동이 크게 증가하는 것이 특징이다. 이 프로토콜은 이 효과의 업데이트된 버전을 공개합니다: 첫째, 400에서 850ms 사이의 새로운 발화자 상태와 비교하여 이전 상태에 대한 Pz 전극과 전체 뇌 영역에서 더 큰 긍정적 추세를 관찰합니다. 둘째, 테스트 세션의 음성 내용은 교육 세션의 내용과 다릅니다. 셋째, 자신감 있는 말투와 의심스런 말투시 모두 이러한 경향을 보일 것으로 예상된다. 마지막으로, 이전/새로운 효과는 테스트 세션 중 의심스러운 조건에서 더 두드러집니다(그림 2).
공식을 사용한 LMER 분석
lmer(전압 ~ 메모리...

이 연구는 확신에 차고 의심스런 운율 시나리오에서 이벤트 관련 잠재력의 오래된/새로운 효과를 조사하기 위한 훈련-테스트 패러다임을 소개합니다. 데이터는 Pz 및 기타 전극에서 400-850ms 사이의 향상된 후기 양성 성분을 보여줍니다. 이 파이프라인은 음성 운율 이상의 요인과 신호 바인딩 대상 식별에 미치는 영향을 탐색할 수 있습니다.

Recognizing familiar speakers from vocal streams is a fundamental aspect of human verbal communication. However, it remains unclear how listeners can ...

memorization-based-training-testing-paradigm-for-robust-vocal

Research

연구

JoVE Journal

Behavior

행동

유도 모방 절차는 유아기와 유아기의 회상 기억 발달을 조사하기 위해 확립되었습니다. 이 절차는 유아기와 유아기의 회상 기억의 본질에 대한 견고한 기반을 확립하는 데 널리 사용되었습니다.

이끌어 모방 패러다임을 사용하여 유년기와 유아에 리콜 메모리 검사

자음과 불협화음을 듣는 신경 상관 관계는 널리 연구되어 왔지만 자음 및 부조간 간격의 생성과 관련된 신경 메커니즘은 잘 알려져 있지 않습니다. 이 기사에서는 행동 테스트와 fMRI를 간격 확인 및 노래 작업과 결합하여 이러한 메커니즘을 설명합니다.

자음과 불요의 간격의 보컬 생성과 관련된 뇌 활동의 fMRI 맵핑

제시 하는 방법 여기 거짓 기억 관련 된 단어의 목록을 사용 하 여 유도 하 고 회수에 대 한 이미지 지침의 효과 그 거짓 기억의 인식 평가. 이 프로토콜 Deese Roediger 맥 더 못 (DRM) 패러다임의 수정된 된 버전을 자세히 설명합니다.

거짓 기억에 이미지의 효과 평가 하기 위해 교실 기반 Deese Roediger 맥 더 못 패러다임을 사용 하 여

우리는 시각적 단어 인식에서 전화학 및 의미 론의 상대적 활성화 시퀀스를 탐구하는 프로토콜을 제시합니다. 결과는 대화형 계정, 의미 론 및 음과 적 표현과 일치하여 대화형으로 처리될 수 있으며, 상위 수준의 언어 표현이 조기 처리에 영향을 줄 수 있음을 보여줍니다.

전기 생리학을 사용하여 시각 단어 인식에서 음과 및 의미론 프로세스 사이의 상호 작용

이 프로토콜은 이벤트 관련 잠재적 기술을 적용하여 청각 감각 대체에 대한 짧은 훈련 기간 후에 심도 난청이 있는 피험자의 근본적인 학습 관련 전기생리학적 변화를 탐구하도록 설계되었습니다.

사건 관련 잠재적 기술을 사용한 심도 난청이 있는 참가자의 청각 감각 대체 훈련 평가

이 연구는 L1-L2-영어와 L1-L2 포르투갈어를 비교하여 외국어 억양의 영향이 메트릭과 운율-음향 매개변수, 음성 라인업에서 대상 음성 선택을 얼마나 설명하는지 확인하는 것을 목표로 했습니다.

음성 라인업에서 외국어 억양 및 법의학 화자 식별: 운율에 기반한 음향 기능의 영향

사회적 배제에 대한 연구는 최근 몇 년 동안 엄청나게 증가했습니다. 이 분야가 확장됨에 따라 사회적 배제 중에 신경 및 행동 결과를 동시에 측정할 수 있는 정교한 방법론을 개발하는 것이 필수적입니다. 이 프로토콜은 사건 관련 뇌 전위를 활용하여 컴퓨터화된 사회적 상호 작용 중에 진행 중인 신경 활동을 기록합니다.

지속적인 전산 사회적 상호 작용 동안 신경 및 행동 활성을 측정 이벤트 관련 뇌 전위 검사를

사용 이벤트 관련 뇌파 전위 (까지 ERP)는, 우리는 분열 특성을 가진 건강한 사람에서 비정상적인 의미 뇌 활성화에 항 정신병 약물의 효과를 조사합니다. 우리는 의미 분류와 관련된인지 과정에 대한 통찰력을 흘리기, 두뇌 활동에 뚜렷한 변화를 추적하기까지 ERP를 사용합니다.

이벤트 관련 잠재력과 의미 분류를 사용하여 N400에 항 정신병 약물과 Schizotypy의 영향 조사

고밀도 뇌파검사(dEEG)는 생애 초기의 뇌 발달과 가소성을 연구하는 데 점점 더 많이 사용되고 있습니다. 여기에서는 유아 뇌의 빠른 청각 처리의 진동 역학을 이해하기 위해 전통적인 EEG 기록을 기반으로 하는 정교한 분석 기술의 응용 프로그램을 제시합니다.

유아 청각 처리 및 이벤트 관련 뇌 진동

ASD를 가진 아동의 감각 자극의 처리 및 통합을 조사하기 위해 일련의 행동 작업을 구현하는 방법을 설명합니다. 목표는 단순한 청각 및 시각 자극의 시간적 처리에서 개인차를 특성화하고 이를 음성 지각과 같은 고차원 지각 기술과 관련시키는 것입니다.

자폐증 스펙트럼 장애와 아동의 감각과 감각적 기능 테스트

학습하세요 이벤트 관련 전위 분석을 사용한 암기 기반 교육 및 테스트 패러다임으로 표현 음성에서 강력한 음성 정체성 인식을 수행하는 방법입니다. 이 기법은 신뢰와 의심 시나리오 간 처리 차이를 밝혀냅니다.

이벤트 관련 전위 분석을 사용하여 표현 음성에서 강력한 음성 정체성 인식을 위한 암기 기반 교육 및 테스트 패러다임

더 많은 동영상 탐색