Name: Trening i testowanie oparte na zapamiętywaniu paradygmatu dla solidnej identyfikacji głosu w emocjonalnej mowie z wykorzystaniem analizy potencjałów związanych z wydarzeniami (Wideo) | JoVE Journal
Uploaded: 2024-08-09T13:40:00.000+00:00
Duration: 5 min 48 s
Description: Poznaj metodę treningu i testowania opartą na zapamiętywaniu do badania rozpoznawania głosu w emocjonalnej mowie z wykorzystaniem analizy ERP. Technika ta pozwala identyfikować wpływ prozodii emocjonalnej na procesy poznawcze.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

To dzieło zostało wspierane przez Narodowe Fundacje Nauk Przyrodniczych Chin (Grant nr 31971037); Program Shuguang wspierany przez Fundację Rozwoju Edukacji w Szanghaju i Szanghajskiego Komitetu Edukacji Miejskiej (Grant nr 20SG31); Fundację Nauk Przyrodniczych w Szanghaju (22ZR1460200); Program Doradztwa Naukowca Międzynarodowych Studiów w Szanghaju (2022113001); oraz Główny Program Narodowej Fundacji Nauk Społecznych Chin (Grant nr 18ZDA293).

Etyczny Komitet Instytutu Lingwistyki, Międzynarodowego Uniwersytetu Studiów w Szanghaju, zatwierdził opisany poniżej projekt eksperymentu. Wszyscy uczestnicy dali pisemną zgodę na udział w badaniu.
1. Przygotowanie i walidacja biblioteki audio
<ol>
	<li>Nagrywanie i edycja audio
	<ol>
		<li>Stwórz bazę danych głosów po chińsku, przestrzegając standardowej procedury tworzenia wcześniejszej wersji angielskiej, dokonując jednocześnie adaptacji tam, gdzie jest to konieczne, aby pasowała do kontekstu Chin11. Do eksperymentu użyto 123 zdań zawierających trzy rodzaje intencji pragmatycznych, mianowicie osąd, intencję i fakt. W tym celu odwołaj się do istniejącego korpusu oświadczeń angielskich11 i stwórz zlokalizowany chiński wariant z dodatkowymi zlokalizowanymi scenariuszami.</li>
		<li>Zwerbować 24 mówców (12 kobiet), aby wyrazili te zdania w neutralnym, wątpliwym i pewnym prosodii, odnosząc się i dostosowując określone instrukcje z poprzednich zadań nagraniowych11,24.
		<ol>
			<li>Dla mówców tutaj, zwerbuj 24 standardowych mówców mandaryńskich z Międzynarodowego Uniwersytetu Studiów w Szanghaju, 12 kobiet i 12 mężczyzn, z wykazem biegłości w języku mandaryńskim poprzez wyniki 87 do 91 w teście sprawności w języku Putonghua. Mężczyźni mieli średnio 24,55 ± 2,09 lat, z 18,55 ± 1,79 lat edukacji i średnią wysokością 174,02 ± 20,64 cm. Kobiety miały średnio 22,30 ± 2,54 lat, z 18,20 ± 2,59 lat edukacji i średnią wysokością 165,24 ± 11,42 cm. Żaden nie zgłosił upośledzenia słuchu ani zaburzeń neurologicznych lub psychiatrycznych.</li>
		</ol>
		</li>
		<li>Poproś mówców, aby powtórzyli każdy tekst dwa razy. Ustaw częstotliwość próbkowania na 48 000 Hz w oprogramowaniu Praat27. Upewnij się, że żaden strumień nie jest dłuższy niż 10 min, ponieważ Praat może się rozpaść, powodując utratę nagrań.</li>
		<li>Edytuj długi strumień audio na kawałki na zdanie z Praat. Ponieważ są dwie powtórki tego samego tekstu, wybierz wersję, która najlepiej reprezentuje zamierzoną prosodię jako docelowe zdanie.</li>
	</ol>
	</li>
	<li>Selekcja audio
	<ol>
		<li>Normalizuj bibliotekę audio na 70 dB, a częstotliwość próbkowania na 41 000 Hz za pomocą skryptu Praat28. Aby to zrobić, otwórz Praat, załaduj pliki dźwiękowe i wybierz je w oknie Obiekty. Przejdź do menu Modyfikuj, wybierz Skaluj intensywność..., ustaw Nową średnią intensywność (dB SPL) na 70 w oknie ustawień i kliknij OK , aby zastosować normalizację.</li>
		<li>Zwerbować 48 niezależnych słuchaczy, aby ocenili każde audio na jednej 7-punktowej skali Likerta o poziomie pewności siebie: 1 dla wcale i 7 dla bardzo pewny11. Upewnij się, że każde zdanie zostało ocenionych przez 12 osób.</li>
		<li>Wybierz audio, które pasuje do wyznaczonych progów z jedną zasadą: upewnij się, że średnia ocena dla pewnego zamierzenia jest wyższa niż dla wątpliwego zamierzenia. Upewnij się, że te progi są spójne wśród 12 mówców tej samej płci biologicznej. Na przykład, jeśli ci mówcy wyrazili dwa zdania, każde z pewnym i wątpliwym prosodium, muszą zostać zaobserwowane znaczące różnice w ocenach.</li>
		<li>W celu obecnego eksperymentu użyj czterech bloków audio, łącznie 480 klipów audio, przy czym każdy blok zawiera 120 audio.
		<ol>
			<li>Podziel 24 mówców na cztery grupy po sześć, z dwiema grupami mężczyzn i dwiema grupami kobiet, przy czym każda grupa składa się z mówców tej samej płci biologicznej.</li>
			<li>Dla każdej grupy wybierz klipy audio na podstawie ocen percepcyjnych (dla tego samego tekstu), upewniając się, że średnie oceny pewności były wyższe niż oceny wątpliwości dla każdego zdania. Te cztery bloki różnią się następująco: 1) łączni sześciu mówcy - ich tożsamość jest różna; 2) połowa bloków jest wyrażana przez mężczyzn, a druga połowa przez kobiety; i 3) tekst wyrażony w każdym bloku jest różny.</li>
		</ol>
		</li>
		<li>Przed rozpoczęciem procesu selekcji udokumentuj dane dotyczące wzrostu dla każdego mówcy. Użyj tych informacji, aby podzielić mówców na cztery niezależne grupy w oparciu o płeć i wzrost.
		<ol>
			<li>Są łącznie 24 mówców, podzielonych równo między mężczyzn i kobiety. W obrębie każdej grupy płci posortuj 12 osób według wzrostu.</li>
		</ol>
		</li>
		<li>Podziel tych 12 osób na dwie grupy w sposób naprze

EEG Study on Recognizing Familiar Speakers in Expressive Speech

<ol><li>Larrouy-Maestri, P., Poeppel, D., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+sound+of+emotional+prosody%3A+Nearly+3+decades+of+research+and+future+directions%5BTitle%5D)+AND+%22Perspect+Psychol+Sci%22%5BJournal%5D)">The sound of emotional prosody: Nearly 3 decades of research and future directions.</a> Perspect Psychol Sci. , 17456916231217722(2024).</li>
<li>Pell, M. D., Kotz, S. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comment%3A+The+next+frontier%3A+Prosody+research+gets+interpersonal%5BTitle%5D)+AND+%22Emotion+Rev%22%5BJournal%5D)">Comment: The next frontier: Prosody research gets interpersonal.</a> Emotion Rev. 13 (1), 51-56 (2021).</li>
<li>Cummins, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multilingual+markers+of+depression+in+remotely+collected+speech+samples%3A+A+preliminary+analysis%5BTitle%5D)+AND+%22J+Affect+Disor%22%5BJournal%5D)">Multilingual markers of depression in remotely collected speech samples: A preliminary analysis.</a> J Affect Disor. 341, 128-136 (2023).</li>
<li>Cummins, N., Baird, A., Schuller, B. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Speech+analysis+for+health%3A+Current+state-of-the-art+and+the+increasing+impact+of+deep+learning%5BTitle%5D)+AND+%22Methods%22%5BJournal%5D)">Speech analysis for health: Current state-of-the-art and the increasing impact of deep learning.</a> Methods. 151, 41-54 (2018).</li>
<li>Kennedy, E., Thibeault, S. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Voice-gender+incongruence+and+voice+health+information-seeking+behaviors+in+the+transgender+community%5BTitle%5D)+AND+%22Am+J+Speech-language+Pathol%22%5BJournal%5D)">Voice-gender incongruence and voice health information-seeking behaviors in the transgender community.</a> Am J Speech-language Pathol. 29 (3), 1563-1573 (2020).</li>
<li>Zäske, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Electrophysiological+correlates+of+voice+memory+for+young+and+old+speakers+in+young+and+old+listeners%5BTitle%5D)+AND+%22Neuropsychologia%22%5BJournal%5D)">Electrophysiological correlates of voice memory for young and old speakers in young and old listeners.</a> Neuropsychologia. 116, 215-227 (2018).</li>
<li>Lavan, N., Burton, A. M., Scott, S. K., Mcgettigan, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Flexible+voices%3A+Identity+perception+from+variable+vocal+signals%5BTitle%5D)+AND+%22Psychonomic+Bullet+Rev%22%5BJournal%5D)">Flexible voices: Identity perception from variable vocal signals.</a> Psychonomic Bullet Rev. 26, 90-102 (2019).</li>
<li>Perrachione, T. K., Del Tufo, S. N., Gabrieli, J. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Human+voice+recognition+depends+on+language+ability%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Human voice recognition depends on language ability.</a> Science. 333 (6042), 595-595 (2011).</li>
<li>Lavan, N., Knight, S., Mcgettigan, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Listeners+form+average-based+representations+of+individual+voice+identities%5BTitle%5D)+AND+%22Nat+Comm%22%5BJournal%5D)">Listeners form average-based representations of individual voice identities.</a> Nat Comm. 10 (1), 2404(2019).</li>
<li>Xu, H., Armony, J. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Influence+of+emotional+prosody%2C+content%2C+and+repetition+on+memory+recognition+of+speaker+identity%5BTitle%5D)+AND+%22Quart+J+Exp+Psychol%22%5BJournal%5D)">Influence of emotional prosody, content, and repetition on memory recognition of speaker identity.</a> Quart J Exp Psychol. 74 (7), 1185-1201 (2021).</li>
<li>Jiang, X., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+sound+of+confidence+and+doubt%5BTitle%5D)+AND+%22Speech+Comm%22%5BJournal%5D)">The sound of confidence and doubt.</a> Speech Comm. 88, 106-126 (2017).</li>
<li>Winters, S. J., Levi, S. V., Pisoni, D. B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Identification+and+discrimination+of+bilingual+talkers+across+languages%5BTitle%5D)+AND+%22J+Acoustical+Soci+Am%22%5BJournal%5D)">Identification and discrimination of bilingual talkers across languages.</a> J Acoustical Soci Am. 123 (6), 4524-4538 (2008).</li>
<li>Orena, A. J., Polka, L., Theodore, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Identifying+bilingual+talkers+after+a+language+switch%3A+Language+experience+matters%5BTitle%5D)+AND+%22J+Acoustical+Soc+Am%22%5BJournal%5D)">Identifying bilingual talkers after a language switch: Language experience matters.</a> J Acoustical Soc Am. 145 (4), EL303-EL309 (2019).</li>
<li>Xie, X., Myers, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+impact+of+musical+training+and+tone+language+experience+on+talker+identification%5BTitle%5D)+AND+%22J+Acoustical+Soc+Am%22%5BJournal%5D)">The impact of musical training and tone language experience on talker identification.</a> J Acoustical Soc Am. 137 (1), 419-432 (2015).</li>
<li>Kadam, M. A., Orena, A. J., Theodore, R. M., Polka, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Reading+ability+influences+native+and+non-native+voice+recognition%2C+even+for+unimpaired+readers%5BTitle%5D)+AND+%22J+Acoustical+Soc+Am%22%5BJournal%5D)">Reading ability influences native and non-native voice recognition, even for unimpaired readers.</a> J Acoustical Soc Am. 139 (1), EL6-EL12 (2016).</li>
<li>Fleming, D., Giordano, B. L., Caldara, R., Belin, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+language-familiarity+effect+for+speaker+discrimination+without+comprehension%5BTitle%5D)+AND+%22Proc+Natl+Acad+Sci%22%5BJournal%5D)">A language-familiarity effect for speaker discrimination without comprehension.</a> Proc Natl Acad Sci. 111 (38), 13795-13798 (2014).</li>
<li>White, K. S., Yee, E., Blumstein, S. E., Morgan, J. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Adults+show+less+sensitivity+to+phonetic+detail+in+unfamiliar+words%2C+too%5BTitle%5D)+AND+%22J+Memory+Lang%22%5BJournal%5D)">Adults show less sensitivity to phonetic detail in unfamiliar words, too.</a> J Memory Lang. 68 (4), 362-378 (2013).</li>
<li>Levi, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Methodological+considerations+for+interpreting+the+language+familiarity+effect+in+talker+processing%5BTitle%5D)+AND+%22Wiley+Interdiscip+Revi%3A+Cognitive+Sci%22%5BJournal%5D)">Methodological considerations for interpreting the language familiarity effect in talker processing.</a> Wiley Interdiscip Revi: Cognitive Sci. 10 (2), e1483(2019).</li>
<li>Perrachione, T. K. Recognizing Speakers Across Languages. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aPerrachione%2C+TK+%22The+Oxford+Handbook+of+Voice+Perception%22">The Oxford Handbook of Voice Perception</a>. Frühholz, S., Belin, P. , Oxford University Press. 515-538 (2018).</li>
<li>Lavan, N., Burton, A. M., Scott, S. K., Mcgettigan, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Flexible+voices%3A+Identity+perception+from+variable+vocal+signals%5BTitle%5D)+AND+%22Psychonomic+Bullet+Rev%22%5BJournal%5D)">Flexible voices: Identity perception from variable vocal signals.</a> Psychonomic Bullet Rev. 26 (1), 90-102 (2019).</li>
<li>Zäske, R., Hasan, B. aS., Belin, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((It+doesn%27t+matter+what+you+say%3A+Fmri+correlates+of+voice+learning+and+recognition+independent+of+speech+content%5BTitle%5D)+AND+%22Cortex%22%5BJournal%5D)">It doesn't matter what you say: Fmri correlates of voice learning and recognition independent of speech content.</a> Cortex. 94, 100-112 (2017).</li>
<li>Zäske, R., Volberg, G., Kovács, G., Schweinberger, S. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Electrophysiological+correlates+of+voice+learning+and+recognition%5BTitle%5D)+AND+%22J+Neurosci%22%5BJournal%5D)">Electrophysiological correlates of voice learning and recognition.</a> J Neurosci. 34 (33), 10821-10831 (2014).</li>
<li>Lavan, N., Knight, S., Mcgettigan, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Listeners+form+average-based+representations+of+individual+voice+identities%5BTitle%5D)+AND+%22Nat+Comm%22%5BJournal%5D)">Listeners form average-based representations of individual voice identities.</a> Nat Comm. 10 (1), 1-9 (2019).</li>
<li>Chen, W., Jiang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Voice-Cloning+Artificial-Intelligence+Speakers+Can+Also+Mimic+Human-Specific+Vocal+Expression%5BTitle%5D)+AND+%22Preprints%22%5BJournal%5D)">Voice-Cloning Artificial-Intelligence Speakers Can Also Mimic Human-Specific Vocal Expression.</a> Preprints. , 10.20944/preprints202312.0807.v1 (2023).</li>
<li>Pisanski, K., Anikin, A., Reby, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Vocal+size+exaggeration+may+have+contributed+to+the+origins+of+vocalic+complexity%5BTitle%5D)+AND+%22Philosoph+Trans+Royal+Soc+B%22%5BJournal%5D)">Vocal size exaggeration may have contributed to the origins of vocalic complexity.</a> Philosoph Trans Royal Soc B. 377 (1841), 20200401(2022).</li>
<li>Belin, P., Fecteau, S., Bedard, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Thinking+the+voice%3A+Neural+correlates+of+voice+perception%5BTitle%5D)+AND+%22Trend+Cognitive+Sci%22%5BJournal%5D)">Thinking the voice: Neural correlates of voice perception.</a> Trend Cognitive Sci. 8 (3), 129-135 (2004).</li>
<li>Boersma, P., Weenink, D. Praat: doing phonetics by computer. , Available from: 
 <a target="_blank" href="https://www.fon.hum.uva.nl/praat/">https://www.fon.hum.uva.nl/praat/</a> (2022).</li>
<li>Jiang, X., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((On+how+the+brain+decodes+vocal+cues+about+speaker+confidence%5BTitle%5D)+AND+%22Cortex%22%5BJournal%5D)">On how the brain decodes vocal cues about speaker confidence.</a> Cortex. 66, 9-34 (2015).</li>
<li>Jiang, X., Gossack-Keenan, K., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((To+believe+or+not+to+believe%3F+How+voice+and+accent+information+in+speech+alter+listener+impressions+of+trust%5BTitle%5D)+AND+%22Quart+J+Exp+Psychol%22%5BJournal%5D)">To believe or not to believe? How voice and accent information in speech alter listener impressions of trust.</a> Quart J Exp Psychol. 73 (1), 55-79 (2020).</li>
<li>Rigoulot, S., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Seeing+emotion+with+your+ears%3A+Emotional+prosody+implicitly+guides+visual+attention+to+faces%5BTitle%5D)+AND+%22PloS+One%22%5BJournal%5D)">Seeing emotion with your ears: Emotional prosody implicitly guides visual attention to faces.</a> PloS One. 7 (1), e30740(2012).</li>
<li>Cui, X., Jiang, X., Ding, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Affective+prosody+guides+facial+emotion+processing%5BTitle%5D)+AND+%22Curr+Psychol%22%5BJournal%5D)">Affective prosody guides facial emotion processing.</a> Curr Psychol. 42 (27), 23891-23902 (2023).</li>
<li>Chen, W., Jiang, X. Memorization-based training and testing paradigm for robust vocal identity recognition in expressive speech using event-related potentials analysis. , Available from: 
 <a target="_blank" href="https://osf.io/6zu83/">https://osf.io/6zu83/</a> (2024).</li>
<li>Gmbh, B. P. Brainvision recorder. , Available from: 
 <a target="_blank" href="https://www.brainproducts.com/downloads/recorder/">https://www.brainproducts.com/downloads/recorder/</a> (2024).</li>
<li>Jiang, X., Paulmann, S., Robin, J., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((More+than+accuracy%3A+Nonverbal+dialects+modulate+the+time+course+of+vocal+emotion+recognition+across+cultures%5BTitle%5D)+AND+%22J+Exp+Psychol%22%5BJournal%5D)">More than accuracy: Nonverbal dialects modulate the time course of vocal emotion recognition across cultures.</a> J Exp Psychol. 41 (3), 597(2015).</li>
<li>Jiang, X., Pell, M. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+feeling+of+another%27s+knowing%3A+How+%26%2334%3Bmixed+messages%26%2334%3B+in+speech+are+reconciled%5BTitle%5D)+AND+%22J+Exp+Psychol%22%5BJournal%5D)">The feeling of another's knowing: How &#34;mixed messages&#34; in speech are reconciled.</a> J Exp Psychol. 42 (9), 1412(2016).</li>
<li>Zhou, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Semantic+integration+processes+at+different+levels+of+syntactic+hierarchy+during+sentence+comprehension%3A+An+erp+study%5BTitle%5D)+AND+%22Neuropsychologia%22%5BJournal%5D)">Semantic integration processes at different levels of syntactic hierarchy during sentence comprehension: An erp study.</a> Neuropsychologia. 48 (6), 1551-1562 (2010).</li>
<li>Jiang, X., Tan, Y., Zhou, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Processing+the+universal+quantifier+during+sentence+comprehension%3A+Erp+evidence%5BTitle%5D)+AND+%22Neuropsychologia%22%5BJournal%5D)">Processing the universal quantifier during sentence comprehension: Erp evidence.</a> Neuropsychologia. 47 (8-9), 1799-1815 (2009).</li>
<li>Acunzo, D. J., Mackenzie, G., Van Rossum, M. C. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Systematic+biases+in+early+erp+and+erf+components+as+a+result+of+high-pass+filtering%5BTitle%5D)+AND+%22J+Neurosci+Meth%22%5BJournal%5D)">Systematic biases in early erp and erf components as a result of high-pass filtering.</a> J Neurosci Meth. 209 (1), 212-218 (2012).</li>
<li>Bates, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fitting+linear+mixed+models+in+r%5BTitle%5D)+AND+%22R%22%5BJournal%5D)">Fitting linear mixed models in r.</a> R. 5 (1), 27-30 (2005).</li>
<li>Oostenveld, R., Fries, P., Maris, E., Schoffelen, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fieldtrip%3A+Open+source+software+for+advanced+analysis+of+meg%2C+eeg%2C+and+invasive+electrophysiological+data%5BTitle%5D)+AND+%22Computat+Intelligence+Neurosci%22%5BJournal%5D)">Fieldtrip: Open source software for advanced analysis of meg, eeg, and invasive electrophysiological data.</a> Computat Intelligence Neurosci. 2011, 1-9 (2011).</li>
<li>Coopmans, C. W., Nieuwland, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Dissociating+activation+and+integration+of+discourse+referents%3A+Evidence+from+erps+and+oscillations%5BTitle%5D)+AND+%22Cortex%22%5BJournal%5D)">Dissociating activation and integration of discourse referents: Evidence from erps and oscillations.</a> Cortex. 126, 83-106 (2020).</li>
<li>Humble, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+jena+voice+learning+and+memory+test+%28jvlmt%29%3A+A+standardized+tool+for+assessing+the+ability+to+learn+and+recognize+voices%5BTitle%5D)+AND+%22Behavior+Res+Meth%22%5BJournal%5D)">The jena voice learning and memory test (jvlmt): A standardized tool for assessing the ability to learn and recognize voices.</a> Behavior Res Meth. 55 (3), 1352-1371 (2023).</li>
<li>Holmes, E., To, G., Johnsrude, I. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((How+long+does+it+take+for+a+voice+to+become+familiar%3F+Speech+intelligibility+and+voice+recognition+are+differentially+sensitive+to+voice+training%5BTitle%5D)+AND+%22Psychol+Sci%22%5BJournal%5D)">How long does it take for a voice to become familiar? Speech intelligibility and voice recognition are differentially sensitive to voice training.</a> Psychol Sci. 32 (6), 903-915 (2021).</li>
<li>Kroczek, L. O. H., Gunter, T. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Communicative+predictions+can+overrule+linguistic+priors%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Communicative predictions can overrule linguistic priors.</a> Sci Rep. 7 (1), 17581(2017).</li>
<li>Kroczek, L. O. H., Gunter, T. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+time+course+of+speaker-specific+language+processing%5BTitle%5D)+AND+%22Cortex%22%5BJournal%5D)">The time course of speaker-specific language processing.</a> Cortex. 141, 311-321 (2021).</li>
<li>Schroeger, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Atypical+prosopagnosia+following+right+hemispheric+stroke%3A+A+23-year+follow-up+study+with+mt%5BTitle%5D)+AND+%22Cognitive+Neuropsychol%22%5BJournal%5D)">Atypical prosopagnosia following right hemispheric stroke: A 23-year follow-up study with mt.</a> Cognitive Neuropsychol. 39 (3-4), 196-207 (2022).</li>
<li>Garrido, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Developmental+phonagnosia%3A+A+selective+deficit+of+vocal+identity+recognition%5BTitle%5D)+AND+%22Neuropsychologia%22%5BJournal%5D)">Developmental phonagnosia: A selective deficit of vocal identity recognition.</a> Neuropsychologia. 47 (1), 123-131 (2009).</li>
<li>Schelinski, S., Borowiak, K., Von Kriegstein, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Temporal+voice+areas+exist+in+autism+spectrum+disorder+but+are+dysfunctional+for+voice+identity+recognition%5BTitle%5D)+AND+%22Social+Cognitive+Affective+Neurosci%22%5BJournal%5D)">Temporal voice areas exist in autism spectrum disorder but are dysfunctional for voice identity recognition.</a> Social Cognitive Affective Neurosci. 11 (11), 1812-1822 (2016).</li>
<li>Holle, H., Gunter, T. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+iconic+gestures+in+speech+disambiguation%3A+Erp+evidence%5BTitle%5D)+AND+%22J+Cognitive+Neurosci%22%5BJournal%5D)">The role of iconic gestures in speech disambiguation: Erp evidence.</a> J Cognitive Neurosci. 19 (7), 1175-1192 (2007).</li>
<li>Regel, S., Coulson, S., Gunter, T. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+communicative+style+of+a+speaker+can+affect+language+comprehension%3F+Erp+evidence+from+the+comprehension+of+irony%5BTitle%5D)+AND+%22Brain+Res%22%5BJournal%5D)">The communicative style of a speaker can affect language comprehension? Erp evidence from the comprehension of irony.</a> Brain Res. 1311, 121-135 (2010).</li>
</ol>

Nie ma informacji do ujawnięcia.

Przedstawione badanie przedstawia procedurę zbierania i analizy danych EEG, koncentrując się na rozpoznawaniu wcześniej nauczonych tożsamości mówców. Badanie to dotyczy różnic między fazami uczenia się a rozpoznawania, w tym różnic w treści mowy22 i prozodii10. Konstrukcja jest przystosowana do zastosowania w różnych dziedzinach badań, w tym psycholingwistyce, takich jak przetwarzanie zaimków i anafor41.
Paradygmat treningowo-testowy jest klasycznym wzorcem eksperymentalnym używanym do oceny wyników uczenia się uczestników w konkretnych tematach, takich jak uczenie się głosów42,43. Ten paradygmat ocenia, jak dobrze uczestnicy opanowali określone informacje (co przejawia się w dokładności)10. Pozwala to badaczom wprowadzać zmienne stopniowo w kontrolowanych warunkach eksperymentalnych, takich jak różne prozody w fazach treningowych i testowych, aby zrozumieć ich wpływ na dokładność rozpoznawania głosów, na przykład głosy VTL/F0 modułowane23, tchórzliwe versus neutralne10 lub wątpliwe versus pewne w tym badaniu.
Jednak paradygmat ma ograniczenia. Różnice między środowiskami uczenia się i testowania mogą wpływać na ważność wyników eksperymentu, ponieważ kontrolowane warunki uczenia się mogą nie odzwierciedlać bardziej zmiennych warunków testowych. Na przykład, sesja treningowa korzysta z pojedynczej prozodii zamiast proporcjonalnej różnicy, takiej jak 30% versus 70%44. Aby zapobiec tej nierównowagę, zapewnienie bardziej zróżnicowanego środowiska uczenia się mogłoby lepiej naśladować scenariusze z życia codziennego, gdzie mówcy używają zróżnicowanej prozodii podczas interakcji z słuchaczami. Dodatkowo, to badanie przyznaje, że złożoność projektu eksperymentalnego, obejmującego wiele etapów i zaawansowaną programowanie (z wykorzystaniem narzędzi takich jak R Studio, MATLAB i Python), może być wyzwaniem dla nowicjuszy.
Główne wnioski podkreślają znaczenie odpowiedniej znajomości i fazy sprawdzającej. Praca Xu i Armony wskazuje, że słuchacze mają trudności z identyfikacją starych tożsamości mówców bez wystarczającego treningu i sprawdzeń powyżej poziomu przypadkowego10. Ponadto Zaske i wsp. stwierdzili, że efekt LPC stary/nowy był obecny tylko wtedy, gdy ten sam tekst był powtarzany, a nie z różnymi tekstami22. W tym badaniu wdrożenie fazy sprawdzającej ujawniło trwałość efektu ERP stary/nowy, nawet z różnymi stymulacyjnymi tekstami, co wspiera twierdzenia badań fMRI21. Badanie sugeruje, że w przypadku paradygmatów opartych na treningu i testowaniu, wstawienie sesji sprawdzającej jest kluczowe. Pozwala to słuchaczom stworzyć mocne wrażenie o akustycznej tożsamości mówcy, kojarząc go z określonym symbolem, takim jak imię23. Bez wystarczającego nauczenia się reprezentacji mówcy, słuchacze mogą mieć trudności z adaptacją do zmian wewnątrz mówcy10.
To badanie obserwowało również rolę prozodii jako wskaźnika wiążącego w rozpoznawaniu mówcy45. W przeciwieństwie do poprzednich poglądów, że prozodię może utrudniać rozpoznawanie starego mówcy, to badanie znalazło efekt stary/nowy w warunkach pewnej i wątpliwej prozodii. Ten trwały efekt sugeruje rolę modulacyjną prozodii w rozpoznawaniu mówców. Dalsza analiza ujawniła różnice w aktywacji regionu przedniego w różnych warunkach prozodii. Pewna prozodja wywoływała niższe poziomy efektu stary/nowy w regionach przednich w porównaniu z wątpliwą prozodią. To odkrycie sugeruje, że pewna mowa może utrudnić identyfikację mówcy z powodu wydłużonej długości drogi głosowej i obniżonej częstotliwości podstawowej, co może prowadzić do zwiększonej uwagi słuchaczy11,29.
Projekt tego badania może zainspirować przyszłe badania nad upośledzeniami rozpoznawania w populacjach pacjentów, takich jak osoby z prosopagnozją lub fonagnozją46,47. Ponadto, modyfikacje w celu przystosowania się do uczestników o krótszej uwagi, takich jak osoby z zaburzeniami ze spektrum autyzmu48, mogą poprawić dostępność badania.
Ponadto, paradygmat rozciąga się poza rozpoznawanie mówców, aby badać przetwarzanie zaimków i rozumienie anaforyczne w badaniach psycholingwistycznych. Coopmans i Nieuwland41 pokazują, jak wzory synchronizacji oscylacyjnej neuronów odróżniają aktywację poprzednika i integrację w rozumieniu anafor, co jest zgodne z badaniem tej pracy nad sygnałami związanymi z tożsamością. Podobne wskazówki obejmują style komunikacyjne (np. stwierdzenia dosłowne lub ironiczne), kolejność

Strumienie głosowe człowieka są bogate w informacje, takie jak emocje1,2, stan zdrowia3,4, płeć biologiczna5, wiek6, a co ważniejsze, indywidualna tożsamość głosowa7,8. Badania sugerują, że ludzkie słuchacze mają mocną zdolność do rozpoznawania i rozróżniania tożsamości swoich rówieśników poprzez głosy, przezwyciężając wariacje wewnątrz-mówcy wokół przeciętnej reprezentacji tożsamości mówcy w przestrzeni akustycznej9. Takie różnice są spowodowane manipulacjami akustycznymi (częstotliwością podstawową i długością traktu głosowego, czyli F0 i VTL), które nie odpowiadają żadnym jasnym intencjom pragmatycznym9, prozodiami emocjonalnymi10 i pewnością głosu, która przekazuje uczucie pewności mówców11. Eksperymenty behawioralne skupią się na wielu czynnikach, które wpływają na wydajność słuchaczy w rozpoznawaniu mówców, w tym manipulacje związane z językiem8,12,13, cechy związane z uczestnikami, takie jak doświadczenie muzyczne czy umiejętność czytania14,15 oraz adaptacje dotyczące stymulacji, takie jak mowa wspak lub niesłowa16,17; więcej można znaleźć w przeglądach literatury18,19. Kilka ostatnich eksperymentów badało, jak indywidualna wariacja reprezentacji tożsamości mówcy może osłabić dokładność rozpoznawania, biorąc pod uwagę aspekty, takie jak wysoka i niska ekspresja emocjonalna16 oraz neutralne i przestraszone prozody5; sugeruje to wiele możliwych scenariuszy do dalszych badań20.
W celu wypełnienia pierwszej luki w badaniach, badanie proponuje, że neurofizjologiczne podstawy identyfikacji mówcy jeszcze nie w pełni badają, jak wariacje wewnątrz-mówcy wyzwania dla aktywności mózgu słuchaczy. Na przykład w zadaniu rozpoznawania mówcy opartego na fMRI autorstwa Zäske i wsp., prawa tylna górna zakręt skroniowy (pSTG), prawa dolna/środkowa zakręt czołowy (IFG/MFG), prawa środkowa zakręt czołowy i lewa caudata wykazywały zmniejszoną aktywność, gdy prawidłowo identyfikowano starych i nowych mówców, niezależnie od tego, czy treść językowa była taka sama czy różna21. Jednak wcześniejsze badanie EEG autorstwa Zäske i wsp. nie zaobserwowało tego efektu stary/nowy, gdy różnica tożsamości mówcy została wprowadzona poprzez różne teksty22. Konkretnie, większy, późny dodatni składnik (LPC) w zakresie od 300 do 700 ms, wykryty na elektrodzie Pz, gdy słuchacze spotkali swojego zapoznanego mówcę, który wyrażał ten sam tekst (czyli słysząc powtórkę o niezmienionej treści językowej), był nieobecny, gdy mówcy dostarczali nowe teksty.
Wsparciem dla twierdzenia Zäske i wsp.21 to badanie podejrzewa, że efekt stary/nowy nadal można zaobserwować pomimo różnic w treści językowej między sesjami szkoleniowymi i testowymi w analizach potencjałów związanych z zdarzeniem (ERP). Ta racja pochodzi od poglądu, że brak efektu stary/nowy w Zäske i wsp.22, w warunkach, gdy używano różnych tekstów, może być przypisany brakowi dodatkowej sesji kontrolnej podczas zadania szkoleniowego, aby zapewnić dokładne i skuteczne uczenie się tożsamości, jak sugerują Lavan i wsp.23. W związku z tym, pierwszym celem badania jest zbadanie i zweryfikowanie tej hipotezy. To badanie ma na celu przetestowanie tego, dodając sesję kontrolną do paradygmatu szkoleniowo-testowego22.
Kolejnym kluczowym pytaniem, które to badanie ma na celu udokumentować, jest odporność identyfikacji mówcy w obecności prozodii mowy. Poprzednie badania behawioralne sugerują, że słuchacze szczególnie mają trudności z rozpoznawaniem mówców w różnych prozodiach, co wskazuje na modulacyjną rolę kontekstu prozodycznego - słuchacze słabo się spisali w różnych warunkach treningu i testowania prozody. To badanie ma na celu przetestować to, eksponując słuchaczy do rozpoznawania zapoznanych mówców w pewnych lub wątpliwych prozodiach24. To badanie spodziewa się, że zaobserwowane różnice ERP pomogą wyjaśnić, jak prozodia mowy wpływa na rozpoznawanie tożsamości.
Głównym celem obecnego badania jest zbadanie odporności efektu stary/nowy w rozpoznawaniu mówcy, szczególnie badając, czy są różnice w rozpoznawaniu mów

<table><tbody><tr><td>64Ch Standard BrainCap for BrainAmp</td><td>Easycap GmbH</td><td>Steingrabenstrasse 14 DE-82211</td><td>https://shop.easycap.de/products/64ch-standard-braincap</td></tr><tr><td>Abrasive Electrolyte-Gel</td><td>Easycap GmbH</td><td>Abralyt 2000</td><td>https://shop.easycap.de/products/abralyt-2000</td></tr><tr><td>actiCHamp Plus</td><td>Brain Products GmbH</td><td>64 channels + 8 AUX</td><td>https://www.brainproducts.com/solutions/actichamp/</td></tr><tr><td>Audio Interface</td><td>Native Instruments GmbH</td><td>Komplete audio 6</td><td>https://www.native-instruments.com/en/products/komplete/audio-interfaces/komplete-audio-6/</td></tr><tr><td>Foam Eartips</td><td>Neuronix</td><td>ER3-14&nbsp;</td><td>https://neuronix.ca/products/er3-14-foam-eartips</td></tr><tr><td>Gel-based passive electrode system</td><td>Brain Products GmbH</td><td>BC 01453</td><td>https://www.brainproducts.com/solutions/braincap/</td></tr><tr><td>High-Viscosity Electrolyte Gel&nbsp;</td><td>Easycap GmbH</td><td>SuperVisc</td><td>https://shop.easycap.de/products/supervisc</td></tr></tbody></table>

trening i testowanie oparte na zapamiętywaniu paradygmatu dla solidnej identyfikacji głosu w emocjonalnej mowie z wykorzystaniem analizy potencjałów związanych z wydarzeniami

Memorization-Based Training and Testing Paradigm for Robust Vocal Identity Recognition in Expressive Speech Using Event-Related Potentials Analysis

Rozpoznawanie znanych mówców ze strumieni głosowych jest fundamentalnym aspektem ludzkiej komunikacji werbalnej. Jednak nadal nie jest jasne, w jaki sposób słuchacze mogą nadal rozróżniać tożsamość mówcy w ekspresywnej mowie. To badanie opracowuje metodę rozpoznawania indywidualnej tożsamości mówcy opartą na zapamiętywaniu oraz towarzyszącej jej analizie danych elektroencefalogramu (EEG), która monitoruje, jak słuchacze rozpoznają znanych mówców i odróżniają nieznanych. Dane EEG rejestrują procesy poznawcze online podczas rozróżniania nowych i starych mówców na podstawie głosu, oferując miernik aktywności mózgu w czasie rzeczywistym, przezwyciężając ograniczenia czasu reakcji i pomiarów dokładności. Paradygmat obejmuje trzy kroki: słuchacze ustalają powiązania między trzema głosami a ich imionami (trening); słuchacze wskazują imię odpowiadające głosowi spośród trzech kandydatów (sprawdzanie); słuchacze rozróżniają trzy stare i trzy nowe głosy mówców w zadaniu dwualternatywnym (testowanie). Prozodia w teście była albo pewna, albo wątpliwa. Dane EEG zostały zebrane za pomocą 64-kanałowego systemu EEG, następnie przetworzone i zaimportowane do RStudio do analizy ERP i statystycznej oraz do MATLAB do topografii mózgu. Wyniki wykazały powiększony późny składnik dodatni (LPC) wywołany w warunku starego mówcy w porównaniu z warunkiem nowego mówcy w oknie 400-850 ms na elektrodzie Pz i innym szerszym zakresie elektrod w obu prozodii. Jednak efekt stary/nowy był wyraźny na środkowych i tylnych elektrodach w przypadku wątpliwej percepcji prozodii, podczas gdy przednie, środkowe i tylne elektrody były dla warunku pewnej prozodii. To badanie sugeruje, że ten projekt eksperymentu może służyć jako odniesienie do badania efektów wiążących wskazówki specyficzne dla mówcy w różnych scenariuszach (np. ekspresja anaforyczna) oraz patologii u pacjentów, takich jak fonagnozja.

Klasyczny efekt stary/nowy charakteryzuje się znacznym wzrostem aktywności mózgu słuchaczy na elektrodzie Pz (między 300 a 700 ms), gdy treść mowy sesji testowej pasuje do treści sesji treningowej, szczególnie w warunku starego mówcy w porównaniu z warunkiem nowego mówcy22. Protokół ujawnia zaktualizowany wariant tego efektu: Po pierwsze, obserwowanie większych dodatnich trendów na elektrodzie Pz i na całym obszarze mózgu w warunku starym w porównaniu z warunkiem nowego mówcy między 400 a 850 ms. Po drugie, treść mowy w sesji testowej będzie różnić się od treści sesji treningowej. Po trzecie, zarówno warunki pewnej, jak i wątpliwej prozodii mowy powinny wykazywać te trendy. Wreszcie, efekt stary/nowy jest bardziej zauważalny w warunku wątpliwym podczas sesji testowej (Rysunek 2).
Analiza LMER z formułą
lmer(Voltage ~ Memory * ROI + (1|Subject) + (1|Channel))
sugerują, że zarówno typy pamięci (stary versus nowy) i ROI mają efekty główne, a także interakcję między pamięcią i ROI (Tabela 1). Dalsza analiza post-hoc wykazała, że we wszystkich obszarach mózgu warunek stary wykazuje większe dodatnie napięcie niż warunek wątpliwy, w tym w obszarach przednich, centralnych i tylnych (Tabela 2). Porównanie wartości beta sugeruje, że efekt stary/nowy był bardziej zauważalny na centralnych i tylnych elektrodach niż na przednich elektrodach: dla zestawu danych łączonych - Przedni β =.40, Centralny β =.63 i Tylny β =.60; dla zestawu pewnych danych - Przedni β =.61, Centralny β =.63 i Tylny β =.76 oraz dla zestawu wątpliwych danych - Przedni β =.44, Centralny β =.87 i Tylny β =.69. Zaangażowanie elektrod centralnych i tylnych było najbardziej zauważalne w warunku wątpliwej prozodii.
Z formułą
lmer(Voltage ~ Memory + (1|Subject))
potwierdziliśmy istnienie efektów stary/nowy na elektrodzie Pz. Na elektrodzie Pz zaobserwowano główny efekt pamięci (stary versus nowy) (F(1, 69341.99) = 120.46, p < .001, η²p =.002, β =.425, SE =.039, stosunek z = 10.98, p < .001). W warunku tylko pewnym zaobserwowano główny efekt pamięci (stary versus nowy) na elektrodzie Pz (F(1, 34318.32) = 5.04, p = .025, η²p =.0001, β =.125, SE =.056, stosunek z = 2.25, p = .025). W warunku tylko wątpliwym zaobserwowano główny efekt pamięci (stary versus nowy) na elektrodzie Pz (F(1, 34993.20) = 317.02, p < .001, η²p =.009, β =.914, SE =.051, stosunek z = 17.81, p < .001).
<img alt="Rysunek 1" class="xfigimg" src="/files/ftp_upload/66913/66913fig01.jpg" /> 
Rysunek 1: Przepływ pracy zbierania danych dla każdego bloku. W (A) Treningu, słuchacze słyszą głos i kojarzą nazwę, która następnie jest z nim prezentowana. Wymagane jest zapamiętanie trzech starych mówców. Język, który pojawił się w programie, pierwotnie był chiński. A i C reprezentują nazwy takie jak Xiao (Junior) ZHANG. W (B) Sprawdzaniu, słuchacze identyfikują nazwę mówcy po usłyszeniu głosu, naciskając 1, 2 lub 3 na klawiaturze liczbowej, aby skojarzyć tożsamość głosu z nazwiskami takimi jak Xiao ZHAO. W (C) Testowaniu, słuchacze słyszą głos i klasyfikują go jako mówiony przez starego lub nowego mówcę. Jak pokazano w (D) Projekt prozodii, słuchacze uczą się, że trzy mówcy wyrażają się tylko pewnie lub wątpliwie, ale słyszą sześć mówców mówiących zarówno pewnie, jak i wątpliwie. Pojawienie się Wersji A lub B jest wzajemnie wyłączne. Jeśli Wersja A pojawi się z męskim lub żeńskim mówcą, Wersja B pojawi się z odpowiednim żeńskim lub męskim mówcą. <a href="https://www.jove.com/files/ftp_upload/66913/66913fig01large.jpg" target="_blank">Proszę kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.</a>
<img alt="Rysunek 2" class="xfigimg" src="/files/ftp_upload/66913/66913fig02.jpg" /> 
Rysunek 2</

Badanie wprowadza paradygmat treningowo-testujący w celu zbadania efektów starych/nowych potencjałów związanych z wydarzeniem w pewnych i wątpliwych scenariuszach prozodycznych. Dane ujawniają zwiększoną późną składową dodatnią w przedziale 400-850 ms w Pz i innych elektrodach. Ten proces może badać czynniki poza prozodią mowy i ich wpływ na identyfikację wskaźników wiązania celu.

Trening i testowanie oparte na zapamiętywaniu paradygmatu dla solidnej identyfikacji głosu w emocjonalnej mowie z wykorzystaniem analizy potencjałów związanych z wydarzeniami

Recognizing familiar speakers from vocal streams is a fundamental aspect of human verbal communication. However, it remains unclear how listeners can ...

Przez ponad 50 lat naukowcy byli zafascynowani tym, jak rozpoznajemy głosy. Nasze ostatnie badania ujawniają, jak emocjonalna prozodia wpływa na ten proces. Pomimo różnic w prozodii, stwierdziliśmy, że ogólny efekt stary, nowy jest trwały, co wskazuje, że nasze mózgi konsekwentnie rozróżniają znane i nieznane głosy.Obecne wyzwania eksperymentalne w identyfikacji mówców wynikają z powszechnie stosowanego paradygmatu trening-testowania w przeszłości, który nie nadaje się do badania szczegółowych zmiennych wpływających na przetwarzanie tożsamości mówcy. Zapewnienie, że szkolenie jest dokładne i skuteczne, jest kluczowe dla rozwiązania tego wyzwania. Nasze ustalenia ujawniają, że choć LPC lub efekt stary, nowy wykazuje różnice między pewnymi i wątpliwymi procesami, pozostaje on ogólnie trwały.Nasz paradygmat jest dobrze przystosowany do badania przetwarzania znanych i nieznanych obiektów z wewnętrznymi wariacjami. Moje laboratorium koncentruje się na percepcji głosu, w tym na tym, jak wyrażane i postrzegane są emocjonalnie zaznaczone emocje oraz jak informacje wokalne wpływają na słuchaczy. Wykorzystujemy EEG i fMRI do zmierzenia tych czynników, ze szczególnym uwzględnieniem czynników społecznych, takich jak akcent, czy mówca jest sztuczną inteligencją. To badanie na JoVE wspiera nasze przyszłe badania w tych obszarach.Na początek przypisz identyfikatory uczestników i poproś uczestników, aby przed udziałem w eksperymencie umyli i osuszyli włosy w ciągu godziny, wymieszaj żel elektrolitowy i żel elektrolitowy ścierny w proporcji jeden do trzech, dodając niewielką ilość wody. Wymieszaj mieszaninę równomiernie w pojemniku za pomocą łyżki. Przygotuj waciki z drobnymi końcówkami i suchą czapkę EEG.Następnie poproś uczestnika, aby wygodnie usiądł na krześle i poinformuj go, że eksperymentator założy mu czapkę EEG. Przekaż uczestnikowi instrukcje dotyczące zadań eksperymentalnych i formularz zgody na udział w eksperymencie. Uzyskasz podpis uczestnika przed przystąpieniem do fazy przygotowawczej.Następnie podłącz czapkę EEG do wzmacniacza, która z kolei łączy się z komputerem do akwizycji danych EEG. Skorzystaj z dodatkowego monitora, aby sprawdzić wskaźniki kolorów na 64 elektrodach, ponieważ to badanie korzysta z biernej czapki. Otwórz BrainVision Recorder i zaimportuj spersonalizowany plik przestrzeni roboczej, który zdefiniował parametry rejestracji.Kliknij na monitor, aby sprawdzić impedancję. Poproś uczestnika, aby usiądł prosto na krześle. Wybierz odpowiednio dopasowany, żelowy system elektrod pasywnych dla głowy uczestnika.Teraz zanurz jednorazowy wacik w przewodzącej pasty i nałóż go na otwory czapki, upewniając się, że wciśniesz go w skórę głowy uczestnika. Elektroda odpowiadająca wskaźnikowi, zmieniająca kolor na zielony na komputerze do zbierania danych EEG, oznacza, że pomyślnie zbierane są optymalne dane. Gdy wskaźnik koloru dla wszystkich elektrod na ekranie, z wyjątkiem dwóch niezależnych elektrod bocznych, stanie się zielony.Zamontuj elektrody boczne, aby przymocować lewą elektrodę blisko lewego oka uczestnika, a prawą elektrodę blisko prawej skroni. Gdy wszystkie elektrody staną się zielone, umieść elastyczną sieć nad głową uczestnika, aby pomocniczo przymocować czapkę EEG do głowy uczestnika. Następnie wyposaż uczestnika w przewodowe słuchawki.Zamknij drzwi osłony elektromagnetycznej i prowadź działania uczestnika przez mikrofon, który umożliwia komunikację wewnątrz i na zewnątrz. Dodatkowo monitoruj ruchy uczestnika za pomocą zewnętrznego monitora, przypominając mu, aby nie przemieszczać ciała znacząco. Również monitoruj postęp uczestnika w zadaniach behawioralnych za pomocą monitora danych behawioralnych.Poproś uczestnika, aby nosił słuchawki podłączone do komputera do zbierania danych behawioralnych, poprzez interfejs audio. Aby zacząć, stwórz nowy plik nagrań EEG na komputerze do zbierania danych EEG. Otwórz BrainVision Recorder i kliknij na monitor, aby ponownie sprawdzić impedancję, a następnie rozpocząć lub wznowić nagrywanie.Otwórz program PsychoPy do uruchomienia eksperymentu behawioralnego. Wprowadź identyfikator uczestnika i odpowiedni numer bloku, a następnie kliknij OK, aby rozpocząć eksperyment. Śledź dokładność danych podanych na ekranie po zakończeniu przez uczestnika fazy kontrolnej na komputerze do zbierania danych behawioralnych.Zwróć szczególną uwagę na końcową podaną dokładność rozpoznawania starego wobec nowego. Gdy uczestnik ukończy wszystkie bloki, zaprosz go do umycia włosów. Aby wyczyścić czapkę EEG, usuń resztki przewodzącej pasty szczoteczką do zębów i zawiąż je w plastikowych torebkach.Po wyczyszczeniu zawieś czapkę EEG w dobrze wentylowanym miejscu, aby wyschła. Skopiuj dane EEG i behawioralne na przenośny dysk twardy, upewniając się, że dane EEG i behawioralne odpowiadają sobie.

memorization-based-training-testing-paradigm-for-robust-vocal

Research

JoVE Journal

Behavior

Zachowanie

Procedura imitacji wywołanej została ustanowiona w celu zbadania rozwoju pamięci pamięciowej w niemowlęctwie i wczesnym dzieciństwie. Procedura ta jest szeroko stosowana w celu ustanowienia solidnych podstaw natury pamięci przywoławczej w niemowlęctwie i wczesnym dzieciństwie.

Badanie pamięci przywoławczej w niemowlęctwie i wczesnym dzieciństwie przy użyciu paradygmatu wywołanego naśladownictwa

Neuronalne korelaty słuchania interwałów spółgłoskowych i dysonansowych były szeroko badane, ale mechanizmy neuronalne związane z wytwarzaniem interwałów spółgłoskowych i dysonansowych są mniej znane. W tym artykule testy behawioralne i fMRI są połączone z zadaniami identyfikacji interwałowej i śpiewania, aby opisać te mechanizmy.

Mapowanie fMRI aktywności mózgu związanej z wytwarzaniem wokalnym interwałów spółgłoskowych i dysonansowych

Przedstawiona tutaj metoda wywołała fałszywe wspomnienia za pomocą list powiązanych słów, a także oceniła wpływ instrukcji obrazowania na przywołanie i rozpoznanie tych fałszywych wspomnień. Protokół ten szczegółowo opisuje zmodyfikowaną wersję paradygmatu Deese Roediger McDermott (DRM).

Wykorzystanie paradygmatu Deese Roediger McDermott do oceny wpływu obrazów na fałszywe wspomnienia

Prezentujemy protokół do zbadania względnej sekwencji aktywacji fonologii i semantyki w wizualnym rozpoznawaniu słów. Wyniki pokazują, że podobnie jak w przypadku kont interaktywnych, reprezentacje semantyczne i fonologiczne mogą być przetwarzane interaktywnie, a reprezentacje językowe wyższego poziomu mogą wpływać na wczesne przetwarzanie.

Interakcja między procesami fonologicznymi i semantycznymi w wizualnym rozpoznawaniu słów za pomocą elektrofizjologii

Ten protokół ma na celu zbadanie podstawowych zmian elektrofizjologicznych związanych z uczeniem się u osób z głęboką głuchotą po krótkim okresie szkolenia w zakresie audio-dotykowej substytucji sensorycznej poprzez zastosowanie techniki potencjału związanego ze zdarzeniem.

Ocena treningu audio-dotykowej substytucji sensorycznej u uczestników z głęboką głuchotą z wykorzystaniem techniki potencjału związanego ze zdarzeniem

To badanie miało na celu porównanie L1-L2-angielskiego i L1-L2 portugalskiego, aby sprawdzić, jak bardzo wpływ obcego akcentu wpływa zarówno na metryki, jak i parametry prozodowo-akustyczne, a także na wybór docelowego głosu w zestawie głosowym.

Obcy akcent i kryminalistyczna identyfikacja mówcy w składach głosowych: wpływ cech akustycznych na podstawie prozodii

Badania nad wykluczeniem społecznym ogromnie się rozwinęły w ostatnich latach. Wraz z rozwojem tej dziedziny konieczne jest opracowanie zaawansowanych metodologii pozwalających na jednoczesny pomiar wyników neuronalnych i behawioralnych podczas wykluczenia społecznego. Protokół ten wykorzystuje potencjały mózgu związane ze zdarzeniami do rejestrowania bieżącej aktywności neuronalnej podczas skomputeryzowanych interakcji społecznych.

Pomiar aktywności neuronalnej i behawioralnej podczas trwających skomputeryzowanych interakcji społecznych: badanie potencjałów mózgu związanych ze zdarzeniami

Korzystając z potencjałów EEG związanych ze zdarzeniami (ERP), badamy wpływ leków przeciwpsychotycznych na nieprawidłowe aktywacje semantyczne mózgu u zdrowych osób z cechami schizotypowymi. Używamy ERP do śledzenia wyraźnych zmian w aktywności mózgu, rzucając światło na procesy poznawcze związane z kategoryzacją semantyczną.

Badanie wpływu leków przeciwpsychotycznych i schizotypów na N400 przy użyciu potencjałów związanych ze zdarzeniami i kategoryzacji semantycznej

Elektroencefalografia o wysokiej gęstości (dEEG) jest coraz częściej stosowana do badania rozwoju i plastyczności mózgu we wczesnych latach życia. W tym artykule przedstawiamy zastosowanie zaawansowanych technik analizy, które opierają się na tradycyjnym zapisie EEG, aby zrozumieć dynamikę oscylacyjną szybkiego przetwarzania słuchowego w mózgu niemowlęcia.

Przetwarzanie słuchowe u niemowląt i oscylacje mózgu związane ze zdarzeniami

Opisujemy, jak wdrożyć zestaw zadań behawioralnych, aby zbadać przetwarzanie i integrację bodźców sensorycznych u dzieci z ASD. Celem jest scharakteryzowanie indywidualnych różnic w czasowym przetwarzaniu prostych bodźców słuchowych i wzrokowych oraz powiązanie ich z umiejętnościami percepcyjnymi wyższego rzędu, takimi jak percepcja mowy.

Badanie funkcji sensorycznych i multisensorycznych u dzieci z zaburzeniami ze spektrum autyzmu

Poznaj metodę treningu i testowania opartą na zapamiętywaniu do badania rozpoznawania głosu w emocjonalnej mowie z wykorzystaniem analizy ERP. Technika ta pozwala identyfikować wpływ prozodii emocjonalnej na procesy poznawcze.

Trening i testowanie oparte na zapamiętywaniu paradygmatu dla solidnej identyfikacji głosu w emocjonalnej mowie z wykorzystaniem analizy potencjałów związanych z wydarzeniami (Wideo) | JoVE Journal

Trening i testowanie oparte na zapamiętywaniu paradygmatu dla solidnej identyfikacji głosu w emocjonalnej mowie z wykorzystaniem analizy potencjałów związanych z wydarzeniami

Przeglądaj więcej filmów