Name: 使用电生理学的视觉单词识别中语音和语义过程的相互作用 (视频) | JoVE Journal
Uploaded: 2021-06-29T14:00:00.000+00:00
Duration: 5 min 38 s
Description: 探索汉语双字复合词视觉识别中语音与语义加工的相互作用机制。本研究采用干扰范式下的双任务设计，结合事件相关电位技术，揭示语言加工的认知神经机制。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本工作由国家自然科学基金重大项目（62036001）资助。

本研究使用的方案已获得清华大学机构审查委员会的批准。
1. 刺激材料的构建与呈现
<ol>
	<li>刺激材料构建
	<ol>
		<li>刺激材料准备：准备约140个包含两个汉字的复合词作为目标词，其中低频词和高频词各占一半。每个目标词前各呈现三个类比词：一个语音相同（同音词）、一个语义相关词和一个无关控制词。
		<ol>
			<li>确保高频目标刺激始终由高频前因刺激引导，低频目标刺激始终由低频前因刺激引导，无论是在相关条件还是无关对照组中。此外，确保前因-目标刺激对在笔画数和频率上具有相似性。 
			注意：本研究中所有词语均选自《现代汉语频率词典》（Xiandai Hanyu Pinlu Cidian）。低频词的出现频率低于每百万次少于8次，高频词的出现频率超过每百万次800次。</li>
		</ol>
		</li>
		<li>刺激材料评估：招募另一组约30名学生，使用七点量表对词对之间的语义相关程度进行评分，其中1表示相关性最低，7表示相关性最高。</li>
		<li>最终刺激材料确定：删除不恰当的词对，例如在语义相关条件下得分较低的词对，以及在同音异义和无关条件下得分较高的词对。
		<ol>
			<li>分别计算高频和低频语义相关词对的平均得分，并确保两者之间无显著差异。</li>
			<li>此外，需确保同音词对与无关词对在高频和低频条件下得分无显著差异。最后，确定最终的实验刺激材料（参见 表格材料). 
			&#8203;注意：本实验中语义相关对的语义相关值，高频对和低频对的最终平均值分别为5.62和5.73，两者之间无显著差异（p &#62; .1）。此外，同音词对与无关词对之间的语义相关性差异无统计学意义（p &#62; .1).</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>刺激呈现
	<ol>
		<li>编写一个程序，向受试者展示任务内容，并填写上述材料（该程序可使用 E-prime 或其他编程语言编写）。</li>
		<li>确保程序的每个核心结构均以显示屏幕作为起始 &#34; + &#34; 持续300毫秒的提示信号，紧接着在无间隔的情况下，前一个词需呈现140毫秒。</li>
		<li>随后，设置一个持续 360 ms 的空白屏幕，然后呈现目标词，持续 500 ms。最后，显示一个问号（?），该问号将持续呈现，直到被试对刚刚呈现的词对做出判断，并尽快且准确地按下按钮。</li>
		<li>提前告知参与者，在语义判断任务中需要判断词对在语义上是否相关，在语音判断任务中需要判断词对的语音是否相同。</li>
		<li>练习环节设置：设立两个练习组，分别包含语义判断和语音判断任务，每项任务至少包含10对词语。告知参与者可重复练习，以确保练习环节的正确率超过70%。</li>
		<li>正式实验设置：将整个实验分为6个区组，语义判断任务和语音判断任务各占一半。
		<ol>
			<li>确保每个区块中没有重复的目标词，且每个区块中启动类型的数量相同。此外，设置少量填充试验，以减少因需要做出正向或负向反应的测试数量不均而导致的反应偏差。</li>
			<li>随机化每个区组内项目的顺序，并在被试间平衡区组顺序。 
			&#8203;注意：根据待准备的实验材料数量，整个实验也可划分为八个、十个或更多区块，以尽量减少每个区块中目标词的重复次数。</li>
		</ol>
		</li>
	</ol>
	</li>
</ol>
2. 实验准备与电生理记录
<ol>
	<li>招募视力正常（可经矫正）的右利手汉语母语者。
	<ol>
		<li>排除患有任何神经系统或精神疾病的研究对象。</li>
		<li>确保在目标年龄范围（18-28 岁）内有数量均衡的女性和男性参与者。</li>
		<li>确保受试者在过去两个月内无烫发或染发史。</li>
		<li>告知参与者，实验前需保证充足的睡眠和休息时间25.</li>
		<li>实验参与人员在参加实验时，应确保其在实验进行时处于健康状态。</li>
	</ol>
	</li>
	<li>当参与者到达实验室时，介绍实验设备、任务内容及所需时间。说明相关要求（如避免困倦、移动和眨眼），以帮助其了解整个实验流程，并消除不必要的担忧。</li>
	<li>如果参与者对实验没有其他疑问，请让其填写爱丁堡利手问卷表（Edinburgh Handedness Query Form），以确认所有参与者均具有相同的右利手习惯。</li>
	<li>向参与者提供知情同意书，并要求其仔细阅读后签署。若参与者对同意书内容有疑问，应为其提供必要的解释。</li>
	<li>指导受试者在实验室中正确清洁头皮并吹干头发。在等待受试者期间，请准备好所有实验材料。 
	注意：脑电图（EEG）信号通过放大器系统进行放大，该系统带通滤波范围为0.01至100 Hz，并以500 Hz的采样频率持续采样。</li>
	<li>邀请参与者在实验进行的房间内舒适地坐在椅子上，并告知他们不要移动椅子。</li>
	<li>使用棉签和面部清洁工具清洁受试者左眼下方（用于垂直眼电图电极）、右眼外眦附近（用于水平眼电图）以及左右乳突区域（用于Tp9和Tp10，将作为离线参考电极）的皮肤。 
	注意：电极的分布可能因所使用的帽型而异。</li>
	<li>将弹性帽戴在受试者头部，并确保Cz电极位于头顶正中央。小心地将电极帽的下颌带固定于下巴下方，确保松紧适中，既不过紧也不过松。</li>
	<li>确保帽状电极和放大器已连接至记录系统。接着，将记录软件切换至阻抗监测界面。</li>
	<li>确保所有电极的阻抗不超过5 kΩ或10 kΩ，首先从参考电极（Ref）和接地电极（Gnd）开始。</li>
	<li>将装有导电凝胶的注射器穿过电极的小孔到达头皮，然后推动活塞，向头皮注入少量导电凝胶，注意避免溢出。同时，实时监测显示系统中的阻抗值，直至阻抗降至阈值。</li>
	<li>在制备好参考电极（Ref）和接地电极（Gnd）后，以相同方式降低其他电极的阻抗。需谨慎处理眼电（ocular electricity）信号电极的阻抗降低过程。
	<ol>
		<li>用胶带封住两个眼电图电极一侧的小孔，以防止注入的导电凝胶泄漏。用胶带将电极固定在左眼下方和右眼外眦处。</li>
	</ol>
	</li>
	<li>所有电极准备就绪后，指导参与者做好实验准备。告知参与者在实验过程中保持放松，避免频繁眨眼和大幅度身体移动。</li>
	<li>通过刺激演示程序呈现刺激材料，并让参与者在练习环节进行练习。 
	注意：练习环节结束后，参与者如有任何疑问或对后续步骤不清楚，可提出问题。</li>
	<li>开始正式实验并记录脑电图信息。在记录过程中监控记录系统，若发现电极松动或电阻超过阈值，应在受试者休息时及时补充电极凝胶。 
	注意：每个实验组块结束后，参与者可休息 4-10 分钟。</li>
	<li>实验结束后，保存脑电（EEG）信号，并关闭记录系统、放大器等设备。随后取下受试者的电极帽，指导其清洗头发和皮肤上的导电凝胶。最后，给予受试者适当酬谢，并感谢他们的配合。</li>
</ol>
3. 脑电图预处理
<ol>
	<li>采用基于独立成分分析的半自动眼动伪迹校正方法。</li>
	<li>计算目标词呈现后 100 ms 至 600 ms 之间的事件相关电位（ERP）（以目标词前 100 ms 作为基线）。</li>
	<li>对脑电数据进行离线带通滤波，滤波范围为 0.05 至 30 Hz（零相位偏移模式，24 dB/倍频程）。</li>
	<li>通过伪迹剔除排除信号幅值超过 ±80 µV 的片段，并剔除错误反应的试验数据。</li>
</ol>

<ol><li>Carreiras, M., Armstrong, B. C., Perea, M., Frost, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+what%2C+when%2C+where%2C+and+how+of+visual+word+recognition%5BTitle%5D)+AND+%22Trends+in+Cognitive+Sciences%22%5BJournal%5D)">The what, when, where, and how of visual word recognition.</a> Trends in Cognitive Sciences. 18 (2), 90-98 (2014).</li>
<li>Grainger, J., Kiyonaga, K., Holcomb, P. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+time+course+of+orthographic+and+phonological+code+activation%5BTitle%5D)+AND+%22Psychological+Science%22%5BJournal%5D)">The time course of orthographic and phonological code activation.</a> Psychological Science. 17 (12), 1021-1026 (2006).</li>
<li>Ashby, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Phonology+is+fundamental+in+skilled+reading%3A+Evidence+from+ERPs%5BTitle%5D)+AND+%22Psychonomic+Bulletin+Review%22%5BJournal%5D)">Phonology is fundamental in skilled reading: Evidence from ERPs.</a> Psychonomic Bulletin Review. 17 (1), 95-100 (2010).</li>
<li>Wilson, L. B., Tregellas, J. R., Slason, E., Pasko, B. E., Rojas, D. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Implicit+phonological+priming+during+visual+word+recognition%5BTitle%5D)+AND+%22Neuroimage%22%5BJournal%5D)">Implicit phonological priming during visual word recognition.</a> Neuroimage. 55 (2), 724-731 (2011).</li>
<li>Frost, R., Ahissar, M., Gotesman, R., Tayeb, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Are+phonological+effects+fragile%3F+The+effect+of+luminance+and+exposure+duration+on+form+priming+and+phonological+priming%5BTitle%5D)+AND+%22Journal+of+Memory+and+Language%22%5BJournal%5D)">Are phonological effects fragile? The effect of luminance and exposure duration on form priming and phonological priming.</a> Journal of Memory and Language. 48 (2), 346-378 (2003).</li>
<li>Ferrand, L., Grainger, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Effects+of+orthography+are+independent+of+phonology+in+masked+form+priming%5BTitle%5D)+AND+%22The+Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Effects of orthography are independent of phonology in masked form priming.</a> The Quarterly Journal of Experimental Psychology. 47 (2), 365-382 (1994).</li>
<li>Carreiras, M., Perea, M., Vergara, M., Pollatsek, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+time+course+of+orthography+and+phonology%3A+ERP+correlates+of+masked+priming+effects+in+Spanish%5BTitle%5D)+AND+%22Psychophysiology%22%5BJournal%5D)">The time course of orthography and phonology: ERP correlates of masked priming effects in Spanish.</a> Psychophysiology. 46 (5), 1113-1122 (2009).</li>
<li>Pattamadilok, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automaticity+of+phonological+and+semantic+processing+during+visual+word+recognition%5BTitle%5D)+AND+%22Neuroimage%22%5BJournal%5D)">Automaticity of phonological and semantic processing during visual word recognition.</a> Neuroimage. 149, 244-255 (2017).</li>
<li>Harm, M. W., Seidenberg, M. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Computing+the+meanings+of+words+in+reading%3A+Cooperative+division+of+labor+between+visual+and+phonological+processes%5BTitle%5D)+AND+%22Psychological+Review%22%5BJournal%5D)">Computing the meanings of words in reading: Cooperative division of labor between visual and phonological processes.</a> Psychological Review. 111 (3), 662-720 (2004).</li>
<li>Brown, M. S., Roberts, M. A., Besner, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Semantic+processing+in+visual+word+recognition%3A+Activation+blocking+and+domain+specificity%5BTitle%5D)+AND+%22Psychonomic+Bulletin+%26+Review%22%5BJournal%5D)">Semantic processing in visual word recognition: Activation blocking and domain specificity.</a> Psychonomic Bulletin & Review. 8 (4), 778-784 (2001).</li>
<li>Devlin, J. T., Matthews, P. M., Rushworth, M. F. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Semantic+processing+in+the+left+inferior+prefrontal+cortex%3A+A+combined+functional+magnetic+resonance+imaging+and+transcranial+magnetic+stimulation+study%5BTitle%5D)+AND+%22Journal+of+Cognitive+Neuroscience%22%5BJournal%5D)">Semantic processing in the left inferior prefrontal cortex: A combined functional magnetic resonance imaging and transcranial magnetic stimulation study.</a> Journal of Cognitive Neuroscience. 15 (1), 71-84 (2003).</li>
<li>Rodd, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((When+do+leotards+get+their+spots%3F+Semantic+activation+of+lexical+neighbors+in+visual+word+recognition%5BTitle%5D)+AND+%22Psychonomic+Bulletin+%26+Review%22%5BJournal%5D)">When do leotards get their spots? Semantic activation of lexical neighbors in visual word recognition.</a> Psychonomic Bulletin & Review. 11 (3), 434-439 (2004).</li>
<li>Frost, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Toward+a+strong+phonological+theory+of+visual+word+recognition%3A+True+issues+and+false+trails%5BTitle%5D)+AND+%22Psychological+Bulletin%22%5BJournal%5D)">Toward a strong phonological theory of visual word recognition: True issues and false trails.</a> Psychological Bulletin. 123 (1), 71-99 (1998).</li>
<li>Yu, L., Reichle, E. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Chinese+versus+English%3A+Insights+on+cognition+during+reading%5BTitle%5D)+AND+%22Trends+in+Cognitive+Sciences%22%5BJournal%5D)">Chinese versus English: Insights on cognition during reading.</a> Trends in Cognitive Sciences. 21 (10), 721-724 (2017).</li>
<li>Tan, L. H., Perfetti, C. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Phonological+activation+in+visual+identification+of+Chinese+two-character+words%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology%3A+Learning%2C+Memory%2C+and+Cognition%22%5BJournal%5D)">Phonological activation in visual identification of Chinese two-character words.</a> Journal of Experimental Psychology: Learning, Memory, and Cognition. 25 (2), 382(1999).</li>
<li>Liu, Y., Perfetti, C. A., Hart, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ERP+evidence+for+the+time+course+of+graphic%2C+phonological%2C+and+semantic+information+in+Chinese+meaning+and+pronunciation+decisions%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology%3A+Learning%2C+Memory%2C+and+Cognition%22%5BJournal%5D)">ERP evidence for the time course of graphic, phonological, and semantic information in Chinese meaning and pronunciation decisions.</a> Journal of Experimental Psychology: Learning, Memory, and Cognition. 29 (6), 1231(2003).</li>
<li>Ren, G. -Q., Liu, Y., Han, Y. -C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Phonological+activation+in+chinese+reading%3A+an+event-related+potential+study+using+low-resolution+electromagnetic+tomography%5BTitle%5D)+AND+%22Neuroscience%22%5BJournal%5D)">Phonological activation in chinese reading: an event-related potential study using low-resolution electromagnetic tomography.</a> Neuroscience. 164 (4), 1623-1631 (2009).</li>
<li>Wang, K., Mecklinger, A., Hofmann, J., Weng, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((From+orthography+to+meaning%3A+an+electrophysiological+investigation+of+the+role+of+phonology+in+accessing+meaning+of+Chinese+single-character+words%5BTitle%5D)+AND+%22Neuroscience%22%5BJournal%5D)">From orthography to meaning: an electrophysiological investigation of the role of phonology in accessing meaning of Chinese single-character words.</a> Neuroscience. 165 (1), 101-106 (2010).</li>
<li>Wong, A. -K., Wu, Y., Chen, H. -C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Limited+role+of+phonology+in+reading+Chinese+two-character+compounds%3A+Evidence+from+an+ERP+study%5BTitle%5D)+AND+%22Neuroscience%22%5BJournal%5D)">Limited role of phonology in reading Chinese two-character compounds: Evidence from an ERP study.</a> Neuroscience. 256, 342-351 (2014).</li>
<li>Meng, X., Jian, J., Shu, H., Tian, X., Zhou, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ERP+correlates+of+the+development+of+orthographical+and+phonological+processing+during+Chinese+sentence+reading%5BTitle%5D)+AND+%22Brain+research%22%5BJournal%5D)">ERP correlates of the development of orthographical and phonological processing during Chinese sentence reading.</a> Brain research. 1219, 91-102 (2008).</li>
<li>Liu, B., Jin, Z., Qing, Z., Wang, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+processing+of+phonological%2C+orthographical%2C+and+lexical+information+of+Chinese+characters+in+sentence+contexts%3A+an+ERP+study%5BTitle%5D)+AND+%22Brain+research%22%5BJournal%5D)">The processing of phonological, orthographical, and lexical information of Chinese characters in sentence contexts: an ERP study.</a> Brain research. 1372, 81-91 (2011).</li>
<li>Leminen, A., Smolka, E., Dunabeitia, J. A., Pliatsikas, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Morphological+processing+in+the+brain%3A+The+good+%28inflection%29%2C+the+bad+%28derivation%29+and+the+ugly+%28compounding%29%5BTitle%5D)+AND+%22Cortex%22%5BJournal%5D)">Morphological processing in the brain: The good (inflection), the bad (derivation) and the ugly (compounding).</a> Cortex. 116, 4-44 (2019).</li>
<li>Pylkkänen, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+neural+basis+of+combinatory+syntax+and+semantics%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">The neural basis of combinatory syntax and semantics.</a> Science. 366 (6461), 62-66 (2019).</li>
<li>Halgren, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((N400-like+magnetoencephalography+responses+modulated+by+semantic+context%2C+word+frequency%2C+and+lexical+class+in+sentences%5BTitle%5D)+AND+%22Neuroimage%22%5BJournal%5D)">N400-like magnetoencephalography responses modulated by semantic context, word frequency, and lexical class in sentences.</a> Neuroimage. 17 (3), 1101-1116 (2002).</li>
<li>Huang, Y., Jiang, M., Guo, Q., Wang, Y., Yang, F. -P. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Dissociation+of+the+confounding+influences+of+expectancy+and+integrative+difficulty+residing+in+anomalous+sentences+in+event-related+potential+studies%5BTitle%5D)+AND+%22Journal+of+Visualized+Experiments%22%5BJournal%5D)">Dissociation of the confounding influences of expectancy and integrative difficulty residing in anomalous sentences in event-related potential studies.</a> Journal of Visualized Experiments. (147), e59436(2019).</li>
<li>Wang, Y., Jiang, M., Huang, Y., Qiu, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+ERP+study+on+the+role+of+phonological+processing+in+reading+two-character+compound+chinese+words+of+high+and+low+frequency%5BTitle%5D)+AND+%22Frontiers+in+Psychology%22%5BJournal%5D)">An ERP study on the role of phonological processing in reading two-character compound chinese words of high and low frequency.</a> Frontiers in Psychology. 12, 637238(2021).</li>
<li>Carreiras, M., Vergara, M., Barber, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Early+event-related+potential+effects+of+syllabic+processing+during+visual+word+recognition%5BTitle%5D)+AND+%22Journal+of+Cognitive+Neuroscience%22%5BJournal%5D)">Early event-related potential effects of syllabic processing during visual word recognition.</a> Journal of Cognitive Neuroscience. 17 (11), 1803-1817 (2005).</li>
<li>Hauk, O., Davis, M. H., Ford, M., Pulvermuller, F., Marslen-Wilson, W. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+time+course+of+visual+word+recognition+as+revealed+by+linear+regression+analysis+of+ERP+data%5BTitle%5D)+AND+%22Neuroimage%22%5BJournal%5D)">The time course of visual word recognition as revealed by linear regression analysis of ERP data.</a> Neuroimage. 30 (4), 1383-1400 (2006).</li>
</ol>

不存在竞争性经济利益。

实验结果与意义： 
本实验方案旨在探讨以下两个问题：1）汉字识别模型是前馈模型还是交互模型；2）在不同任务条件下，高频与低频双字汉语复合词识别过程中，语音与语义信息之间的交互作用。本研究采用事件相关电位（ERP）技术，设计了语音与语义匹配任务的干扰范式。在语义判断任务中，通过比较目标词前呈现同音词与无关词所诱发的ERP反应，考察在无需预先进行语音加工的情况下，语音信息是否以及何时影响语义加工过程。类似地，在语音判断任务中，通过比较目标词前呈现语义相关词与无关词所诱发的ERP反应，考察在无需预先进行语义加工的情况下，语义信息是否干扰语音加工过程。随后，根据相关ERP成分的潜伏期，比较语义与语音加工的相对时间进程，并检验词频对上述加工模式的影响。
我们的结果表明，在语音任务中，由语义相关的先行词启动的目标词，以及在语义判断任务中由同音词启动的目标词，均比无关先行词引发的N400成分显著更小（负性更低），且该效应不受词汇频率的影响。因此，对于高频词而言，数据提示在不同任务中识别汉语双字词时，语义激活的发生时间早于或至少不晚于语音加工。此外，在语...

任何词汇识别模型中的关键问题都是理解音位学在语义通达过程中的作用1。对于拼音文字而言，大量研究一致认为音位学在语义通达中发挥着重要作用，包括英语2，3，4、希伯来语5、法语6和西班牙语7。换句话说，书面词汇识别不仅涉及正字法加工，还涉及音位和语义加工。在交互式联结主义模型中，这一现象可通过网络中广泛激活的扩展来解释，其中正字法通过加权连接与音位和语义表征相关联8。这种激活的扩散构成了视觉词汇识别模型的核心机制，该模型假设音位和语义表征会自动响应正字法输入而被激活9。
然而，目前支持交互式自动化假说的实证证据仍存在争议。一些研究认为，语音和语义表征的激活可以受到任务需求或注意力的调节甚至抑制，这表明任务对词汇感知中的高级加工过程存在一定的自上而下的影响10,11。然而，上述观点受到许多研究结果的质疑，这些研究发现，即使在这些表征与任务完全无关或无法被直接访问的情况下，视觉词汇识别中仍存在语音和语义效应12，从而支持了语义和语音信息在阅读过程中可能被自动且强制激活的观点13。因此，目前尚不明确视觉词汇识别中的语音和语义激活究竟是依赖于特定任务，还是以一种不受任务影响的、强制且自动的方式发生。
上述问题对于中国读者而言难以回答。与英语不同，中文是一种表意文字系统，其字符代表的是语素而非音素14。目前，语音在中文词汇语义通达中的作用仍存在争议。一些研究认为，语音在中文词汇的语义通达过程中起着重要作用15,16,17；然而，也有研究持相反观点18,19。在评估了上述有关中文语音加工的研究后，我们发现其实验范式和具体研究方法存在差异。总体而言，这些研究主要分为两种范式：词语启动范式15,18,19和句子中的违反范式17,20,21。在违反范式中，目标词通常嵌入于句末22。从语言机制角度来看，一个简短的双词短语相较于难以处理的完整句子而言，是更易操控的语言单位23。此外，句子中诸如句法、语境或其他难以控制的变量可能导致不同的研究结论24。词语启动范式是一种常用于探索词汇识别模型的方法，无论是在拼音文字语言还是中文研究中均被广泛使用。该范式的任务通常是判断在启动词之后出现的目标词是否为真实词或伪词；也就是说，该范式通常仅包含一种词汇任务。然而，单一的词汇判断任务可能并非解决“语音与语义的激活是否依赖于任务”这一问题的最佳选择。因此，采用两种不同的任务可能更适用于探讨这一问题。
因此，本研究旨在探讨语音在中文词汇识别中的作用，并同时尝试确定语音和语义的激活是否具有任务独立性。我们的研究包含两个采用干扰范式的任务：语义判断和语音判断。据我们所知，这是首次采用该干扰范式对中文双字复合词识别进行的事件相关电位（ERP）研究，而这种方法在字母语言的研究中极为少见。具体而言，在语义判断任务中，参与者需判断目标词与其前导词在语义上是否相关；而在语音判断任务中，参与者需判断成对词语的发音是否相同。
前者为语义匹配任务，不需要预先进行音位加工；后者为音位判断任务，不需要预先进行语义加工。因此，在语义判断任务中，我们比较了同音词对与无关控制组，以揭示音位信息是否以及如何影响语义加工。类似地，在音位判断任务中，我们比较了语义相关词对与无关控制条件，以揭示语义信息是否以及如何影响音位加工。此外，该问题还在高频词和低频词中进行了验证。因此，这种互补的语义与音位判断任务不仅能揭示音位加工在中文词汇识别中的重要性，还能揭示音位与语义之间是否存在以及如何相互作用。
如果音位和语义加工是早期、自动且相互作用的，那么音位和语义激活效应应在两项任务的反应时中得以体现。对于事件相关电位（ERP），音位和语义加工会引发两种不同的电生理指标2,7。此外，它们的时间进程和空间分布也应有所不同。一个早期正成分（P200）应反映音位加工，而典型的语义加工指标N400也应被识别出来20,21。我们假设，在语义任务中音位相关的词对以及在音位任务中语义相关的词对均会引起N400的显著降低，这表明音位加工可能在词汇—语义层面引发一定程度的激活。此外，我们还监测了表征音位加工的P200是否在语义判断任务或音位判断任务中出现。在音位判断任务中，语义相关条件诱发了P200，这可被视为语义对音位加工产生早期影响的证据。

<table><tbody><tr><td>BrainAmp DC 放大器系统 (Brain Products GmbH)</td><td>Brain Products，德国吉尔兴</td><td></td><td>BrainAmp 序列号 AMP13061964DC 输入 5.6DC=150mA 工作电流 7mA 待机电流</td></tr><tr><td>Easycap (Brain Products GmbH)</td><td>Brain Products，德国吉尔兴</td><td></td><td>62 个按照国际 10&amp;ndash;20 电极系统布局的 Ag/AgCl 电极</td></tr></tbody></table>

利用脑电生理学研究视觉词汇识别中音韵与语义加工过程的交互作用

Interaction between Phonological and Semantic Processes in Visual Word Recognition using Electrophysiology

关于阅读能力的研究一直存在争议：印刷文字是否基于正字法信息以自下而上的方式被感知，随后才激活其他表征（如语音和语义），还是这些过程完全交互，且高层语义信息会影响早期加工。本研究采用干扰范式，在语音判断和语义判断任务的实验方案中使用相同的先行-目标词对，以探究语音与语义激活的相对顺序。高频率和低频率的目标词之前呈现三种条件：语义相关、语音相关（同音词）或无关条件。结果表明，在语义任务和语音任务中，低频词对诱发的P200成分显著大于高频词对。此外，在语义任务中，同音词条件以及在语音任务中语义相关词对相较于无关控制条件均导致N400波幅降低，且该效应独立于词频。值得注意的是，在语音判断任务中，低频词对的语义相关词对所诱发的P200显著大于控制条件。总体而言，无论在高频词还是低频词中，均观察到语音任务中的语义加工以及语义任务中的语音加工，提示语义与语音之间的交互可能以任务非依赖的方式运作。然而，这种交互发生的具体时间可能受到任务类型和词频的影响。

该实验方案在最近的一项研究中被用于探讨音韵在汉语双字复合词识别中的作用，并推断词语识别模型26。本研究中使用的所有刺激材料均已完全公开26。根据全局场强（GFP），选取了三个时间窗口：N1成分对应100–150 ms，P200成分对应160–280 ms，N400成分对应300–500 ms26。对上述两个时间窗口的平均振幅进行重复测量方差分析（ANOVA），分析中包含三个组内因素：词频（低频和高频）、关系类型（音韵相关、语义相关或无关）以及电极区域（左侧和右侧半球 × 额区、中区和枕区 = 共六个区域）或中线电极（Fz、Cz、Pz）。更详细的结果和图表可参见Wang等（2021）的研究26。
语义判断任务的ERP结果 
100–150 ms 时间窗（N1成分） 
对于中线电极，方差分析结果显示频率的主效应显著 [...

我们提出了一种研究视觉词汇识别中音韵与语义相对激活顺序的实验方案。结果表明，语义和音韵表征的加工过程可能具有交互性，且高层语言表征可能影响早期加工过程，这与交互作用理论相一致。

关于阅读能力的研究一直存在争议，即印刷文字是否基于……以自下而上的方式被感知

本方案有助于观察汉语双字复合词识别过程中音韵与语义模式之间的特定交互作用，并推断词语识别属于前馈模型还是交互模型。其主要优势在于采用了干扰范式中的两种不同任务，更有利于探究音韵与语义之间的交互是否具有任务独立性，以及在不同任务下如何发生交互。建议严格控制实验材料的使用频率和语义相关性。此外，尽量减少每个区块中目标词的重复。首先指导受试者在实验室内彻底清洁头皮并吹干头发。请受试者在将进行实验的屏蔽室内舒适地坐在椅子上。指导受试者不要移动椅子。使用棉签和面部磨砂膏清洁受试者左眼下方的皮肤，用于安放垂直眼电图电极；清洁右眼外眦附近皮肤，用于安放水平眼电图电极；以及清洁左右乳突骨周围区域，用于安放TP9和TP10电极，这两个电极将用作离线参考电极。将弹性帽戴在受试者头部，并确保Cz电极位于头顶正中央。将电极帽的下颌带固定在下巴下方，注意确保松紧适中，既不可过紧也不可过松。确认电极帽和放大器已连接至记录系统。接着，将记录软件切换至阻抗监测界面。确保所有电极的阻抗不超过5千欧姆或10千欧姆。从参考电极和接地电极开始，将装有导电凝胶的注射器从小孔插入电极直至头皮，推动活塞将少量导电凝胶注入头皮，注意避免溢出。持续监测实时显示阻抗的显示系统，直至阻抗降至阈值。在制备好参考电极和接地电极后，以相同方式降低其他电极的阻抗。用胶带封住两个眼电图电极一侧的小孔，防止注入的导电凝胶泄漏。使用胶带将电极固定在左眼下方和右眼外眦处。所有电极制备完成后，指导参与者放松，并在实验过程中避免频繁眨眼和大幅度身体活动。通过刺激呈现程序展示刺激材料，让参与者在练习环节进行练习。开始正式实验并记录脑电（EEG）信息。如果电极松动或电阻超过阈值，应在受试者休息时重新填充电极。在记录脑电信息的同时，需持续监控记录系统。实验结束后，保存脑电信号，并关闭记录系统和放大器。然后取下受试者的帽状电极，指导受试者清洗头发和皮肤上的导电凝胶。最后，给予受试者适当奖励，并感谢他们的配合。选择基于独立成分分析的半自动眼动伪迹校正方法。在目标词呈现后100毫秒至600毫秒的时间范围内计算事件相关电位，以目标词前100毫秒作为基线。对脑电数据进行离线0.05至30赫兹的带通滤波。通过伪迹剔除排除振幅超过±80微伏的片段，并剔除错误反应的试验数据。在100至150毫秒时间段的高频词对中，观察到无关词对诱发的波形显著比同音词条件更负。在中线电极300至500毫秒的时间窗口内，观察到由同音词启动的目标词诱发的波幅显著比无关条件更小（即负性更弱）。在P200时间窗口，语义相关条件下的事件相关电位信号显著比无关条件更正。 在中线电极的N400时间窗内，观察到由语义相关词启动的目标词诱发的波幅显著负向程度小于无关启动词。该方案有助于观察语音与语义过程在视觉词汇识别中的相互作用。

interaction-between-phonological-semantic-processes-visual-word

Research

科研

JoVE Journal

Behavior

行为

使用电生理学的视觉单词识别中语音和语义过程的相互作用

本文介绍了一种在功能性磁共振成像（fMRI）揭示的脑区激活引导下，同步采集经颅磁刺激（TMS）期间脑电图（EEG）数据并进行分析的方法。同时描述了TMS伪迹去除及事件相关电位提取的方法，以及实验范式设计和实验设置中的注意事项。...

从经功能性磁共振成像引导的经颅磁刺激期间记录的脑电图数据中提取视觉诱发电位

采用事件相关脑电位（ERPs），我们研究抗精神病药物对中国台湾具有分裂型特质的健康个体中异常语义脑激活的影响。我们利用ERPs追踪脑活动的特异性变化，揭示与语义分类相关的认知过程。...

利用事件相关电位和语义分类研究抗精神病药物和分裂型特质对N400的影响

本文描述了一种语义启动事件相关电位（ERP）任务，该任务使用模态内配对的图片和词语，以研究自闭症谱系障碍（ASD）个体的语义加工过程。...

一项用于研究自闭症谱系障碍中词汇-语义和视觉-语义加工的语义启动事件相关电位（ERP）任务

视觉世界范式通过监测参与者在倾听或说出口语时其在视觉工作区中的眼动，来研究心理语言学中的多种在线加工问题，包括诸如析取语句等语义复杂的陈述。...

利用视觉世界范式中记录的眼动数据探究口语的在线加工过程

本文介绍了一种利用高密度脑电图（EEG）刺激腹侧和背侧网络，研究皮层视觉诱发电位形态差异的实验方案。文中描述了视觉物体和运动刺激范式，包括有或无时间抖动的情况，并概述了视觉诱发电位形态学分析方法。...

刺激特异性皮层视觉诱发电位形态学模式

本文介绍了一种用于心理语言学和神经语言学实验的经颅直流电刺激方案，旨在以自然但完全可控的方式研究人类大脑皮层区域在词汇学习中的作用，并提供了一套全面的行为学方法用于评估实验结果。...

对韦尼克区和布罗卡区的经颅直流电刺激（tDCS）在语言学习与词汇习得研究中的应用

我们提出一种实验方案，通过对语义异常句子进行多次重复以增强受试者的预期，从而分离整合难度与意外性这两个相互交织的因素。这种分离有助于探究语言研究中诱发事件相关电位（ERP）效应（如N400）的主要成因。...

事件相关电位研究中分离异常句子中期望效应与整合难度的混杂影响

本文介绍了一种实施简单词汇判断实验的方法，用于评估神经功能健康个体以及痴呆和认知功能下降个体的书面词汇识别能力。我们还详细描述了使用主成分分析（PCA）和混合效应模型进行反应时分析的方法。...

用于研究有无痴呆或轻度认知障碍成人书面词汇识别的词汇判断任务

本文介绍如何设置一项实验，以利用脑磁图（MEG）检测物体感知前的源水平影响。内容涵盖刺激材料、实验设计、MEG记录以及数据分析。...

利用脑磁图检测物体感知中刺激前源水平效应

该研究引入了一种训练-测试范式，用于探究在确信与怀疑语调情境下事件相关电位的新/旧效应。数据显示，在Pz及其他电极处，400-850...

基于记忆的训练与测试范式结合事件相关电位分析用于表达性言语中稳健的语音身份识别

探索汉语双字复合词视觉识别中语音与语义加工的相互作用机制。本研究采用干扰范式下的双任务设计，结合事件相关电位技术，揭示语言加工的认知神经机制。

利用脑电生理学研究视觉词汇识别中音韵与语义加工过程的交互作用

探索更多视频