Name: 利用双模干扰任务对汉语口语复杂句子的在线句法处理进行考察 (视频) | JoVE Journal
Uploaded: 2019-09-05T13:30:00.000+00:00
Duration: 8 min 32 s
Description: 探索双模干扰任务在汉语口语复杂句法处理中的应用，结合词汇判断任务与移动窗口技术实时测量句子加工过程。该方法有助于研究工作记忆在语言理解中的作用机制。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本研究由台湾地区科技主管部门 [NSC-101-2410-H-439-001] 向第一作者Tuyuan Cheng提供的资助支持。作者感谢中国台湾国立台湾大学神经科学研究所（NTIN）实验室成员Yang Ya-Hui和Chen&#160;Pei-Han在实验准备与实施过程中提供的协助。

这些实验的实施遵循了所有研究伦理规范。所有受试者在实验开始前均提供了知情的口头和书面同意。所有实验程序、知情同意书及实验方案均已获得中国台湾国立成功大学研究伦理委员会的批准。实验1和实验2分别基于先前的研究18,19。本文报告的代表性结果均引自这些先前发表的研究。
1. 实验1―双模态句内干扰任务
<ol>
	<li>从中国台湾护理学院和中国台湾台南高级中学招募97名学生参与实验1，其中女生54名，男生42名。 
	注：所有参与者均须为母语为中文且中文流利者，视力正常或矫正至正常水平，且根据自我报告无听觉障碍。</li>
	<li>材料准备
	<ol>
		<li>为词汇判断任务（LDT）选择词语与非词。共包含48个双音节（两字）中文词，其中24个为真实词，24个为非词。 
		注：一个汉字代表一个音节，通常也是一个语素（即最小的有意义单位）。此处的目标词为双音节复合词。有关LDT任务所用视觉目标词/非词的完整列表，请参见补充文件。
		<ol>
			<li>从“中央研究院平衡语料库技术报告”20中选取24个词，并确保所有目标词均为中等词频。在数据库中搜索平均词频百分比约为0.00030、排名约第4,000位的词语。 
			注：选择中等词频的词作为目标词，旨在减少词频效应的影响——高词频词通常引发更短的反应时间（RT），而低词频词则导致更长的反应时间。</li>
			<li>通过组合两个各自具有独立意义但组合后语义异常的单音节汉字，构造24个非词。为避免潜在的语义激活，请避免使用具有相同偏旁部首的双字词（例如，haiyang，意为“海洋”，在中文双字词中写作 <img alt="表示“海洋”的日文汉字（海洋），语言学符号。" src="/files/ftp_upload/59660/59660char01.jpg" data-altupdatedat="1788282455000" data-alt="Charcter 1">，其中偏旁部件 <img alt="静态平衡；ΣFx=0, MA=0；用于教育研究的示意图。" src="/files/ftp_upload/59660/59660char03.jpg" style="opacity: 0.9;" data-altupdatedat="1788282455000" data-alt="Charcter 3"> 与水相关，出现在汉字 <img alt="中文“海”字，中文书写系统中的表意符号。" src="/files/ftp_upload/59660/59660char02.jpg" style="opacity: 0.9;" data-altupdatedat="1788282455000" data-alt="Charcter 2"> 和 <img alt="中文“洋”字，意为海洋或西方。" src="/files/ftp_upload/59660/59660char04.jpg" data-altupdatedat="1788282455000" data-alt="Charcter 4"> 中）。</li>
			<li>将24个非词手动嵌入填充句中，24个词嵌入目标关系从句（RC）句中。 
			注：将词与关系从句搭配、非词与填充句搭配是必要的，因为在统计分析中仅考虑并纳入24个词与关系从句组合条件下的LDT反应时间（RT）。</li>
		</ol>
		</li>
		<li>听觉关系从句（RC）与填充句 
		注：有关主语关系从句（SRC）、宾语关系从句（ORC）及填充句的示例，请参见补充文件。
		<ol>
			<li>将听觉刺激材料编写为72个句子，包含三类句子：24个主语关系从句（SRC）、24个宾语关系从句（ORC）和24个填充句。</li>
			<li>将48个关系从句句子平均分为两组，以构建不完全平衡设计，形成48个试验（12个SRC、12个ORC和24个填充句），对应2（SRC、ORC）×3（探测位置）×2（词/非词）的实验条件。</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>设置实验软件
	<ol>
		<li>使用标准实验软件（如E-Prime21），按照软件协议对实验进行编程。</li>
		<li>使用实验软件对所有刺激材料进行随机化处理。</li>
		<li>配置软件系统以记录以下数据：（1）反应时间，（2）参与者在词汇判断任务（LDT）中的正确率，以及（3）基于参与者键盘按键所反映的句后理解情况。</li>
		<li>对参与者在词汇判断中的错误或未作反应提供反馈。在参与者出现错误或未响应后，立即在显示器屏幕上显示反馈信息。若参与者反应正确，则不显示反馈。</li>
		<li>设置包含反馈环节的练习部分。</li>
	</ol>
	</li>
	<li>练习阶段结束后，开始双模态句内词汇判断干扰任务。在实验过程中，允许参与者每完成24个试验后休息一次。
	<ol>
		<li>让每位参与者单独完成任务。首先，由实验员通过计算机屏幕上的书面说明和口头说明向参与者提供指导。将参与者安置在计算机前，并为其佩戴耳机。</li>
		<li>指导参与者通过耳机聆听播放的句子，同时在听句过程中某一时刻执行词汇判断任务。</li>
		<li>要求参与者判断屏幕上显示的干扰性视觉探针是真实词还是非词，并指示其尽快且准确地按“是”键（表示词）或“否”键（表示非词）进行反应。</li>
		<li>告知参与者，句子播放结束后将立即出现一个理解性问题。提醒他们需在完成词汇判断任务的同时，认真聆听听觉句子。</li>
	</ol>
	</li>
</ol>
2. 实验2―双模态句外干扰任务
<ol>
	<li>从台北科技大学与中国台湾台南护理专科学校招募61名大学生作为实验2的受试者，其中包括40名女性和21名男性。 
	注：所有受试者均须为母语为中文且中文流利者，自我报告视力正常或矫正至正常水平，且无听觉障碍。</li>
	<li>材料准备
	<ol>
		<li>听觉关系从句（RC）与填充句
		<ol>
			<li>将听觉刺激材料设计为三类句子：主语关系从句（SRC）、宾语关系从句（ORC）以及填充句。将48个关系从句（RC）平均分为两组，以构建不完全平衡的实验设计，共96个试验（24个SRC、24个ORC和48个填充句），用于2（句子类型：SRC、ORC）×3（数字负荷）的实验条件。 
			注：有关SRC、ORC及填充句的目标听觉试验示例，请参见补充文件。</li>
		</ol>
		</li>
		<li>0/3/5位数字
		<ol>
			<li>共构建96组数字材料，包含0位、3位和5位数字的组合。将每种数字负荷（0位、3位或5位）均等地分配至所有句子试验中。</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>基于AMW范式的双模态句外数字干扰任务
	<ol>
		<li>使用标准实验软件（例如E-Prime21），按照该软件的协议对实验进行编程。</li>
		<li>将受试者随机分配至两组刺激材料中的一组，每组代表两个被试内因素的组合：句子类型（SRC vs. ORC）和记忆负荷（无负荷、3位数字负荷、5位数字负荷）。在AMW任务开始前，向受试者呈现1,500毫秒的数字视觉刺激。</li>
	</ol>
	</li>
	<li>随后，开始AMW任务。 
	注：AMW任务22是一种自控节奏的听觉任务。
	<ol>
		<li>指导受试者在记忆中保留先前呈现的视觉刺激（数字或无数字）。</li>
		<li>然后，指导受试者通过耳机聆听被切分为单词的句子，并通过按键控制节奏，尽快启动下一个单词的播放。</li>
		<li>指示受试者在听完每个试验句子后，回答计算机屏幕上出现的是/否理解问题。告知受试者，问题前会显示问号“？”，且问题内容与他们刚刚听到的句子信息相关。</li>
		<li>当受试者按下是/否键回答理解问题时，会播放一段短促的“哔”声。在“哔”声结束后，根据屏幕上出现的指示，要求受试者复述他们在听句子前看到的数字。</li>
		<li>由实验员在评分表上记录受试者的数字回忆回答。</li>
	</ol>
	</li>
</ol>

<ol><li>Just, M. A., Carpenter, P. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+capacity+theory+of+comprehension%3A+Individual+differences+in+working+memory%5BTitle%5D)+AND+%22Psychological+Review%22%5BJournal%5D)">A capacity theory of comprehension: Individual differences in working memory.</a> Psychological Review. 99, 122-149 (1992).</li>
<li>King, J., Just, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Individual+differences+in+syntactic+processing%3A+The+role+of+working+memory%5BTitle%5D)+AND+%22Journal+of+Memory+and+Language%22%5BJournal%5D)">Individual differences in syntactic processing: The role of working memory.</a> Journal of Memory and Language. 30, 580-602 (1991).</li>
<li>Caplan, D., Waters, G. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Verbal+working+memory+and+sentence+comprehension%5BTitle%5D)+AND+%22Behavioral+%26+Brain+Sciences%22%5BJournal%5D)">Verbal working memory and sentence comprehension.</a> Behavioral & Brain Sciences. 22, 77-94 (1999).</li>
<li>Waters, G., Caplan, D., Yampolsky, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((On-line+syntactic+processing+under+concurrent+memory+load%5BTitle%5D)+AND+%22Psychonomic+Bulletin+%26+Review%22%5BJournal%5D)">On-line syntactic processing under concurrent memory load.</a> Psychonomic Bulletin & Review. 10 (1), 88-95 (2003).</li>
<li>Cowan, N. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aCowan%2C+N+%22Working+Memory+Capacity%22">Working Memory Capacity</a>. , Psychology Press. New York, NY. (2005).</li>
<li>Miller, G. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+magical+number+seven%2C+plus+or+minus+two%3A+Some+limits+on+our+capacity+for+processing+information%5BTitle%5D)+AND+%22Psychological+Review%22%5BJournal%5D)">The magical number seven, plus or minus two: Some limits on our capacity for processing information.</a> Psychological Review. 63, 81-97 (1956).</li>
<li>Chen, B., Ning, A., Bi, H., Dunlap, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Chinese+subject-relative+clauses+are+more+difficult+to+process+than+the+object-relative+clauses%5BTitle%5D)+AND+%22Acta+Psychologica%22%5BJournal%5D)">Chinese subject-relative clauses are more difficult to process than the object-relative clauses.</a> Acta Psychologica. 129, 61-65 (2008).</li>
<li>Gibson, E., Wu, H. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Processing+Chinese+relative+clauses+in+context%5BTitle%5D)+AND+%22Language+and+Cognitive+Processes%22%5BJournal%5D)">Processing Chinese relative clauses in context.</a> Language and Cognitive Processes. 28, 125-155 (2013).</li>
<li>Hsiao, F., Gibson, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Processing+relative+clauses+in+Chinese%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Processing relative clauses in Chinese.</a> Cognition. 90, 3-27 (2003).</li>
<li>Lewandowsky, S., Oberauer, K., Brown, G. D. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((No+temporal+decay+in+verbal+short-term+memory%5BTitle%5D)+AND+%22Trends+in+Cognitive+Science%22%5BJournal%5D)">No temporal decay in verbal short-term memory.</a> Trends in Cognitive Science. 13, 120-126 (2009).</li>
<li>Wu, J. T., Chou, T. L., Liu, I. M. The locus of the character/word frequency effect. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aWu%2C+JT+%22Advances+in+the+study+of+Chinese+language+processing%22">Advances in the study of Chinese language processing</a>. Chang, H. W., Huang, J. T., Hue, C. W., Tzeng, O. J. L. , Taipei. Taipei: National Taiwan University (in Chinese) 31-58 (1994).</li>
<li>Fodor, J. D., Ni, W., Crain, S., Shankweiler, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tasks+and+timing+in+the+perception+of+linguistic+anomaly%5BTitle%5D)+AND+%22Journal+of+Psycholinguistic+Research%22%5BJournal%5D)">Tasks and timing in the perception of linguistic anomaly.</a> Journal of Psycholinguistic Research. 25 (1), 25-57 (1996).</li>
<li>Swinney, D., Zurif, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Syntactic+processing+in+aphasia%5BTitle%5D)+AND+%22Brain+and+Language%22%5BJournal%5D)">Syntactic processing in aphasia.</a> Brain and Language. 50 (2), 225-239 (1995).</li>
<li>Balogh, J., Zurif, E., Prather, P., Swinney, D., Finkel, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Gap-filling+and+end-of-sentence+effects+in+real-time+language+processing%3A+implications+for+modeling+sentence+comprehension+in+aphasia%5BTitle%5D)+AND+%22Brain+and+Language%22%5BJournal%5D)">Gap-filling and end-of-sentence effects in real-time language processing: implications for modeling sentence comprehension in aphasia.</a> Brain and Language. 61 (2), 169-182 (1998).</li>
<li>Granier, J. P., Robin, D. A., Shapiro, L. P., Peach, R. K., Zimba, L. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Measuring+processing+load+during+sentence+comprehension%3A+visuomotor+tracking%5BTitle%5D)+AND+%22Aphasiology%22%5BJournal%5D)">Measuring processing load during sentence comprehension: visuomotor tracking.</a> Aphasiology. 14 (5-6), 501-513 (2000).</li>
<li>Waters, G. S., Caplan, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Age%2C+working+memory%2C+and+on-line+syntactic+processing+in+sentence+comprehension%5BTitle%5D)+AND+%22Psychology+and+Aging%22%5BJournal%5D)">Age, working memory, and on-line syntactic processing in sentence comprehension.</a> Psychology and Aging. 16, 128-144 (2001).</li>
<li>Waters, G. S., Caplan, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Working+memory+and+online+syntactic+processing+in+Alzheimer%E2%80%99s+disease%3A+Studies+with+auditory+moving+window+presentation%5BTitle%5D)+AND+%22Journal+of+Gerontology%3A+Psychological+Sciences%22%5BJournal%5D)">Working memory and online syntactic processing in Alzheimer’s disease: Studies with auditory moving window presentation.</a> Journal of Gerontology: Psychological Sciences. 57B, 298-311 (2002).</li>
<li>Cheng, T., Cheung, H., Wu, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Spoken+relative+clause+processing+in+Chinese%3A+measure+from+an+alternative+task%5BTitle%5D)+AND+%22Language+and+Linguistics%22%5BJournal%5D)">Spoken relative clause processing in Chinese: measure from an alternative task.</a> Language and Linguistics. 12 (3), 669-705 (2011).</li>
<li>Cheng, T., Wu, J., Huang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Use+of+Memory-Load+Interference+in+Processing+Spoken+Chinese+Relative+Clauses%5BTitle%5D)+AND+%22Journal+of+Psycholinguistic+Research%22%5BJournal%5D)">Use of Memory-Load Interference in Processing Spoken Chinese Relative Clauses.</a> Journal of Psycholinguistic Research. 47 (5), https://doi.org/10.1007/s10936-018-9576-5 1035-1055 (2018).</li>
<li>CKIP. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Zhongwen+shumianyu+pinl%C3%BC+cidian+%5BDictionary+of+Chinese+written+word+frequency%5D%2C+CKIP+Technical+Report%2C+No.+94-01%22">Zhongwen shumianyu pinlü cidian [Dictionary of Chinese written word frequency], CKIP Technical Report, No. 94-01</a>. , Institute of Information Science, Academia Sinica. Taipei. (1994).</li>
<li>MacWhinney, B., James, J., Schunn, C., Li, P., Schneider, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Step%E2%80%94A+system+for+teaching+experimental+psychology+using+E-Prime%5BTitle%5D)+AND+%22Behavior+Research+Methods%2C+Instruments%2C+and+Computers%22%5BJournal%5D)">Step—A system for teaching experimental psychology using E-Prime.</a> Behavior Research Methods, Instruments, and Computers. 33 (2), 287-296 (2001).</li>
<li>Ferreira, F., Henderson, J., Anes, M., Weeks, P., McFarlane, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Effects+of+lexical+frequency+and+syntactic+complexity+in+spoken+language+comprehension%3A+Evidence+from+the+auditory+moving-window+technique%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology%3A+Learning%2C+Memory%2C+and+Cognition%22%5BJournal%5D)">Effects of lexical frequency and syntactic complexity in spoken language comprehension: Evidence from the auditory moving-window technique.</a> Journal of Experimental Psychology: Learning, Memory, and Cognition. 22, 324-335 (1996).</li>
<li>Daneman, M., Carpenter, P. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Individual+differences+in+working+memory+and+reading%5BTitle%5D)+AND+%22Journal+of+Verbal+Learning+and+Verbal+Behavior%22%5BJournal%5D)">Individual differences in working memory and reading.</a> Journal of Verbal Learning and Verbal Behavior. 19, 450-466 (1980).</li>
<li>Bulut, T., Cheng, S. K., Xu, K. Y., Hung, D. L., Wu, D. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Is+there+a+processing+preference+for+object+relative+clauses+in+Chinese%3F+Evidence+from+ERPs%5BTitle%5D)+AND+%22Frontiers+in+Psychology%22%5BJournal%5D)">Is there a processing preference for object relative clauses in Chinese? Evidence from ERPs.</a> Frontiers in Psychology. 9, 1-18 (2018).</li>
<li>Mitchell, D. C., Green, D. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+effects+of+context+and+content+on+immediate+processing+in+reading%5BTitle%5D)+AND+%22Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">The effects of context and content on immediate processing in reading.</a> Quarterly Journal of Experimental Psychology. 30 (4), 609-636 (1978).</li>
</ol>

作者无任何利益冲突需要披露。

本研究表明，采用包含句内和句外干扰任务的双任务干扰（DMI）方法，有助于阐明工作记忆（WM）在口语句子加工中的作用，并为汉语关系从句（RC）加工的不对称性问题提供新的见解。正如预期，通过测量次级任务干扰对听者主句子加工表现的影响程度，我们可以推断汉语关系从句的加工模式，并为关于汉语主语关系从句（SRC）与宾语关系从句（ORC）加工优势的争议提供一个可行的解答。
干扰效应表明，工作记忆（WM）在口语句子加工中起着至关重要的作用——无论干扰源为何。在本研究的实验1和实验2中，句内干扰为与句子语义无关的词汇判断任务，而句外干扰则为非语言性的算术任务，涉及难度递增的数字负荷回忆。该方法基于如下假设：主任务与次任务所涉及的工作记忆，要么共享共同的认知资源1,2,23，要么通过彼此独立的系统运作3,4</...

工作记忆（WM）在口语句子加工过程中的作用是显而易见的：由于语音具有瞬时性，听者必须在加工完成前将各个语音成分保留在记忆中。这一方面在处理句法复杂的句子时显得尤为重要。为复杂句子中的词语建立句法关系，需要对短时记忆中保留的信息进行计算操作，从而导致更高的记忆负荷。然而，工作记忆系统如何参与口语句子加工仍存在争议。
这一争议涉及两个主要分歧：一些研究者认为，存在一个单一的工作记忆系统，用于所有言语任务1,2——换句话说，句法加工依赖于与其他一般认知过程相同记忆资源。这就是单资源模型。另一些研究者则认为，根据句子的句法结构来确定其意义涉及一个专门的工作记忆系统，该系统独立于其他言语任务所使用的系统3,4。据此观点，句法加工具有模块性。这就是独立的句子理解资源模型。
在心理语言学研究中，双模态干扰范式已被用于检验两种相互竞争的理论。基于工作记忆（WM）存储容量有限的假设5,6，该范式通过在主要任务中引入一个次要的干扰任务来增加任务复杂性。由于主要任务与次要干扰任务竞争有限的认知资源，任务难度随之增加，导致主要任务的反应时间延长。在此情况下，双模态干扰方法使得研究者能够评估当参与者同时执行两项任务时，工作记忆所承担的加工负荷及其参与程度。
包含关系从句（RC）成分的句子由于其众所周知的复杂句法结构，会导致更大的理解困难，因此常被用于研究工作记忆（WM）系统如何参与复杂句子的加工过程。然而，尽管加工复杂句子对与言语处理相关的工作记忆资源提出了更高要求，但尚不明确：在中心词前置的关系从句结构语言（如英语）中被认为导致句法移位加工代价的WM机制，是否同样反映了中心词后置关系从句语言（如汉语）的句法复杂性。本研究通过采用双模态干扰范式，对此问题提供了新的见解。
关于主语缺位和宾语缺位关系从句（SRCs 与 ORCs）加工难度的问题一直存在广泛争议。这些争议主要出现在类型学上不同的语言中。在中心词前置的语言（如英语）中，关系从句位于其所修饰的中心名词之后，普遍发现如下例1(a)所示的SRCs比下例1(b)中的ORCs更容易加工。
<img alt="句法结构分析；句子嵌入示意图；主语-宾语关系。" src="/files/ftp_upload/59660/59660equ01.jpg" data-altupdatedat="1788282455000" data-alt="Equation 1">
如示例（1）所示，在英语中，主语关系从句（SRCs）与宾语关系从句（ORCs）之间的间隙表面位置差异极小。该间隙被标记为 e1，头名词后的空位演员’（称为 填充物) 在从关系从句（RC）中移除后所留下的空位。然而，简单关系从句（SRCs）与宾语关系从句（ORCs）在关系从句结构域中空位的句法结构和功能上存在显著差异。填充词与空位之间结构依存关系的整合与消解所涉及的工作记忆负荷，是实验研究的理想对象，已被广泛用于探究工作记忆（WM）在语言加工与理解中的作用。
例如，理解并加工这些后置关系从句（RC）时，需要将中心名词“actor”在简单主语关系从句（SRC）和简单宾语关系从句（ORC）中识别为动词“criticized”的主语或宾语，并将该中心名词存储在工作记忆（WM）中，以便后续将其指派为主句中动词“admitted”的语法主语。
与前置中心语语言中普遍发现的关系从句（SRC）理解比宾语关系从句（ORC）更容易不同，对于中文这种中心语后置、关系从句位于中心名词之前语言的从句加工不对称性，研究结果存在分歧。一些研究观察到了SRC加工优势，而另一些研究则报告了相反的模式（即ORC加工优势）。后一类研究还提出，工作记忆（WM）可以调节关系从句加工的不对称性，这一点得到了自定步速阅读表现研究结果的支持7,8,9。
如上所述，关于工作记忆（WM）在（复杂）句法加工中的作用，目前存在两种相互竞争的理论模型：一种认为“句法加工是模块化的”，另一种则认为“句法加工是通用的”。为了检验这两种关于模块性的主张，研究常采用理解难度已知存在差异的复杂句子（例如英语中的主语关系从句 SRC 与宾语关系从句 ORC），在双模干扰（DMI）任务中考察工作记忆的参与程度，因为工作记忆的参与被认为与句法加工的不对称性平行。因此，通过干扰任务引入并发的记忆负荷，可揭示工作记忆对句法加工的影响。其原理在于，无论语言加工依赖单一的言语工作记忆系统，还是独立的模块化句法系统，干扰任务对系统的占用都会因工作记忆资源的限制而降低句法加工的效率。在 DMI 任务中，加工句法上更复杂的句子（如英语中的 ORC）相较于加工句法上更简单的句子（如英语中的 SRC）所表现出的加工困难程度，可为工作记忆的具体作用提供证据，并指示工作记忆参与的程度。
与英语等中心词前置语言不同，汉语关系从句呈现出中心词后置的结构，并表现出 填补材料 关系。被索引的移出成分（即空位）位于与其相关联的中心名词之前，如图2(a)（SRC）和2(b)（ORC）所示。
<img alt="句法结构分析图，展示中文关系从句及英文翻译。" src="/files/ftp_upload/59660/59660equ02v2.jpg" data-altupdatedat="1788282455000" data-alt="Equation 1">
加工中文关系从句（RCs）引发的争议在于，主语关系从句（SRCs）并未被一致地报告为比宾语关系从句（ORCs）更容易加工，这一差异给语言加工与理解的理论带来了挑战。由于关系化标记“的”之前的前置成分必须在工作记忆（WM）中加以保存，直到空位——即被移位的中心名词“施事者”——被连接并提取为止，因此理解这一过程仍有助于深入认识工作记忆在语言加工中的作用。
本研究考察了口语关系从句（RC）的加工过程，因为听觉加工具有高度压缩性，且与工作记忆（WM）的功能密切相关。本研究采用双模态干扰范式，因为干扰是短时听觉记忆中一种已被充分证实的遗忘机制。当干扰事件发生时，存储在记忆中的表征可能被削弱并最终丢失10。通过使用在不同维度（在本研究中为语言内和非手指运动性干扰，见下文）上变化的干扰刺激，我们可以测量在不同加工阶段及不同干扰条件下整合逐步输入信息所需的认知代价。
基于“加工句法结构更复杂的句子比加工较简单的句子更易使工作记忆（WM）超负荷”这一观点，可以假设，在理解过程中操纵干扰类型会对句子加工产生影响。由此推断，加工句法上更复杂的句子，相较于加工句法上较简单的结构，将需要更长的在线听读时间（成比例或不成比例地增加），并在后续的句子理解评估中表现出更差的表现。本研究检验了这样一个假设：句子加工过程中的干扰可以作为工作记忆参与程度的指标，并将该指标的意义延伸至句法模块性问题之外；本研究提出，由于工作记忆在语言理解中的基础性作用，有关汉语关系从句（RC）加工的争议可通过工作记忆的研究得以阐明。因此，采用DMI任务研究汉语关系从句加工的重要性，为解决当前关于汉语关系从句加工不对称性的争论提供了一条有效路径。
本文介绍了两个利用句内和句外干扰研究听觉加工的示范性实验。这两个实验的目的是探讨在不同类型的干扰条件下，工作记忆在加工中文关系从句时的参与程度。
在第一个实验中，采用视觉呈现的词汇判断任务作为句内干扰任务。作为次要干扰任务，在目标关系从句句子听觉呈现过程中的三个时间点引入了词/非词词汇判断任务（LDT），从而可以在这些时间点上测量加工难度。本实验主要关注的是关系从句（RC）中的空位如何与主句（MC）中的填充词建立关联，以及这种关联是否会影响后续主句的加工。因此，所设置的三个探测位置均位于主句区域之后。示例3复制自示例(2)，用箭头标示出三个探测位置，并与相应的句法连接对齐；其中3(a)表示主语关系从句（SRC），3(b)表示宾语关系从句（ORC）。
<img alt="双语句法对比，汉语-英语句子结构图解，语言学分析。" src="/files/ftp_upload/59660/59660equ03v2.jpg" data-altupdatedat="1788282455000" data-alt="方程 1">
图1展示了在三个探测位置中的任意一个位置，通过词汇判断任务（LDT）干扰连续听觉RC呈现的过程。时间设计遵循了先前汉语加工研究中LDT任务的常规方案11。例如，每个视觉LDT试验以一个“+”字开始，作为屏幕中央的注视点，持续500 ms，随后呈现视觉LDT刺激，该刺激在屏幕上显示3,000 ms，并在受试者做出词汇判断后立即消失。一名典型受试者可在30–35分钟内完成实验1，包括练习阶段。
<img alt="听觉加工示意图，展示句子理解与反应阶段。" class="xfigimg" src="/files/ftp_upload/59660/59660fig01.jpg" data-altupdatedat="1788282455000" data-alt="Figure 1"> 
图1：伴随词汇决策任务的句内干扰程序。 
<a href="https://www.jove.com/files/ftp_upload/59660/59660fig01large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
三个探查位点及LDT任务：
1. 位置1（P1）：突变后SMC区域
首个需测量的位置（P1）位于主句（MC）主语之后、关系从句（RC）边界之后的区域。预计在此位置会产生加工负荷。一方面，在此位置之前（SMC），关系从句（RC）区域内的主语缺位和宾语缺位结构分别形成具有对比性的动宾（VO）和主谓（SV）结构；另一方面，为了将关系从句（RC）区域内的成分与主句（MC）中的中心名词进行整合，听者必须识别空位的语法角色，并将其与即将出现的填充词中心名词联系起来。
2. 位置2（P2）：VMC区后部区域
需要测量的第二个位置（P2）位于主句动词之后（VMC）。该位置也被认为会引发加工负荷。整合动词信息需要听者检索句子中的名词论元，并从前面的关系从句（RC）域或从该关系从句所修饰的中心名词中识别出主句动词的施事者。
3. 位置3（P3）：句末区域
需要测量的第三个位置（P3）位于句末之后立即出现的位置。以往关于加工过程的研究提出，存在一种句末整合效应——即在句末会整合非句法信息（如语篇和语义层面的信息），以激活并完成对句子的理解12，13。因此，由于需要整合这些非句法信息，加工负荷应在句末附近增加14，15。而P3位置则被认为会表现出加工负荷的下降，因为句子的解析在此位置附近已经完成。
在第二次实验中，采用了听觉移动窗口（AMW）任务。AMW 技术被认为能够捕捉在线语言加工过程中资源分配的模式，已被广泛用于区分两种相互竞争的工作记忆（WM）理论途径16，17。人们认为，在处理即将出现的、短暂呈现的口语句子时，句外干扰会给听者带来额外的加工负担，从而延长其反应时间。在 AMW 范式下，参与者会听到被切分为单词的句子，并通过按键盘上的按键来启动下一个片段的播放。因此，按键启动下一个片段之间的停顿持续时间反映了参与者对特定语言特征的敏感程度。例如，如果句外干扰对不同句法复杂度的句子加工产生了特定影响，参与者在启动后续片段前的停顿时间将相应地更长。该实验流程在图 2中进行了示意图展示。
<img alt="认知负荷过程示意图；视觉数字回忆、听觉句子理解、视觉/句子和操作/视觉。" class="xfigimg" src="/files/ftp_upload/59660/59660fig02.jpg" data-altupdatedat="1788282455000" data-alt="图 2"> 
图 2：结合数字回忆任务的句外干扰程序。 
<a href="https://www.jove.com/files/ftp_upload/59660/59660fig02large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
以下方案展示了研究人员如何利用视觉呈现的词汇判断任务作为句内干扰，同时利用伴随的算术干扰负荷作为句外干扰，以探究工作记忆（WM）的参与情况以及汉语关系从句（RCs）加工的不对称性，并阐明其内在逻辑。

<table><tbody><tr><td>E-Prime</td><td>Psychology Software Tools</td><td>专业版 2.0</td><td></td></tr><tr><td>耳机</td><td>Logitech</td><td></td><td></td></tr><tr><td>Praat</td><td>Praat</td><td>5.3.43</td><td>用于编辑听觉声音文件的在线软件；http://www.fon.hum.uva.nl/praat/</td></tr><tr><td>串行反应盒</td><td>Psychology Software Tools</td><td></td><td></td></tr><tr><td>标准 PC</td><td>ASUS K42Jv 笔记本电脑</td><td></td><td></td></tr></tbody></table>

使用双模态干扰任务考察汉语口语复杂句的在线句法加工

Examining Online Syntactic Processing of Spoken Complex Sentences in Chinese Using Dual-Modal Interference Tasks

工作记忆（WM）在复杂句子的理解中起着核心作用。其在口语复杂句子加工中的功能尤为显著，因为口语复杂句的加工对记忆资源的需求较高。双模干扰范式已被用于考察工作记忆系统如何参与复杂的句法加工过程。本文介绍了两个典型实验，分别涉及在句内或句外干扰条件下的听觉加工。在第一个实验中，通过视觉呈现的词汇判断任务对听觉刺激[汉语关系从句（RC）句子，包含两种句法类型：主语空位（SRC）与宾语空位（ORC）]进行干扰，并设置三个不同的干扰时间点进行操控。在第二个实验中，采用听觉窗口移动技术呈现相同的听觉刺激，通过视觉呈现的数字回忆任务在句子之外进行干扰，并设置三种不同的数字记忆负荷进行操控。通过评估次要任务对理解RC句子这一主要任务的影响，我们可以探讨有关汉语关系从句加工不对称性的争议问题。我们的结果揭示了与以往研究不同的RC加工模式。实验1未显示出SRC或ORC在加工上的明显优势；然而，在句子末尾处观察到对ORC的偏好，而在主句动词位置则发现对SRC的偏好。同样，实验2呈现出动态的加工模式：在无数字负荷条件下，SRC在关系从句标记区域表现出加工优势；但在高数字负荷干扰下，ORC在同一区域表现出加工优势。这些结果提示，在汉语关系从句的加工中并不存在明显或固有的加工不对称性。通过在句法加工过程中评估特定干扰效应的方法，这些实验展示了未来研究在探索涉及工作记忆的口语句子加工度量方面的应用前景。

在双模态内侧LDT任务和跨指负荷任务中均观察到了干扰效应。考虑到实验1中的三个探测位点，内侧LDT任务的反应时结果呈现出两种关系从句（RC）类型下RC加工的动态模式。如图3所示，宾语关系从句（ORC）类型在主句主语（SMC）之后的关系从句位置（P1）以及句子末尾（P3）表现出加工优势；而主语关系从句（SRC）类型在主句谓语动词（VMC）之后的位置（P2）具有加工优势。在P2和P3位点，句型的简单主效应显著，表明在主句动词位置（P2）上，SRC在LDT干扰任务中的加工负荷较低；而在句子末尾（P3），ORC的加工负荷较低。这些结果不同于英语等中心词前置语言中RC研究普遍报告的SRC一致优势现象，也不同于以往汉语RC研究中所报告的SRC与ORC优势竞争模式。
<img alt="关系从句加工中句内词汇决策任务的图表，反应时间（毫秒），主语关系从句与宾语关系从句。" class="xfigimg" src="/files/...

本文介绍了一种利用双模干扰任务来研究汉语口语关系从句句子在线加工的实验方案。文中描述了两个涉及听觉加工并包含句内和句外干扰因素的示例实验。该范式为探讨工作记忆的本质及其对句子加工的影响提供了方法学基础。

工作记忆（WM）在复杂句子的理解中起着核心作用。其在口语复杂句子加工过程中的功能是……

DMI实验范式可用于考察工作记忆在复杂句法加工中的作用，进一步评估汉语书面语加工的不对称性。将DMI范式与最后共决任务相结合，并采用Matco移动窗口技术，是一种用于实时测量口语句子跨通道加工的新方法。与我一同演示该实验步骤的是中国台湾国立清华大学（NTIN）的大学生 Peihan Chen。在开始实验之前，需从“中央研究院语料库技术报告”（Sinica Corpus Technical Report）中选取共计 48 个双音节中文词汇，其中包括 24 个真实词汇和 24 个非词汇，用于词汇判断任务。在选择词汇时，需确保所有目标词汇均为中等使用频率。通过使用两个单独有意义但组合后语义异常的单音节汉字来创建24个非词，避免使用具有相同偏旁的双音节汉字词。将24个非词手动组合到填充句中，将24个实词组合到目标关系从句句中。将听觉刺激材料编写为72个句子，包括24个主语空位关系从句句、24个宾语空位关系从句句和24个填充句。然后将48个关系从句句子平均分为两组，以形成不完全的平衡设计，共组成48个试验。为实验设置软件时，打开合适的行為研究软件程序，并使用该软件对所有刺激材料进行随机化处理。随后配置软件系统，以记录参与者在词汇判断任务中的反应时、准确率，以及基于参与者键盘输入的句子理解正确情况。在参与者做出错误的词汇判断或未作出反应后，立即在显示器屏幕上呈现相应的反馈信息。在开始双模态句内干扰任务实验之前，让参与者坐在计算机前，并为其佩戴耳机。实验人员需通过计算机屏幕上的书面说明以及口头讲解，向参与者提供实验指导。指导受试者在通过耳机聆听句子的同时，执行词汇判断任务。要求受试者判断屏幕上显示的干扰性视觉探针是单词还是非词，并尽可能快速且准确地按下“是”表示单词，按下“否”表示非词。告知受试者，句子播放结束后将立即出现理解性问题，并提醒受试者在同时执行任务时需认真聆听听觉句子。在给出所有指导说明后，让参与者完成一个包含反馈环节的练习部分。练习结束后，开始进行双模态句内词汇判断干扰任务，并允许参与者每完成24次试验后休息一次。对于双模态句外干扰任务实验，将听觉刺激材料设计为96个句子，其中包括24个主语空位关系从句句子、24个宾语空位关系从句句子以及48个填充句子。将48句RC句子平均分为两组，以创建一个不完全的平衡设计，共96个试验，其中包含零位、三位和五位数字组合，每种零位、三位或五位记忆负荷均等分配至所有句子试验中。在实验软件程序中，随机将参与者分配至代表句子类型与记忆负荷这两个被试内因素组合的两种刺激集之一。指导参与者，他们需要通过耳机聆听被分割成单词的句子，并通过按压键盘启动下一个分段单词的播放，以尽可能快的速度自行控制节奏。告知参与者，屏幕上将出现一个问号，随后会出现一个与他们刚刚听到的句子内容相关的“是/否”理解性问题，参与者应对此问题作答。当参与者按下“是”或“否”按键回答理解性问题时，系统将播放一个短暂的蜂鸣声。然后，指导参与者在听到蜂鸣声后，按照屏幕上出现的指示操作，并重复他们在听句子之前所看到的数字。开始实验时，向参与者呈现持续1500毫秒的数字视觉图像。随后启动自定步速的听觉移动窗口任务，并指导参与者在听句子的同时，将先前呈现的视觉数字信息保留在记忆中。由于阶段回忆会增加记忆负荷，应指导参与者优先尽可能准确地记住数字，同时尽快听完句子。在参与者完成任务的同时，将其数字回忆结果记录在评分表上。在此项具有代表性的句内实验中，ORC句型在关系从句之后的主句主语位置以及句子末尾处表现出加工优势；而SRC句型在关系从句之后的主句动词位置具有优势。句子类型在主句动词后区域和句末区域的简单主效应显著，表明在主句动词处进行词汇判断干扰任务时，主语关系从句（SRC）句子的加工负荷较低；而宾语关系从句（ORC）句子在句子结尾处的加工负荷较低。在零位数负荷的句外干扰条件下，参与者在关系从句初始加工区域表现出对ORC句子的加工优势，而在关系从句标记DE及主句动词区域则显示出SRC的加工优势。在三位数负荷的句外干扰条件下，参与者在主句动词前的 DE 区域附近未表现出主语或宾语缺位关系从句句子的差异。然而，参与者在 DE 区域表现出简单关系从句（SRC）句子的优势，而在主句动词区域表现出宾语关系从句（ORC）句子的优势。在五位数负荷的句外干扰条件下，参与者在主句主语区域的 DE 前及 DE 后区域均表现出整体的宾语关系从句（ORC）句子优势。我们的结果表明，中文关系从句（RC）的加工呈现出一种动态模式，由此推测在中文关系从句加工过程中并不存在固有的加工不对称性。当前的DMI技术可拓展应用于自定步速阅读范式，以探究在存在干扰的自然阅读情境中工作记忆如何参与阅读加工过程。

examining-online-syntactic-processing-spoken-complex-sentences

Research

科研

JoVE Journal

Behavior

行为

利用双模干扰任务对汉语口语复杂句子的在线句法处理进行考察

研究人员采用词汇判断任务和命名任务，通过比较这两项任务之间的频率效应，来探讨汉字/词汇识别等重要课题。本文通过两个示例实验介绍这一方法，并详细阐述其背后的逻辑。...

比较汉语词汇判断任务与命名任务中的频率效应

本文综述了一种用于语言理解研究的眼动追踪方法。为了获得可靠的数据，必须遵循该方案中的关键步骤，其中包括正确设置眼动仪（例如，确保眼图像和头像质量良好）以及精确的校准。...

在视觉情境下的语言理解过程中进行眼动追踪：揭示视觉情境效应的灵活性与局限性

视觉世界范式通过监测参与者在倾听或说出口语时其在视觉工作区中的眼动，来研究心理语言学中的多种在线加工问题，包括诸如析取语句等语义复杂的陈述。...

利用视觉世界范式中记录的眼动数据探究口语的在线加工过程

我们提出了一项方案，用于研究自闭症儿童在实时句子理解过程中对形态学线索的使用情况。...

使用视觉世界范式研究汉语母语自闭症儿童的句子理解能力

我们提出一种实验方案，通过对语义异常句子进行多次重复以增强受试者的预期，从而分离整合难度与意外性这两个相互交织的因素。这种分离有助于探究语言研究中诱发事件相关电位（ERP）效应（如N400）的主要成因。...

事件相关电位研究中分离异常句子中期望效应与整合难度的混杂影响

本文介绍了一种利用迷宫任务检测句子加工过程中与年龄相关衰退的实验方案，该任务使我们能够在阅读过程中定位受试者在句子每个词上的加工困难。...

一种用于测量衰老对句子加工影响的实验范式

本文介绍了一种利用半人工语言来测量积极诱导情绪对外语学习者语法学习影响的实验方案，该半人工语言将外语的语法规则与学习者的母语词汇相结合。...

测量诱发情绪对语法学习影响的实验范式

我们提出了一种研究视觉词汇识别中音韵与语义相对激活顺序的实验方案。结果表明，语义和音韵表征的加工过程可能具有交互性，且高层语言表征可能影响早期加工过程，这与交互作用理论相一致。...

利用脑电生理学研究视觉词汇识别中音韵与语义加工过程的交互作用

我们介绍了在地面投影迷宫上对大鼠进行完全自动化认知任务的慢性电生理记录训练的实验方案。...

使用地面投影迷宫记录神经活动的自动化视觉认知任务

用于评估普通人群感知与感觉运动时序能力的行为任务即，...

揭示节拍失聪：通过同步手指敲击与感知计时任务检测节奏障碍

同步手指敲击，感知计时任务，节拍感知，节奏障碍，听觉-运动同步，节拍失聪，神经认知评估，音乐认知，时间感知，运动协调

探索双模干扰任务在汉语口语复杂句法处理中的应用，结合词汇判断任务与移动窗口技术实时测量句子加工过程。该方法有助于研究工作记忆在语言理解中的作用机制。

使用双模态干扰任务考察汉语口语复杂句的在线句法加工

探索更多视频