使用电生理学的视觉单词识别中语音和语义过程的相互作用

Summary

我们提出了一个协议来探索视觉单词识别中语音学和语义学的相对激活序列。结果表明，与交互式帐户一致，语义和语音表示可以交互处理，而更高级别的语言表示可能会影响早期处理。

Abstract

在与阅读能力相关的研究中一直存在争议;关于印刷文字是否以基于正字法信息的前馈方式被感知，之后，其他表示，如音韵学和语义学被激活，或者这些是否完全互动，高级语义信息会影响早期处理。在所提出的语音和语义判断任务协议中实现了干扰范式，该协议使用相同的前置目标对来探索语音和语义激活的相对顺序。高频和低频目标词前面有三个条件：语义相关，语音相关（同音字）或不相关。结果表明，在语义和语音任务中，低频词对的诱导P200分量明显大于高频词。此外，与控制条件相比，语义任务中的同音字和语音任务中的语义相关对都导致N400的减少，字频独立。值得注意的是，对于语音判断任务中的低频对，语义相关词对释放的P200明显大于对照条件下的P200。总体而言，在高频和低频单词中都发现了语音任务中的语义处理和语义任务中的语音处理，这表明语义和语音学之间的相互作用可能以与任务无关的方式运行。但是，此交互发生的特定时间可能已受到任务和频率的影响。

Introduction

任何单词识别模型中的关键问题是理解语音学在语义访问过程中的作用¹。对于字母语言，许多研究一致认为音韵学在语义访问中起着重要作用，包括英语^2，3，4，希伯来语^5，法语⁶和西班牙语^7。换句话说，书面单词识别不仅涉及正字法，还涉及语音和语义处理。交互式连接主义模型中的这一观察结果可以通过在整个网络中激活的扩展来解释，其中正字法通过加权连接与语音和语义表示相关联^8。这种激活的激增为视觉单词识别模型提供了核心机制，该模型假设语音和语义表示在响应正字法输入⁹时自动激活。

然而，目前支持交互式自动化假设的经验证据仍然存在争议。一些研究声称，语音和语义表征的激活可以通过任务需求或注意力来调整或阻止，这意味着对单词感知中涉及的高级过程有一定的自上而下的影响^10，11。然而，上述描述受到许多研究结果的质疑，这些发现报告了视觉单词识别中的语音和语义效果，即使这些表示与任务完全无关或不能直接访问^12，从而支持语义和语音学可以在阅读过程中自动和强行访问的观点¹³.因此，视觉单词识别中的语音和语义激活是否取决于特定任务，或者它是否以与任务无关的方式强制和自动发生，存在不确定性。

上述问题的答案对中国读者来说很难。与英语相比，中文是一种文字，其字符代表语素而不是音素^14。目前，语音学在汉语单词语义访问中的作用仍然存在争议。一些研究声称，音系学在汉语单词的语义获取中起着重要作用^{15，16，17。}然而，其他人则持相反的观点^18，19。在评估了上述汉语语音处理研究后，我们发现实验范式和具体研究方法不同。总的来说，它主要分为两种范式：词启动^15，18，19和句子^17，20，21中的违规范式。目标词通常嵌入在违反范式²²的句子末尾。就语言机制而言，一个简短的两个单词短语比一个难以处理的完整句子更易于管理的单元²³。此外，在句子中难以控制的变量，例如语法，上下文或其他因素，可能会导致不同的结论^24。单词启动范式是一种通常用于探索单词识别模型的方法，无论是在字母语言还是中文中。这个范式的任务是判断素数前面的目标词是实词还是伪词;也就是说，此范例通常只包含一个词法任务。然而，单个词汇决策任务可能不是解决语音学和语义学的激活是否取决于任务问题的最佳选择。因此，两个不同的任务可能更适合探讨这个问题。

因此，本研究旨在探索语音学在汉语单词识别中的作用，同时试图确定语音学和语义学的激活是否与任务无关。我们的研究包括使用干扰范式的两个任务：语义判断和语音判断。据我们所知，这是第一个使用这种干扰范式的汉语双字符复合识别事件相关电位（ERP）研究，这种方法很少出现在字母语言的研究中。具体来说，在语义判断任务中，参与者必须判断目标单词与其先例是否语义相关，而在语音任务中，他们必须判断配对单词是否具有相同的发音。

前者是不需要先验语音处理的语义匹配任务，后者是不需要先验语义处理的语音判断任务。因此，我们在语义判断任务中比较了同音字对和不相关的对照组，以揭示语音学是否以及如何影响语义处理。同样，我们在语音判断任务中比较了语义相关的单词对和不相关的控制条件，以揭示语义是否以及如何影响语音处理。此外，上述问题在高频和低频单词中得到了验证。因此，这种互补的语义和语音判断任务不仅可以揭示语音处理在汉语单词识别中的重要性，还可以揭示语音学和语义学是否以及如何相互作用。

如果音韵学和语义过程是早期、自动和交互式的，那么在两个任务的响应时间中应该观察到语音和语义激活的效果。对于ERP，语音和语义过程触发两种不同的电生理标记^2，7。此外，它们的时间轨迹和空间分布应该不同。早期的正分量（P200）应反映语音处理，并且典型的语义处理标记N400也应标识^{为20，21。}我们假设语义任务中的语音相关对和语音任务中的语义相关对都会导致N400的显着减少，这表明语音处理可能导致在词汇 – 语义水平上进行一定程度的激活。此外，我们还监测了表征语音处理的P200是否出现在语义判断任务或语音判断任务中。在语音判断任务中，语义相关条件触发了P200，这可以看作是语义学对语音处理的早期影响的证据。

Protocol

本研究采用的协议已获得清华大学机构评审委员会的批准。 1. 刺激的构建和呈现 刺激建设 刺激准备：准备包含约140个汉语双字符化合物的目标单词，其中低频和高频单词占一半。在每个目标前面有三个类似物：语音上相同的单词（同音词），具有相关含义的单词和不相关的控制词。 确保高频目标之前始终有高频先验，低频目标之前始终有低频先例，无论…

Representative Results

该协议在最近的一项研究中被用于调查语音学在汉语双字符复合识别中的作用，并推断单词识别模型26。本研究中使用的所有刺激物均已完全披露26.根据全局场功率（GFP）选择了三个时间窗口：N1，P200和N400分量分别为100-150 ms，160-280 ms和300-500 ms，分别为26。通过方差（ANOVA）、频率（低、高）、关系类型（语音或语义相关或不相关）和横向区域…

Discussion

实验结果及意义：
该协议的目的是推断以下内容：1）单词识别模型是前馈模型还是交互模型，2）不同任务下汉语双字符复合识别中高低频语音和语义模式之间的相互作用。采用ERP技术对语音和语义匹配任务进行干扰范式。在语义判断任务中比较了ERP响应之前的同音字和不相关的单词与目标，这些任务不需要先验语音处理来揭示语音学何时以及是否影响语义处理。同样，对于不需?…

Materials

BrainAmp DC amplifier system (Brain Products GmbH)	Brain Products, Gilching, Germany		BrainAmp S/N AMP13061964DC Input 5.6DC=150mA Operation 7mA Standby
Easycap (Brain Products GmbH)	Brain Products, Gilching, Germany		62 Ag/AgCl electrodes with a configuration of the international 10–20 system of electrode