利用脑电生理学研究视觉词汇识别中音韵与语义加工过程的交互作用

摘要

我们提出了一种研究视觉词汇识别中音韵与语义相对激活顺序的实验方案。结果表明，语义和音韵表征的加工过程可能具有交互性，且高层语言表征可能影响早期加工过程，这与交互作用理论相一致。

摘要

关于阅读能力的研究一直存在争议：印刷文字是否基于正字法信息以自下而上的方式被感知，随后才激活其他表征（如语音和语义），还是这些过程完全交互，且高层语义信息会影响早期加工。本研究采用干扰范式，在语音判断和语义判断任务的实验方案中使用相同的先行-目标词对，以探究语音与语义激活的相对顺序。高频率和低频率的目标词之前呈现三种条件：语义相关、语音相关（同音词）或无关条件。结果表明，在语义任务和语音任务中，低频词对诱发的P200成分显著大于高频词对。此外，在语义任务中，同音词条件以及在语音任务中语义相关词对相较于无关控制条件均导致N400波幅降低，且该效应独立于词频。值得注意的是，在语音判断任务中，低频词对的语义相关词对所诱发的P200显著大于控制条件。总体而言，无论在高频词还是低频词中，均观察到语音任务中的语义加工以及语义任务中的语音加工，提示语义与语音之间的交互可能以任务非依赖的方式运作。然而，这种交互发生的具体时间可能受到任务类型和词频的影响。

引言

任何词汇识别模型中的关键问题都是理解音位学在语义通达过程中的作用¹。对于拼音文字而言，大量研究一致认为音位学在语义通达中发挥着重要作用，包括英语^2，3，4、希伯来语⁵、法语⁶和西班牙语⁷。换句话说，书面词汇识别不仅涉及正字法加工，还涉及音位和语义加工。在交互式联结主义模型中，这一现象可通过网络中广泛激活的扩展来解释，其中正字法通过加权连接与音位和语义表征相关联⁸。这种激活的扩散构成了视觉词汇识别模型的核心机制，该模型假设音位和语义表征会自动响应正字法输入而被激活⁹。

然而，目前支持交互式自动化假说的实证证据仍存在争议。一些研究认为，语音和语义表征的激活可以受到任务需求或注意力的调节甚至抑制，这表明任务对词汇感知中的高级加工过程存在一定的自上而下的影响^10,11。然而，上述观点受到许多研究结果的质疑，这些研究发现，即使在这些表征与任务完全无关或无法被直接访问的情况下，视觉词汇识别中仍存在语音和语义效应¹²，从而支持了语义和语音信息在阅读过程中可能被自动且强制激活的观点¹³。因此，目前尚不明确视觉词汇识别中的语音和语义激活究竟是依赖于特定任务，还是以一种不受任务影响的、强制且自动的方式发生。

上述问题对于中国读者而言难以回答。与英语不同，中文是一种表意文字系统，其字符代表的是语素而非音素¹⁴。目前，语音在中文词汇语义通达中的作用仍存在争议。一些研究认为，语音在中文词汇的语义通达过程中起着重要作用^15,16,17；然而，也有研究持相反观点^18,19。在评估了上述有关中文语音加工的研究后，我们发现其实验范式和具体研究方法存在差异。总体而言，这些研究主要分为两种范式：词语启动范式^15,18,19和句子中的违反范式^17,20,21。在违反范式中，目标词通常嵌入于句末²²。从语言机制角度来看，一个简短的双词短语相较于难以处理的完整句子而言，是更易操控的语言单位²³。此外，句子中诸如句法、语境或其他难以控制的变量可能导致不同的研究结论²⁴。词语启动范式是一种常用于探索词汇识别模型的方法，无论是在拼音文字语言还是中文研究中均被广泛使用。该范式的任务通常是判断在启动词之后出现的目标词是否为真实词或伪词；也就是说，该范式通常仅包含一种词汇任务。然而，单一的词汇判断任务可能并非解决“语音与语义的激活是否依赖于任务”这一问题的最佳选择。因此，采用两种不同的任务可能更适用于探讨这一问题。

因此，本研究旨在探讨语音在中文词汇识别中的作用，并同时尝试确定语音和语义的激活是否具有任务独立性。我们的研究包含两个采用干扰范式的任务：语义判断和语音判断。据我们所知，这是首次采用该干扰范式对中文双字复合词识别进行的事件相关电位（ERP）研究，而这种方法在字母语言的研究中极为少见。具体而言，在语义判断任务中，参与者需判断目标词与其前导词在语义上是否相关；而在语音判断任务中，参与者需判断成对词语的发音是否相同。

前者为语义匹配任务，不需要预先进行音位加工；后者为音位判断任务，不需要预先进行语义加工。因此，在语义判断任务中，我们比较了同音词对与无关控制组，以揭示音位信息是否以及如何影响语义加工。类似地，在音位判断任务中，我们比较了语义相关词对与无关控制条件，以揭示语义信息是否以及如何影响音位加工。此外，该问题还在高频词和低频词中进行了验证。因此，这种互补的语义与音位判断任务不仅能揭示音位加工在中文词汇识别中的重要性，还能揭示音位与语义之间是否存在以及如何相互作用。

如果音位和语义加工是早期、自动且相互作用的，那么音位和语义激活效应应在两项任务的反应时中得以体现。对于事件相关电位（ERP），音位和语义加工会引发两种不同的电生理指标^2,7。此外，它们的时间进程和空间分布也应有所不同。一个早期正成分（P200）应反映音位加工，而典型的语义加工指标N400也应被识别出来^20,21。我们假设，在语义任务中音位相关的词对以及在音位任务中语义相关的词对均会引起N400的显著降低，这表明音位加工可能在词汇—语义层面引发一定程度的激活。此外，我们还监测了表征音位加工的P200是否在语义判断任务或音位判断任务中出现。在音位判断任务中，语义相关条件诱发了P200，这可被视为语义对音位加工产生早期影响的证据。

方案

本研究使用的方案已获得清华大学机构审查委员会的批准。

1. 刺激材料的构建与呈现

1. 刺激材料构建
   1. 刺激材料准备：准备约140个包含两个汉字的复合词作为目标词，其中低频词和高频词各占一半。每个目标词前各呈现三个类比词：一个语音相同（同音词）、一个语义相关词和一个无关控制词。
      1. 确保高频目标刺激始终由高频前因刺激引导，低频目标刺激始终由低频前因刺激引导，无论是在相关条件还是无关对照组中。此外，确保前因-目标刺激对在笔画数和频率上具有相似性。
         注意：本研究中所有词语均选自《现代汉语频率词典》（Xiandai Hanyu Pinlu Cidian）。低频词的出现频率低于每百万次少于8次，高频词的出现频率超过每百万次800次。
   2. 刺激材料评估：招募另一组约30名学生，使用七点量表对词对之间的语义相关程度进行评分，其中1表示相关性最低，7表示相关性最高。
   3. 最终刺激材料确定：删除不恰当的词对，例如在语义相关条件下得分较低的词对，以及在同音异义和无关条件下得分较高的词对。
      1. 分别计算高频和低频语义相关词对的平均得分，并确保两者之间无显著差异。
      2. 此外，需确保同音词对与无关词对在高频和低频条件下得分无显著差异。最后，确定最终的实验刺激材料（参见 表格材料).
         ​注意：本实验中语义相关对的语义相关值，高频对和低频对的最终平均值分别为5.62和5.73，两者之间无显著差异（p > .1）。此外，同音词对与无关词对之间的语义相关性差异无统计学意义（p > .1).
2. 刺激呈现
   1. 编写一个程序，向受试者展示任务内容，并填写上述材料（该程序可使用 E-prime 或其他编程语言编写）。
   2. 确保程序的每个核心结构均以显示屏幕作为起始 " + " 持续300毫秒的提示信号，紧接着在无间隔的情况下，前一个词需呈现140毫秒。
   3. 随后，设置一个持续 360 ms 的空白屏幕，然后呈现目标词，持续 500 ms。最后，显示一个问号（?），该问号将持续呈现，直到被试对刚刚呈现的词对做出判断，并尽快且准确地按下按钮。
   4. 提前告知参与者，在语义判断任务中需要判断词对在语义上是否相关，在语音判断任务中需要判断词对的语音是否相同。
   5. 练习环节设置：设立两个练习组，分别包含语义判断和语音判断任务，每项任务至少包含10对词语。告知参与者可重复练习，以确保练习环节的正确率超过70%。
   6. 正式实验设置：将整个实验分为6个区组，语义判断任务和语音判断任务各占一半。
      1. 确保每个区块中没有重复的目标词，且每个区块中启动类型的数量相同。此外，设置少量填充试验，以减少因需要做出正向或负向反应的测试数量不均而导致的反应偏差。
      2. 随机化每个区组内项目的顺序，并在被试间平衡区组顺序。
         ​注意：根据待准备的实验材料数量，整个实验也可划分为八个、十个或更多区块，以尽量减少每个区块中目标词的重复次数。

2. 实验准备与电生理记录

1. 招募视力正常（可经矫正）的右利手汉语母语者。
   1. 排除患有任何神经系统或精神疾病的研究对象。
   2. 确保在目标年龄范围（18-28 岁）内有数量均衡的女性和男性参与者。
   3. 确保受试者在过去两个月内无烫发或染发史。
   4. 告知参与者，实验前需保证充足的睡眠和休息时间²⁵.
   5. 实验参与人员在参加实验时，应确保其在实验进行时处于健康状态。
2. 当参与者到达实验室时，介绍实验设备、任务内容及所需时间。说明相关要求（如避免困倦、移动和眨眼），以帮助其了解整个实验流程，并消除不必要的担忧。
3. 如果参与者对实验没有其他疑问，请让其填写爱丁堡利手问卷表（Edinburgh Handedness Query Form），以确认所有参与者均具有相同的右利手习惯。
4. 向参与者提供知情同意书，并要求其仔细阅读后签署。若参与者对同意书内容有疑问，应为其提供必要的解释。
5. 指导受试者在实验室中正确清洁头皮并吹干头发。在等待受试者期间，请准备好所有实验材料。
   注意：脑电图（EEG）信号通过放大器系统进行放大，该系统带通滤波范围为0.01至100 Hz，并以500 Hz的采样频率持续采样。
6. 邀请参与者在实验进行的房间内舒适地坐在椅子上，并告知他们不要移动椅子。
7. 使用棉签和面部清洁工具清洁受试者左眼下方（用于垂直眼电图电极）、右眼外眦附近（用于水平眼电图）以及左右乳突区域（用于Tp9和Tp10，将作为离线参考电极）的皮肤。
   注意：电极的分布可能因所使用的帽型而异。
8. 将弹性帽戴在受试者头部，并确保Cz电极位于头顶正中央。小心地将电极帽的下颌带固定于下巴下方，确保松紧适中，既不过紧也不过松。
9. 确保帽状电极和放大器已连接至记录系统。接着，将记录软件切换至阻抗监测界面。
10. 确保所有电极的阻抗不超过5 kΩ或10 kΩ，首先从参考电极（Ref）和接地电极（Gnd）开始。
11. 将装有导电凝胶的注射器穿过电极的小孔到达头皮，然后推动活塞，向头皮注入少量导电凝胶，注意避免溢出。同时，实时监测显示系统中的阻抗值，直至阻抗降至阈值。
12. 在制备好参考电极（Ref）和接地电极（Gnd）后，以相同方式降低其他电极的阻抗。需谨慎处理眼电（ocular electricity）信号电极的阻抗降低过程。
    1. 用胶带封住两个眼电图电极一侧的小孔，以防止注入的导电凝胶泄漏。用胶带将电极固定在左眼下方和右眼外眦处。
13. 所有电极准备就绪后，指导参与者做好实验准备。告知参与者在实验过程中保持放松，避免频繁眨眼和大幅度身体移动。
14. 通过刺激演示程序呈现刺激材料，并让参与者在练习环节进行练习。
    注意：练习环节结束后，参与者如有任何疑问或对后续步骤不清楚，可提出问题。
15. 开始正式实验并记录脑电图信息。在记录过程中监控记录系统，若发现电极松动或电阻超过阈值，应在受试者休息时及时补充电极凝胶。
    注意：每个实验组块结束后，参与者可休息 4-10 分钟。
16. 实验结束后，保存脑电（EEG）信号，并关闭记录系统、放大器等设备。随后取下受试者的电极帽，指导其清洗头发和皮肤上的导电凝胶。最后，给予受试者适当酬谢，并感谢他们的配合。

3. 脑电图预处理

1. 采用基于独立成分分析的半自动眼动伪迹校正方法。
2. 计算目标词呈现后 100 ms 至 600 ms 之间的事件相关电位（ERP）（以目标词前 100 ms 作为基线）。
3. 对脑电数据进行离线带通滤波，滤波范围为 0.05 至 30 Hz（零相位偏移模式，24 dB/倍频程）。
4. 通过伪迹剔除排除信号幅值超过 ±80 µV 的片段，并剔除错误反应的试验数据。

结果

该实验方案在最近的一项研究中被用于探讨音韵在汉语双字复合词识别中的作用，并推断词语识别模型²⁶。本研究中使用的所有刺激材料均已完全公开²⁶。根据全局场强（GFP），选取了三个时间窗口：N1成分对应100–150 ms，P200成分对应160–280 ms，N400成分对应300–500 ms²⁶。对上述两个时间窗口的平均振幅进行重复测量方差分析（ANOVA），分析中包含三个组内因素：词频（低频和高频）、关系类型（音韵相关、语义相关或无关）以及电极区域（左侧和右侧半球 × 额区、中区和枕区 = 共六个区域）或中线电极（Fz、Cz、Pz）。更详细的结果和图表可参见Wang等（2021）的研究²⁶。

语义判断任务的ERP结果
100–150 ms 时间窗（N1成分）
对于中线电极，方差分析结果显示频率的主效应显著 [...

讨论

实验结果与意义：
本实验方案旨在探讨以下两个问题：1）汉字识别模型是前馈模型还是交互模型；2）在不同任务条件下，高频与低频双字汉语复合词识别过程中，语音与语义信息之间的交互作用。本研究采用事件相关电位（ERP）技术，设计了语音与语义匹配任务的干扰范式。在语义判断任务中，通过比较目标词前呈现同音词与无关词所诱发的ERP反应，考察在无需预先进行语音加工的情况下，语音信息是否以及何时影响语义加工过程。类似地，在语音判断任务中，通过比较目标词前呈现语义相关词与无关词所诱发的ERP反应，考察在无需预先进行语义加工的情况下，语义信息是否干扰语音加工过程。随后，根据相关ERP成分的潜伏期，比较语义与语音加工的相对时间进程，并检验词频对上述加工模式的影响。

我们的结果表明，在语音任务中，由语义相关的先行词启动的目标词，以及在语义判断任务中由同音词启动的目标词，均比无关先行词引发的N400成分显著更小（负性更低），且该效应不受词汇频率的影响。因此，对于高频词而言，数据提示在不同任务中识别汉语双字词时，语义激活的发生时间早于或至少不晚于语音加工。此外，在语...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
BrainAmp DC 放大器系统 (Brain Products GmbH)	Brain Products，德国吉尔兴		BrainAmp 序列号 AMP13061964DC 输入 5.6DC=150mA 工作电流 7mA 待机电流
Easycap (Brain Products GmbH)	Brain Products，德国吉尔兴		62 个按照国际 10–20 电极系统布局的 Ag/AgCl 电极