需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

事件相关电位研究中分离异常句子中期望效应与整合难度的混杂影响

4.9K 次观看

DOI:

10.3791/59436

2019年5月9日

本文内容

摘要

我们提出一种实验方案,通过对语义异常句子进行多次重复以增强受试者的预期,从而分离整合难度与意外性这两个相互交织的因素。这种分离有助于探究语言研究中诱发事件相关电位(ERP)效应(如N400)的主要成因。

摘要

语言研究中异常句子所固有的意外性和语义整合难度等混杂因素,使得确定ERP成分潜在加工机制变得困难。与通过语料库频率或完形概率来操控预期性的传统静态方法不同,本实验方案提出一种动态方法,通过多次重复来增强被试对罕见异常句子的预期性,同时保持其语义整合难度不变。为解决因多次重复而导致的时间成本增加问题,本方案建议仅在呈现语义丰富、信息量更大的完整异常句子以重新启动语义整合加工之前,重复从异常句子中提取出的严格简化的核心结构。完整异常句子诱发了P600效应,表明被试在多次重复后并未放弃对异常信息的加工,且语义整合难度成功得以重新启动。尤为重要的是,代表性实验结果表明,由多次重复导致显著减弱的N400效应,并未因后续重新启动的语义整合难度而恢复。这提示,减弱的N400效应主要归因于多次重复增强了对异常信息的预期性。实验结果表明,该方法能够在保持语义整合难度的同时,有效增强被试对异常句子的预期性。

引言

异常句子被语言学家广泛用于研究正常语言的在线认知加工过程。例如,在事件相关电位(ERP)研究中,具有语义异常的句子(如"他用袜子涂抹温热的面包。")被报道会诱发N400效应1(但也有一些其他研究报道了语义P600效应2,3),而具有句法困难或句法异常的句子(如"这位女性说服开门……”)则被报道会诱发P600效应4,5。这些电生理成分被广泛用作可靠的指标,以研究来自语言不同方面(如句法和语义)的信息加工的正常时间进程。

异常句子在理解过程中会给语义整合加工带来很大困难。然而,一些混杂因素(例如意外性,即任何异常表达自然也是一种意外表达)使得难以确定由异常句子引发的观察效应背后的真实认知过程。例如,如果异常句子引发了N400效应,尚不清楚该效应是由意外性6,7,8还是由整合困难1,9,10所导致。

为了确定是预期性还是语义整合难度导致了诱发的电生理效应,我们需要将这两个因素分离开来。传统上,预期性通常通过语料库词频(在词汇研究中)或完句概率(在句子研究中)来衡量。在传统实验中操纵预期性的常用方法是选择在预期性上得分高和低的刺激材料,以构成预期组和非预期组。该方法在操纵预期性方面是有效的,并已产生大量富有洞察力的研究结果。

然而,作为一种操纵预期的静态方法,它存在一个局限性:难以使预期组和非预期组在语义整合难度上保持一致。采用这种操纵方式时,必须为预期组和非预期组选择不同的刺激材料;因此,当我们通过使用具有不同预期值或完形概率的刺激来操纵预期时,语义整合难度也随之改变。尽管我们可以找到那些出乎意料但合理的表达(即由能够成功整合为合理信息的词语构成的非预期表达),但这些出乎意料但合理的表达所需的整合努力,可能与常规表达所需的整合努力不同。如果这些差异未得到控制,就可能导致大脑反应出现显著差异,因为已有明确证据表明,对出乎意料但合理的新型隐喻表达进行整合加工时所引发的大脑反应,明显不同于传统隐喻所引发的大脑反应11,12

为解决这一问题,我们提出一种新方法,旨在动态增强参与者对异常句子的预期,同时尽量保持语义整合难度不变。具体而言,我们通过多次重复,使参与者快速熟悉原本陌生的异常句子,从而增强其预期。重要的是,多次重复并不改变刺激材料本身,因此语义上的异常信息依然保持不变(即关键词仍然无法成功融入上下文)。

然而,大脑可能在学习到异常信息完全无法成功整合到先前语境中后,放弃整合过程(即可能不存在整合加工,因而不会产生整合困难)。因此,本方案提出,首先仅重复从异常句子中提取的核心异常信息,随后使用包含相同异常信息的完整异常句子作为该核心异常信息的语义丰富版本,以在重复条件下启动新的语义整合加工。由于语义丰富的完整异常句子中包含相同的异常信息,并且新的语义整合加工已被启动,我们假设:在多次重复之后,完整异常句子中的异常信息所引发的语义整合困难应几乎与重复前该异常信息所引发的困难相同(无论重复期间语义整合加工的状态如何)。因此,我们假设在语义丰富的完整异常句子中,语义整合困难这一因素在重复后的程度与相应简化的核心结构中保持一致,但预期性则显著增强。

基于这些假设,我们将包含重复核心异常信息的语义丰富型完整异常句子所诱发的N400效应,与首次出现的完整异常句子所诱发的N400效应进行比较,以探究该诱发ERP效应的主要成因。工作假设如下:根据以往研究,N400效应会因重复而显著减弱。在N400效应减弱的基础上,若相同异常信息在新情境下启动的语义整合过程导致减弱的N400效应恢复至与首次出现的异常句子中同类异常信息所诱发的N400效应相似的水平,则表明语义整合困难是诱发N400效应的主要因素;反之,则表明意外性是主要成因。

访问受限。请登录或开始试用以查看此内容。

方案

本方案已获清华大学机构审查委员会批准。

1. 刺激材料的构建

  1. 为重复组和非重复组构建关键的异常句子
    1. 准备足够数量的正确句子,用于构建异常句子(不少于40个)。例如:“这两个组分通过离心装置被分离。” 尽可能仅使用无情绪色彩的句子。
    2. 基于正确句子构建异常句子,然后将其中一半分配给重复组,另一半分配给非重复组。
      1. 例如,将句子“这两个组分通过离心装置被参与化”分配给重复组,将“这两个组分通过离心装置被分号化”分配给非重复组。确保两组异常句子在合理性、违反类型和长度等要素上具有高度可比性。
    3. 将所有异常句子与一组正常句子(即无整合困难的句子)随机混合,形成一份包含正常句与异常句的列表。
    4. 邀请一组母语者(不少于30人)使用1–7分制对异常句子的可接受性进行评分,分值越高表示可接受性越高。
    5. 根据可接受性评分,选择足够多对合适的异常句子(不少于35对)作为实验刺激材料。异常句子的可接受性应尽可能低(例如,评分低于2分)。确保两组异常句子在可接受性评分上无显著差异(建议采用重复测量方差分析)。
  2. 为这些关键异常句子准备相应的重复刺激材料
    1. 对于重复组,从完整的异常句子中提取核心异常成分,形成用于重复的核心结构(例如,为研究N400效应,提取引起语义不一致的核心成分)。
      1. 仅保留最简化的核心异常成分(即删除与所研究效应诱发无关的任何信息)。例如,从完整异常句“这两个组分通过离心装置被参与化”中,仅提取语义异常的核心结构“组分被参与化…”。
    2. 对于非重复组,修改所提取的核心结构,使其不同于从完整异常句中提取的结构,以避免完整异常句中异常核心结构的重复(即为重复使用准备一个不同的核心结构)。
      1. 例如,在非重复组中,从关键异常句“这两个组分通过离心装置被分号化”提取核心结构“组分被分号化…”后,将其中关键词“分号化”替换为另一个词,如“差异化”(即使用“组分被差异化…”代替“组分被分号化…”进行非重复组的重复操作)。
    3. (可选的微小修改)对提取的核心结构进行微小调整(例如时态或单/复数形式),但需确保修改后的结构仍能引发与对应完整异常句相同的效果。
      1. 例如,可将异常核心结构中的过去时和复数形式进一步改为现在时和单数形式:“组分被参与化…”代替“组分们被参与化…”。
        注:微小修改步骤为可选项。强烈建议用于重复的提取异常核心结构与完整异常句中的核心结构在形式和顺序上保持一致。微小修改的目的是防止被试将核心结构作为一个整体记忆,从而使后续完整异常句的呈现能更好地重新启动语义整合过程。本方案选择实施微小修改。
    4. 为重复组和非重复组中每个提取(并修改)的核心结构分别构建一个填充性短语表达。例如,为重复组中的异常核心结构“组分被参与化…”编造并引入一个正确但相似的填充表达“组分被混合…”。
    5. 类似地,为非重复组中的异常核心结构“组分被差异化…”编造并引入另一个正确但相似的填充表达“组分被发现…”。
      注:引入填充性短语表达有两个目的:(i) 平衡异常核心结构的正确性分布;(ii) 作为观察不同重复阶段可能诱发效应(如首次、第五次或第十次重复时的N400效应)的基线,因为即使是正确的刺激也可能受到多次重复的影响。
(a) 语义丰富化的完整异常句子及其前导核心结构示例
重复的核心结构语义丰富化的完整句子
对照组 这两个组分通过离心装置被分离。
重复组 * 组分被动词化…* 这两个组分通过离心装置被动词化。
非重复组* 组分被差异化…* 这两个组分通过离心装置被分号化。
(b) 重复部分中简化核心结构的示例
不合理的表达合理的表达
针对重复组 * 组分被动词化…组分被混合…
针对非重复组 * 组分被差异化…组分被发现…

表1:刺激材料示例:完整句子与简化核心结构。 表格上半部分展示了完整句子部分的示例(分别对应对照组、重复异常句组和非重复异常句组)及其在重复部分使用对应的异常核心结构;表格下半部分展示了重复部分的异常核心结构及其合理的填充短语表达。

  1. 构建填充句
    1. 准备足够数量的填充句,以丰富句子类型,并确保正常句与异常句在数量上保持均衡。
    2. 从填充句中选取一定数量的正确填充句(依据重复组中所有关键异常句的数量),并以与构建关键异常句重复部分相同的方式,为每个选中的正确填充句创建重复部分:从每个正确的填充句中提取核心结构,并为该核心结构构造相应的简短填充表达式。
      注:在每个正确填充句前引入一个重复部分,以避免暴露关键异常句(这些异常句前也设有重复部分)。此步骤完成后,将存在两类完整句子:一类是带有前置重复部分的句子(包括所有关键句以及经添加重复部分的选中填充句),另一类是无前置重复部分的句子。

2. 刺激呈现

  1. 重复部分的呈现
    1. 将提取出的核心结构及其对应的正确填充表达(见表 1b)以随机顺序共同呈现一定次数(例如七次)(见图 1中的重复部分)。
  2. 语义重启的完整句子呈现
    1. 在对应的重复部分结束后立即呈现完整的异常句子(见图 1)。
      注意:为重复部分和完整句子使用不同颜色(例如深蓝色与深绿色)有助于参与者区分这两个部分。
    2. (可选修改)如果研究者仅关注完整句子部分的结果,则可将简短表达作为一个整体呈现,以节省时间。

figure-protocol-1
图1:刺激呈现的示意图。 图的上半部分展示了重复部分及其相应后续完整异常句子的呈现流程图,下半部分左侧展示了每个短语的详细呈现方式,下半部分右侧展示了每个完整句子的详细呈现方式。 请点击此处查看此图的放大版本。

  1. 重复部分与完整句子部分的任务设置
    1. 为重复部分中的每个核心结构设置任务,以保持参与者的注意力集中,例如设置可接受性判断任务(或类似任务,要求参与者对不同核心结构作出不同反应,例如判断某个表达是否先前已出现过)。
    2. 为完整句子部分选择在以往相关研究中广泛使用的任务(例如可接受性判断任务),以便将本研究结果与以往研究结果进行比较。
  2. 整体刺激材料的组织
    1. 仅在异常句子之后呈现每个重复部分(及其对应的后续完整句子),而在正常句子之后则呈现另一个完整句子(无论该句子是正常还是异常)(见图2)。
      注意:这一设计具有两方面优势:(i) 为参与者提供合理的解释,说明为何某些句子之前有重复部分而其他句子没有(例如,研究人员可解释为只有错误句子才会被重复部分跟随,而正确句子则可跳过重复部分直接进入下一个完整句子);(ii) 通过避免单调性使实验更有趣,从而帮助参与者保持注意力集中。

figure-protocol-2
图2:每个区组中刺激材料的组织结构。 该图展示了所有异常完整句(及其对应的重复部分)以及正确完整的填充句(无任何前置重复部分)在每个区组中的整体编程流程图。此图经Huang等14许可采用。请点击此处查看该图的放大版本。

3. 实验准备与电生理记录

  1. 招募具有正常或矫正至正常视力、且利手一致的母语者(可使用爱丁堡利手测验来筛选受试者13)。受试者应无神经系统或精神系统疾病史,且未服用任何影响中枢神经系统的药物。
  2. 确保受试者在测试前两个月内未进行过烫发或染发。确保在所需年龄范围内的男性和女性受试者人数均衡。
  3. 告知受试者在实验前应保证充足的睡眠和休息。确保其在参与实验时处于健康状态(无咳嗽、发热、头痛等症状)。
  4. 受试者到达实验室后,向其介绍实验中将使用的设备和材料、实验流程、任务内容与所需时间,以及相关要求(如限制身体移动和眨眼),以帮助受试者了解整体流程并消除不必要的顾虑。
  5. 若受试者对实验无进一步疑问或担忧,并同意参与实验,则请其填写爱丁堡利手问卷。确认所有受试者具有相同的利手。
  6. 向受试者提供知情同意书,并要求其仔细阅读。若受试者对内容有疑问,应提供必要的解释。在受试者充分理解并同意所有内容后,请其在指定位置签字,并进入下一步。
  7. 指导受试者在实验室内清洁头部并妥善吹干头发。在等待受试者准备期间,确保所有实验材料已准备就绪。
    注:实验材料的准备取决于具体记录系统的要求。
  8. 邀请受试者在实验舱内的椅子上舒适就座。
  9. 使用面部磨砂膏和棉签清洁受试者前额相应电极位置的皮肤(例如用于电极 Fpz、Fp1、Fp2、Af7、Af8 的区域)、左眼下方(例如用于垂直眼电图 [VEOG] 电极)、右眼外眦附近(例如用于水平眼电图 [HEOG] 电极),以及左右乳突区域(例如用于 Tp9 和 Tp10 电极,将在离线分析中用作新参考电极)。
    1. 轻柔地擦拭皮肤,避免使受试者感到不适,同时确保去除死皮细胞及其他物质(如化妆品)。
      注:电极分布可能因所用电极帽不同而有所差异。请根据所用电极帽上的电极分布或国际10-20电极定位系统的指导,在上述区域确定相应的皮肤清洁位置。
  10. 将带有电极的弹性帽戴在受试者头部。确保电极帽上的 Cz 电极位于头顶中点,电极帽左右对称,中线电极位于头部中线上。
    注:若电极未固定于电极帽上,请依据国际10-20电极定位系统在受试者头皮上定位电极。
  11. 妥善放置并固定记录眼动的电极。将导电凝胶注入两个独立的 HEOG 和 VEOG 电极中,分别置于右眼外眦和左眼下部,并使用胶带固定。
    注:若系统无需导电凝胶,则跳过注胶步骤。
  12. 系紧下巴下方的固定带,以防止相邻电极在实验过程中移动。固定带松紧应适中。将电极帽/电极连接至记录系统。
  13. 将所有电极的阻抗降低至事件相关电位(ERP)研究中广泛采用的阻抗阈值以下(通常低于 5 kΩ 或 10 kΩ)。操作步骤如下:
    1. 将记录软件切换至阻抗监测界面。
    2. 首先处理接地(GND)和参考(Ref)电极。
    3. 将装有导电凝胶的注射器钝头针穿过电极孔和头发,直至接触头皮,推动注射器活塞,将少量导电凝胶注入皮肤,使凝胶连接电极金属环与皮肤。
      注:注意避免注入过多凝胶,以防多余凝胶导致相邻电极短路;若系统无需导电凝胶,则跳过此步骤,但需根据系统要求进行相应操作。
    4. 观察显示器上以不同颜色实时显示的阻抗值,直至阻抗降至阈值以下。
      注:若阻抗下降缓慢,可通过棉签(或钝头针尖)轻压凝胶以改善皮肤接触,或在不移动针尖的前提下用棉签(或注射器)在头皮上画圈,以加快进程。
    5. 完成接地和参考电极处理后,以相同方法处理其余电极。
      注:务必确保阻抗降低过程不会使受试者感到不适。在准备电极期间,与受试者保持交谈有助于缓解紧张情绪。
  14. 让受试者准备开始实验。提醒其保持放松,但在实验过程中尽量避免频繁眨眼和大幅度身体动作。
  15. 向受试者说明重复部分的任务(即在看到每个核心结构后的提示“..”时,判断该核心结构的合理性),以及主句部分的任务(即在看到每个句子后的提示“? ?”时,判断该完整异常句的合理性),并要求其在实验中做出相应反应。
  16. 在实验开始前明确告知受试者:错误句子后将跟随一个重复部分,而正确句子后将跟随另一个完整句子(该句子可能正确也可能错误)。
    注:此说明有助于引导受试者关注重复部分与前一句之间的关系,而非后续的完整句子。
  17. 启动刺激呈现程序,让受试者先进行练习部分。
    注:确保练习阶段包含实验中所有类型的刺激。
  18. 开始正式实验阶段,并记录电生理信号。将所有刺激分为若干区块,使受试者可在每区块之间休息约10分钟。
  19. 在记录过程中监控记录系统。若出现任何问题,应暂停实验和记录,直至问题妥善解决。
  20. 保存记录的电生理数据,并协助受试者取下电极帽。指导受试者清洗皮肤和头发上的导电凝胶。
  21. 向受试者发放报酬,并感谢其参与实验。

访问受限。请登录或开始试用以查看此内容。

结果

本实验方案已用于我们近期的一项研究,旨在探究N400效应是否反映了语义整合加工过程14。该研究中使用的刺激材料为中文,如表2所示。

(a) 重复部分中简化核心结构的示例
不合理的表达式合理的表达式
重复组* figure-results-1

访问受限。请登录或开始试用以查看此内容。

讨论

实验结果与意义
在重复部分,结果显示N400效应逐渐减小,直至几乎消失。显著减弱的N400效应证明多次重复确实显著调节了N400的波幅。然而,该部分的结果无法说明N400是否真正受到预期变化或语义整合的影响。N400效应的减弱仍可能存在不同的解释。一种解释认为,预期在N400减弱中起到了作用,即多次重复增强了被试对异常表达的预期,这表明N400反映的是预期而非语义整合难度。另一种解释认为,在熟悉了异常表达之后,大脑意识到这些表达中的词语根本无法整合成一个合理的语义信息,因而放弃了进一步整合信息的尝试。这种解释则表明N400反映的是语义整合过程。

在完整句子部分,ERP结果表明,在重复条件下未出现N400效应,而在非重复条件下则存在显著的N400效应。与非重复条件下由异常句子诱发的N400效应相比,重复条件下的N400效应几乎不存在。这一结果与重复部分中N400效应的减弱现象一致。我们认为,重复条件下N400效应几乎消失是由于多次重复所致。除了N400效应外,完整的异常句子还诱发了显著的P600效应。我们推测,P600效应反映了在较晚阶段...

访问受限。请登录或开始试用以查看此内容。

披露

不存在竞争性经济利益。

致谢

本工作得到国家自然科学基金 [61433015]、国家社会科学基金重大项目 [14ZDB154;15ZDB017] 以及教育部人文社会科学研究项目 [14YJC740104] 的资助。我们衷心感谢两位匿名审稿人提出的宝贵建议。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
BrainAmp DC 放大器系统 (Brain Products GmbH)Brain Products,德国吉尔兴BrainAmp 序列号 AMP13061964DC 输入 5.6DC=150mA 工作电流 7mA 待机电流
Easycap (Brain Products GmbH)Brain Products,德国吉尔兴62
个 Ag/AgCl 电极,采用国际 10–20 电极定位系统
的配置

参考文献

  1. Kutas, M., Hillyard, S. A. Reading Senseless Sentences - Brain Potentials Reflect Semantic Incongruity. Science. 207, 203-205 (1980).
  2. Hoeks, J. C. J., Stowe, L. A., Doedens, G. Seeing words in context: the interaction of lexical and sentence level information during reading. Cognitive Brain Research. 19, 59-73 (2004).
  3. van Herten, M., Kolk, H., Chwilla, D. Semantic anomalies and the P600 effect. Journal of Cognitive Neuroscience. , 55-55 (2002).
  4. Hagoort, P., Brown, C., Groothusen, J. The syntactic positive shift (SPS) as an ERP measure of syntactic processing. Language and Cognitive Processes. 8, 439-483 (1993).
  5. Osterhout, L., Holcomb, P. J. Event-Related Brain Potentials Elicited by Syntactic Anomaly. Journal of Memory and Language. 31, 785-806 (1992).
  6. Kutas, M., Hillyard, S. A. Brain potentials during reading reflect word expectancy and semantic association. Nature. 307, 161-163 (1984).
  7. Lau, E. F., Holcomb, P. J., Kuperberg, G. R. Dissociating N400 Effects of Prediction from Association in Single-word Contexts. Journal of Cognitive Neuroscience. 25, 484-502 (2013).
  8. Lau, E. F., Phillips, C., Poeppel, D. A cortical network for semantics: (de)constructing the N400. Nature Reviews Neuroscience. 9, 920-933 (2008).
  9. Baggio, G., Hagoort, P. The balance between memory and unification in semantics: A dynamic account of the N400. Language and Cognitive Processes. 26, 1338-1367 (2011).
  10. Steinhauer, K., Phaedra, R., John, E. D., Fromont, L. A. The priming of priming: Evidence that the N400 reflects context-dependent post-retrieval word integration in working memory. Neuroscience Letters. 651, 192-197 (2017).
  11. Goldstein, A., Arzouan, Y., Faust, M. Killing a novel metaphor and reviving a dead one: ERP correlates of metaphor conventionalization. Brain and Language. 123, 137-142 (2012).
  12. Lai, V. T., Curran, T., Menn, L. Comprehending conventional and novel metaphors: An ERP study. Brain Research. 1284, 145-155 (2009).
  13. Oldfield, R. C. The assessment and analysis of handedness: The Edinburgh inventory. Neuropsychologia. 9, 97-113 (1971).
  14. Huang, Y., Jiang, M., Guo, Q., Yang, F. -P. G. N400 amplitude does not recover from disappearance after repetitions despite reinitiated semantic integration difficulty. Neuroreport. 29, 1341-1348 (2018).
  15. Brouwer, H., Crocker, M. W., Venhuizen, N. J., Hoeks, J. C. J. A Neurocomputational Model of the N400 and the P600 in Language Processing. Cognitive Science. 41, 1318-1352 (2017).
  16. Brouwer, H., Fitz, H., Hoeks, J. Getting real about Semantic Illusions: Rethinking the functional role of the P600 in language comprehension. Brain Research. 1446, 127-143 (2012).
  17. Chen, L. L., Li, L. Context modulates neural activity of N400 and P600 to visual words. Journal of Neurolinguistics. 26, 490-509 (2013).
  18. Hagoort, P., Brown, C. M. ERP effects of listening to speech compared to reading: The P600/SPS to syntactic violations in spoken sentences and rapid serial visual presentation. Neuropsychologia. 38, 1531-1549 (2000).
  19. Kaan, E., Harris, A., Gibson, E., Holcomb, P. The P600 as an index of syntactic integration difficulty. Language and Cognitive Processes. 15, 159-201 (2000).
  20. Friederici, A. D. Towards a neural basis of auditory sentence processing. Trends in Cognitive Sciences. 6, 78-84 (2002).
  21. Friederici, A. D., Mecklinger, A., Spencer, K. M., Steinhauer, K., Donchin, E. Syntactic parsing preferences and their on-line revisions: a spatio-temporal analysis of event-related brain potentials. Cognitive Brain Research. 11, 305-323 (2001).
  22. Kaan, E., Swaab, T. Y. Repair, revision, and complexity in syntactic analysis: An electrophysiological differentiation. Journal of Cognitive Neuroscience. 15, 98-110 (2003).
  23. Gouvea, A. C., Phillips, C., Kazanina, N., Poeppel, D. The linguistic processes underlying the P600. Language and Cognitive Processes. 25, 149-188 (2010).

访问受限。请登录或开始试用以查看此内容。

重印与许可

标签

期待增强语义整合难度N400效应P600效应ERP成分多次重复核心结构提取电极放置