需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

使用视觉世界范式研究汉语母语自闭症儿童的句子理解能力

7.2K 次观看

DOI:

10.3791/58452

2018年10月3日

* These authors contributed equally

本文内容

摘要

我们提出了一项方案,用于研究自闭症儿童在实时句子理解过程中对形态学线索的使用情况。

摘要

句子理解依赖于快速整合多种语言和非语言信息的能力。然而,目前关于自闭症学龄前儿童如何利用不同类型的线索来理解句子的研究仍然十分有限。句子理解背后的机制在很大程度上尚不明确。本研究提出了一种用于考察自闭症学龄前儿童句子理解能力的实验方案。更具体而言,采用基于眼动追踪的视觉世界范式,以探究这些儿童在句子理解过程中的实时认知动态。该范式具有多项优势:首先,它对句子理解的时间进程具有高度敏感性,因此能够提供关于句子理解如何随时间展开的丰富信息;其次,该范式对任务要求和交流能力的需求极低,因而非常适合用于自闭症儿童的测试。为进一步降低儿童的认知负荷,本研究测量的是由语言输入引发的自动性眼动反应,而非伴随对口头指令有意识回应所产生的主动眼动行为。

引言

句子理解依赖于快速整合多种语言性和非语言性信息的能力1,2,3,4,5,6,7,8,9,10,11。先前的研究发现,正常发育的年幼儿童在理解句子意义时,会逐步利用语言性和非语言性线索进行加工12,13,14,15,16,17,18,19。然而,目前关于自闭症学龄前儿童如何利用不同类型的线索理解句子的研究仍然匮乏。其句子理解背后的机制在很大程度上尚不明确。

普遍认为,自闭症儿童的语言能力存在巨大差异,尤其是在表达性语言方面;例如,一些自闭症儿童具有相对较好的结构化语言能力,一些在词汇和语法领域均表现出缺陷,一些仅表现出语法障碍,还有一些则从未获得功能性口语能力20,21,22,23,24,25。此外,先前的研究似乎表明,他们的接受性语言能力相对于表达性语言能力受损更为严重26,27,28,29。大多数评估自闭症儿童句子理解能力的研究采用了离线任务(例如,标准化测试、照护者报告),研究结果提示他们的句子理解能力可能特别受损30,31,32,33,34,35,36,37。然而,有研究指出,理解能力差更可能与这些儿童整体的社会反应性缺乏有关,而非语言加工缺陷38,39。需要注意的是,以往研究中使用的离线任务通常要求较高的应答需求或与实验人员互动,这可能对自闭症儿童构成特殊困难,因为他们常表现出各种挑战性行为或症状。因此,这些因素可能与高任务负荷和沟通要求相互作用,从而掩盖其真实的理解能力[有关评估自闭症儿童接受性语言方法的综述,参见 Kasari 等(2013)27 和 Plesa-Skwerer 等(2016)29]。因此,需要能够更好控制这些混杂因素的实验范式,以进一步理解自闭症中句子加工机制的本质。

在本研究中,我们介绍了一种眼动追踪范式,可直接且有效地评估自闭症儿童的句子理解能力。与离线任务相比,眼动追踪是一种更为敏感的测试范式,能够更好地揭示儿童的理解能力。该方法对理解过程的时间进程具有敏感性,且不需要参与者做出明确的运动或语言反应,因此在研究年幼儿童以及语言能力极低的自闭症儿童方面具有良好的应用前景。此外,我们记录的是对语言输入产生的自动眼动反应,而非伴随对语言输入有意识反应而产生的眼动。

访问受限。请登录或开始试用以查看此内容。

方案

本研究已获得清华大学医学院伦理委员会的批准。所有参与研究的个体均已签署知情同意书。

1. 受试者筛选与研究准备

  1. 招募患有自闭症的普通话学龄前儿童。
    注意:其诊断应由医院的儿科神经科医生使用 DSM-IV-TR40 或 DSM-541 确认,理想情况下参与者人数不应少于15人。本研究共招募了25名经确诊的参与者。
  2. 使用金标准诊断工具(如自闭症诊断观察量表42)对每位参与者进行独立评估。
  3. 使用韦氏学龄前及初小儿童智力量表第四版(中国版)(Wechsler Preschool and Primary Scale of Intelligence-IV (CN))测量参与者的言语智商,该标准化智力测试适用于2-6岁和6-11岁的普通话儿童43
    注意:本研究中自闭症儿童的言语智商得分均高于80,均为高功能型自闭症儿童。
  4. 通过将每个言语样本中的总词数除以语句数量,计算每位参与者的平均语句长度(MLU)。记录每位参与者与父母或教师互动时产生的100个语句,然后将每位参与者语句中的总词数除以100,计算其MLU。
    注意:MLU反映参与者的句子复杂程度。
  5. 招募典型发育(TD)儿童,并尽可能在年龄(TD组1)、平均语句长度(MLU)(TD组2)和言语智商(TD组3)方面与自闭症儿童相匹配。
    注意:本研究从当地幼儿园招募了50名典型发育儿童(25名男孩和25名女孩),其中25名在年龄上与自闭症儿童相匹配,另25名在MLU和言语智商上均与自闭症儿童相匹配。

2. 热身环节

  1. 在正式测试前,邀请参与者参加一次热身环节。向参与者介绍研究环境,并与其互动以建立良好的关系。
    注意:热身环节可与测试当天同时进行,也可另行安排。在热身环节中,通常有两名实验人员参与,使用玩具和道具与参与者互动。

3. 条件与实验设计

  1. 构建测试刺激材料。创建12个目标项目,每个项目包含一个视觉刺激以及两句分别含有形态标记“BA”和“BEI”的口语句子。使用相同的句子结构来构建口语句子:形态标记 + 名词短语(NP)+ 副词 + 动词短语(VP)(见下方示例1a和1b)。
    注意:标记“BA”表示其后的名词短语(NP)是持有事件的接受者(见示例2a),“BEI”则表示其后的名词短语(NP)是该事件的发起者(见示例2b)。在汉语普通话中,当名词短语(NP)的指称在语境中明确时,句子的主语NP通常可以省略。

    示例:
    (1) a. BA shizi qingqingdi bao-le      qilai.
             BA  lion   gently       hold         up
             含义:某人轻轻地抱着狮子。
         b. BEI shizi qingqingdi bao-le      qilai.
             BEI lion   gently       hold          up
             含义:某人被狮子轻轻地抱着。
    (2) a. BA + [NP]Recipient
         b. BEI + [NP]Initiator
    1. 使用Pixelmator(或其他图像编辑软件)创建视觉图像。打开Pixelmator,点击Pixelmator图标。从模板创建视觉图像,在模板选择器中点击显示详情,双击模板以打开。通过弹出菜单调整宽度、高度、分辨率和颜色深度,输入相关参数,然后点击确定
    2. 使用Praat(或其他音频编辑软件)构建口语句子。设置麦克风,打开Praat,点击Praat图标。从新建菜单中选择录制单声道声音,通过点击采样率选项设置为44100来设定录音条件,然后点击录制按钮。
    3. 请一位以北京普通话为母语的说话者以面向儿童的方式朗读这些句子,录制口语句子。点击保存按钮保存录音文件。
      注意:通常在儿童句子理解研究中会构建12至16个目标项目。视觉世界研究中可使用其他图像和音频编辑工具创建测试刺激材料。
  2. 构建每张包含两个图片的视觉图像。这两个图片描绘的是相同角色参与的同一事件,但在两张图片中两个角色的事件角色(发起者或接受者)互换。使其中一张图片与包含“BA”的句式相容(BA目标事件),另一张与包含“BEI”的句式相容(BEI目标事件)。示例见图1
    注意:本图已获Zhou和Ma(2018)19许可转载。
  3. 平衡与随机化:将目标试验分为两个实验列表,每位参与者观看每个视觉刺激,但仅听到对应刺激的两条录音句子中的一条。在两个实验列表之间对包含“BA”和“BEI”的句子进行交叉平衡,使每个列表包含6个含“BA”的句式和6个含“BEI”的句式。向每个实验列表添加12个填充项目,并将目标项目和填充项目随机排列。将参与者随机分配至两个列表之一。

4. 实验步骤

  1. 眼动追踪程序。
    1. 邀请参与者舒适地坐在远程眼动仪显示器前方,将参与者眼睛与显示器之间的距离设置为约60 cm。要求参与者依次随机注视五个注视目标组成的网格,以执行标准的校准和验证程序。
    2. 在参与者观看视觉图像的同时向其呈现口头句子,如标准视觉世界范式中所述10,44。使用单眼眼动追踪模式,追踪与眼动仪照明器同侧的眼睛。利用眼动仪记录参与者的眼动轨迹。
      注意:本研究使用的眼动仪支持采样率为500 Hz的远程眼动追踪。
  2. 测试与测量。
    1. 对参与者进行单独测试。仅需告知参与者在观看图片的同时聆听口头句子。安排一名实验员在计算机前监控参与者,另一名实验员站在参与者身后,轻轻将手放在其肩上,以尽量减少参与者的突然移动。
    2. 使用眼动仪测量参与者对语言输入产生的自动眼动反应。
      注意:该任务不要求参与者对口头句子做出任何有意识的判断,以尽量减少其认知负担。眼动仪将自动记录眼动轨迹。
    3. 测试期间的监控:利用眼动仪在测试过程中于计算机屏幕上显示的实时查看模式,观察参与者的注视行为。要求通过实时查看模式监控数据采集的实验员,当参与者的视线偏离屏幕时,向站在其身后的实验员发出信号,以便重新引导参与者的注视方向。

5. 数据处理与分析

  1. 在两个兴趣区域内对参与者的注视点进行编码。使用 Data Viewer 绘制两个兴趣区域:BA-target 事件区域和 BEI-target 事件区域(参见 图1)。打开数据查看器。在工具栏上选择一个感兴趣区域形状图标。使用鼠标在希望定义为感兴趣区域的范围内拖拽绘制一个方框。将该感兴趣区域保存至“感兴趣区域集”文件夹中。将此感兴趣区域应用于其他视觉图像。
    注意:上方面板中所示事件 图1 与“把”字结构相符,即“把”字结构的目标事件,而下方面板中描述的事件与之相符 图1b因此产生BEI-目标事件。用于数据编码的软件是随本研究使用的眼动仪配套提供的Data Viewer。此外,也可使用其他数据分析软件。
  2. 使用 Data Viewer 分析眼动注视模式。
    1. 打开数据查看器。从菜单中选择样本报告功能以设置分析的时间窗口(例如, 每200毫秒为一个时间窗口(本研究中使用的时间窗口)。使用相同功能将兴趣区内的注视比例与每次试验标记 onset 时间锁定。通过菜单中的导出功能,将原始数据导出为 Excel 文件。
    2. 使用 Excel 函数计算每个区域在标记出现后注视比例的平均值。使用 Excel 函数计算两个区域在标记出现后 5200 毫秒内(目标句子的平均长度 + 200 毫秒)每 200 毫秒时间窗口的注视比例。对眼动数据应用线性混合效应模型,具体详见下文“代表性结果”部分。
      注意:使用200毫秒作为时间窗口是基于文献中分析儿童眼动数据的标准方法。12,13,18,19,45,46,47,通常认为观察语言标记对眼动的影响需要大约200毫秒48.

访问受限。请登录或开始试用以查看此内容。

结果

本研究采用如例1a和1b所示的最小对立对,探究自闭症儿童在实时句子理解过程中能否以及以多快速度利用两个形态标记中所编码的事件信息。研究预测,如果儿童能够在实时句子理解过程中快速且有效地利用这两个标记中的事件信息,那么他们在听到BA时应比听到BEI时更多地注视BA目标事件;同样,在听到BEI后应比听到BA后更多地注视BEI目标事件。

自闭症5岁儿童与其年龄相匹配的典型发育(TD)同龄人的比较结果在代表性结果中呈现。图2显示了典型发育5岁儿童在两种条件下对BA目标事件(图A)和BEI目标事件(图B)的平均注视比例。图3总结了自闭症5岁儿童的平均注视比例。

图示结果表明,自闭症组的眼动模式与年龄匹配的典型发育组(TD组)...

访问受限。请登录或开始试用以查看此内容。

讨论

在本研究中,我们提出了一种眼动追踪范式,可直接且有效地评估自闭症儿童的句子理解能力。我们发现,5岁的自闭症儿童与其年龄匹配的典型发育同龄人一样,在实时句子理解过程中表现出反映有效且快速利用语言线索的眼动注视模式。

研究结果表明,眼动追踪(特别是视觉世界范式)是检测自闭症儿童句子实时理解能力的一种敏感指标。与离线方法相比,该范式具有多项优势:第一,它能够敏感地反映句子理解的时间进程;第二,它最大限度地减少了任务要求和交流负担,因此更适合用于存在行为挑战的儿童;第三,它仅记录眼动作为对语言输入的自动反应,无需参与者对输入内容做出有意识的判断,从而显著降低了参与者的认知负荷。

视觉世界范式基于一个关联假设,即视觉世界中的眼动与并发语言刺激的实时加工过程是同步的。因此,使用视觉世界范式进行有效的语言理解研究,需要视觉世界中的注视模式与口语语言的指称加工过程之间具有紧密的对应关系。为了确保这两者之间的紧密对应,首先必须合理设计视觉刺激,使视觉图像中的眼动仅反映口语语言理解背后的认知加工过程,同时对可能影响被试眼动的其他因素进行良好控制。...

访问受限。请登录或开始试用以查看此内容。

披露

作者无任何利益冲突需要披露。

致谢

本研究由国家社会科学基金 [16BYY076] 和中央高校基本科研业务费专项资金北京语言大学科研基金 [15YJ050003] 资助,项目负责人为周鹏。作者感谢中国北京恩启自闭症平台和桃李芳园幼儿园的儿童、家长及教师对本研究实施所提供的支持。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
EyeLink 1000 plus 眼动仪 SR Research Ltd. EyeLink 1000 plus 支持无需头部支撑的远程眼动追踪。该眼动仪可提供关于受试者的眼动信息’以500 Hz的采样率记录注视点,准确度为0.5度视觉角。 

参考文献

  1. Altmann, G. T., Kamide, Y. Incremental interpretation at verbs: Restricting the domain of subsequent reference. Cognition. 73 (3), 247-264 (1999).
  2. Altmann, G. T., Kamide, Y. The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing. Journal of Memory and Language. 57 (4), 502-518 (2007).
  3. DeLong, K. A., Urbach, T. P., Kutas, M. Probabilistic word pre-activation during language comprehension inferred from electrical brain activity. Nature neuroscience. 8 (8), 1117-1121 (2005).
  4. Kamide, Y., Altmann, G. T., Haywood, S. L. The time-course of prediction in incremental sentence processing: Evidence from anticipatory eye movements. Journal of Memory and Language. 49 (1), 133-156 (2003).
  5. Knoeferle, P., Crocker, M. W., Scheepers, C., Pickering, M. J. The influence of the immediate visual context on incremental thematic role-assignment: Evidence from eye-movements in depicted events. Cognition. 95 (1), 95-127 (2005).
  6. Knoeferle, P., Kreysa, H. Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension. Frontiers in Psychology. 3, 538(2012).
  7. Knoeferle, P., Urbach, T. P., Kutas, M. Comprehending how visual context influences incremental sentence processing: Insights from ERPs and picture-sentence verification. Psychophysiology. 48 (4), 495-506 (2011).
  8. Pickering, M. J., Traxler, M. J., Crocker, M. W. Ambiguity resolution in sentence processing: Evidence against frequency-based accounts. Journal of Memory and Language. 43 (3), 447-475 (2000).
  9. Staub, A., Clifton, C. Syntactic prediction in language comprehension: Evidence from either... or. Journal of Experimental Psychology: Learning, Memory, and Cognition. 32 (2), 425-436 (2006).
  10. Tanenhaus, M., Spivey-Knowlton, M., Eberhard, K., Sedivy, J. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
  11. Van Berkum, J. J., Brown, C. M., Zwitserlood, P., Kooijman, V., Hagoort, P. Anticipating upcoming words in discourse: Evidence from ERPs and reading times. Journal of Experimental Psychology: Learning, Memory, and Cognition. 31 (3), 443-467 (2005).
  12. Choi, Y., Trueswell, J. C. Children's (in) ability to recover from garden paths in a verb-final language: Evidence for developing control in sentence processing. Journal of Experimental Child Psychology. 106 (1), 41-61 (2010).
  13. Huang, Y., Zheng, X., Meng, X., Snedeker, J. Children's assignment of grammatical roles in the online processing of Mandarin passive sentences. Journal of Memory and Language. 69 (4), 589-606 (2013).
  14. Lew-Williams, C., Fernald, A. Young children learning Spanish make rapid use of grammatical gender in spoken word recognition. Psychological Science. 18 (3), 193-198 (2007).
  15. Sekerina, I. A., Trueswell, J. C. Interactive processing of contrastive expressions by Russian children. First Language. 32 (1-2), 63-87 (2012).
  16. Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: Studying on-line sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
  17. Van Heugten, M., Shi, R. French-learning toddlers use gender information on determiners during word recognition. Developmental Science. 12 (3), 419-425 (2009).
  18. Zhou, P., Crain, S., Zhan, L. Grammatical aspect and event recognition in children's online sentence comprehension. Cognition. 133 (1), 262-276 (2014).
  19. Zhou, P., Ma, W. Children's use of morphological cues in real-time event representation. Journal of Psycholinguistic Research. 47 (1), 241-260 (2018).
  20. Eigsti, I. M., Bennetto, L., Dadlani, M. B. Beyond pragmatics: Morphosyntactic development in autism. Journal of Autism and Developmental Disorders. 37 (6), 1007-1023 (2007).
  21. Kjelgaard, M. M., Tager-Flusberg, H. An investigation of language impairment in autism: Implications for genetic subgroups. Language and Cognitive Processes. 16 (2-3), 287-308 (2001).
  22. Tager-Flusberg, H. Risk factors associated with language in autism spectrum disorder: clues to underlying mechanisms. Journal of Speech, Language, and Hearing Research. 59 (1), 143-154 (2016).
  23. Tager-Flusberg, H., Kasari, C. Minimally verbal school-aged children with autism spectrum disorder: the neglected end of the spectrum. Autism Research. 6 (6), 468-478 (2013).
  24. Tek, S., Mesite, L., Fein, D., Naigles, L. Longitudinal analyses of expressive language development reveal two distinct language profiles among young children with autism spectrum disorders. Journal of Autism and Developmental Disorders. 44 (1), 75-89 (2014).
  25. Wittke, K., Mastergeorge, A. M., Ozonoff, S., Rogers, S. J., Naigles, L. R. Grammatical language impairment in autism spectrum disorder: Exploring language phenotypes beyond standardized testing. Frontiers in Psychology. 8, 532(2017).
  26. Hudry, K., Leadbitter, K., Temple, K., Slonims, V., McConachie, H., Aldred, C., et al. Preschoolers with autism show greater impairment in receptive compared with expressive language abilities. International Journal of Language & Communication Disorders. 45 (6), 681-690 (2010).
  27. Kasari, C., Brady, N., Lord, C., Tager-Flusberg, H. Assessing the minimally verbal school-aged child with autism spectrum disorder. Autism Research. 6 (6), 479-493 (2013).
  28. Luyster, R. J., Kadlec, M. B., Carter, A., Tager-Flusberg, H. Language assessment and development in toddlers with autism spectrum disorders. Journal of Autism and Developmental Disorders. 38 (8), 1426-1438 (2008).
  29. Plesa-Skwerer, D., Jordan, S. E., Brukilacchio, B. H., Tager-Flusberg, H. Comparing methods for assessing receptive language skills in minimally verbal children and adolescents with Autism Spectrum Disorders. Autism. 20 (5), 591-604 (2016).
  30. Boucher, J. Research review: Structural language in autism spectrum disorder-characteristics and causes. Journal of Child Psychology and Psychiatry. 53 (3), 219-233 (2012).
  31. Eigsti, I. M., de Marchena, A. B., Schuh, J. M., Kelley, E. Language acquisition in autism spectrum disorders: A developmental review. Research in Autism Spectrum Disorders. 5 (2), 681-691 (2011).
  32. Howlin, P. Outcome in high-functioning adults with autism with and without early language delays: Implications for the differentiation between autism and Asperger syndrome. Journal of Autism and Developmental Disorders. 33 (1), 3-13 (2003).
  33. Koning, C., Magill-Evans, J. Social and language skills in adolescent boys with Asperger syndrome. Autism: The International Journal of Research and Practice. 5 (1), 23-36 (2001).
  34. Kover, S. T., Haebig, E., Oakes, A., McDuffie, A., Hagerman, R. J., Abbeduto, L. Sentence comprehension in boys with autism spectrum disorder. American Journal of Speech-Language Pathology. 23 (3), 385-394 (2004).
  35. Perovic, A., Modyanova, N., Wexler, K. Comprehension of reflexive and personal pronouns in children with autism: A syntactic or pragmatic deficit. Applied Psycholinguistics. 34 (4), 813-835 (2013).
  36. Rapin, I., Dunn, M. Update on the language disorders of individuals on the autistic spectrum. Brain Development. 25 (3), 166-172 (2003).
  37. Tager-Flusberg, H. Sentence comprehension in autistic children. Applied Psycholinguistics. 2 (1), 5-24 (1981).
  38. Rutter, M., Maywood, L., Howlin, P. Language delay and social development. Specific speech and language disorders in children: Correlates, characteristics, and outcomes. Fletcher, P., Hall, D. , Whurr. London. (1992).
  39. Tager-Flusberg, H. The challenge of studying language development in autism. Methods for studying language production. Menn, L., Ratner, N. B. , Erlbaum. Nahwah, NJ. (2000).
  40. American Psychiatric Association. Diagnostic and statistical manual of mental disorders, 4th edition, text revision (DSM-IV-TR). American Psychiatric Association. , Washington, DC. (2000).
  41. American Psychiatric Association. Diagnostic and statistical manual of mental disorders, 5th edition (DSM-5). American Psychiatric Association. , Washington, DC. (2013).
  42. Lord, C., Rutter, M., DiLavore, P. C., Risi, S. Autism diagnostic observation schedule. Western Psychological Services. , Los Angeles, CA. (1999).
  43. Li, Y., Zhu, J. Wechsler Preschool and Primary Scale of Intelligence™-IV CN) [WPPSI-IV (CN)]. Zhuhai King-may Psychological Measurement Technology Development Co., Ltd. , Zhuhai. (2014).
  44. Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
  45. Huang, Y., Snedeker, J. Semantic meaning and pragmatic interpretation in five-year olds: Evidence from real time spoken language comprehension. Developmental Psychology. 45 (6), 1723-1739 (2009).
  46. Snedeker, J., Yuan, S. Effects of prosodic and lexical constraints on parsing in young children (and adults). Journal of Memory and Language. 58 (2), 574-608 (2008).
  47. Zhou, P., Crain, S., Zhan, L. Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing. Journal of Memory and Language. 67 (1), 149-164 (2012).
  48. Matin, E., Shao, K. C., Boff, K. R. Saccadic overhead: Information-processing time with and without saccades. Perception & Psychophysics. 53 (4), 372-380 (1993).
  49. Barr, D. J. Analyzing 'visual world' eyetracking data using multilevel logistic regression. Journal of Memory and Language. 59 (4), 457-474 (2008).
  50. Baayen, R. H., Davidson, D. J., Bates, D. M. Mixed-effects modeling with crossed random effects for subjects and items. Journal of Memory and Language. 59 (4), 390-412 (2008).
  51. Bates, D. M., Maechler, M., Bolker, B. lme4: Linear mixed-effects models using S4 classes. , Available from: http://cran.r-project.org/web/packages/lme4/index.html (2013).
  52. R Development Core Team. R: A Language and Environment for Statistical Computing. , Vienna. Available from: http://www.r-project.org (2017).

访问受限。请登录或开始试用以查看此内容。

重印与许可

标签

眼动追踪自闭症研究中文普通话眼动分析兴趣区定义时间锁定分析注视比例测量受试者适应