方法文章

利用眼动追踪范式界定语言在婴儿物体范畴化中的作用

6.3K 次观看

⸱

DOI：

10.3791/59291

⸱

2019年2月8日

 , 
1Department of Psychology, Northwestern University, 2Institute for Policy Research, Northwestern University

本文内容

摘要

本文介绍了一种用于熟悉-测试范式的实验方案，该范式可直接检验婴儿的范畴化能力，并有助于明确语言在早期范畴学习中的作用。

摘要

评估婴儿的类别学习是研究婴儿认知过程中一项具有挑战性但至关重要的任务。通过采用熟悉化-测试范式，我们仅依据婴儿的注视行为，即可直接测量其学习新类别的成功程度。此外，该范式能够直接测量不同听觉信号在多个年龄段婴儿类别形成过程中的影响。例如，我们考察了2岁幼儿在多种标签环境下的类别学习情况：在我们的任务中，当所有样例均被标注 ，或前两个样例被标注时，2岁幼儿能够成功学习类别；但在无任何样例被标注，或仅有最后两个样例被标注的情况下，他们则无法完成分类。为了判断婴儿在这些任务中的表现，研究人员可以分析婴儿在每种条件下整体的偏好倾向，以及在测试阶段注视模式的时间动态变化，利用眼动仪获取精细的时间进程数据。因此，我们提出了一种强有力的范式，可用于揭示语言或其他听觉信号在婴儿物体类别学习中的作用。

引言

分类是人类认知的基本构成要素：婴儿的分类能力在出生后早期即已出现，并随着年龄增长而日益成熟。1,2,3 研究还揭示了语言在婴儿分类过程中所起的重要作用： 从3个月大开始，当类别样例与语言配对呈现时，婴儿学习类别的效果更佳。4,5,6 此外，到第一年末，婴儿已能敏锐地感知可数名词标签在分类中的作用。与为每个样例提供不同标签（“这是一个vep”，“这是一个dax”等）或使用非标签性语句（“看看这个”）相比，使用一致的标签短语（“这是一个vep！”）来配对类别样例，更能促进婴儿的类别学习。7,8,9

然而，在婴儿的日常经验中，他们所接触到的绝大多数物体很可能始终没有被命名。没有任何看护者能够为婴儿 看到的每一个物体都提供标签，更不用说为每个物体提供所有适用的标签（例如，“马尔济斯犬”、“狗”、“宠物”、“动物”）。这就产生了一个悖论：我们如何调和标签在婴儿范畴化过程中的强大作用与其在婴儿日常生活中相对稀缺之间的矛盾？

为了回答这一问题，我们开发了一种实验方案，用于评估婴儿在多种不同学习环境中如何形成类别概念，包括在同时接收有标签和无标签样例的情况下。具体而言，我们提出，即使在学习初期仅接收到少量有标签样例，也可能促进类别学习——因为这能够增强婴儿从后续无标签样例中继续学习的能力。这种利用少量有标签样例作为基础，进而从大量无标签样例中学习的策略，已在机器学习领域得到广泛应用，并催生了一系列半监督学习（SSL）算法10,11,12。当然，不同类型学习者所采用的学习策略并不完全相同：在机器学习中，算法通常接触的样例数量远多于婴儿，会对每个样例做出明确分类判断，并同时学习多个类别。然而，无论是机器学习者还是婴儿学习者，在标签信息稀疏的学习环境中，都可能通过有效整合有标签和无标签样例 来成功掌握新类别。

我们的设计聚焦于探讨2岁的儿童在习得大量新类别的词汇过程中，是否具备这种半监督学习的能力。我们采用了一种标准的婴儿分类测量方法：熟悉化-测试任务。在此范式中，2岁儿童在熟悉化阶段会接触来自一个新类别的若干示例。每个示例均与不同的听觉刺激配对，具体取决于实验条件（即，标签语句或非标签语句）。随后在测试阶段，所有2岁儿童会看到两个在无声条件下呈现的新物体：其中一个物体来自已熟悉的类别，另一个则来自一个全新的类别。

如果2岁的幼儿在熟悉阶段成功形成了类别，那么他们应当能够区分测试阶段呈现的两个样例 。重要的是，由于对新异或熟悉的测试图像表现出系统性偏好均反映了区分两者的能力，因此熟悉偏好和新异偏好均被解释为成功分类的证据。需要注意的是，在特定任务中，这种偏好的性质取决于婴儿对刺激材料的加工效率，熟悉偏好通常与较低效的刺激加工相关4,13,14,15,16,17。以无声方式呈现测试阶段，可直接评估婴儿在物体分类任务中的表现，以及该表现如何随熟悉阶段中伴随样例提供的信息而变化。因此，该范式为不同类型的语言环境如何影响类别学习提供了有力的检验。如果命名在半监督和全监督环境中均能促进类别学习，那么处于这些条件下的2岁幼儿应比其他环境中的婴儿表现出更强的测试偏好。

访问受限。请登录或开始试用以查看此内容。

方案

本文所述所有方法均已获得西北大学机构审查委员会的批准。

1. 刺激材料的制作

注意：下文报告的代表性实验设计中所使用的视觉刺激材料（见图1）最初由 Havy 和 Waxman（2016）18 开发，可从 https://osf.io/n6uy8/ 下载获取。

  1. 要创建一个新的连续类别，首先设计一对新颖的数字图像。然后使用软件（参见例如材料表）将这对图像进行形变处理，生成介于两个原始图像之间的连续示例序列。以这种方式创建至少两个类别，其中一个用作待学习的类别，另一个则在测试阶段提供新颖类别的示例。
  2. 从每个已学习类别的连续序列中均匀选择熟悉化阶段使用的示例（例如，0%、20%、40%、60%、80% 和 100% 的示例），并选择适当数量的示例（例如六个），具体数量应根据类别的难度和参与者的年龄而定。
  3. 为创建测试阶段的示例，分别选取熟悉类别连续序列和新颖类别连续序列的中点（即50%示例），然后使用图像处理程序将新颖示例的颜色调整为与熟悉示例一致（参见例如材料表）。
  4. 在隔音室内录制由一名以英语为母语的女性发音者产生的听觉刺激。如果可能，使用同一位发音者录制标注性语句（例如“看这个modi”）和非标注性语句（例如“看那个！”）。
    1. 指导发音者以面向婴儿或儿童的语调说出所有语句。
    2. 选择在不同条件下长度大致相同的语句，每条语句长度通常约为1,500毫秒。

2. 仪器

  1. 使用合适的眼动仪。为了收集用于熟悉化-测试范式的充分眼动数据，大多数市面上可获得的眼动仪均可满足需求：实验中的物体在屏幕上占据较大区域，且数据分析关注的是较长时间窗口内的整体表现，而非单个快速发生的眼动事件（如扫视）。
  2. 由于该任务需要对婴儿进行眼动追踪，需确保系统满足以下几项要求。
    1. 首先，使用一种具有远程追踪模式的­眼动仪，无需婴儿将头部固定在颏托上。确保该眼动仪能够容忍相对较大的头部移动或位置调整。
    2. 其次，使用相对较大的屏幕向婴儿呈现图像（例如，57 x 45 cm）。
    3. 第三，为眼动仪配备可伸缩的支架臂，以便研究人员能够根据每个婴儿的身高调节眼动仪的高度，从而便于数据采集。
    4. 第四， 应使眼动设备尽可能不显眼，以使婴儿的注意力完全集中在显示屏幕上。例如，某些系统将眼动设备与显示器集成在一起，或将设备直接安装在显示器下方。
  3. 请注意，该任务也可通过人工编码高质量的婴儿注视行为视频数据来完成。尽管人工编码方法在进行更精细的时间进程分析时可能存在一定局限性，但对于总体注视时长的分析而言，人工编码的数据完全足够 且可靠。

3. 任务设计

  1. 在眼动仪配套软件中（参见例如材料表），创建四种不同条件：完全监督条件、无监督条件、半监督条件和反向半监督条件。确保这些条件相互独立，使每位婴儿仅接受其中一种条件。
  2. 生成至少两种伪随机顺序的学习范例，要求来自连续体同一侧（0–40% 或 60–100%）的范例连续呈现不得超过两个。
  3. 创建与各条件相应的视听配对的熟悉化视频。
    1. 使用视频编辑软件将视觉刺激与听觉刺激进行组合（参见例如材料表）。所有图像应置于相同的背景上呈现。听觉刺激的起始时间应设置在视觉刺激开始后 500 ms 至 1,500 ms 的适当范围内。此短暂延迟有助于减轻婴儿的信息加工负荷19。
    2. 例如，在完全监督条件下，将每个熟悉化范例与一个标签性短语配对。
    3. 在无监督条件下，将每个熟悉化范例与一个非标签性短语配对。
    4. 在半监督条件下，仅将每种顺序中的前两个范例与标签性短语配对，其余范例则与非标签性短语配对。
    5. 对于反向半监督条件，将最后两个范例与标签性短语配对，而前四个范例与非标签性短语配对（参见图1）。
    6. 将这些视频上传至眼动仪软件，并按照伪随机顺序排列熟悉化视频。
  4. 上传一段简短（10 秒或更短）的注意力吸引动画，于熟悉化阶段结束后在屏幕中央显示：此举可确保大多数婴儿在测试阶段开始时注视屏幕中央。
  5. 最后，针对每个学习类别设计两个测试试次，每个试次中并列呈现两个范例。确保在这两个测试试次中，其中一个范例代表当前已熟悉类别的中点，而另一个代表新类别中的中点。
    1. 对试次进行平衡设计，使新类别范例在测试试次中左右位置在不同视频间互换。
    2. 将这些测试试次上传至眼动仪软件，并置于熟悉化后注意力吸引动画之后。对试次呈现顺序进行平衡，使每位婴儿观看左侧为新类别或右侧为新类别的测试试次概率相等。
    3. 确保测试试次持续时间至少为 5 秒，最长可达 20 秒，以便初始未注视的儿童能够积累足够的注视时间。

[在此处插入图1]

4. 研究步骤

  1. 在婴儿到达之前，设置好眼动仪。
    1. 随机将婴儿分配到某一条件和顺序。
    2. 打开眼动仪软件，并选择对应的条件/顺序组合。
    3. 输入本次记录的被试编号。
  2. 完成知情同意程序后，将婴儿及其看护人带入眼动追踪实验室。确保房间内光线适中，墙壁上无任何可能分散注意力的装饰。
  3. 在眼动仪前方放置一把椅子，与眼动仪的距离应适合所使用型号的要求。让看护人坐在椅子上，婴儿坐在看护人的膝上。如果婴儿不愿意坐在看护人膝上，可让其单独坐好，或将其安置在汽车安全座椅中。
  4. 若婴儿坐在看护人膝上，应指导看护人避免以任何方式影响婴儿的行为，但需尽量使婴儿保持在膝部中央位置。为看护人提供一副遮光太阳镜佩戴，使其无法看到刺激材料。
  5. 引导婴儿注视眼动仪屏幕；可播放吸引注意力的图像或视频以引起兴趣。调整屏幕位置，使婴儿的眼睛位于校准窗口范围内。
  6. 执行眼动仪的校准程序。尽可能采用五点校准法，但在某些情况下，较简化的校准方法也可能足够有效。当校准图像为带有声音伴奏的动画时，婴儿通常反应更好。
  7. 若婴儿通过校准，则开始实验；若未通过，需重新校准直至成功。任何无法完成校准的婴儿均被排除。
  8. 若连续进行多个实验，或单个实验持续时间较长，建议在每个阶段结束后重新校准。

5. 数据分析

  1. 使用数据分析软件执行此分析（例如，参见材料表）。
  2. 在屏幕左侧和右侧的示例位置周围创建感兴趣区域（AOI）。
  3. 在熟悉阶段试验中，使用相应的感兴趣区域评估婴儿在每次试验中注视所呈现示例的时间。排除在大多数示例中未表现出持续注视的婴儿（例如，要求婴儿在最多6个熟悉阶段示例中的至少4个上，在相应试验中注视时间不少于25%）。
  4. 在测试试验中，仅包含婴儿累计注视的前5秒数据。对于年龄在3至12个月之间的较年幼婴儿，可考虑使用更长的时间窗口，例如累计注视10秒。可考虑排除在测试阶段注视不足的婴儿（例如，累计注视时间少于2.5秒），或未对两个示例均进行注视的婴儿。
  5. 通过将婴儿注视新异示例的时间除以其对两个示例总注视时间，为每位婴儿的测试试验计算一个偏好分数。为分析这些比例数据，首先使用经验对数转换或反正弦平方根转换对其进行转换，以使其适用于线性模型分析。
  6. 为对婴儿在测试阶段的注视行为进行时间进程分析，将数据划分为较小的时间段（例如，10至100毫秒之间），并为每位婴儿在每个时间段内计算偏好分数。
  7. 对时间进程数据进行分析，检验婴儿在整个测试试验中的注视模式是否因实验条件而异。请注意，有多种分析方法可用于回答此问题，包括此处演示的基于聚类的置换分析20，以及增长曲线建模21。
    1. 对于基于聚类的置换分析，选择一个t值阈值，对应于期望的显著性水平（推荐的α值范围为.01至.20；注意，该α值并不代表整个检验的总体α水平，仅表示单个时间点需超过阈值的标准）。将所有连续超过所选t阈值的时间段的t统计量相加；这些累积的t统计量反映了数据中不同条件之间差异的大小。
    2. 为确定这些差异是否大于偶然预期，至少进行1,000次模拟，随机打乱条件标签，并将原始未打乱数据的差异与基于偶然性的分布进行比较。
      注意：正是原始差异与偶然分布之间的比较决定了该分析的假阳性率，而非进行t检验的时间段数量，甚至不是这些初始t检验所选择的t值阈值。因此，该分析为直接报告在预设时间段内多次t检验结果（例如，每500毫秒进行一次检验）提供了一种更为保守的替代方法。

访问受限。请登录或开始试用以查看此内容。

结果

根据上述方案，我们进行了两项实验22。数据分析使用 eyetrackingR 软件包进行23，数据与代码可在 https://github.com/sandylat/ssl-in-infancy 获取。在第一项实验中，我们对比了完全监督条件（n = 24，Mage = 26.8 月），该条件下仅呈现有标签的示例，与无监督条件（n = 24，Mage = 26.9 月），该条件下仅呈现无标签的示例。

完全监督与无监督环境

完全监督下的婴儿（M = 13.86 s SD = 3.00）和无监督...

访问受限。请登录或开始试用以查看此内容。

讨论

本文介绍了一种评估标记在分类过程中作用的实验方法。通过向2岁儿童呈现包含标记和无标记样本的真实混合刺激材料，我们证明了年幼儿童能够在半监督环境中进行学习，从而拓展了以往针对成人和年长儿童的研究24,25。因此，该方法为上述悖论提供了解决方案：即使仅有少量标记样本，也足以激发类别学习，这表明标记既可以是稀少的，同时又是强有力的。

该范式的关键方面包括使用新颖的人工刺激材料和短时试验，这两者均使其任务对2岁幼儿而言具有适当的挑战性和吸引力。此外，采用眼动仪而非手动编码婴儿的注视行为，能够获取参与者眼动更为丰富且精确的数据；这种丰富性和精确性使得时间进程测量方法（如基于聚类的置换分析）得以实施。

熟悉-测试范式的主要优势在于其对类别学习的评估方式直接明了，且作为一种被动注视任务操作简便。也就是说，该任务直接检验类别学习能力，而无需依赖命名行为或归纳推理等更为复杂的测量指标3

访问受限。请登录或开始试用以查看此内容。

披露

作者无任何利益冲突需要披露。

致谢

本研究得到了美国国立卫生研究院下属的国立儿童健康与人类发展研究所的支持，资助编号为 R01HD083310，以及美国国家科学基金会研究生研究奖学金，资助编号为 DGE‐1324585。本内容仅由作者负责，不一定代表美国国立卫生研究院或美国国家科学基金会的官方观点。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
Final Cut Pro XAppleN/A视频编辑、合成软件
MorphXNorrkrossN/A图像变形软件
PhotoShopAdobeN/A图像编辑软件
RR Core TeamN/A统计分析软件
T60XL 眼动仪Tobii Pro已停产大型臂式安装眼动仪，适用于婴儿和儿童研究
Tobii Pro StudioTobii ProN/A控制眼动仪显示与数据采集的软件

参考文献

  1. Eimas, P. D., Quinn, P. C. Studies on the Formation of Perceptually Based Basic-Level Categories in Young Infants. Child Development. 65 (3), 903-917 (1994).
  2. Madole, K. L., Oakes, L. M. Making sense of infant categorization: Stable processes and changing representations. Developmental Review. 19 (2), 263-296 (1999).
  3. Gelman, S. A., Markman, E. M. Categories and induction in young children. Cognition. 23 (3), 183-209 (1986).
  4. Ferry, A. L., Hespos, S. J., Waxman, S. R. Categorization in 3- and 4-month-old infants: An advantage of words over tones. Child development. 81 (2), 472-479 (2010).
  5. Fulkerson, A. L., Waxman, S. R. Words (but not Tones) Facilitate Object Categorization: Evidence From 6- and 12-Month-Olds. Cognition. 105 (1), 218-228 (2007).
  6. Balaban, M. T., Waxman, S. R. Do words facilitate object categorization in 9-month-old infants? Journal of Experimental Child Psychology. 64 (1), 3-26 (1997).
  7. Waxman, S. R., Braun, I. Consistent (but not variable) names as invitations to form object categories: New evidence from 12-month-old infants. Cognition. 95 (3), B59-B68 (2005).
  8. Balaban, M. T., Waxman, S. R. An examination of the factors underlying the facilitative effect of word phrases on object categorization in 9-month-old infants. Proceedings of the 20th Boston University Conference on Language Development. 1, 483-493 (1996).
  9. Waxman, S. R., Markow, D. B. Words as invitations to form categories: evidence from 12- to 13-month-old infants. Cognitive Psychology. 29 (3), 257-302 (1995).
  10. Zhu, X. Semi-supervised learning literature survey. , (2005).
  11. Chapelle, O., Scholkopf, B., Zien, A. Semi-supervised learning: Adaptive computation and machine learning. , MIT Press. Cambridge, Mass., USA. (2006).
  12. Zhu, X., Goldberg, A. B. Introduction to semi-supervised learning. Synthesis lectures on artificial intelligence and machine learning. 3 (1), 1-130 (2009).
  13. Ferry, A. L., Hespos, S. J., Waxman, S. R. Nonhuman primate vocalizations support categorization in very young human infants. Proceedings of the National Academy of Sciences of the United States of America. 110 (38), 15231-15235 (2013).
  14. Hunter, M. A., Ames, E. W. A multifactor model of infant preferences for novel and familiar stimuli. Advances in infancy research. , (1988).
  15. Rose, S. A., Feldman, J. F., Jankowski, J. J. Infant visual recognition memory. Developmental Review. 24 (1), 74-100 (2004).
  16. Wetherford, M. J., Cohen, L. B. Developmental changes in infant visual preferences for novelty and familiarity. Child Development. , 416-424 (1973).
  17. Perone, S., Spencer, J. P. Autonomous visual exploration creates developmental change in familiarity and novelty seeking behaviors. Frontiers in psychology. 4, 648(2013).
  18. Havy, M., Waxman, S. R. Naming influences 9-month-olds’ identification of discrete categories along a perceptual continuum. Cognition. 156, 41-51 (2016).
  19. Althaus, N., Plunkett, K. Timing matters: The impact of label synchrony on infant categorisation. Cognition. 139, 1-9 (2015).
  20. Maris, E., Oostenveld, R. Nonparametric statistical testing of EEG- and MEG-data. Journal of Neuroscience Methods. 164 (1), 177-190 (2007).
  21. Raudenbush, S. W., Bryk, A. S. Hierarchical Linear Models: Applications and Data Analysis Methods. SAGE. , (2002).
  22. LaTourrette, A., Waxman, S. R. A little labeling goes a long way: Semi-supervised learning in infancy. Developmental Science. , e12736(2018).
  23. Dink, J., Ferguson, B. eyetrackingR: An R library for eyetracking data analysis. , (2015).
  24. Kalish, C. W., Zhu, X., Rogers, T. T. Drift in children's categories: When experienced distributions conflict with prior learning. Developmental Science. 18 (6), 940-956 (2015).
  25. Gibson, B. R., Rogers, T. T., Zhu, X. Human semi-supervised learning. Topics in Cognitive Science. 5 (1), 132-172 (2013).
  26. Keates, J., Graham, S. A. Category Markers or Attributes Why Do Labels Guide Infants' Inductive Inferences? Psychological Science. 19 (12), 1287-1293 (2008).
  27. Booth, A. E., Waxman, S. R. A horse of a different color: Specifying with precision infants’ mappings of novel nouns and adjectives. Child development. 80 (1), 15-22 (2009).
  28. Perszyk, D. R., Waxman, S. R. Listening to the calls of the wild: The role of experience in linking language and cognition in young infants. Cognition. 153, 175-181 (2016).
  29. Althaus, N., Mareschal, D. Labels direct infants’ attention to commonalities during novel category learning. PLoS ONE. 9 (7), e99670(2014).
  30. Fulkerson, A. L., Haaf, R. A. The influence of labels, non-labeling sounds, and source of auditory input on 9- and 15-month-olds’ object categorization. Infancy. 4 (3), 349-369 (2003).

访问受限。请登录或开始试用以查看此内容。

重印与许可

申请许可以重复使用本 JoVE 文章的文本或图表

申请许可

标签

相关文章