便携式跨模态偏好注视（IPL）：探究正常发育幼儿及自闭症儿童的语言理解能力

摘要

本文介绍了一种可靠的、基于家庭的评估方法，用于评估正常发育的婴幼儿以及自闭症儿童的语言理解能力。该方法通过让儿童在观看并排图片的同时聆听只与其中一张图片匹配的音频，分析其眼球注视情况。刺激材料的设计充分考虑了低龄受试者的特点。

摘要

自闭症谱系障碍（ASD）的一个主要特征是语言和沟通困难。¹ 患有ASD的儿童通常说话起始时间较晚，且许多ASD儿童在语言产出的频率、词汇复杂性和语法复杂性方面均持续低于正常发育（TD）同龄儿童。^6,8,12,23 然而，ASD儿童也表现出显著的社会功能缺陷，研究者和临床医生仍在争论社会互动缺陷在多大程度上解释或促成了语言产出方面的缺陷。^5,14,19,25

针对自闭症谱系障碍（ASD）儿童的语言标准化评估通常包含理解能力的测试部分；然而，许多此类理解任务仅评估语言的某一方面（例如，词汇量）⁵，或包含显著的运动成分（例如，指认、动作模仿），和/或要求儿童在多个选项中主动做出选择。后两种行为已知对ASD儿童而言同样具有挑战性^7,12,13,16。

我们介绍一种可用于评估正常发育的幼儿（9-36个月）及自闭症儿童语言理解能力的方法^2,4,9,11,22。该方法称为便携式跨通道优先注视（Portable Intermodal Preferential Looking, P-IPL），通过笔记本电脑将并列的视频画面投射到便携式屏幕上。视频首先与一段“基线”（非引导性）音频同时播放，随后再次呈现，并与仅匹配其中一个视频的“测试”语言音频配对。儿童观看视频时的眼动被录像记录，之后进行编码分析。理解语言音频的儿童会更快地注视且更长时间地观看与语言音频相匹配的视频画面^{2,4,11,18,22,26}。

该范式包含多个近期已实现小型化的组件（投影仪、摄像机、数字转换器），从而实现了便携性，并可在儿童家中轻松安装。这对于评估患有自闭症谱系障碍（ASD）的幼儿尤为关键，因为这些儿童在新环境（例如，实验室）环境中。视频可用于评估语言知识的多个特定组成部分，例如主语-动词-宾语语序、wh-疑问句以及动词上的时态/体范畴词缀；视频也可用于评估词汇学习原则，如名词偏好、形状偏好以及句法引导。^{10,14,17,21,24} 视频包含在视觉和听觉上均显著且易于自闭症谱系障碍儿童接受的角色和语音。

方案

1. IPL 视频制作

我们在多个方面设计视频，使其既有趣又吸引人，同时避免对患有自闭症的幼儿造成不适：当需要使用有生命的角色时，我们采用动物而非人类形象，以减少自闭症谱系障碍（ASD）儿童在社交和情感上的压力。我们使用色彩鲜艳物体的动态场景来吸引并维持儿童的注意力。在试次间隔期（ITIs）中，屏幕空白时会显示一个闪烁的红灯，以保持儿童的注意力。我们制作的语音音频采用语调和时长均加长夸张的言语方式，以更好地吸引和维持儿童的注意力。

图1.（视频）名词偏向性视频的一个组块。展示名词偏向性视频中的一个组块，用于检验儿童是否将一个新词汇与物体而非动作相联系。 点击此处观看视频。

通过FinalCut Pro或Avid Media Composer等商业非线性编辑软件，使用4-8秒的视频片段创建视频刺激材料。

前两个视频片段按顺序交替左右排列，并配以相同的熟悉化或教学音频。

接下来是基线试验；这些试验将测试刺激并列呈现，但配以非引导性音频。基线试验可告诉我们，当没有语言或引导性音频时，儿童对任一刺激是否存在固有或视觉上的偏好。

测试试验最后出现，与区分两个视觉刺激的测试音频配对。

一个1 kHz的音调出现在第二音频通道，与每次试验同步，为编码人员提供试验开始和结束的视觉标识。

2. 访问/儿童家庭时

1. 与家长进行知情同意过程。更详细地介绍研究流程，并请家长签署知情同意书。强调儿童观看时应尽量减少与家长的互动；如果儿童需坐在家长腿上，请向家长介绍并提供mp3播放器使用。家长在观看IPL视频时需通过mp3播放器听音乐，以确保其无法听到IPL测试的音频内容，从而避免对儿童的注视方向产生潜在影响。
2. 在指定房间内安装IPL设备，并使用延长线连接电源。建议配备一名研究助理，在设备安装期间与儿童互动以安抚其情绪。将大屏幕背对主要光源放置。将扬声器置于屏幕正后方中央位置，将两个音量旋钮均调节至中间位置。将摄像机安装在三脚架上，并置于音调适配盒顶部，正对屏幕中央。将录像带装入摄像机，并将DTE设备放置在摄像机旁边的地面上。在距离屏幕7至10英尺处架设投影仪支架，并将投影仪置于其上。将笔记本电脑放置在投影仪支架旁边。

图2. 家用便携式IPL组件及其在家中的布置方式。 展示了便携式IPL组件及其在家中的空间布置方式。 点击此处查看大图。

3. 连接 IPL 设备组件：将笔记本电脑连接至投影仪，使其向投影仪发送视频信号。笔记本电脑同时输出两路音频信号（通过分路器），其中语音音频发送至扬声器，音调音频发送至摄像机。将摄像机连接至 DTE，使其向 DTE 发送视频和音频信号。连接完毕后，启动所有设备组件。DTE 屏幕左侧应显示“AVI Type 1”，下方显示“Counter”。
4. 为儿童播放视频：在笔记本电脑上使用 Quicktime 打开第一个视频。
   1. 在屏幕前方、距离摄像机 2.5 至 3 英尺处放置一把椅子。邀请儿童坐在椅子上，或坐在家长腿上。若儿童坐在家长腿上，请将 mp3 播放器和耳机交给家长，并告知其开始播放。若儿童单独就坐，家长可坐在其旁边。对于在播放视频期间容易坐立不安的儿童，可一般性地鼓励其“观看电影”。
   2. 确保儿童面部在摄像机画面中清晰可见。每当儿童移动时，需重新检查画面。根据需要调整房间照明。
   3. 在白板上用可擦写笔写下儿童信息（化名、性别、就诊次数、视频编号、日期、出生日期、年龄）。打开摄像机并按下录制键，同时按下 DTE 上的录制按钮。对白板拍摄 10 秒。
   4. 在笔记本电脑上，点击“View”后点击“Enter Full Screen”以播放第一个视频。
   5. 视频播放结束后，按下 DTE 上的停止按钮。若儿童愿意，可继续播放下一个视频；也可在此时安排休息。部分自闭症谱系障碍（ASD）儿童可能需要频繁休息，而另一些儿童则可能更倾向于连续观看所有视频。
5. 在就诊结束时，向儿童赠送一份礼物作为奖励。

3. 实验室中的编码工作

1. 检查儿童的眼动数据是否已在DTE上完成数字化。
   1. 将该视频导入非线性编辑程序，转换为自定义编码程序所使用的格式（.avi），然后导出至安全存储设备。
2. 按照每个视频的特定布局进行编码（即，熟悉/教学、基线和测试试验的安排）。
   1. 浏览儿童的视频片段，找到 1 kHz 音调的波形可见的帧，这表明正在向儿童呈现视觉刺激。
   2. 在每次目标试验前的试验间期（ITI）开始编码即，无声音提示，仅呈现居中光线；此时儿童应注视中心或看向别处）。逐帧前进，将每次视线变化记录为 L（向左）、R（向右）、C（向中心）或 A（看向别处：向上、向下、极左、极右、向后）。

编码程序会输出若干列数字，表示输入的每个编码的时间和类型。例如，TSC 33499 表示在试验开始时，即视频开始后的 3.3499 秒，儿童将视线转向了中心位置。

编码阵列由定制的Matlab分析程序进行分析，该程序可访问每个视频的特定布局——即每次试验中哪一侧为匹配项。

分析程序随后会计算每个编码试验中儿童注视的持续时间和方向、儿童首次注视匹配刺激物的潜伏期，以及儿童在每个编码试验中注意力切换的次数。

随后，我们比较儿童在基线期与测试期对（a）注视匹配图像的持续时间、（b）首次看向匹配图像的潜伏期、（c）整个试验过程中对两个图像注视的时间进程，以及（d）注意力转换次数。

其原理在于，能够理解语言刺激的儿童在测试阶段会比基线阶段更长时间地注视匹配的图像，且在试验开始后会比注视不匹配图像更快地看向匹配图像；同时，由于语言刺激引导了他们的注视行为，他们在测试阶段的注意力切换次数会少于基线阶段。

基线试验与测试试验的唯一区别在于语言音频；视觉刺激相同，但基线试验使用非指向性音频（例如，“看这里！”），而测试试验使用指向性音频（例如，“toopen在哪里？”）。因此，通过比较测试试验与基线试验在注意力持续时间和注意力转移方面的测量结果，可以了解指向性音频在多大程度上引导了儿童的注视模式。此外，如果儿童理解了指向性音频，他们应会更快地看向匹配的图像，而非不匹配的图像。

结果

使用P-IPL测试儿童时，其注视模式的一个示例如图3所示。在观看NounBias视频时，21个月大的典型发育（TD）儿童在测试阶段对匹配图像的注视时间较基线阶段更长，表明他们已将新词汇与物体而非动作建立了关联。²¹ 平均年龄为33个月的自闭症谱系障碍（ASD）儿童表现出类似的行为，效应量也相似。^21,24 因此，ASD儿童在词汇学习上的偏向性与TD儿童相似。在观看SVO语序视频时，两组儿童在测试阶段对匹配图像的注视时间也均长于基线阶段（即表现出显著的理解能力），说明他们理解英语的语序（例如，“女孩推男孩”与“男孩推女孩”表示不同的关系）。^3,14,21 在wh-疑问句视频中可观察到发育差异：TD儿童在28个月大时即表现出显著的理解能力，而ASD儿童直到54个月大时才首次表现出显著理解能力。¹⁰ 因此，ASD儿童在学习如何正确理解诸如“苹果撞了什么？”这类问题上存在延迟。

图3. 儿童在观看“名词偏好”视频时对匹配项（即，物体而非动作）的注视时间百分比。显示儿童在观看“名词偏好”视频时对匹配项（即，物体而非动作）的注视时间百分比。

图4展示了典型发育儿童在20至32个月期间四次连续随访中观看ShapeBias视频的更详细的时间进程分析。蓝线表示注视匹配项（即相同形状的物体）；注意，在测试试次中（每张图的右侧），蓝线高度随年龄增长而上升，表明对形状的偏好随年龄增加。此外，随着儿童年龄增长，蓝线在试次中更早地上升至匹配项，表明他们对引导性语音的理解速度随年龄加快。红线表示视线离开；注意，随着年龄增长，红线的宽度减小，表明儿童注视离开的时间减少。粉线表示在试次间间隔（ITI）期间注视中心区域；我们利用这些数据确保儿童在试次开始前无注视偏向。这些IPL数据证实了其他方法的结果，即形状偏好是典型发育儿童日益增强的词汇学习原则。然而，已有三项重复研究尚未成功证明自闭症谱系障碍（ASD）儿童存在显著的基于词汇的形状偏好。^17,24

图4. 典型发育儿童观看形状偏好视频时的注视时间进程。 显示典型发育儿童在观看形状偏好视频时，对匹配项、非匹配项、中心区域及画面外区域的注视时间进程。 点击此处查看高清大图。

图5展示了患有自闭症谱系障碍（ASD）的同一批儿童在平均41个月大时观看句法启动视频的时间进程数据，该视频要求他们利用句子语境（例如，通过“鸭子正在 gorping 兔子”这一句子判断 gorping 指的是因果动作而非非因果动作）学习新动词。句法启动是另一项在众多典型发育（TD）儿童研究中被重复验证的词汇学习原则。请注意，ASD儿童在基线试验期间对不匹配图像（绿线）的注视时间更长，但在测试试验的后半段，当他们被要求找出新动词所指的动作时（例如，“找出 gorping！”），其注视更多地转向匹配图像（蓝线）。因此，作为一个群体，这些ASD儿童能够正确地将动词与因果动作对应起来。跨次访问回归分析显示，在句法启动视频中对匹配图像注视时间更长的ASD儿童，在8个月前观看词序视频时，对匹配图像的反应潜伏期更短。¹⁴

图 5. 自闭症谱系障碍儿童观看句法启动视频时的注视时间进程。显示自闭症谱系障碍儿童在观看句法启动视频时，对匹配、不匹配、中心及偏离区域的注视时间进程。

讨论

需要特别注意确保编码者对儿童在特定试验中所经历的具体刺激保持“盲态”或不知情，以便他们不知道哪一侧是匹配的一侧，从而避免无意中产生编码偏差。我们通过在2^nd 视频的音频通道，随后被复制到记录儿童眼动的胶片上。该音调的波形为每次试验的开始和结束提供了视觉标记，从而在编码者不知晓视频或音频内容的情况下界定各个试验段。

确保分析布局考虑到儿童编码时发生的左右切换问题至关重要。即如果匹配的场景出现在儿童观察时的左侧，则对眼动编码者而言，该场景将出现在右侧，反之亦然。

对经验丰富的编码人员，在随机选取的10%数据样本上进行编码者间信度评估，所得相关系数约为0.98；³ 若编码人员经验较少，或在研究参与者之间存在较高的编码人员流动率，我们建议每个儿童的眼动数据至少由两人独立编码，并要求每次试验中两人编码结果（通常为匹配持续时间）的差异不超过0.3秒。若不满足该标准，则应由第三、第四或第五位编码人员继续对该儿童的数据进行编码，直至达到信度要求。¹⁷

对于学步儿童和/或存在发育迟缓的儿童参与者，不可避免地会出现部分儿童在每次试验的某些时段内未注视任一画面，甚至在某些试验中完全未注视的情况。针对这些注意力缺失的情况，通常采用以下惯例处理：（a）儿童需至少注视其中一个画面不少于0.3秒，该试验才被计入有效数据；否则视为缺失试验。（b）对于特定视频，儿童必须在超过半数的测试试验中提供有效数据，方可纳入最终数据集。（c）缺失试验的数据以该年龄组/条件下其他儿童在对应项目上的平均值进行填补。

IPL 是一种利用儿童对语言形式最早映射的方法即，词语和句子）到指称（即，物体和动作）或命题性（即，关系和事件）的含义。该方法可用于评估不同年龄儿童习得新词汇的过程，以及他们在不同年龄阶段理解各类语法结构的能力。由于仅需通过眼动作为理解（或未理解）的外在指标，IPL 可用于行为配合度普遍较低的幼儿，以及某些特殊人群，例如自闭症谱系障碍（ASD）儿童。此外，由于该技术可被带入儿童家庭环境中，因此也可用于传统实验室难以接触的人群，例如社会经济地位较低的家庭儿童、农村社区儿童，以及父母为单语非母语者的双语儿童。近年来对眼动数据的新型分析方法，正在揭示学习不同类型语言以及在不同年龄阶段习得词汇所产生的有趣且重要的影响。未来的研究计划包括将IPL与神经影像技术结合使用，以比较儿童在语言理解过程中的大脑活动与其行为指标。

材料

本文使用的材料清单

姓名	公司	目录编号	评论
屏幕	Draper	RoadWarrior 便携式投影屏幕
笔记本电脑	Apple	15 英寸 MacBook Pro
投影仪	NEC	NP40 投影仪	数字镜头投影仪
投影仪支架	DA-LITE	Project-O-Stand
扬声器	YAMAHA	监听扬声器型号 MS101II
三脚架	Velbon	QB-4W DF Mini
摄像机	Canon	VIXIA HV30 HDV	高清视频
DTE	DTE Technology	FS-H200
降噪耳机	Sony	MDR-NC60