Summary
在本文中,我们提出了一种通过使用眼动追踪系统评估婴幼儿视力的新型自动化方法。
Abstract
视力测量是在婴儿期和儿童期进行的一项重要视觉功能测试。然而,由于婴儿沟通能力的不足,很难准确测量他们的视力。本文提出了一种评估儿童(5-36个月大)视力的新型自动化方法。这种方法,即自动敏锐卡程序(AACP),使用网络摄像头进行眼动追踪,并自动识别儿童的观看行为。当被测儿童观看高分辨率数字显示屏上显示的视觉刺激时,进行双选优先外观测试。当被测试的孩子观看刺激时,他们的面部图片会被网络摄像头记录下来。这些图片被设置的计算机程序用来分析他们的观看行为。通过这个程序,测量孩子对不同刺激的眼动反应,并在没有交流的情况下评估他们的视力。通过将结果与柜员敏锐度卡(TAC)获得的光栅敏锐度进行比较,AACP性能被认为与TAC相当。
Introduction
婴儿期是视觉发育的关键时期。生命早期出现的视觉问题会对孩子的发育产生重大影响。能够对婴儿进行定量视觉评估很重要,这有助于发现早期视力问题。然而,由于婴儿的认知发育或表达能力不足以识别视力表符号,如字母或图形,因此很难测量他们的视力。目前婴儿视力评估的黄金标准是基于优先视力测试2的视力卡程序1。但是,由于这种方法需要有经验的测试人员通过观察孩子的眼球运动来判断视力3,4,5,6,因此受到测试人员经验的限制4,5。因此,敏锐卡程序,如柜员敏锐卡(TAC)5,6,仍然是一种主观方法。因此,需要一种可以定量测量婴幼儿视力的方法,该方法无需口头交流即可使用,并且不受需要经验丰富的测试人员的限制。
远程眼动仪的发明和使用使自动敏锐度测量系统得以开发。在以前的研究中,眼动追踪方法已被用作儿童视觉功能评估的工具7,8,9,10。远程眼动仪可用于凝视跟踪,可以替代测试人员对儿童眼球运动的观察。ACTIVE程序7和AVAT程序10是使用远程眼动仪进行的全自动视力测试;他们在健康婴幼儿中产生了与基勒敏锐度卡测试相当的视力结果。与最近的其他研究相反,我们使用网络摄像头而不是远程眼动仪来捕捉孩子的目光。我们发明了一种基于计算机视觉的眼动数据自动获取方法。该程序将眼动获取方法与优先看技术相结合,以评估儿童的视觉功能。
本文旨在提出一种新型的自动化方法,该方法可以评估幼儿的视力,称为自动敏锐度卡程序(AACP)。该程序对尚未获得足够沟通技巧的婴幼儿特别有用。关键方面是可以量化视觉反应以产生婴幼儿的光栅敏锐度。光栅敏锐度测量能够检测视觉病理,并在后续医疗管理中发挥重要作用。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
此处描述的方案已获得北京大学第一医院伦理委员会(PKUFH 2018-223)的批准。这些程序遵循《赫尔辛基宣言》关于涉及人类受试者的研究的原则。描述了研究形式,并获得了参与者父母的知情同意。
1. 设备的准备
注意:AACP 组件安装在光线较暗的测试室中。房间里的窗帘被拉开,以避免阳光的干扰。显示系统、记录系统和分析系统是 AACP 的三个组成部分(图 1)。
- 设置一个显示系统,一个 28 英寸液晶显示器(62.208 cm x 34.992 cm 屏幕,3840 像素 x 2160 像素,0.162 mm/像素,30 Hz 帧速率)。将显示显示器放在可以抬起的桌子上。通过 8 位查找表线性化屏幕亮度。将黑色、中灰色和白色的亮度分别设置为 1 cd/m 2、200 cd/m 2 和 400 cd/m2。
- 在屏幕的两侧放置两个侧板,以减少对被测试儿童的干扰。
- 设置一个录制系统,一个分辨率为 1080 像素/30 fps 的高清专业网络摄像头。
注意:网络摄像头记录测试人员行为的图像序列,每个图像序列以 1280 像素 x 720 像素裁剪。在自动敏锐度测试期间,每 200 毫秒获取一个带时间戳的网络摄像头图像以进行同步。 - 将显示监视器和网络摄像头连接到计算机,即分析系统。确保网络摄像头位于屏幕正下方的中心,并且可以根据需要进行调整。
注:显示器和网络摄像头要么与计算机(便携式计算机或台式电脑)集成,要么是随后连接到计算机的独立设备。 - 在计算机上安装AACP程序软件,用于显示刺激和分析眼球运动。AACP程序软件(中国国家发明专利,第201910865074.4号和第201510919621.4号)包括激励显示模块、视觉测试模块和测试结果处理模块。
- 将视觉刺激设置为具有不同周期/度 (cpd) 空间频率和 1.00 对比度的 12 cm x 12 cm 方波光栅。确保刺激随机显示在屏幕左侧或右侧的中心,并且屏幕的其余部分显示类似于 TACII 的亮度匹配灰色区域。
注意:在55厘米的检测距离(与TACII一致)处,刺激与印刷的TACII卡(16张卡,1/2倍频程)上的刺激大致相同(由于像素大小限制)。
2. 眼动追踪校准
- 获得家长的知情同意,并向他们描述研究形式。
- 将孩子放置在距离显示器 55 厘米的地方。让孩子独自坐在椅子上,或者最好坐在父母的腿上。如果孩子独自坐着,让父母坐在孩子旁边。
- 调整升降台的位置并将其与显示器一起放置。垂直于孩子的眼睛排列屏幕。
- 调整网络摄像头的位置,以确保孩子的脸在录制系统中可见,并避免捕获孩子以外的人脸。
- 在开始手术之前,通知孩子他们将观看屏幕。指示家长在孩子不注意时提示孩子看屏幕。测试期间不需要具体说明。
- 打开 AACP 程序软件。在软件中输入孩子的信息(姓名、性别、年龄)。
- 单击 “开始” 按钮。软件启动校准程序。图形交换格式(GIF)图像(2.0736 cm x 2.0736 cm,128 x 128像素)出现在屏幕中央的白色背景下(图2)。图像和背景音乐同时出现。这种刺激至少呈现3秒。分析系统同时确定儿童的视线是否注视在图像上。如果在此演示过程中 1 分钟内没有可用的凝视数据,屏幕将显示另一个卡通 GIF 图像。当在此区域内检测到注视坐标时,测试过程无需测试人员的操作即可启动并自动运行。
3. 测试程序
- 呈现初始光栅。光栅的空间频率范围为0.33-30.0 cpd,步长为1/2倍频程。根据孩子的年龄确定初始光栅,如TACII测试。
- 呈现初始光栅 1,000 毫秒,这是试验的长度。然后,显示 200 毫秒的空白屏幕。再次呈现相同的刺激,然后再次出现空白屏幕。呈现相同空间频率设置的光栅三次。
- 在执行程序期间,让网络摄像头记录孩子的面部照片。该软件使用这些图片来分析他们的观看行为。视力测试程序根据 表1 中所述的标准检查眼动反应,以确定是否看到了刺激(图3)。
- 让测试结果处理程序呈现后续激励,按照图4所示的协议11。
- 每三次试验后,展示一张GIF图像(带背景音乐)作为视觉奖励,以保持孩子的兴趣。如果在 GIF 图像演示后 1 分钟内没有可用的凝视数据(例如,如果孩子转过身或闭上眼睛),请停止测试。此测试不输出任何结果。
- 执行步骤3.4和3.5后,分析软件程序输出的子级光栅敏锐度结果。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
AACP应用于一组11:155正常发育的婴幼儿(5至36个月,基于胎龄)。在先前发表的一项研究中,将AACP获得的光栅敏锐度结果与TACII获得的结果进行了比较。通过这两个程序获得的结果显著相关(r153 = 0.83, p < 0.001)。只有10.32%(155个中的16个)的儿童结果相差超过一个八度。其中,8名儿童年龄为5-7个月。在这16名儿童中,有3名儿童的视力结果通过AACP获得,比TACII获得的视力结果高1.5-2个八度。其他13例患儿的AACP视力比TACII视力低1.5-2个八度。
AACP测量的光栅敏锐度随着婴儿年龄的增加而逐渐增加。 图5 显示了AACP测量的光栅敏锐度随年龄变化(以月为单位)的变化。从 6 个月到 12 个月,光栅敏锐度增加了近 0.5 个八度。从 12 个月到 24 个月,光栅敏锐度增加了近一个八度。从 24 个月到 36 个月,光栅敏锐度增加了近 1.5 个八度。本研究的敏锐度发展趋势与TACII在以往研究中测得的敏锐度结果一致12。这也与TACII在同一组婴儿11中测量的敏锐度发展一致。
图 1:AACP 设备。 图中显示了AACP组件及其在测试室中的设置的空间布置。婴儿坐在父母的腿上,在55厘米的距离内双眼观察刺激。 请点击这里查看此图的大图。
图 2:校准过程中的卡通激励。 卡通刺激是带有背景音乐的GIF图像。刺激吸引了视觉上的注意。当孩子的视线落在图像区域内时,点从红色变为绿色,并执行校准程序。该图经Wen等人许可修改11。 请点击此处查看此图的大图。
图 3:测试过程中的光栅激励。 光栅刺激是在均匀的灰色背景上呈现的垂直黑白条纹的光栅。参与者的注视点从中心移动到绿色方块表示参与者已经观看了目标,这意味着“命中”。参与者从中心移动到空白区域的注视点表明参与者没有观看目标,这意味着“错过”。绿色正方形区域具有基于从刺激中心到屏幕侧面的距离(即,从刺激中心到本图中屏幕左边缘)的半边长度。该图经Wen等人许可修改11。 请点击此处查看此图的大图。
图 4:AACP 过程中使用的协议。 该图经Wen等人许可修改11。 请点击此处查看此图的大图。
图 5:与年龄相关的光栅敏锐度箱形图(N = 155)。带红线的白框和带黑线的灰框分别是每 6 个月大的 AACP 和 TACII11 的光栅敏锐度。请点击此处查看此图的大图。
标准 | 验证注视信号: | |||
打 | 在1,000毫秒的目标演示中,连续保持在目标区域超过400毫秒。 | |||
思念 | (1)未在1000毫秒的时间窗口内进入目标区域。 (2)停留在目标区域小于400 ms。 |
表1:确定是否看到刺激的标准。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
基于眼动追踪方法的几项研究7,8,9,10表明该方法在评估语言交流困难的婴幼儿方面具有价值。然而,以前研究的参与者人数相对较少。只有30名12个月以下的婴儿通过Jones等人开发的ACTIVE程序进行了测试7。由Vrabic等人开发的AVAT程序10对35名婴幼儿进行了类似的测试。在本研究中,通过AACP程序测试了5至36个月大的婴幼儿(N = 155)的大样本,并显示出与TACs相似的高可测试性和可比的视力评估。此外,使用网络摄像头代替远程眼动仪来跟踪孩子的视线,使AACP设备更便宜,更方便使用。
当婴儿长大后,他们对周围环境中的各种刺激表现出越来越大的兴趣。因此,在测试期间保持合作对他们来说是一个挑战。在屏幕中央显示卡通图像旨在吸引他们的注意力,这类似于ACTIVE程序7。每三次试验,在改变光栅频率之前,都会呈现一个卡通图像作为视觉奖励,以保持婴儿的注意力并将他们的目光吸引到屏幕中央,从而减少婴儿视线向侧面移动造成的对手术的误判。此外,还使用了两个附加的屏幕侧面板来减少婴儿的干扰。在实验室设置13的标准TAC测试中,敏锐卡通过灰色屏幕上的矩形开口显示,该矩形开口包括连接的侧面板。我们设置了屏幕侧面板以减少周围环境的干扰,但侧面板可以拆卸以适应其他测试环境。
在本研究中,AACP的数字刺激和TAC的印刷刺激是方波光栅,具有“边缘效应”。高频光栅和等光背景交界处的边缘伪影为儿童提供了潜在的额外视觉线索,这发生在AACP和TAC14 测试中。然而,与基于纸张的TAC相比,数字刺激更加灵活。未来将使用Gabor调制刺激来避免边缘效应。数字刺激的对比度、大小、频率和其他特性更容易调整。本研究在55 cm的检测距离下,光栅的空间频率范围为0.33至30.0 cpd。如果孩子的视力很差,例如低于0.33 cpd,则AACP无法检测到他们的实际视力。在进一步的研究中,可以设置不同的频率范围和不同的检测距离,以适用于视力状况较多的儿童。
现有方法的另一个限制是试验的持续时间为1秒,对于一些年幼的婴儿来说太短,无法区分光栅。在AACP和TACs视觉结果相差超过一个八度的儿童中,一半是5-7个月的儿童。在未来的申请中,可能会设置不同的试验持续时间,以适应不同参与者的年龄。目前,父母可以在测试期间观察婴儿的表现。如果婴儿因移动或疲劳而未能通过测试,则可以重复测试。
AACP是一种基于网络摄像头数据的新型眼动追踪方法。它可用于评估婴幼儿的光栅敏锐度,其结果与金标准视力测试相当。通过仅要求眼球运动作为反应的明显指标,AACP可用于以全自动方式测量视力。未来,通过改变视觉刺激的类型,AACP可用于评估儿童发育早期的其他视觉信息处理功能。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
作者进行了以下披露:BK.Y.,XQ.L.,JS.C.和L.W.:中国国家发明专利“连续视频帧中人脸检测和瞳孔定位的方法和系统”(CN201910865074.4);XQ.L.、BK.Y.、JS.C.和L.W.:中国国家发明专利“视觉自动测试系统”(第201510919621.4号)。
Acknowledgments
本研究得到了首都健康改善与研究基金(编号:2018-2Z-4076)和北京大学第一医院SEED研究基金(2019SF31)的支持。
Materials
Name | Company | Catalog Number | Comments |
AACP procedure software | In-house | In-house | The AACP procedure software (China National Invention Patents, No. 201910865074.4 and No. 201510919621.4) comprises a stimulus displaying module, a vision testing module, and a testing result processing module. |
Computer processor | Intel Corporation, Santa Clara, CA, USA | Intel CORE i7-6500U processor | Analysis system |
Display monitor | InnoLux Co., Ltd., China | InnoLux M280DGJ-L30 | Display system |
Webcam | Logitech International S.A., Lausanne, Switzerland | Logitech C920 high-definition pro webcam | Recording system |
References
- Teller, D. Y., McDonald, M. A., Preston, K., Sebris, S. L., Dobson, V. Assessment of visual acuity in infants and children: the acuity card procedure. Developmental Medicine and Child Neurology. 28 (6), 779-789 (1986).
- Teller, D. Y. The forced-choice preferential looking procedure: a psychophysical technique for use with human infants. Infant Behavior and Development. 2, 135-153 (1979).
- Preston, K. L., McDonald, M., Sebris, S. L., Dobson, V., Teller, D. Y. Validation of the acuity card procedure for assessment of infants with ocular disorders. Ophthalmology. 94 (6), 644-653 (1987).
- Mohn, G., vanHof-van Duin, J., Fetter, W. P., de Groot, L., Hage, M. Acuity assessment of non-verbal infants and children: clinical experience with the acuity card procedure. Developmental Medicine and Child Neurology. 30 (2), 232-244 (1988).
- Cavallini, A., et al. Visual acuity in the first two years of life in healthy term newborns: an experience with the teller acuity cards. Functional Neurology. 17 (2), 87-92 (2002).
- Clifford, C. E., Haynes, B. M., Dobson, V. Are norms based on the original teller acuity cards appropriate for use with the new teller acuity cards II. Journal of American Association for Pediatric Ophthalmology and Strabismus. 9 (5), 475-479 (2005).
- Jones, P. R., Kalwarowsky, S., Atkinson, J., Braddick, O. J., Nardini, M. Automated measurement of resolution acuity in infants using remote eye-tracking. Investigative Ophthalmology & Visual Science. 55 (12), 8102-8110 (2014).
- Hathibelagal, A. R., Leat, S. J., Irving, E. L., Nandakumar, K., Eizenman, M. Measuring infant visual acuity with gaze tracker monitored visual fixation. Optometry and Vision Science. 92 (7), 823-833 (2015).
- Barsingerhorn, A. D., Boonstra, F. N., Goossens, J. Saccade latencies during a preferential looking task and objective scoring of grating acuity in children with and without visual impairments. Acta Ophthalmologica. 97 (6), 616-625 (2019).
- Vrabič, N., Juroš, B., Tekavčič Pompe, M. Automated visual acuity evaluation based on preferential looking technique and controlled with remote eye tracking. Ophthalmic Research. 64 (3), 389-397 (2021).
- Wen, J., Yang, B., Li, X., Cui, J., Wang, L. Automated assessment of grating acuity in infants and toddlers using an eye-tracking system. Journal of Vision. 22 (12), 8 (2022).
- Leone, J. F., Mitchell, P., Kifley, A., Rose, K. A. Normative visual acuity in infants and preschool-aged children in Sydney. Acta Ophthalmologica. 92 (7), e521-e529 (2014).
- Clifford-Donaldson, C. E., Haynes, B. M., Dobson, V. Teller Acuity Card norms with and without use of a testing stage. Journal of AAPOS. 10 (6), 547-551 (2006).
- Robinson, J., Moseley, M., Fielder, A. Grating acuity cards-spurious resolution and the edge artifact. Clinical Vision Sciences. 3 (4), 285-288 (1988).