需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

他们自己的视角:使用头戴式相机捕捉婴儿和幼儿的主视角

7.3K 次观看

DOI:

10.3791/58445

2018年10月5日

* These authors contributed equally

本文内容

摘要

婴幼儿观察世界的方式与其父母有本质上的不同。头戴式摄像机为理解婴幼儿的视觉环境提供了一种可行的方法。本实验方案提供了在家庭或实验室环境中开展实验的指导原则,以获取婴幼儿和幼儿的自我中心视角图像。

摘要

婴幼儿在基本的感官层面上观察世界的方式,与其父母存在根本性差异。这主要是由于生物学上的限制:婴幼儿的身体比例与父母不同,且控制头部运动的能力尚未充分发育。这些限制因素制约了其可获得的视觉输入。本实验方案旨在为研究人员提供使用头戴式摄像机研究发育中婴儿所经历的视觉输入变化的指导原则。成功应用本方案将使研究人员能够在家庭或实验室环境中设计并实施针对儿童视觉环境的发育研究。通过该方法,研究人员可汇总儿童视野中所有可能出现的物体的整体视图。该方法并不直接测量儿童正在注视的具体对象。通过将此方法与机器学习、计算机视觉算法以及人工编码相结合,研究人员可生成高密度数据集,以揭示发育中婴儿视觉生态的动态变化。

引言

几十年来,心理学家一直致力于理解婴儿发育所处的环境,威廉·詹姆斯(William James)曾将其著名地描述为一种“"纷繁喧闹的混乱1"”。婴儿的日常经历通常通过从第三方视角拍摄其与社交伙伴进行自然游戏的过程来进行研究。这些来自侧面或上方的视角通常显示出杂乱的环境,以及婴儿听到的任何新词汇所可能对应的大量潜在指代物2。对于外部观察者而言,詹姆斯的描述恰如其分,但这种静止的、第三方视角并非婴儿感知世界的方式。婴儿所处的位置更接近地面,并能够在环境中移动,从而将物体拉近以进行视觉探索。在图1中展示了父母与婴儿互动的第三方视角,其中突出了二者视角之间的根本差异。或许,婴儿所接收到的信息并不像父母和研究人员所预期的那样混乱。使用头戴式摄像机的方法旨在从第一人称视角捕捉婴儿的体验,以理解他们在发育过程中所接触到的视觉环境。

佩戴在帽子或头带上的头戴式摄像机为观察发育中婴儿的实时视觉体验提供了窗口。从这一视角出发,婴儿所处环境中的结构特征与规律性变得清晰可见。头戴式摄像机揭示,婴儿的视觉体验主要由手部占据,包括他们自己的手以及社交伙伴的手;而曾被认为对建立共同注意至关重要的注视面部行为,实际上远比预期稀少3。此外,头戴式摄像机还显示,婴儿与其照护者会共同创造一些时刻,使物体在婴儿的视野(FOV)中占据主导且居中位置,从而降低物体与标签对应过程中的固有不确定性4

头戴式摄像机根据婴儿的头部运动捕捉其第一人称视角。这种视角并不能完全同步或准确反映婴儿的眼球运动,只有结合眼动仪才能准确记录眼球运动。例如,仅移动眼睛而保持头部静止,或仅转动头部而保持眼睛固定在某一物体上,都会导致婴儿实际视野与头戴摄像机所捕捉到的视野之间出现偏差5。然而,在玩玩具时,婴儿通常会将其注意的物体置于视野中央,使头部、眼睛和玩具的位置与身体中线对齐3。此类偏差较为罕见,通常仅由眼球移动与伴随的头部转动之间的短暂延迟造成。因此,头戴式摄像机并不适合捕捉注意力快速转移的动态过程。头戴式摄像机的优势在于记录日常视觉环境,揭示可供婴儿感知的视觉内容。

以下方案及代表性结果将展示如何使用头戴式摄像机研究婴儿和幼儿的视觉环境。

访问受限。请登录或开始试用以查看此内容。

方案

以下在实验室及家庭环境中收集婴幼儿视觉体验数据的实验程序已获得印第安纳大学机构审查委员会的批准。已从婴幼儿的照护者处获得知情同意。

1. 选择头戴式摄像机

注意: 市面上有多种小型、轻便且易于携带的相机可供购买(图2)。

  1. 选择一个不显眼且不会影响录制场景的头戴相机。
    1. 使用临时粘合剂将相机固定在贴合的帽子或头带上,或牢固地将相机安装在连接于头带的小型塑料板上。将相机置于儿童眉毛位置(图2B,左图)。
      1. 根据相机的形状,可通过在头带或帽子上缝制小型布质环来固定相机(图2B,中图和右图)。
      2. 确保帽子或头带可调节,以便在儿童头部实现贴合且舒适的佩戴(图2A)。
        注意: 理论上,将相机置于婴儿双眼正中间的位置最为理想,但以当前技术尚难以实现。目前市面上低额头佩戴的小型相机正变得越来越普及。
  2. 若将相机交由家长带回家使用,需确保家长无需技术协助即可操作。
    1. 在家长离开实验室前,培训其如何操作头戴相机。
    2. 让家长将相机、头带或帽子以及一份说明相机开启和数据录制步骤的书面指南带回家使用。
  3. 确保相机足够轻便,使婴儿佩戴后几乎无感。
    注意: 推荐重量应低于 30 g3。所选相机在使用过程中不应发热,且必须具备耐久性以承受频繁使用。
  4. 若实验设计要求儿童自由活动,则应将录制的视频存储至内部存储卡中。否则,应使用连接至数据采集计算机的有线相机。
  5. 使用配备高质量镜头的相机,以更好地利用最新的机器学习算法,将视觉场景分割为感兴趣区域。
    1. 若视觉场景将由研究人员手动编码,则应使用能够拍摄足够高质量图像以便人工检查的相机。
  6. 确保任何由电池供电的相机均能持续录制所需时长。
  7. 在实验开始前或即将让家长将相机带回家前,测试头戴相机以确保其正常工作。

2. 实验室中的数据收集

注意:大多数实验均可轻松添加头戴式摄像机。

  1. 安排 2-3 名实验人员将摄像头放置在儿童头部:一名实验人员负责佩戴头戴式摄像头,一名监控摄像头视野,必要时另一名负责分散儿童注意力。
    1. 请家长确保儿童保持平静,并在佩戴过程中协助分散其注意力。
  2. 按以下三个步骤完成摄像头的佩戴。
    1. 使婴儿适应头部附近的手部动作。
      1. 请家长轻轻触摸或抚摸婴儿的头部和头发数次。
      2. 请负责为婴儿佩戴帽子的实验人员重复步骤 2.2.1.1 中的动作。
    2. 在儿童注意力分散时,由实验人员为其佩戴头戴式摄像头。
      1. 使用按钮玩具使儿童双手保持忙碌状态。
      2. 由负责分散注意力的实验人员或家长在此阶段协助,轻柔地将儿童的手引导至吸引其注意力的玩具上,防止其手部触碰头部。
    3. 当儿童专注于玩具时,收紧帽子并调整头戴摄像头的位置。
      1. 调整摄像头位置,使婴儿将物体置于面部前方时,该物体位于摄像头视野(FOV)中央。
      2. 若儿童处于坐姿,调整摄像头使其低头时能拍摄到大部分腿部区域。
  3. 摄像头佩戴完成后,请实验人员离开房间并开始录制。
  4. 若摄像头发生移位或脱落,需重新进入房间进行调整。
    1. 若儿童无法耐受重新佩戴摄像头,则终止实验。
      注意: 在家庭环境中记录自然行为时,应先为特定婴儿试戴帽子和摄像头,并向家长演示如何正确放置摄像头。摄像头的设计和佩戴方式必须确保家长无需技术协助即可独立为儿童佩戴帽子。

3. 亲子研究的数据收集

注意:以下使用头戴式摄像机的代表性方法,通过实验室中的自然主义玩具游戏,展示了可对婴儿及其父母的自我中心视角进行的分析类型(图3A)。

  1. 按照 2.1 和 2.2 节所述,为家长和儿童佩戴头戴式摄像机。
  2. 使用头戴摄像机以 720 × 1280 像素分辨率、30 帧/秒的速率采集视频。操作步骤详见 2.3 和 2.4 节。
    1. 对视频流进行子采样,每隔 5 秒提取一帧图像。
    2. 使用商业软件或自行开发的程序,在视野范围内手动绘制每个玩具的边界框(图 3B)(参见 图 3C 中的示例帧)。
      1. 如果由于其他玩具遮挡或位于画面边缘导致仅部分玩具可见,仅在玩具易于识别时绘制边界框,并应包含该玩具所有可见部分。
      2. 例如,若仅能看到玩偶的腿部,则在腿部周围绘制边界框;若某一物体遮挡了玩偶的一半,仅头发和腿部可见,则绘制包含头发和腿部的边界框。

访问受限。请登录或开始试用以查看此内容。

结果

一种简单但具有信息量的分析方法是统计每个时间点视野中物体的数量。由于头部摄像头产生的数据频率约为 30 Hz(每秒 30 帧图像),将数据下采样为每 5 秒 1 帧图像,有助于生成更易于处理的数据集,同时保持适合理解儿童所见场景类型的分辨率。先前的研究表明,婴儿所见的视觉场景变化较慢3。本研究使用自定义脚本在视野中的玩具周围绘制边界框。图 4 展示了一组父母-婴儿二元关系的代表性结果。对父母(图 4A)和儿童(图 4B)视野中包含特定数量物体的场景数量进行独立样本 t 检验,结果显示,与父母相比,该儿童在视野中物体数量较少的场景出现频率更高(t(78) = 4.58,p < 0.001)。

另一种有用的方...

访问受限。请登录或开始试用以查看此内容。

讨论

本文概述了将头戴式摄像机应用于婴儿以记录其以自我为中心的视觉场景的基本方法。市面上可购买的头戴相机已足以满足绝大多数研究的需求。应将小巧、轻便且可携带的相机集成到柔软的布质帽子或头带中,并佩戴在儿童头部。一旦成功设计并实施,即可在实验室环境以及家庭环境中开展多种实验。通过收集到的视频,可以汇总并分析有关婴儿视觉生态发育的总体数据。

该方法最关键的步骤是将头戴相机正确佩戴在儿童头部。如果操作不当,相机位置会不准确,导致数据质量下降甚至无法使用。错误的佩戴方式还可能引发儿童拒绝佩戴,从而中断实验。我们将简要讨论一些确保头戴相机成功佩戴的建议。为确保顺利,应果断地一次性完成相机的佩戴,避免迟疑。如果研究人员在为儿童佩戴相机时表现出犹豫,或多次尝试调整,儿童拒绝配合的可能性将显著增加。实验人员应在正式实验前,先在愿意配合的幼儿或人体模型上练习帽子和相机设备的佩戴。佩戴相机时,应将其置于前额较低的位置,以确保能够清晰拍摄到面部前方的场景。将相机略微向下倾斜,可确保在婴儿进行主动操作时能清晰捕捉其双手的活动。此外,相机必须稳固、牢靠地固定在婴儿头部。相机稳定意味着图像清晰稳定;若头戴装置晃动,...

访问受限。请登录或开始试用以查看此内容。

披露

作者声明无利益冲突。

致谢

作者感谢陈宇博士在本手稿撰写及代表性结果部分所用数据方面提供的指导。感谢参与本研究的家庭同意将其用于图示和实验方案视频的拍摄,同时感谢Lydia Hoffstaetter对本手稿的仔细审阅。本研究得到了美国国立卫生研究院资助项目T32HD007475-22(J.I.B.,D.H.A.)、R01 HD074601(S.B.)、R01 HD028675(S.B.,L.B.S.)和F32HD093280(L.K.S.)的支持;美国国家科学基金会资助项目BCS-1523982(S.B.,L.B.S.)和CAREER IIS-1253549(S.B.,D.J.C.),国家科学基金会研究生研究基金项目#1342962(S.E.S.),以及印第安纳大学“新兴研究领域计划——学习:大脑、机器与儿童”项目(J.I.B.,S.B.,L.B.S.)的支持。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
头戴式摄像机LooxcieLooxcie 3
头戴式摄像机WatecWAT-230A
头戴式摄像机SupercircuitsPC207XP
头戴式摄像机KT&CVSN500N
头戴式摄像机SereneLifeHD Clip-On
头戴式摄像机ConbrovPen TD88
头戴式摄像机MvowizonSmiley Face Spy Button
头戴式摄像机NarrativeClip 2
头戴式摄像机MeCamDM06

参考文献

  1. James, W. The Principles of Psychology. , Henry Holt and Co. New York. (1890).
  2. Quine, W., Van, O. Word and object: An inquiry into the linguistic mechanisms of objective reference. , The MIT Press. Cambridge, MA. (1960).
  3. Yoshida, H., Smith, L. B. What's in view for toddlers? Using a head camera to study visual experience. Infancy. 13 (3), 229-248 (2008).
  4. Yu, C., Smith, L. B. Embodied attention and word learning by toddlers. Cognition. 125 (2), 244-262 (2012).
  5. Bambach, S., Smith, L. B., Crandall, D. J., Yu, C. Objects in the center: How the infant's body constrains infant scenes. Joint IEEE International Conference on Development and Learning and Epigenetic Robotics 2016. , 132-137 (2016).
  6. Adolph, K. E., Gilmore, R. O., Freeman, C., Sanderson, P., Millman, D. Toward open behavioral science. Psychological Inquiry. 23 (3), 244-247 (2012).
  7. Sanderson, P. M., Scott, J. J. P., Johnston, T., Mainzer, J., Wantanbe, L. M., James, J. M. MacSHAPA and the enterprise of exploratory sequential data analysis (ESDA). International Journal of Human-Computer Studies. 41 (5), 633-681 (1994).
  8. Pereira, A. F., Smith, L. B., Yu, C. A bottom-up view of toddler word learning. Psychonomic Bulletin & Review. 21 (1), 178-185 (2014).
  9. Yu, C., Smith, L. B. Joint Attention without Gaze Following: Human Infants and Their Parents Coordinate Visual Attention to Objects through Eye-Hand Coordination. PLOS ONE. 8 (11), e79659(2013).
  10. Jayaraman, S., Fausey, C. M., Smith, L. B. The faces in infant-perspective scenes change over the first year of life. PlOS ONE. 10 (5), e0123780(2015).
  11. Fausey, C. M., Jayaraman, S., Smith, L. B. From faces to hands: Changing visual input in the first two years. Cognition. 152, 101-107 (2016).
  12. Jayaraman, S., Fausey, C. M., Smith, L. B. Why are faces denser in the visual experiences of younger than older infants? Developmental Psychology. 53 (1), 38(2017).
  13. Clerkin, E. M., Hart, E., Rehg, J. M., Yu, C., Smith, L. B. Real-world visual statistics and infants' first-learned object names. Philosophical Transactions of the Royal Society B, Biological Sciences. 372, 20160055(2017).

访问受限。请登录或开始试用以查看此内容。

重印与许可

标签

婴儿视觉环境发展心理学摄像头放置视频下采样边界框分析物体计数视觉生态学手工编码