Summary
婴儿和幼儿以与父母截然不同的方式看待世界。头部安装摄像头提供了一个易于理解的机制, 以了解婴儿的视觉环境。该议定书为家庭或实验室的实验提供了指导原则, 以捕捉幼儿和婴儿的自我中心观点。
Abstract
婴儿和幼儿以基本的感官水平看待世界, 这与他们的父母有着根本不同的方式。这主要是由于生物的限制: 婴儿比他们的父母拥有不同的身体比例, 控制他们自己的头部运动的能力是不发达的。此类限制限制了可用的可视输入。本议定书的目的是为研究人员提供指导原则, 使用头部安装摄像头, 以了解发展中婴儿所经历的不断变化的视觉输入。成功使用此协议将使研究人员能够设计和执行在家庭或实验室中设置的开发儿童视觉环境的研究。从这个方法, 研究人员可以编译一个整体视图的所有可能的项目在儿童的视野。此方法不能直接测量孩子所看的内容。通过将这种方法与机器学习、计算机视觉算法和手工编码相结合, 研究人员可以生成高密度数据集, 以说明发展中婴儿的视觉生态学的变化。
Introduction
数十年来, 心理学家一直在寻求了解发展中婴儿的环境, 威廉？詹姆斯著名的描述为 "绽放, 嗡嗡的混乱1"。婴儿的日常体验通常是通过从第三人称视角拍摄自然主义戏剧与社会合作伙伴进行研究的。这些侧面或以上的视图通常显示杂乱的环境, 以及一个婴儿听到2的新单词的潜在引用者数量令人望而生畏。对外部观察者来说, 詹姆斯的描述是容易的, 但这种静止的, 第三人称的观点不是婴儿看待世界的方式。一个婴儿离地面更近, 可以移动他们的世界, 使物体更接近视觉探索。图 1说明了父子交互的第三人称视图。突出的是它们的观点之间的根本区别。也许, 婴儿接受的输入并不像父母和研究人员预期的那样混乱。采用头部安装摄像头的方法的目标是从第一人称的角度捕捉婴儿体验, 以便了解在整个开发过程中可获得的视觉环境。
头部安装的摄像头, 戴在帽子或头巾, 提供了一个窗口, 进入瞬间的视觉体验的发展婴儿。从这一角度出发, 对幼儿环境的结构和规律性的研究显得十分明显。头部安装的摄像头已经揭示了婴儿的视觉体验主要由手, 无论是他们自己和他们的社会合作伙伴的, 和脸看起来, 一旦被认为是必要的共同关注, 比预期要少得多3. 头部安装的摄像头还显示, 婴儿和他们的看护者创造了一些时刻, 当物体在视觉上占主导地位, 以婴儿的视野 (FOV) 为中心, 减少对象标签映射4固有的不确定性。
头部安装的摄像头根据头部运动捕捉婴儿的第一人称视图。这一观点与婴儿眼动没有完全同步, 也不能代表婴幼儿眼球运动, 只能与眼球追踪器一起捕捉。例如, 只有眼睛保持头部静止, 或头部移位, 同时保持眼睛固定在一个物体上的转变, 将导致婴儿的实际 FOV 和头部摄像头捕获的人之间的错位。然而, 在玩具游戏中, 婴儿通常把他们所关注的对象居中, 将他们的头、眼睛和玩具的位置与身体的中线5对准。失调是罕见的, 通常是由短暂的延迟之间的眼睛移位和陪同头部转3。因此, 头相机不太适合捕捉快速动态的注意力转移。头部安装摄像头的强度在于捕捉日常视觉环境, 揭示婴儿可利用的视觉内容。
下面的协议和代表性的结果将展示如何使用头部安装摄像头来研究婴幼儿的视觉环境。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
以下程序收集婴儿和幼儿在实验室和在家中的视觉体验的数据是由印第安纳大学机构审查委员会批准的。从婴儿的看护者那里得到了知情同意。
1. 选择头部摄像头
注:有许多小型、轻型和便携相机可以随时购买 (图 2)。
- 选择一个不显眼的头部摄像头, 不会影响被记录的场景。
- 使用临时粘合剂将照相机安装到一个舒适的帽子或头带上, 或者将相机安全地安装到附着在带头的小塑料板上。将相机放置在孩子的额头上 (图 2B, 左)。
- 根据相机的形状, 通过将小布料环缝成带头或帽子 (图 2B、中心和右边) 来安装相机。
- 确保帽子或头带是可调的, 以达到一个舒适和舒适的适合儿童的头部 (图 2A)。
注:直接地位于婴孩的眼睛之间的照相机理论上是理想的, 然而这不是相当可能的以当前技术。可以放置在前额低的小摄像头变得越来越可用。
- 使用临时粘合剂将照相机安装到一个舒适的帽子或头带上, 或者将相机安全地安装到附着在带头的小塑料板上。将相机放置在孩子的额头上 (图 2B, 左)。
- 如果照相机被送回家与父母, 保证父母能使用他们, 不用任何技术帮助。
- 在父母离开实验室之前, 训练他们如何操作头部摄像头。
- 用照相机将父母带回家, 头带或帽子, 以及描述打开相机和记录数据的程序的手。
- 确保摄像头足够轻, 让婴儿穿和忘记。
注:建议的重量小于30克3。任何选择的相机不应在使用过程中加热, 并必须在大量使用耐用。 - 如果实验设置要求孩子们自由移动, 请将录制的视频存储到内部存储卡中。否则, 使用拴在数据收集计算机上的照相机。
- 使用具有高品质镜头的相机, 更好地利用机器学习算法的最新进展, 将视觉场景细分为感兴趣的区域。
- 如果视觉场景将由研究人员手动编码, 使用相机, 可以捕捉图像, 在足够的质量, 以手动检查。
- 确保任何电池供电的摄像头都能记录所需的时间。
- 在开始实验或将相机送回家前不久, 测试头部摄像头以确保其工作正常。
2. 实验室数据收集
注:头部安装的摄像头可以很容易地添加到大多数实验。
- 有2-3 个实验者把相机放在孩子的头上: 一个实验者把头部摄像头, 一个监视器的头部摄像头的看法, 如果需要, 你分心的孩子。
- 要求家长确保孩子在安置过程中保持镇静, 分散孩子的注意力。
- 按如下三步执行摄像机放置。
- 脱敏婴儿在他们的头附近手行动。
- 请家长轻轻抚摸或抚摸婴儿的头和头发几次。
- 让实验者把帽子放在婴儿头上, 像在2.2.1.1 一样。
- 当孩子分心时, 让实验者把头部安装的摄像头放在上面。
- 使用按键玩具保持孩子的手繁忙。
- 在这个阶段有分心的实验者或家长的帮助, 轻轻地把孩子的手推到吸引人的玩具上, 这样孩子的手就不会去头部。
- 当孩子与玩具接触时, 拧紧孩子头上的帽子, 调整头部摄像头。
- 调整相机, 使当婴儿在他/她的脸前持有一个对象, 对象是中心的头部摄像头 FOV。
- 如果孩子坐着, 调整相机, 以便在孩子往下看时捕捉到孩子的大部分膝部。
- 脱敏婴儿在他们的头附近手行动。
- 把相机放在孩子的头上后, 让实验者离开房间开始录音。
- 如果相机被移出或移出, 请重新进入房间以校正相机。
- 如果孩子不允许重新应用照相机, 则终止实验。
注:为了在家里记录自然环境, 首先要把帽子和照相机放在婴儿身上, 并向家长展示如何定位相机。相机的设计和配合必须确保家长能够在没有技术帮助的情况下将帽子戴在孩子身上。
- 如果孩子不允许重新应用照相机, 则终止实验。
3. 亲子研究的数据收集
注: 以下代表的头部摄像头的方法使用自然主义玩具在实验室中展示的类型的分析, 可以对婴儿和他们的父母的自我中心的看法 (图 3A)。
- 装备的父母和孩子的头部安装摄像头, 如2.1 和2.2 所述。
- 使用头部摄像头捕捉 720 x 1280 像素的分辨率为30帧/秒的视频. 按照步骤2.3 和2.4 中的说明进行操作。
- 亚组每5秒一帧的视频流。
- 使用商业软件或内部开发的程序, 在视图内手动绘制每个玩具 (图 3B) 周围的边框 (见图 3C为示例框架)。
- 如果玩具的一部分由于被其他玩具遮挡或框架边缘的截断而可见, 则只有当玩具易于识别并包括玩具的所有可见部分时, 才会绘制边界框。
- 例如, 如果只有娃娃的腿是可见的, 在它的腿周围画一个边界框。如果一个对象 occludes 一半的娃娃, 留下的头发和腿可见, 然后画一个盒子, 包括头发和腿。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
一个简单而又信息丰富的分析方法是在每个时间点计算视图中对象的数量。由于磁头摄像机在大约30赫兹 (30 图像/秒) 上生成数据, 因此每5秒将数据向下采样到1个图像有助于生成一个更易于管理的数据集, 同时维护一个适合于了解儿童所看到的场景类型的解决方案。此前的研究表明, 婴儿3的视觉场景是缓慢变化的。自定义脚本用于在视图中绘制玩具周围的边界框。图 4显示了1个母婴对子的代表性结果。在父 (图 4A) 和子级 (图 4B) 之间, 通过一个独立的 t 检验来比较场景个数与给定数量的对象之间的对比度, 显示该子对象的场景数量比父级更少 (t (78) =4.58, p < 0.001)。
另一个信息分析是计算每个视图中对象的视觉大小。可以计算和分析每个对象在视图中所占的屏幕比例。对于父项和子项, 视图中的对象数与该视图中对象的可视大小之间存在负相关 (图 4C、长矛相关 r =-0.19、 p < 0.001 和图 4D、长矛相关 r=-0.23, p < 0.001)。即, 如果视图中有更多的对象, 则每个对象占用的屏幕比在视图中的对象少。对于这个对子, 孩子在视图中捕获了少于10个对象的更多场景, 而父对象在视图中展示了更多的物体。相似的结果以前在文献3,4,5,8,9,10,11,12 报告了 ,13。
图 1: 在播放过程中演示父母及其孩子不同观点的说明性示意图.请单击此处查看此图的较大版本.
图 2: 头部安装的照相机及其附件的示例.(A) 在家里和实验室里, 婴儿和幼儿都戴着头部安装的摄像头。(B) 将头部摄像头连接到头巾 (左、中) 和帽子 (右) 的方法示例。请单击此处查看此图的较大版本.
图 3: 在代表方法中使用的24个玩具.(左)代表框架从一个孩子的头部摄像头, 以说明较少的对象, 在视觉上更大的大小。(A, 右)一个代表性的框架从家长的头部摄像头, 说明他们的典型观点: 许多对象在视觉上较小的大小。(B) 玩具的尺寸一致, 从最长尺寸的2-7 英寸到较短尺寸的2-3 英寸不等。(C) 使用内部图形用户界面, 在每个玩具上绘制框, 或显示可识别的部分玩具。请单击此处查看此图的较大版本.
图 4: 来自单个对子参与玩具游戏的代表结果.直方图根据父 (A) 和子 (B) 视图中的对象数对场景数进行分组。视图中每个对象所占的屏幕比例与父 (C) 和子 (D) 视图中对象的数目相对应。黑线是最合适的线。请单击此处查看此图的较大版本.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
本文概述了将头部安装摄像头应用于婴幼儿的基本情况, 以捕捉他们的自我中心视觉场景。商业上可用的头摄像头足以为绝大多数的研究。小的, 轻便的, 便携的相机应该被纳入软织物帽子或头带, 并适用于儿童的头部。一旦成功地设计和实施, 就可以在实验室和家庭环境中运行各种实验。从采集到的视频中, 可以对发展中婴儿视觉生态学的综合数据进行整理和分析。
这个方法最关键的一步是将头部摄像头应用到孩子身上。如果做的不正确, 头部摄像头将是糟糕的放置和数据质量将减少或不可用。不正确的放置也可能会刺激孩子拒绝摄像机并停止实验。我们将简要讨论的建议, 以确保成功的头部摄像头的应用。相机应该在婴儿的一步, 毫不犹豫地放置。如果研究者担心把照相机放在孩子的头上, 或者多次尝试, 那么拒绝的可能性就会高得多。实验者应事先练习将帽子和照相机设备放在愿意学步的幼儿或模特身上。放置相机时, 必须将其放置在前额上, 以确保在脸部前方有清晰的视野。轻微地钓鱼相机向下将保证婴儿的手在积极的操作过程中的看法。照相机也应该是稳定和安全的婴儿的头部。稳定的相机意味着稳定和清晰的图像。如果帽子吐口水, 幼儿可以注意到这一点, 并把相机关闭。对于18月以下的儿童, 任何提请注意齿轮的东西都增加了拒绝。这包括让婴儿处理设备或谈论它之前, 把它放在孩子身上。对于18月以上的孩子来说, 事先谈论相机并要求孩子戴上它可能会更有效。有了一个训练有素的研究员, 在婴儿身上放置头部摄像头的成功率, 没有婴儿在实验中大惊小怪, 可以达到75% 左右。
当发送一个头部摄像头家庭与家人, 花相当长的时间来设计的帽子/头带和相机放置。父母把相机放在孩子头上的方式并不总是和训练有素的研究员一样精确。确保家长能很容易地申请瓶盖, 确保研究问题不要求严格规范。如果实验需要在头部精确放置摄像头, 考虑在实验室设置而不是在家中运行研究。
头摄像头将有限制, 他们可以捕捉。鉴于摄像机在婴儿头上的位置, 婴儿在从左向右移动头部时的水平视图将被广泛捕获。相机的垂直位移, 当婴儿上下看时, 将无法捕捉到最极端的视觉场景。这是特别正确的, 如果相机在婴儿的头部稍微向下倾斜, 以捕捉婴儿的手。
头部安装的摄像头显示, 儿童有自己的看法。在基本层面上, 幼儿和婴儿对世界的看法与他们的父母不同。幼儿用手塑造他们的视觉体验: 握住和操纵接近他们脸的物体4,5,8。由于幼儿的手臂非常短, 物体被紧紧地抓住, 在视野中显得很大。这些场面以清楚的焦点对象经常是持久的, 大约四秒在期间, 并且与减少头运动由婴孩4。不过, 重要的是要注意, 头部安装摄像头没有提供任何信息, 在哪里的参与者正在寻找。相反, 此协议可以定量地描述可供儿童使用的可视场景的范围。在整个戏剧会话中, 有很高的概率, 孩子的眼睛通常集中在视觉场景的中间, 在孩子面前5。头部摄像头允许我们调查儿童可利用的场景的总和。例如, 一张脸有多长时间可供他们查看？这些场景与面孔有多持久？孩子们经常看杂乱 (一堆玩具在地板上)与整齐 (天花板或空白墙) 的场景？这种自我中心的观点方法最适合于宏观尺度的数据, 在几天内收集了1亿张图像。如果研究问题需要比这些综合级问题更细粒度的分辨率, 头部安装的眼球追踪可能更适合捕捉婴儿视力的确切动态。
正如幼儿和成人有不同的视觉体验, 婴儿和幼儿的视觉体验不是发育静止的。随着儿童的成长, 可利用的视觉场景发生了戏剧性的变化, 而不同年龄的婴儿在视觉上也有发展的结构。例如, 当婴儿很小的时候, 他们的视觉环境是密集的, 非常少的人的面孔10。从这几个面孔的不均匀抽样, 婴儿可以推断和学会辨认和区分他们遇到的面孔。在大约8-10 月的年龄, 婴儿开始稳步地坐着, 爬行, 并与对象玩耍, 但与年长的婴儿相比, 他们的手工技能仍然相当有限。因此, 与较年长的婴儿相比, 这些婴儿在视觉场景中的频率更高, 与较少的物体相比较。然而, 从同样的8岁到10月的人的就餐场景也显示了混乱的13倍, 每个用餐场景都包含许多不同的对象。尽管有这种杂乱, 但视图中的对象有一个可预测的结构: 一组非常小的对象反复出现。这些重复的对象属于包含13婴儿所学的第一个单词的类别。因此, 虽然可以很容易地看待儿童的环境, 并认为他们的世界是一个 "绽放, 嗡嗡的混乱," 头部摄像头数据显示婴儿的自我中心的观点表明, 可预测的统计规律存在于他们的视野, 以抑制喧嚣和混乱。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
作者声明没有利益冲突。
Acknowledgments
作者感谢陈宇博士在创作这篇手稿时所做的指导, 以及在代表成果部分所使用的数据。我们感谢同意在《议定书》的数字和拍摄中使用的参与家庭以及丽迪雅 Hoffstaetter 对这份手稿的仔细阅读。这项研究得到了国家卫生研究所赠款 T32HD007475-22 (J.I.B.、D.H.A.)、R01 HD074601 (迪萨纳亚克)、R01 HD028675 (迪萨纳亚克、L.B.S.) 和 F32HD093280 (L.K.S.) 的支持。国家科学基金会资助 BCS-1523982 (迪萨纳亚克, l.b.) 和职业 IIS-1253549 (迪萨纳亚克, D.J.C.), 国家科学基金会研究生研究金项目 #1342962 (S.E.S.), 并由印第安纳大学通过新兴领域的研究主动学习: 大脑, 机器和儿童 (J.I.B., 迪萨纳亚克, L.B.S.)。
Materials
| Name | Company | Catalog Number | Comments |
| Head-camera | Looxcie | Looxcie 3 | |
| Head-camera | Watec | WAT-230A | |
| Head-camera | Supercircuits | PC207XP | |
| Head-camera | KT&C | VSN500N | |
| Head-camera | SereneLife | HD Clip-On | |
| Head-camera | Conbrov | Pen TD88 | |
| Head-camera | Mvowizon | Smiley Face Spy Button | |
| Head-camera | Narrative | Clip 2 | |
| Head-camera | MeCam | DM06 |
References
- James, W. The Principles of Psychology. , Henry Holt and Co. New York. (1890).
- Quine, W., Van, O. Word and object: An inquiry into the linguistic mechanisms of objective reference. , The MIT Press. Cambridge, MA. (1960).
- Yoshida, H., Smith, L. B. What's in view for toddlers? Using a head camera to study visual experience. Infancy. 13 (3), 229-248 (2008).
- Yu, C., Smith, L. B. Embodied attention and word learning by toddlers. Cognition. 125 (2), 244-262 (2012).
- Bambach, S., Smith, L. B., Crandall, D. J., Yu, C. Objects in the center: How the infant's body constrains infant scenes. Joint IEEE International Conference on Development and Learning and Epigenetic Robotics 2016. , 132-137 (2016).
- Adolph, K. E., Gilmore, R. O., Freeman, C., Sanderson, P., Millman, D. Toward open behavioral science. Psychological Inquiry. 23 (3), 244-247 (2012).
- Sanderson, P. M., Scott, J. J. P., Johnston, T., Mainzer, J., Wantanbe, L. M., James, J. M. MacSHAPA and the enterprise of exploratory sequential data analysis (ESDA). International Journal of Human-Computer Studies. 41 (5), 633-681 (1994).
- Pereira, A. F., Smith, L. B., Yu, C. A bottom-up view of toddler word learning. Psychonomic Bulletin & Review. 21 (1), 178-185 (2014).
- Yu, C., Smith, L. B. Joint Attention without Gaze Following: Human Infants and Their Parents Coordinate Visual Attention to Objects through Eye-Hand Coordination. PLOS ONE. 8 (11), e79659 (2013).
- Jayaraman, S., Fausey, C. M., Smith, L. B. The faces in infant-perspective scenes change over the first year of life. PlOS ONE. 10 (5), e0123780 (2015).
- Fausey, C. M., Jayaraman, S., Smith, L. B. From faces to hands: Changing visual input in the first two years. Cognition. 152, 101-107 (2016).
- Jayaraman, S., Fausey, C. M., Smith, L. B. Why are faces denser in the visual experiences of younger than older infants? Developmental Psychology. 53 (1), 38 (2017).
- Clerkin, E. M., Hart, E., Rehg, J. M., Yu, C., Smith, L. B. Real-world visual statistics and infants' first-learned object names. Philosophical Transactions of the Royal Society B, Biological Sciences. 372, 20160055 (2017).
