为了模拟实验室环境，视觉任务的在线数据采集方法需要对刺激呈现进行严格控制。我们概述了使用网络应用程序收集两种视觉注意测试表现数据的方法。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文内容
摘要
摘要
在线数据收集方法对行为科学家具有特殊吸引力，因为与通常在大学校园内收集的数据样本相比，在线方法有望获得更大规模且更具代表性的人群样本。然而，在这些方法被广泛采用之前，必须克服一系列技术挑战——尤其是在需要对刺激属性进行严格控制的实验中。本文介绍了两种视觉注意测试中性能数据的收集方法。这两种测试均要求控制刺激的视觉角度（这又需要知晓观看距离、显示器尺寸、屏幕分辨率）， 等等。）以及刺激呈现的时间（因为测试中涉及短暂闪现的刺激或以特定速度移动的刺激）。从超过1,700名在线参与者收集的测试数据与在实验室环境下使用完全相同测试所获得的数据具有一致性。这些结果表明，只要谨慎实施，依赖刺激呈现时间/刺激大小的任务可以在基于网络的环境中开展。
引言
在过去五年中，人们对使用在线行为数据收集方法的兴趣激增。尽管心理学领域的绝大多数出版物一直依赖可能不具备代表性的被试群体1（即主要是大学生），并且样本量通常也相对较小（即通常仅为数十名被试），但在线方法有望获得更加多样化且规模更大的样本。例如，亚马逊的 Mechanical Turk 服务已成为多项近期研究的对象，这些研究既描述了“工作者”群体的特征，也探讨了将该群体用于行为科学研究的可行性2-6。
然而，与这些方法相关的一个重要问题是难以有效控制关键的刺激变量。例如，在大多数视觉心理物理学任务中，刺激通常以视角来描述。视角的计算需要精确测量观察距离、屏幕尺寸和屏幕分辨率。虽然这些参数在实验室环境中很容易测量和控制（例如使用已知的显示器，并让受试者在固定距离的下颌托架上观看刺激），但在在线数据收集中则难以实现。在在线环境中，参与者不仅不可避免地会使用各种不同尺寸的显示器并采用不同的软件设置，而且他们可能难以获得尺子或卷尺来测量显示器尺寸，也可能缺乏确定其软硬件设置所需的知识例如， 刷新率，分辨率
本文介绍了一组用于采集两种知名视觉注意测试——有用视野（Useful Field of View, UFOV）范式——数据的方法7 多目标追踪（MOT）任务8 ——同时尽可能避免在线测量中固有的变异来源。这些任务可由任何具备互联网连接和兼容HTML5的浏览器的参与者运行。对于不知道其屏幕尺寸的参与者，系统将引导其通过使用常见标准尺寸物品进行测量的过程（即， 信用卡/CD – 参见 图1).
这两项任务的数据来自一门大规模在线开放课程中超过1700名参与者。该在线样本的平均表现与在严格控制的实验室条件下进行的完全相同任务的测量结果高度一致9,10。因此，我们的结果与越来越多的文献一致，表明即使在需要对观察条件进行特定控制的任务中，在线数据收集方法同样有效。
访问受限。请登录或开始试用以查看此内容。
方案
该方案已获得威斯康星大学麦迪逊分校机构审查委员会的批准。以下步骤旨在为程序员提供指南，以复制所述网络应用程序的自动化流程。
1. 登录参与者
- 指导参与者使用可连接互联网的计算机，并通过支持 HTML5 的浏览器访问网络应用程序：http://brainandlearning.org/jove。请参与者坐在安静、无干扰的房间内，将计算机调整至舒适的高度。
注：由于整个实验均在线进行，因此参与者可在无研究人员在场的情况下远程完成任务。所有对参与者的指导说明均已内置于网络应用程序中。 - 要求参与者输入一个唯一标识符（ID），该 ID 将与采集并存储在 MySQL 数据库中的数据相关联。若在线任务无法在同一次会话中完成，应要求参与者重复使用同一 ID。在登录前，需通过页面上链接的知情同意书获取参与者的同意。
注：为便于在不同时间分次完成两项任务，系统会在每项任务结束后自动保存参与者的进度。应指导参与者始终使用相同的 ID，以便从中断处继续实验。
2. 屏幕校准
注意：该网络应用程序将引导参与者完成校准页面中所述的三个步骤，网址为：http://brainandlearning.org/jove/Calibration。
- 要求参与者在标注的文本框中输入屏幕的对角线尺寸（单位：英寸）。
- 然而，如果参与者不知道此信息，请其寻找一张光盘（CD）或信用卡作为校准物体（图1）。选定其中一种物体后，提示参与者将该物体紧贴屏幕，并与屏幕上显示的该物体的示意图对齐。
- 提示参与者调整屏幕上图像的大小，使其与实物尺寸一致。根据实物CD（直径4.7英寸）或信用卡（宽度3.2英寸）的实际尺寸，以及屏幕上对应图像的像素尺寸，计算出屏幕的像素与英寸之间的比例。
- 通过JavaScript的screen.width和screen.height属性获取显示器的像素分辨率，进而计算屏幕对角线的像素长度。结合该数值及先前估算的像素与英寸比例（见步骤2.1.2），将对角线长度换算为英寸。通过对话框提示参与者确认该数值。
- 提示参与者调节屏幕亮度，直至屏幕上显示的从黑到白的12个灰度条带均清晰可辨。亮度调节方式因计算机而异。
- 要求参与者以舒适姿势坐在距离显示器约一臂远的位置，然后将浏览器窗口设置为全屏模式。浏览器窗口必须处于全屏模式，以最大化任务所使用的视觉空间，并消除浏览器工具栏和桌面任务栏等视觉干扰。
- 已知参与者屏幕的分辨率和显示器的对角线尺寸后，利用网络应用程序基于50 cm的观看距离自动计算像素/度的换算值。使用该值调整任务中刺激图像的尺寸。下文报告的所有视觉角度尺寸均基于此假设的平均观看距离。
- 校准完成后，要求参与者完成下述两项任务。任务顺序可由研究者指定，或通过网络应用程序随机分配。
3. 多目标追踪任务（MOT）——图2
- 通过以下网址的自导式教程，向参与者介绍并使其熟悉多目标追踪（MOT）刺激材料：http://brainandlearning.org/jove/MOT/practice.php。请参与者逐步阅读说明，了解试验的运行方式。当参与者完成阅读说明后，提示其进入练习试验阶段。
- 设置练习刺激，包含8个点，点间距为0.8°，移动速度为2°/秒。使用HTML5的requestAnimationFrame API优化浏览器动画，以60 Hz的帧率控制刺激运动。
- 确保点在偏心度为2°的圆形区域内移动，且圆形范围不超过参与者屏幕的高度，同时不遮挡说明文字。
- 设置点沿随机轨迹移动，每一帧中每个点有60%的概率以最大0.2°的角度改变方向。若某点与另一点或内/外径向边界发生碰撞，则使其向反方向移动。
- 提示参与者追踪蓝色点（每次练习试验中蓝色点数量在1至2个之间变化），黄色点作为干扰项。
- 2秒后，将蓝色点变为黄色点，并继续在原始黄色点中移动4秒。每次试验结束时，停止所有点的运动，并高亮其中一个点。
- 提示参与者通过按键判断被高亮的点是否为曾追踪的目标点或干扰点。随后提示其按下空格键进入下一次试验。
- 当参与者连续完成3次正确反应，或最多完成6次练习试验后，进入正式任务阶段。
- 开始为参与者执行完整的MOT任务。任务示例可在以下网址查看：http://brainandlearning.org/jove/MOT。
- 设置正式任务包含16个点，在偏心度2°至10°之间的环形区域内以5°/秒的速度移动。若参与者的屏幕无法容纳10°偏心度的圆形区域，则使用屏幕可容纳的最大尺寸代替。
- 要求参与者共完成45次试验：其中包括5次追踪1个目标点的试验，以及每次分别追踪2至5个目标点的试验各10次。其余所有参数与练习试验保持一致（参见步骤3.1.3 - 3.1.6）。
- 当某个点被高亮时，记录参与者的反应及其反应时间。
- 每完成15次试验后，建议参与者休息一次。在休息期间，在屏幕上显示该阶段内参与者的表现（正确试验的百分比）。
4. 从一个任务切换到另一个任务（可选步骤）
- 允许参与者在两项任务之间休息。但如果任务未在同一次登录会话中完成，则需重复步骤 1 和 2。
5. 有用视野任务（UFOV）——图3
- 通过自导式教程向参与者介绍并使其熟悉 UFOV 刺激，教程可见于：http://brainandlearning.org/jove/UFOV/practice.php。要求参与者完成四个阶段的逐步指导，以熟悉任务中需要关注的两种目标刺激。
- 将中央目标刺激设为一个1°的笑脸，该笑脸在屏幕中央闪烁，其头发长度为长发或短发。在不同试验中随机化笑脸的发长。
- 将外周目标刺激设为一个1°的星形，在距中心4°偏心度的8个位置之一（0°、45°、90°、135°、180°、225°、270° 和 315°）闪烁。在不同试验中随机化星形的位置。
- 通过用于呈现时间的帧数来控制刺激持续时间。使用 HTML5 的 requestAnimationFrame API，将每帧约17毫秒的刷新率优化至最佳。
- 为验证是否达到预期的呈现时间，使用 JavaScript 的 getTime() 方法，基于参与者系统时钟获取刺激呈现的开始和结束时间。根据这两个时间值计算实测的呈现时间，并在数据分析中使用该值。
- 在每次练习试验中，先等待500毫秒，然后显示刺激约200毫秒（约12帧）。
- 刺激呈现后，跟随一个噪声掩蔽，由随机生成的灰度点阵组成，持续320毫秒（约19帧）。
- 在第一阶段，仅显示中央目标，然后提示参与者通过按键回答所显示的发长类型。
- 在第二阶段，仅显示外周目标，然后提示参与者点击8条径向线中的一条，代表8个可能的目标位置，以指示星形出现的位置。
- 在第三阶段，同时显示中央和外周目标刺激，然后提示参与者对笑脸类型和星形位置均作出响应。
注：参与者可自由选择这两个响应的顺序。 - 在第四阶段，除两个目标刺激外，还添加外周干扰刺激，然后提示参与者对两个目标刺激作出响应。干扰刺激包括在其余7个4°偏心度位置呈现的1°方块，以及另外8个在2°偏心度位置呈现的方块。
- 在参与者作出响应后，每次试验结束后为其提供反馈（正确答案显示绿色对勾，错误答案显示红色叉号），分别针对每个目标响应。
- 当参与者连续三次正确完成试验后，进入下一练习阶段。完成第四阶段后，进入完整任务阶段。
- 提示参与者开始完整的 UFOV 任务。任务示例可见于：http://brainandlearning.org/jove/UFOV。
- 呈现与练习阶段相同的中央刺激（见步骤5.1.1）。在外周目标刺激中，将其置于7°偏心度的前述8个位置之一（见步骤5.1.2）。同时在3°、5°偏心度以及其余7°偏心度位置呈现24个干扰用的1°方块。
- 采用3次正确下降、1次错误上升的阶梯法（3-down, 1-up staircase procedure）确定刺激呈现时间：连续3次正确试验后缩短刺激持续时间，每次错误试验后延长持续时间。
- 在阶梯程序的前3次反转前，使用2帧的步长（约每33毫秒）；在3次反转后，使用1帧的步长。每次试验中，刺激开始前的延迟在1帧至99帧之间变化，噪声掩蔽持续时间保持为320毫秒（约19帧）。
注：反转点是指持续时间由增加转为减少或由减少转为增加的时刻。 - 当满足以下任一条件时结束任务：阶梯程序达到8次反转；参与者在最高持续时间（99帧）或最低持续时间（1帧）连续完成10次试验；或参与者完成最多72次试验。
- 记录参与者对中央刺激和外周刺激的响应及响应时间。
访问受限。请登录或开始试用以查看此内容。
结果
异常值去除
共有1,779名参与者完成了 UFOV 任务。其中，32名参与者的 UFOV 阈值超过平均值3个标准差，表明他们无法按照指示完成任务。因此，这些参与者的 UFOV 数据被从最终分析中剔除，剩余共计1,747名参与者。
MOT任务的数据来自1,746名参与者。其中两名参与者的平均准确率得分低于总体均值超过3个标准差，因此在最终的MOT分析中剔除了这两位参与者的数据，剩余参与者总数为1,744名。
超大视野
在 UFOV 任务中，通过计算最后 5 次试验的呈现时间的平均值来确定表现，以获得检测阈值。呈现时间反映了每位参与者屏幕上实际测量的刺激呈现持续时间：从第一个刺激帧开始到最后一个刺激帧结束的时间，以毫秒为单位，由参与者的系统时钟记录。检测阈值反映了在采用 3 下 1 上阶梯法程序的情况下，参与者能够以约 79% 的准确率检测到外周目标所需的最短呈现时间。UFOV 阈值的平均值为 64.7 毫秒（SD...
访问受限。请登录或开始试用以查看此内容。
讨论
在线数据收集相较于传统的基于实验室的数据收集具有多项优势。这些优势包括能够抽样比该领域常用的典型大学生群体更具代表性的样本群体，以及能够在更短时间内获得远大于实验室样本量的数据量（实验室获取的样本量通常要小一个数量级）1-6（例如，本文收集的来自 1,700 多名参与者的数据点在不到一周的时间内完成）。
所描述的在线方法能够重现先前基于实验室研究获得的结果：在线任务中计算出的 UFOV 阈值和多目标追踪（MOT）准确率的均值及范围，与 Dye 和 Bavelier9 报道的 UFOV 任务结果以及 Green 和 Bavelier10 报道的 MOT 任务结果相当。然而，较大的参与者样本量确实对结果分布产生了影响，尤其是在 UFOV 任务中。在线 UFOV 阈值的分布比以往基于实验室的结果9更加右偏。这种偏度差异可能归因于在线招募的参与者具有更高的多样性，特别是年龄范围更广：在线样本的年龄范围为 18 至 70 岁，而基于实验室的样本年龄范围为 18 至 22 岁9<...
访问受限。请登录或开始试用以查看此内容。
披露
本研究由瑞士国家科学基金会（100014_140676）、美国国家科学基金会（1227168）以及美国国立卫生研究院国家眼科研究所（P30EY001319）资助。
致谢
作者无任何利益冲突需要披露。
访问受限。请登录或开始试用以查看此内容。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 计算机/平板设备 | 必须具备互联网连接和支持 HTML5 的浏览器 | ||
| 光盘或信用卡 | 如果参与者已知显示器尺寸，则可能不需要 |
参考文献
- Henrich, J., Heine, S. J., Norenzayan, A. The weirdest people in the world. The Behavioral And Brain Sciences. 33, 61-135 (2010).
- Buhrmester, M., Kwang, T., Gosling, S. D. Amazon's Mechanical Turk: A new source of inexpensive, yet high-quality, data. Perspectives on Psychological Science. 6 (1), 3-5 (2011).
- Goodman, J. K., Cryder, C. E., Cheema, A. Data collection in a flat world: the strengths and weaknesses of mechanical turk samples. Journal of Behavioral Decision Making. 26 (3), 213-224 (2013).
- Mason, W., Suri, S. Conducting behavioral research on Amazon's Mechanical Turk. Behavior Research Methods. 44 (1), 1-23 (2012).
- Crump, M. J., McDonnell, J. V., Gureckis, T. M. Evaluating Amazon's Mechanical Turk as a tool for experimental behavioral research. PLoS One. 8, e57410(1371).
- Lupyan, G. The difficulties of executing simple algorithms: why brains make mistakes computers don't. Cognition. 129, 615-636 (2013).
- Ball, K., Owsley, C. The useful field of view test: a new technique for evaluating age-related declines in visual function. J Am Optom Assoc. 64 (1), 71-79 (1993).
- Pylyshyn, Z. W., Storm, R. W. Tracking multiple independent targets: Evidence for a parallel tracking mechanism. Spatial Vision. 3 (3), 179-197 (1988).
- Dye, M. W. G., Bavelier, D. Differential development of visual attention skills in school-age children. Vision Research. 50 (4), 452-459 (2010).
- Green, C. S., Bavelier, D. Enumeration versus multiple object tracking: The case of action video game players. Cognition. 101 (1), 217-245 (2006).
- Chapter 1. Kodak Company. Ergonomics Design Philosophy. Kodak’s Ergonomic Design for People at Work. Chengalur, S. N., Rodgers, S. H., Bernard, T. E. , 2nd Edition, John Wiley & Sons, Inc. Hoboken, NJ. (2004).
- Elze, T., Bex, P. P1-7: Modern display technology in vision science: Assessment of OLED and LCD monitors for visual experiments. i-Perception. 3 (9), 621(2012).
- Elze, T., Tanner, T. G. Temporal Properties of Liquid Crystal Displays: Implications for Vision Science Experiments. PLoS One. 7 (9), e44048(2012).
访问受限。请登录或开始试用以查看此内容。
重印与许可
