Abstract
在线数据收集方法有特殊的吸引力行为科学家，因为他们提供了更大的承诺，更具有代表性的数据样本比通常可以收集在大学校园里。然而，这样的方法可以广泛地采用之前，一些技术挑战必须克服 - 特别是在实验中严格控制的刺激特性是必要的。这里，我们提出的方法，用于收集关于视觉注意两个试验的性能数据。这两项测试要求控制在刺激的视觉角度（而这又需要观看距离，显示器的尺寸，屏幕分辨率等方面的知识）和刺激的时机（如测试涉及两种简单地闪过了移动的刺激或刺激在具体的利率）。从超过1700在线参与者收集了这些测试数据与收集在实验室为基础的版本完全相同的测试数据一致。这些结果建议适当的照顾，定时/刺激大小相关的任务可以部署在基于web的设置。
Introduction
在过去的五年里，一直关注于利用在线行为数据收集方法激增。虽然刊物的心理学领域绝大多数都采用潜在非代表受人口1（ 即，主要是大学本科生），往往相当小的样本量，以及（ 即通常在几十科目的范围），在线方式提供了更加多样化和更大的样品的承诺。举例来说，亚马逊的机械土耳其人的服务一直是最近的一些研究的主题，既描述了“工人”群体的特点和行为研究2-6使用这种人口。
然而，涉及到这样的方法之一显著关注的是相对缺乏对关键变量刺激控制。例如，在大多数的视觉心理物理学的任务，刺激在来描述可视角度。视觉角度的计算需要观看距离，屏幕大小，以及屏幕分辨率的精确测量。虽然这些参数是微不足道的测量和控制在实验室设置中（其中，有一个已知的显示器和参与者观看的刺激而在下巴休息置于从监视器的已知距离），同样是不在线数据收集如此。在网络环境下，不仅会参与者难免使用各种不同尺寸不同的软件设置的显示器，他们也可能不容易接触到的统治者/磁带措施，让他们来决定自己的显示器尺寸还是有必要的知识，以确定他们的软件和硬件设置（ 例如，刷新率，分辨率）。
在这里，我们描述了一套方法来收集关于视觉注意力两个著名的测试数据-的视图（UFOV）用现场范式7和多目标跟踪（MOT）的任务
这两个任务的数据是从1700多名参与者在海量网络公开课收集。这个在线样本平均表现在完全相同的任务9,10严格控制的实验室为基础的措施，得到的结果高度一致。我们的结果是由此与文献证明的在线数据收集方法的效果的增长的身体相一致，即使是在需要超过观看条件的具体的控制任务。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
该协议在美国威斯康星大学麦迪逊分校是经机构审查委员会。下列步骤已被写入作为导向程序员来复制所述的Web应用程序的自动化的过程。
1.登录参加
- 指导参与者使用互联网的计算机，然后导航到使用HTML5兼容的浏览器的Web应用程序： http://brainandlearning.org/jove 。有参与者坐在一个安静的房间免费杂念，随着计算机在一个舒适的高度。
注：由于整个实验的在线托管，任务也可以远程没有一个研究助理的存在下进行。对于参加者的所有说明都包括在Web应用程序。 - 有参加者输入一个唯一的ID，将与所收集的数据相关联，并存储在一个MySQL数据库平台即有参与者重用此ID，如果网上的任务在同一会话内完成。在登录之前，通过页面上的链接的同意书，获得参与者的同意。
注：参与者的进度每个任务之后保存，以便允许对任务2在不同的时间完成，如果需要的。指导参与者始终使用相同的ID，以启动其中一个离开的。
2.屏幕校准
注：Web应用程序通过在校准页面列出的三个步骤引导参与者http://brainandlearning.org/jove/Calibration 。
- 请参与者输入屏幕的对角线尺寸为英寸，在标记的文本框。
- 然而，如果参加者不知道该信息，具有参与者找到的CD或信用卡作为校准物体（
- 提示参与者来调整屏幕图像的尺寸以匹配物理对象的大小。基于对物理CD（4.7直径“）或信用卡（宽3.2”），除了代表图像的像素大小的测量结果，确定为象素以英寸为屏幕的比率。
- 检索显示器通过JavaScript的screen.width和screen.height属性的像素分辨率，以再计算的像素在屏幕的对角线尺寸。知道了这一点值与先前估计的像素到英寸比例（见步骤2.1.2），对角线尺寸转换为英寸。有参加者通过对话框确认此值。
- 然而，如果参加者不知道该信息，具有参与者找到的CD或信用卡作为校准物体（
- 提示参与者调整屏幕brigh适应度设置，直到在一个黑色到白色梯度所有16个频段的屏幕上显示清晰可辨。亮度设置不同的控制计算机。
- 请参与者坐在一个手臂的长度远离显示器放在舒适的位置，然后设置浏览器窗口到全屏模式。浏览器窗口必须处于全屏模式，以最大程度地使用的任务的视觉空间，并除去任何视觉干扰，如浏览器工具栏和桌面任务栏。
- 知道参与者的屏幕的分辨率和显示器的对角线尺寸，可以使用该web应用程序自动计算的象素/度换算值，基于一个50厘米观看距离。调整使用这个值中的任务的刺激的尺寸。报道如下基于这一切的视觉角度尺寸假设从显示器平均距离值。
- 一旦校准完成，要求参加者完成两个任务describ下面编。选择的任务的顺序或随机分配通过web应用程序的顺序。
3.多目标跟踪任务（MOT） - 图2
- 引进并通过自导教程MOT刺激，在看到熟悉的参与者： http://brainandlearning.org/jove/MOT/practice.php 。请参与者阅读一步一步的指导，演示如何审判将工作。一旦参与者完成阅读说明，提示参与者要经过实践考验。
- 设置的做法刺激到包括8点在0.8°，2°/秒的移动速度。使用HTML5 requestAnimationFrame API来，为了控制这种刺激运动优化浏览器的动画以60Hz的帧速率。
- 确保的点的2°偏心和CIRC的圆的边界内移动乐不超过参与者的屏幕的高度大，没有遮蔽的说明。
- 设定点，以在随机的轨迹，其中，在每个帧的点具有由0.2°的最大角度改变方向的60％的机会移动。如果一个点与另一个点或内部或外部的径向界限碰撞时，移动该点在相反的方向。
- 提示参与者跟踪蓝点（变化每实践试验1和2之间的点），其中所述黄点充当干扰项。
- 2秒后，更改蓝点黄点，继续移动它们之间原有的黄色小点再持续4秒。在每次试验结束时，停止点和突出的。
- 提示参与者通过按键响应高亮点是否被跟踪点或牵引点。接下来，促使参与者按下空格键，继续到下一个试验。
- 经过连续3次正确的试验，或最多6个试验，莫已经参加到完整的任务。
- 启动全MOT任务的参与者。 ：任务的例子可以在这里找到http://brainandlearning.org/jove/MOT 。
- 设置有16个点，在5℃/秒的移动2°偏心和10°之间的偏心空间内的完整的任务。如果参与者的屏幕不能容纳的10°的偏心圆，使用屏幕可含有代替的最大大小。
- 有参与者完成共45项试验：5试验由1跟踪点和10次试验的每个由2的混合物 - 5跟踪点。匹配所有其它参数的做法试验（参见3.1.3步骤- 3.1.6）。
- 记录参与者的反应和响应时间，一旦点被突出显示。
- 对于每一个15项试验，提出一个休息的参与者。在这些休息时间，显示参与者7;性能（正确试验百分比）屏幕上的块内。
4.从一个任务移动到另一个（可选步骤）
- 让参与者采取两个任务之间的休息时间。然而，重复步骤1和2，如果任务相同的登录会话期间没有完成。
中查看任务（UFOV）5有用的现场 - 图3
- 引进并通过自导教程UFOV刺激，在看到熟悉的参与者： http://brainandlearning.org/jove/UFOV/practice.php 。要求参与者要经过4个阶段的一步一步的指示，展示必须在任务期间将出席这两个目标刺激。
- 设置在中央靶刺激为1°笑脸该闪烁在屏幕与任一长或短发的中心。随机的整个试验笑脸的头发长度。
- 设置外围靶刺激为1°恒星闪烁在4°的偏心处的绕圆8的位置（0°，45°，90°，135°，180°，225°，270°和315°）1 。随机试验各地的明星的位置。
- 控制刺激时间，通过用于显示时间的帧数。通过使用HTML5 requestAnimationFrame API以优化每帧约17毫秒的帧刷新。
- 要检查是否预期的呈现时间达到了，使用JavaScript的的getTime（）方法来获得基于参与者的系统时钟的刺激时间的开始时间和结束时间。从这两个值计算所测量的显现时间，并使用该值进行数据分析。
- 对于每一个实践试验，等待500毫秒显示刺激约200毫秒（约12帧）之前。
- 按照预先的刺激sentation一个随机生成的灰度点阵为320毫秒（约19帧）组成的噪音屏蔽。
- 对于第一阶段，只显示核心目标，然后提示参与者通过其头发长度显示按键回应。
- 对于阶段2中，仅显示该外设目标，然后提示参与者点击1 8的径向线，代表8个可能的目标位置，以指示该星出现。
- 对于第3阶段，显示中央和外围目标的刺激，然后提示参与者提供响应笑脸的的类型和恒星的位置。
注：学员可自由选择这两种反应的顺序。 - 对于第4阶段中，显示除了外围干扰项既目标刺激，然后提示参与者两者目标刺激作出反应。为干扰项，显示1°广场呈现在剩余的7个城市，在4°偏心，我ñ除了8个平方，在2°偏心。
- 参与者的响应后，显示参与者的反馈（绿色的对勾的正确答案或红十字会不正确的答案）每次试验后，各项指标反应。
- 将参与到下一阶段的实践中获得3个连续正确试验后。第4阶段后，将参加到全任务。
- 提示参与者开始全面UFOV任务。 ：任务的例子可以在这里找到http://brainandlearning.org/jove/UFOV 。
- 目前同中央的刺激作为练习（见步骤5.1.1）。显示外设目标在7°的偏心在前面提到的8个位置之一（见步骤5.1.2）。 24牵引方块也被显示在3℃偏心，5°偏心，其余7°偏心位置。
- 使用3向下，1-向上楼梯过程来确定所述刺激的呈现时间：后连续3次正确试验减少刺激的持续时间和每个误差试验之后增加。
- 前前3逆转楼梯，使用2帧（大约每33毫秒）的步长。经过3逆转，使用1帧的步长。不同1帧和每个审判99帧之间的刺激出现前的延迟，并保持噪音屏蔽持续时间在320毫秒（约19帧）。
注：逆转是在该期间改变点或者从增大变为减小，或减少到增加。 - 结束任务时遇到的三个条件之一：楼梯的过程达到8逆转;参与者完成连续10次试验，在任一天花板的持续时间（99帧）或地板上的持续时间（1帧）;或参与者达到最大值的72试验。
- 记录下参与者的ř反应的影响和响应时间为在中央的刺激和周边刺激。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
离群去除
共有1,779参与者完成了UFOV任务。这些中，32参与者UFOV的阈值是从平均大于3个标准差，这表明它们无法作为指示执行的任务。这样，从这些参与者UFOV数据来自最后的分析除去，留下总共1747参与者。
数据来自1746参与者的MOT任务获得。两个参与者意味着精度分数即低于平均值超过3个标准差，从而从这些参与者中的数据被从最后的MOT分析除去，留下总共1744参与者。
UFOV
为UFOV任务，性能进行了计算，以获得一个检测阈值的平均显示时间在最后5次试验。演示时间反映被测刺激呈现杜配给每个参与者的屏幕上：从所述第一激励帧，直到结束的最后一个刺激帧被记录在使用参与者的系统时钟的毫秒开始的时间。检测阈值反映的最小显示持续时间，在其中与会者可以检测大约79％的准确度的周目标，由于我们使用了3向下，1-向上楼梯程序。平均UFOV阈值为64.7毫秒（SD = 53.5; 95％CI [62.17，67.19]）和得分17毫秒至315毫秒与45毫秒的平均阈值范围（参见图4）。该阈值分布是正偏，以1.92（SE = 0.06），偏度和峰度3.93（SE = 0.12）。
MOT
MOT性能通过计算平均精度（百分比正确的）为每个组的大小（ - 5 1）进行测定。 0.4精度范围 - 1.0集大小1至0.1 - 1.0集大小5，平均ACCURACY从0.99（SD = 0.06，95％CI [0.983，0.989]）为集大小介于1到0.71（SD = 0.17，95％CI [0.700，0.716]）的设置大小5位精度的分数从1.0不等分别为0.70集大小1和5（参见图5）。
重复测量ANOVA进行检验精度是否不同作为集大小的函数。有集合尺寸（F（4，6968）= 1574.70，P <0.001，Nρ2 = 0.475），使得精度降低作为集合大小的显著主要效果提高，显示了典型的MOT的效果。
图1.屏幕测量 。因为不是所有的在线参与者知道自己的屏幕尺寸 - 或很容易获得尺/卷尺来评估其屏幕尺寸 - 中校准过程要求受试者使用标准尺寸的常用物品（信用卡-以上; CD -下文）。 请点击此处查看该图的放大版本。
图2. MOT任务 。与会者认为一组随机移动的小圆点。在审判开始时，这些点的一个子集是蓝色的（目标），而其余的是黄色（干扰项）。后2秒的蓝色目标点改变为黄色，使得它们在视觉上从所述干扰项区分。参加者在精神上跟踪原来蓝色的目标点为4秒，直到响应屏幕上出现。在此屏幕上的点之一是白的主题做了一个“是（这是原目标之一）”;或“否（这不是原来的目标之一）”的决定（带按键）。 请点击此处查看该图的放大版本。
图3. UFOV任务，主屏幕包括一个中央刺激（黄色笑脸，可能有任一短或长的头发），外围刺激（实心白星的圆内）和外周分心（白色概述正方形）。该屏幕简要地闪过（与确定的时序自适应根据参与者的表现）。当响应屏幕上出现的参与者不得不做出两种反应：他们不得不表示（与按键）的笑脸是否有或长或短的头发，他们不得不来表示（点击）该8径向轮辐S中的目标刺激出现。然后，他们收到了关于这两种反应（在这里，他们选择了正确答案为中心任务，但对于外围任务的不正确的答案）反馈。 请点击此处查看该图的放大版本。
图4. UFOV结果。正如从主题表现的直方图清晰，不仅可以在参与者绝大多数的指示执行任务（〜1％，去除贫困/离群的表现），平均表现得正视范围从实验室为基础的措施预期完全相同的任务9。
图5. MOT结果。与以往作品10，MOT的准确性顺利随集大小掉了下来。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
在线数据采集的数超过标准实验室为基础的数据采集的优点。这些包括采样远远代表种群比典型的大学本科池在该领域中使用的潜力，并获得更大的样本大小在更短的时间比需要获得样本大小是一个数量级在实验室小的能力1-6（ 例如，从1,700+参与者当前纸张收集到的数据点是在不到一周获得）。
所描述的方法在网上都能够复制从之前进行的实验为基础的研究获得的结果：计算手段和范围的UFOV阈值和MOT精度在网上任务是堪比报道染料和Bavelier 9的UFOV任务，绿色和Bavelier结果10为MOT任务。然而，大样本的参与者也有分布的影响结果，特别是在UFOV任务。网上UFOV阈值分布比以往的实验室为基础的结果9个右倾斜。在斜这种差异可能是由于参加网上招聘的，尤其是在年龄方面，以更广泛变化的更加多样化：18在线样本范围- 70年来，而基于实验室的样品18〜 - 22岁9。
此外，通过在线方式收集数据，确实需要解决一些技术挑战 - 尤其是当接近刺激控制是必要的措施的有效性。两个任务此处使用需要在被提出的刺激的两个视角和刺激的定时控制。尤其是可视角度可能很难在网上设置来控制它的计算需要知道的观看距离，显示器大小和屏幕分辨率。这是特别有问题，因为日在网上很多参与者可能不知道自己的显示器大小或者以衡量他们的显示器尺寸方便地访问一个卷尺。
我们设计了一系列步骤，以克服这些问题。虽然我们可以完美解决显示器大小，我们仍然不能准确地控制实际的观看距离。我们建议学员坐在一个手臂的长度远离显示器，虽然这个距离可以参加各不相同。臂长度被选择，如美国人体测量数据表明，在男性和女性成年人之间的正向臂到达（其中参与者会使用来判断它们的距离远离屏幕的位置）的长度的差小，使得平均男REACH是63.8厘米同时位数女性REACH是62.5厘米11。虽然实验设置过程试图避免使用这种测量引入性偏差，有可能是潜在的高度偏差;未来的研究中收集的参与者和＃8217;高度信息将需要进行评估这种可能性。
至于刺激时机，我们计算的阈值时，考虑到预期的持续时间和刺激呈现的记录持续时间之间的差异。而不是依赖于预期的表现时间，我们通过测量参与者的系统时钟精确到毫秒的刺激帧的持续时间。不过，监视器显示的内在差距仍然是存在并且不能在现场测量无需物理控制的。它公知的是液晶显示器（LCD）， - 最可能监视我们的参与者能够访问-具有较长的响应时间，通常会发生变化取决于该像素的亮度的变化的开始和结束的值。后一个问题不在我们的研究关注的问题，因为我们总是在相同的背景电平切换到刺激水平。更大的担忧是，VARI在横跨参与者显示能力使得测量方差的很大一部分。我们认为，这不是一个问题，因为像素响应时间通常小于1帧速率（ 即 17毫秒）12,13，其在比较中UFOV阈值的大间的个体差异，似乎可以接受的。
该方法采用在这里克服上述挑战，从而使我们能够衡量两个任务的性能 - 在UFOV和MOT - 这都需要在可视角度和屏幕计时属性控制。由这些方法得到的结果与在标准的实验室设置的结果一致，从而证明其有效性。此外，由于这些任务只需要一个互联网连接和一个HTML5兼容的浏览器，这些任务可以采用不仅容易地收集从大致代表人口大样本，但也可以用来达到特定的子类型的逐张可以在地理上分离并因此难以iduals携带到公共实验室环境（ 例如，患者的特定类型的疾病或个体具有某种种族背景）。此外，与使用iPad和其它片剂的兴起，Web应用程序的设计可以很容易地以达到更大一些与会者适于与触摸屏技术更好的兼容性。而web应用可以在片剂经由一个HTML5浏览器当前运行，未来的迭代可以删除一个键盘的要求，并与界面按钮或手势取代响应密钥。
Subscription Required. Please recommend JoVE to your librarian.
Materials
| Name | Company | Catalog Number | Comments |
| Computer/tablet | It must have an internet connection and an HTML5 compatible browser | ||
| CD or credit card | May not be needed if participant already knows the monitor size |
References
- Henrich, J., Heine, S. J., Norenzayan, A. The weirdest people in the world. The Behavioral And Brain Sciences. 33, 61-135 (2010).
- Buhrmester, M., Kwang, T., Gosling, S. D. Amazon's Mechanical Turk: A new source of inexpensive, yet high-quality, data. Perspectives on Psychological Science. 6 (1), 3-5 (2011).
- Goodman, J. K., Cryder, C. E., Cheema, A. Data collection in a flat world: the strengths and weaknesses of mechanical turk samples. Journal of Behavioral Decision Making. 26 (3), 213-224 (2013).
- Mason, W., Suri, S. Conducting behavioral research on Amazon's Mechanical Turk. Behavior Research Methods. 44 (1), 1-23 (2012).
- Crump, M. J., McDonnell, J. V., Gureckis, T. M. Evaluating Amazon's Mechanical Turk as a tool for experimental behavioral research. PLoS One. 8, e57410 (1371).
- Lupyan, G. The difficulties of executing simple algorithms: why brains make mistakes computers don't. Cognition. 129, 615-636 (2013).
- Ball, K., Owsley, C. The useful field of view test: a new technique for evaluating age-related declines in visual function. J Am Optom Assoc. 64 (1), 71-79 (1993).
- Pylyshyn, Z. W., Storm, R. W. Tracking multiple independent targets: Evidence for a parallel tracking mechanism. Spatial Vision. 3 (3), 179-197 (1988).
- Dye, M. W. G., Bavelier, D. Differential development of visual attention skills in school-age children. Vision Research. 50 (4), 452-459 (2010).
- Green, C. S., Bavelier, D. Enumeration versus multiple object tracking: The case of action video game players. Cognition. 101 (1), 217-245 (2006).
- Chapter 1. Kodak Company. Ergonomics Design Philosophy. Kodak’s Ergonomic Design for People at Work. Chengalur, S. N., Rodgers, S. H., Bernard, T. E. , 2nd Edition, John Wiley & Sons, Inc. Hoboken, NJ. (2004).
- Elze, T., Bex, P. P1-7: Modern display technology in vision science: Assessment of OLED and LCD monitors for visual experiments. i-Perception. 3 (9), 621 (2012).
- Elze, T., Tanner, T. G. Temporal Properties of Liquid Crystal Displays: Implications for Vision Science Experiments. PLoS One. 7 (9), e44048 (2012).
