时间顺序判断可用于估算加工速度参数和注意权重，从而推断注意加工的机制。该方法可应用于多种视觉刺激，并适用于多种注意操控范式。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文内容
摘要
摘要
本实验方案描述了如何开展时序判断实验，以测量视觉处理速度和注意资源的分配。该方法基于三个组成部分的创新性协同结合：时序判断（TOJ）范式、Bundesen的视觉注意理论（TVA）以及分层贝叶斯估计框架。该方法提供了易于解释的参数，这些参数得到了TVA理论基础和神经生理学依据的支持。通过时序判断任务，可基于TVA对多种类型的刺激获得参数估计，而传统TVA范式主要局限于字母和数字刺激。最后，本模型所生成的具有明确意义的参数使得构建分层贝叶斯模型成为可能。这种统计模型能够在被试个体水平和群体水平上，通过统一的分析框架对结果进行综合评估。
为了验证这种新方法的可行性和广泛适用性，本文报告了三项实验，分别涉及合成显著性显示、自然图像以及线索化字母报告范式中的注意操控。
引言
注意在空间和时间上的分布方式是人类视觉感知中最重要的因素之一。由于显著性或重要性而捕获注意力的物体，通常会被更快且更准确地加工处理。在行为研究中，此类行为表现的提升已在多种实验范式中得到证实。例如，在探测检测任务中，将注意力分配到目标位置可以加快反应速度1。类似地，注意力还能提高报告字母的准确性2。这些发现证明了注意力能够增强信息加工，但它们对于这种增强是如何实现的机制问题，却始终无法提供解释。
本文表明，可以通过在基于模型的框架中测量单个刺激的处理速度，来评估注意力优势背后的低级机制，该模型将测量结果与注意力的精细组分相关联。利用此类模型，可以从处理速度的测量结果中推断出总体处理能力及其在各刺激间的分配情况。
Bundesen 的视觉注意理论（TVA）3 为这一研究提供了合适的模型。该理论通常应用于字母报告任务的数据。下文将解释 TVA 的基本原理，并展示如何将其扩展以建模通过（几乎）任意刺激获得的时间顺序判断（TOJ）数据。这种新方法可提供对加工速度和资源分配的估计，且结果易于解释。本文的实验方案详细说明了如何规划和实施此类实验，并阐述了数据的分析方法。
如上所述，基于TVA（视觉注意理论）的建模与注意参数估计通常采用字母报告任务范式。参与者需要报告一组短暂呈现且通常在不同延迟后被掩蔽的字母的身份。该方法可估计多个参数，其中包括视觉元素被编码进入视觉短时记忆的速率。该方法已成功应用于基础研究和临床研究中的诸多问题。例如，Bublak 及其同事4评估了在年龄相关认知功能缺损的不同阶段中，哪些注意参数受到影响。在基础注意研究中，Petersen、Kyllingsbæk 和 Bundesen5 使用 TVA 对注意驻留时间效应进行建模，即观察者在特定时间间隔内难以感知两个目标中的第二个目标的现象。字母报告范式的一个主要缺点是需要使用充分习得且可被有效掩蔽的刺激材料。这一要求将该方法限制在字母和数字范围内，若使用其他类型的刺激，则需要对参与者进行大量训练。
TOJ 范式既不需要特定刺激，也不需要掩蔽刺激。它可以与任何能够判断呈现顺序的刺激类型一起使用。这使得刺激范围几乎涵盖所有可能感兴趣的材料，包括直接的跨模态比较6。
利用时间顺序判断（TOJ）来研究注意，是基于“注意优先进入”这一现象，该现象用于衡量被注意刺激相比未被注意刺激被感知的时间提前程度。然而，分析TOJ数据的常用方法——即通过拟合观察者表现的心理测量函数（如累积高斯函数或逻辑函数）——无法区分注意究竟是提高了被注意刺激的加工速度，还是降低了未被注意刺激的加工速度7。这种模糊性是一个重要问题，因为一个刺激的感知究竟是真正得到了增强，还是仅仅由于竞争刺激的资源被剥夺而相对获益，这一问题在基础研究和实际应用中都具有重要意义。例如，在人机界面设计中，明确增强某一元素的显著性是否是以牺牲其他元素为代价的，具有极高的实际相关性。
时间顺序判断（TOJ）任务通常按以下步骤进行：首先呈现一个注视标记，持续一段短暂的延迟，通常是一个随机选择的、短于1秒的时间间隔。随后呈现第一个目标刺激，经过一个可变的刺激 onset 异步间隔（SOA）后呈现第二个目标刺激。在负SOA条件下，先呈现probe（即被注意的刺激）；在正SOA条件下，先呈现reference（即未被注意的刺激）；当SOA为零时，两个目标刺激同时呈现。
通常，呈现目标是指开启刺激。然而，在某些条件下，也可使用其他时间事件，例如已存在目标的闪烁或关闭8。
在时间顺序判断任务中，以非限时方式收集被试的反应，通常通过将按键与刺激的身份及呈现顺序相对应来实现（例如，如果刺激材料为正方形和菱形，则一个按键表示“先呈现正方形”，另一个按键表示“先呈现菱形”。重要的是，在评估时，这些判断必须转换为“探针刺激先呈现”（或“参考刺激先呈现”）的判断。
在本研究中，结合使用TVA加工模型与TOJ实验范式，以消除单一方法各自存在的问题。通过该方法，几乎可对任意视觉刺激估算出易于解释的速度参数，从而推断观察者的注意力如何分配给相互竞争的视觉元素。
该模型基于 TVA 关于单个刺激处理的方程，下文将对此进行简要说明。某一刺激先于另一刺激被编码进入视觉短时记忆的概率，被解释为判断该刺激先出现的概率。各个独立的编码持续时间呈指数分布9：
(1)
最大无效暴露时长 t0 是一个阈值，在此之前完全不会发生任何信息编码。根据TVA理论，对象 x 作为某一感知类别 i（如颜色或形状）成员的编码速率 vx,i 由速率方程给出，
. (2)
属于类别 i 的感觉证据强度用 ηx,i 表示，βi 是将刺激归类为类别 i 成员的决策偏向。该值需乘以注意权重。各个注意权重 wx 除以视野中所有对象的注意权重，因此相对注意权重的计算公式为
(3)
其中，R 代表所有类别，ηx,i 表示对象 x 属于类别 j 的感觉证据。πj 称为类别 j 的相关性，反映倾向于将项目归类到 j 的偏差。总体加工能力 C 是所有刺激及其分类加工速率的总和。有关 TVA 的更详细描述，请参见 Bundesen 和 Habekost 的著作9。
在我们的新方法中，描述单个刺激编码的公式1被转化为一个时间顺序判断（TOJ）模型。假设在某一实验任务中选择偏差和报告类别保持恒定，则两个目标刺激——探针刺激（p）和参考刺激（r）——的加工速率vp和vr取决于常数C以及注意权重，其形式分别为vp = C · wp和vr = C · wr。新的TOJ模型将被试判断探针刺激先出现的成功概率Pp1st表示为刺激呈现异步间隔（SOA）和加工速率的函数。其形式化表达如下：
（4）
关于如何从基本的TVA方程推导出该方程的更详细描述，参见Tünnermann、Petersen和Scharlau的研究7。
为简便起见，式（1）的模型中省略了参数 t0。根据原始的TVA理论，在TOJ任务中，t0 对两个目标应相同，因此可相互抵消。然而，这一假设有时可能不成立（见“讨论”部分）。
建议采用分层贝叶斯估计方法11对同步性判断（TOJ）数据拟合该方程。该方法可用于估计探测刺激和参考刺激的注意权重 wp 和 wr，以及总体信息处理速率 C。这些参数、由此得出的信息摄取速率 vp 和 vr，以及由注意引起的二者之间的差异，均可在个体和组水平上进行评估，并同时提供估计的不确定性。图1展示了该分层模型。在实验设计阶段，可方便地进行贝叶斯功效分析。
以下方案描述了如何设计、实施和分析时间顺序判断（TOJ）实验，从中可获得视觉刺激的加工速度参数和注意权重。本方案假设研究人员关注的是某种注意操控如何影响某些目标刺激的加工速度。
图1：贝叶斯估计过程中使用的图形模型。 圆圈表示估计的分布；双圆圈表示确定性节点；方框表示数据。图右侧给出了各元素之间的关系。位于圆角框（“plate”）外的节点表示TVA参数（参见引言部分）在组水平上的均值和离散度估计。“j 受试者”框内展示了在个体水平上，如何将注意权重（w）与总体加工速率（C）结合，得到刺激加工速率（v）。“i SOA”框展示了这些TVA参数如何通过引言中描述的函数Pp1st转换为每个SOA条件下的成功概率（θ），进而对应于二项分布的响应。因此，θ与每个SOA的重复次数（n）共同描述了观测数据点（y）。有关图形模型符号和解释的更多细节，请参见Lee和Wagenmakers23。为清晰起见，图中省略了表示参数差异的节点，这些确定性参数将在实验结果图中另行标示。请点击此处查看该图的放大版本。
访问受限。请登录或开始试用以查看此内容。
方案
注意：本方案中的某些步骤可以使用在 http://groups.upb.de/viat/TVATOJ 提供的自定义软件（附带安装说明）完成。在本方案中，这一系列程序和脚本统称为“TVATOJ”。
1. 刺激材料的选择
- 根据研究问题选择刺激材料。
注意：通常情况下，屏幕上会显示位于不同位置的两个目标。本方法所使用的刺激材料包括例如形状、数字、字母、弹出显示中的单一项目，以及自然图像中的物体。本实验方案使用了后三种类型。
注意：时间顺序判断插件中包含多种不同的刺激类型（"psylab_toj_stimulus" 为实验构建工具 OpenSesame 提供 TVATOJ12. - 创建新刺激类型时，应确保通过使目标属性对任务具有重要性，或选择目标属性被自动编码的刺激，从而使这些属性被编码以用于判断例如，单例项在突显显示中的表现。
2. 功率估算与规划
- 通过使用选定的模型、计划的设计（SOA分布和重复次数）、样本量以及假设参数来模拟数据集，进行贝叶斯功效分析。评估是否有可能实现研究目标（例如，参数之间存在特定差异）。如果功效不足，则通过增加或调整SOA或重复次数来修改设计，并重复分析。
- 若要使用提供的TVATOJ软件，请打开并编辑脚本 "exp1-power.R"。根据文件中的注释调整脚本以适应具体的分析。有关贝叶斯功效估计的一般信息，请参见Kruschke13。
3. 实验的设计或编程
- 使用实验构建工具或心理物理学呈现程序库来实施实验。
- 若要使用 TVATOJ 中提供的 OpenSesame TOJ 插件，请将 "psylab_toj_stimulus" 插件拖入试验呈现循环中。或者，在 OpenSesame 中打开 "simple-toj.osexp" 示例实验。
- 在 psylab_toj_stimulus 配置的下拉菜单 "Stimulus type" 中选择所需的刺激类型。如有需要，请按照 TVATOJ 中的说明添加新的刺激类型。
- 按照以下步骤设定试验。
- 针对每个实验条件，创建具有计划 SOA 的试验。当使用 psylab_toj_stimulus 插件和 OpenSesame 时，将所有变化的因素作为变量添加到试验循环中（例如 "SOA"）。
- 向表格中添加行，以实现所有因素组合（例如，7 个 SOA，从 -100 到 100 毫秒，与实验条件 "attention" 和 "neutral" 交叉）。调整循环的 "Repeat" 属性以生成足够的重复次数（参见实验方案步骤 2 以确定 SOA 的分布与重复次数）。
注意：通常情况下，一小时内最多可呈现 800 次试验。如果需要更多重复次数，应考虑将实验分为多个会话进行。确保在运行实验前，将循环的 "Order" 属性设置为 "Random"。 - 在 psylab_toj_stimulus 插件配置中，在相应字段中为变化的因素添加占位符（例如 "[SOA]"）。对于不变化的因素，在其字段中输入固定值。
注意：在运行实验之前，确保能够保证精确的时间控制。如果尚未验证新型显示器是否具备合适的时间行为，请使用 CRT 显示器，并与垂直回扫信号同步12。
4. 实验步骤
- 参与者的欢迎与说明
- 欢迎参与者，并向他们介绍实验的基本形式（基于计算机的感知实验）。告知参与者实验预计持续的时间。获得参与者参与实验的知情同意。
- 确保受试者具有正常视力或矫正至正常视力（最好通过简短的视力测试来确认）。某些缺陷（如色盲）若不影响特定类型刺激材料的研究问题，则可能是可接受的。
- 提供一个安静的隔间用于实验。调节座椅、下巴托、键盘位置等，以确保实验过程中最佳的视觉观察和反应条件。
- 让参与者了解该实验需要集中注意力和精神专注，可能会令人感到疲劳。提醒他们如有需要可短暂休息。然而，同样重要的是，不要在高度注意力负荷下进行这些简单任务。告知参与者出现一些错误是正常的。
- 指导与热身
- 在屏幕上呈现任务说明，详细说明刺激呈现顺序和反应收集程序。告知参与者，任务是报告目标到达的先后顺序，并说明在某些试验中这一判断可能较为困难。要求参与者在无法确定顺序时报告他们的第一印象；若完全没有第一印象，可进行猜测。
注意：在本研究所使用的二元时间顺序判断任务（TOJs）中，没有选项用于报告对同时性的感知。为避免受试者过度猜测，请勿明确指出存在目标刺激同时呈现的试验，仅将其视为上述指导语中所述的较难试验即可。 - 为避免试验过程中产生眼动，要求受试者注视屏幕上中心位置显示的一个标记，并要求他们将头部置于下颌托上保持稳定。
- 必要时请参与者短暂休息。告知他们何时可以休息，何时应避免休息。例如在目标呈现期间及反应之前）。
- 包含一个简短的培训环节，使参与者能够熟悉任务。为此，呈现实验试验中的一个随机子集（参见方案步骤 3.2）。
注意：由于该任务本身相对简单，通常进行十到二十次试验即可。提高参与者对该任务表现的信心可能具有优势，可通过减慢呈现速度并提供反馈来实现。 - 确认参与者已理解任务内容（让其复述），并确认其无其他疑问。
- 在屏幕上呈现任务说明，详细说明刺激呈现顺序和反应收集程序。告知参与者，任务是报告目标到达的先后顺序，并说明在某些试验中这一判断可能较为困难。要求参与者在无法确定顺序时报告他们的第一印象；若完全没有第一印象，可进行猜测。
- 进行主实验
- 让实验软件从主试次的呈现开始。离开操作间以进行主实验。
5. 基于模型的TOJ数据解析
- 将原始数据文件转换为每个SOA的"探针优先"判断次数。例如，运行TVATOJ提供的脚本"os2toj.py"。
- 运行贝叶斯估计程序，以估计主要参数wp和C，以及导出参数vp和vr，并计算这些参数之间的差异。为此，请根据文件中提供的说明编辑脚本"run-evaluation.R"后运行。
- 当采样完成后，即可评估与研究问题相关的各项差异。相关示例如下节所示。
访问受限。请登录或开始试用以查看此内容。
结果
下文报告了使用所提出方法获得的结果。三项实验测量了不同注意操控对三种高度不同类型的刺激材料的影响。这些刺激材料分别为：呈现于突显模式中的简单线段、自然图像中的动作空间物体，以及带有线索提示的字母目标。
实验1：显著性在突显显示中的作用
实验1旨在测量视觉显著性对合成模式中线段处理速度的影响。受试者需判断在一组有方向的背景线段中，左侧或右侧的两个目标线段中哪一个首先发生闪烁。在一半的试验中，探测刺激为颜色突显（见图2a）。关于基于时间顺序判断（TOJ）的突显评估的更多背景信息，可参见Krüger及其同事的一项研究8，该研究中操纵的是局部朝向显著性而非颜色。SOA的分布与频率如图2b所示。
根据方案步骤2所述，进行...
访问受限。请登录或开始试用以查看此内容。
讨论
本文所述方案介绍了如何进行简单的时序判断任务（TOJ），并使用基于基本刺激编码的模型对数据进行拟合。三项实验展示了如何在分层贝叶斯估计框架中评估结果，以考察注意力在高度不同刺激材料中的影响。在突显的弹出式显示中，注意力权重增加。此外，在自然图像中，动作空间对象也被估计出更高的权重。然而，由于在通过倒置图像干扰空间关系后仍存在持续的优势，这种权重的增加很可能源于另一种局部注意力优势。如实验3所使用的外周线索，对注意力权重表现出负面影响，但它在τ参数上产生了显著效应，该参数用于建模编码过程起始时间之间的延迟。
大多数实验步骤遵循进行时间顺序判断（TOJ）和感知实验的常规流程。然而需要注意的是，从全局限制理论（TVA）角度对结果进行解释时，必须将刺激材料编码进入 视觉短时记忆。应尽可能减少仅通过单纯检测刺激起始（onset detection）来完成TOJ的可能性。因此，如实验步骤1.2所述，关键在于目标属性要么能够被自动编码（某些刺激可默认具备此特性，例如显著性突显刺激），要么必须通过实验任务促进其编码（例如，要求被试报告刺激的身份信息）。...
访问受限。请登录或开始试用以查看此内容。
披露
作者无任何利益冲突需要披露。
致谢
本工作的部分研究得到了德国研究基金会（DFG）对 Ingrid Scharlau 资助项目 1515/1-2 和 1515/6-1 的支持。
访问受限。请登录或开始试用以查看此内容。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 个人计算机 | |||
| （开源）实验与评估软件 |
参考文献
- Posner, M. I. Orienting of attention. Quarterly Journal of Experimental Psychology. 32 (1), 3-25 (1980).
- Van der Heijden, A., Wolters, G., Groep, J., Hagenaar, R. Single-letter recognition accuracy benefits from advance cuing of location. Perception & Psychophysics. 42 (5), 503-509 (1987).
- Bundesen, C. A theory of visual attention. Psychological Review. 97 (4), 523-547 (1990).
- Bublak, P., et al. Staged decline of visual processing capacity in mild cognitive impairment and Alzheimer's disease. Neurobiology of Aging. 32 (7), 1219-1230 (2011).
- Petersen, A., Kyllingsbæk, S., Bundesen, C. Measuring and modeling attentional dwell time. Psychonomic Bulletin & Review. 19 (6), 1029-1046 (2012).
- Vroomen, J., Keetels, M. Perception of intersensory synchrony: A tutorial review. Attention, Perception, & Psychophysics. 72 (4), 871-884 (2010).
- Tünnermann, J., Petersen, A., Scharlau, I. Does attention speed up processing? Decreases and increases of processing rates in visual prior entry. Journal of Vision. 15 (3), 1-27 (2015).
- Krüger, A., Tünnermann, J., Scharlau, I. Fast and conspicuous? Quantifying salience with the Theory of Visual Attention. Advances in Cognitive Psychology. 12 (1), 20(2016).
- Bundesen, C., Habekost, T. Principles of Visual Attention: Linking Mind and Brain. , Oxford University Press. Oxford, UK. (2008).
- Plummer, M. JAGS: A program for analysis of Bayesian graphical models using Gibbs sampling. Proceedings of the 3rd international workshop on distributed statistical computing. , 124-125 (2003).
- Kruschke, J. K., Vanpaemel, W. Bayesian estimation in hierarchical models. The Oxford Handbook of Computational and Mathematical Psychology. Busemeyer, J., Townsend, J., Wang, Z. J., Eidels, A. , 279-299 (2015).
- Mathôt, S., Schreij, D., Theeuwes, J. OpenSesame: An open-source, graphical experiment builder for the social sciences. Behavior Research Methods. 44 (2), 314-324 (2012).
- Kruschke, J. K. Doing Bayesian data analysis: A tutorial with R, JAGS, and Stan. , 2nd, Academic Press. Boston, MA. (2015).
- Rensink, R. A., O'Regan, J. K., Clark, J. J. To see or not to see: The need for attention to perceive changes in scenes. Psychological Science. 8 (5), 368-373 (1997).
- Tünnermann, J., Krüger, N., Mertsching, B., Mustafa, W. Affordance estimation enhances artificial visual attention: Evidence from a change-blindness study. Cognitive Computation. 7 (5), 525-538 (2015).
- Shore, D. I., Klein, R. M. The effects of scene inversion on change blindness. The Journal of General Psychology. 127 (1), 27-43 (2000).
- Scharlau, I., Neumann, O. Temporal parameters and time course of perceptual latency priming. Acta Psychologica. 113 (2), 185-203 (2003).
- Schneider, K. A., Bavelier, D. Components of visual prior entry. Cognitive Psychology. 47 (4), 333-366 (2003).
- Scharlau, I., Neumann, O. Perceptual latency priming by masked and unmasked stimuli: Evidence for an attentional interpretation. Psychological Research. 67 (3), 184-196 (2003).
- Shore, D. I., Spence, C., Klein, R. M. Visual prior entry. Psychological Science. 12 (3), 205-212 (2001).
- Alcalá-Quintana, R., García-Pérez, M. A. Fitting model-based psychometric functions to simultaneity and temporal-order judgment data: MATLAB and R routines. Behavior Research Methods. 45 (4), 972-998 (2013).
- Hoffman, M. D., Gelman, A. The No-U-turn sampler: adaptively setting path lengths in Hamiltonian Monte Carlo. Journal of Machine Learning Research. 15 (1), 1593-1623 (2014).
- Lee, M. D., Wagenmakers, E. J. Bayesian cognitive modeling: A practical course. , Cambridge University Press. Cambridge, UK. (2014).
- Vangkilde, S., Bundesen, C., Coull, J. T. Prompt but inefficient: Nicotine differentially modulates discrete components of attention. Psychopharmacology. 218 (4), 667-680 (2011).
- Tünnermann, J., Scharlau, I. Peripheral Visual Cues: Their Fate in Processing and Effects on Attention and Temporal-order. Front. Psychol. 7 (1442), (2016).
访问受限。请登录或开始试用以查看此内容。
重印与许可
