Summary
该协议提出了一个实验心理物理学范式，以获得大量的相似性判断，以及随之而来的分析工作流程。该范式探测上下文效应，并根据至少五维的欧几里得空间对相似性数据进行建模。
Abstract
相似性判断通常用于研究心理表征及其神经相关性。这种方法已被用于表征许多领域的感知空间：颜色，对象，图像，单词和声音。理想情况下，人们可能想要比较所有刺激对之间的感知相似性的估计，但这通常是不切实际的。例如，如果要求受试者比较两个项目的相似性与其他两个项目的相似性，则比较次数会随着刺激集大小的第四次方而增长。另一种策略是要求受试者对孤立对的相似性进行评级，例如，在Likert量表上。这要高效得多（评级数量随集合大小而不是四分之一而呈二次增长），但这些评级往往不稳定且分辨率有限，并且该方法还假定没有上下文影响。
在这里，提出了一种用于有效收集相似性判断的新颖排名范式，以及测试欧氏距离模型是否考虑数据的分析管道（提供的软件）。典型的试验包括围绕中心参考刺激的八个刺激：受试者按照刺激与参考的相似性顺序对刺激进行排名。通过明智地选择每次试验中使用的刺激组合，该方法具有内部控制，以确保一致性和上下文效果。该方法对于从最多五维的欧几里得空间中提取的刺激进行了验证。
该方法通过一个测量37个单词之间相似性的实验来说明。每个试验都会产生28个成对比较的结果，“A与参考文献的相似性是否比B与参考文献的相似性更相似？虽然直接比较所有对的刺激需要221445试验，但这种设计能够从222次试验中获得的5994次此类比较中重建感知空间。
Introduction
人类在心理上处理和表示传入的感官信息，以执行各种任务，例如物体识别，导航，对环境进行推断等等。相似性判断通常用于探测这些心理表征1。了解心理表征的结构可以为概念知识的组织提供见解2。通过将相似性判断与大脑激活模式相关联，也可以深入了解神经计算3。此外，相似性判断揭示了感知中突出的特征4。研究心理表征在发育过程中如何变化可以揭示它们是如何被学习的5。因此，相似性判断为大脑中的信息处理提供了有价值的见解。
使用相似性的心理表征的常见模型是几何空间模型6，7，8。应用于感觉域，这种模型通常被称为感知空间9。空间中的点表示刺激，点之间的距离对应于它们之间的感知差异。从相似性判断中，可以得到对相异性的定量估计。然后，这些成对相差（或感知距离）可用于 通过 多维缩放对感知空间进行建模10。
收集相似性判断的方法有很多种，每种方法都有其优点和缺点。获得不同性定量测量的最直接方法是要求受试者在一定量表上对每对刺激之间的差异程度进行评分。虽然这相对较快，但在长时间的会议中，估计往往不稳定，因为受试者无法回到以前的判断，并且如果存在上下文影响，则无法检测到。（在这里，上下文效应被定义为基于未进行比较的其他刺激的存在，两个刺激之间判断的相似性的变化。或者，可以要求受试者将所有刺激对与所有其他刺激对进行比较。虽然这将产生更可靠的差异秩顺序，但比较的数量需要与刺激数量的四次方进行缩放，使得仅对于较小的刺激集是可行的。更快的替代方法（如分类到预定义的簇数11 或自由排序）有其自身的局限性。自由排序（成任意数量的堆）是直观的，但它迫使受试者对刺激进行分类，即使刺激不容易分类。较新的多排列方法（反向 MDS）规避了许多这些限制，并且非常有效12。然而，这种方法要求受试者将他们的心理表征投射到2D欧几里得平面上，并以特定的几何方式考虑相似性，假设相似性结构可以从平面上的欧几里得距离中恢复。因此，仍然需要一种有效的方法来收集大量的相似性判断，而不对判断背后的几何形状做出假设。
这里描述的是一种既合理有效又避免了上述潜在陷阱的方法。通过要求受试者在每次试验中按与中心参考的相似性顺序对刺激进行排名13，可以直接探测相对相似性，而无需假设受试者反应的几何结构。该范式重复了相同和不同上下文的比较子集，允许直接评估上下文效应以及根据选择概率获取分级响应。分析过程将这些等级判断分解为多个成对比较，并使用它们来构建和搜索解释判断的感知空间的欧几里得模型。该方法适合于详细描述中等大小的刺激集的表示（例如，19至49）。
为了证明这种方法的可行性，进行了一项实验，使用一组37只动物作为刺激。在10个一小时的会议过程中收集数据，然后针对每个受试者单独分析。分析揭示了受试者之间的一致性和可忽略不计的上下文影响。它还评估了刺激与其感知空间的欧几里得模型之间的感知差异的一致性。本文概述的范式和分析程序是灵活的，预计将对有兴趣表征一系列感知空间的几何性质的研究人员有用。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
在开始实验之前，所有受试者都根据机构准则和《赫尔辛基宣言》提供知情同意。在这项研究中，该协议得到了威尔康奈尔医学院机构审查委员会的批准。
1. 安装和设置
- 从 GitHub 存储库下载代码，相似之处（https://github.com/jvlab/similarities）。在命令行中，运行：git clone https://github.com/jvlab/similarities.git。- 如果未安装 git，请从存储库中将代码作为压缩文件夹下载。
注意：存储库中有两个子目录：experiments，其中包含两个示例实验，以及 analysis，它包含一组python脚本来分析收集的相似性数据。在实验目录中，一个（word_exp）使用单词刺激，另一个（image_exp）显示图像刺激。对Python的一些熟悉会有所帮助，但不是必需的。假定熟悉命令行：多个步骤需要从命令行运行脚本。 - 安装以下工具并设置虚拟环境。
- python 3：有关说明，请参阅链接：https://realpython.com/installing-python/。此项目需要 Python 版本 3.8。
- PsychoPy：从链接（https://www.psychopy.org/download.html）下载适用于相关操作系统的最新独立版本的PsychoPy，使用蓝色按钮，在“安装”下。该项目使用PsychoPy版本2021.2;提供的示例实验必须使用下面指定的正确版本的PsychoPy运行。
- conda：从链接（https://docs.conda.io/projects/conda/en/latest/user-guide/install/index.html#regular-installation），通过Miniconda或Anaconda下载conda，用于相关操作系统。
- 在命令行中，运行以下命令以使用所需的 python 包创建虚拟环境：
cd ~/相似性
conda env create -f environment.yaml - 检查虚拟环境是否已创建并激活，如下所示：
应列出venv_sim_3.8号的conda env列表
conda 激活 venv_sim_3.8 # 进入虚拟环境
conda 停用 # 以在运行脚本后退出虚拟环境
注意：在环境中运行脚本有时可能会很慢。运行脚本时，请最多等待一分钟，以便在命令行中看到任何打印的输出。
- 若要确保下载的代码按预期工作，请使用以下步骤运行提供的示例实验。
注意：实验目录（相似性/实验）包含示例实验（word_exp和image_exp），使用两种刺激：单词和图像。- 打开PsychoPy。转到 “查看”，然后单击“ 编码器”，因为 PsychoPy 的默认构建器无法打开.py文件。转到 “文件”，然后单击“ 打开”，然后打开 word_exp.py （相似性/实验/word_exp/word_exp.py）。
- 若要加载实验，请单击绿色的“ 运行试验” 按钮。输入姓名缩写或名称和会话编号，然后单击 确定。
- 按照说明进行操作，并进行几次试验，以检查单击时刺激是否变灰。准备退出时按 逃生 。
注意：PsychoPy将全屏打开，首先显示说明，然后进行一些试验，使用占位符文本而不是刺激词。单击时，字词灰显。单击所有单词后，下一次试用开始。在任何时候，可以通过按 逃生 键来终止PsychoPy。如果程序在步骤 1.3.2 或 1.3.3 期间终止，则用户的操作系统可能需要访问键盘和鼠标。如果是这样，将在PsychoPy Runner窗口中打印一条描述性错误消息，这将指导用户。 - 接下来，检查图像实验是否使用占位符图像运行。打开PsychoPy。转到 “文件”。单击“ 打开 ”，然后选择 “image_exp.psyexp （相似性/实验/image_exp/image_exp.psyexp）。
- 要确保使用正确的版本，请单击 齿轮 图标。从选项 使用PsychoPy版本 中选择 2021.2 从下拉菜单中。
- 和以前一样，单击绿色的 “运行实验 ”按钮。输入姓名缩写或名称和会话编号，然后单击 确定。
注意：与步骤1.3.2一样，PsychoPy将首先显示说明，然后在加载图像后进行演示。每个试验将包含围绕中心图像的八个占位符图像。单击图像会将其变灰。可以通过按 “逃生”退出程序。 - 导航到每个试验目录中的数据目录以查看输出：
相似性/实验/image_exp/数据
相似性/实验/word_exp/数据
注意：实验数据将写入数据目录。响应.csv文件包含逐个试用的单击响应。日志文件包含所有按键和鼠标单击。如果PsychoPy意外退出，它对于故障排除非常有用。
- （可选）要验证分析脚本是否按预期工作，请按如下方式重现“代表性结果”部分中的某些数字。
- 为预处理的数据创建一个目录：
cd ~/相似性
mkdir 样本-材料/主题-数据/预处理 - 将所有响应.csv文件的原始数据合并到一个 json 文件中。在命令行中，运行以下命令：
CD 相似性
康达激活 venv_sim_3.8
python -m analysis.preprocess.py - 出现提示时，为输入参数输入以下值：1） 主体数据的路径：./sample-materials/subject-data，2），实验名称：sample_word，以及 3） 受试者 ID： S7。json 文件将处于相似性/示例材料/主题数据/预处理状态。
- 预处理数据后，请按照项目 README 中再现数字下的步骤操作。这些分析脚本将在稍后运行，以分析从用户自己的实验中收集的数据。
- 为预处理的数据创建一个目录：
2. 通过设置自定义实验收集数据
注意：在步骤3.1之前，概述了图像和文字实验的过程。在此步骤之后，两个实验的过程是相同的，因此没有明确提及图像实验。
- 选择要运行的实验。导航到“实验”字样（相似性/实验/word_exp）或图像实验（相似性/实验/image_exp）。
- 决定刺激的数量。刺激集的默认大小为 37。要更改此设置，请在源代码编辑器中打开配置文件（similarities/analysis/config.yaml）。在分析配置文件的num_stimuli参数中，根据实验设计对整数k和m的要求，将激励大小设置为等于mk + 1。
注意：在标准设计中， k ≥ 3 且 m = 6。因此，num_stimuli的有效值包括 19、25、31、37、43 和 49（有关设计的可能扩展，请参见 表 1 ）。 - 完成实验刺激。如果正在运行单词实验，请准备一个单词列表。对于图像实验，创建一个新目录并将所有刺激图像放在其中。支持的图像类型为 png 和 jpeg。不要在文件名中使用句点作为分隔符（例如，image.1.png无效，但 image1.png 或 image_1.png 有效）。
- 如果运行单词实验，请按如下方式准备刺激。
- 在 实验/word_exp 中创建一个名为stimali.txt的新文件。将在步骤 3.3 中读取此文件。
- 在文件中，将激励集中的单词写下，因为它们应该出现在显示中，每个单词都在单独的行中。避免在单词旁边添加额外的空行或多余的空格。请参阅示例材料以供参考 （相似性/示例材料/单词-exp-材料/sample_word_stimuli.txt）。
- 如果正在运行图像实验，请按如下方式设置激励集的路径。
- 在实验目录中，找到名为 config.yaml （similarities/experiments/config.yaml）的配置文件。
- 在源代码编辑器中打开该文件，并将文件变量的值更新为包含激励集的目录的路径（步骤 2.3）。这是PsychoPy寻找图像刺激的地方。
3. 创建排名试验
- 使用刺激.txt文件。如果正在运行“实验”一词，则可以使用在步骤 2.4 中创建的文件。否则，请使用文件名列表（作为参考，请参阅相似性/示例材料/图像-exp-材料/sample_image_stimuli.txt）。将此文件放在相应的实验目录（word_exp或image_exp）中。
- 避免多余的空行以及名称中的任何空格。使用骆驼壳或snake_case作为刺激名称。
- 接下来，创建试用配置。打开分析目录中的 config.yaml 文件，并将 path_to_stimulus_list 参数的值设置为刺激.txt路径（在步骤 3.1 中创建）。
- 在相似性目录中，通过依次执行以下命令来运行脚本：
cd ~/相似性
康达激活 venv_sim_3.8
python -m analysis.trial_configuration
康达停用 # 退出虚拟环境 - 这将创建一个名为“trial_conditions.csv相似性”的文件，其中每行都包含试验中出现的刺激的名称及其在显示中的位置。提供了示例trial_conditions.csv文件（相似性/示例材料）。有关分析脚本的输入参数的详细信息，请参阅“用法”下的自述文件项目。
- 在相似性目录中，通过依次执行以下命令来运行脚本：
图 1：具有代表性的试验示例（步骤 3.3）。 （A） 每行包含单个试验的详细信息。标题指示圆圈周围刺激的位置。ref下的刺激出现在中心，stim 1到stim 8出现在参考周围。（B）来自A的第一个试验（行）由PsychoPy渲染，以显示参考刺激物猴子周围的八个刺激。 请点击此处查看此图的放大版本。
注意：此时，已经生成了一个完整的实验运行的222个试验集，即一个完整的数据集。 图1A 显示了由上述脚本生成的条件文件的一部分，用于单词实验（参见代表性结果）。
- 接下来，将这 222 个试验分解为多个会话，并随机化试验顺序。在典型的设计中，会议包括111次试验，每次试验需要大约1小时才能进行。
- 为此，请在命令行中运行以下命令：
康达激活 venv_sim_3.8
cd ~/相似性
python -m analysis.randomize_session_trials - 出现提示时，输入以下输入参数：在步骤3.3.2中创建的trial_conditions.csv路径;输出目录;每届会议的审判次数：111;重复次数：5。
注意：重复次数也可以变化，但会影响步骤4中进行的会话次数（参见讨论：实验范式）。如果更改重复次数的默认值，请确保编辑配置文件（similarities/analysis/config.yaml）中num_repeats参数的值。如果需要，请在“创建试用版”部分下的 README 文件中查看手动执行上述操作的分步说明。
- 为此，请在命令行中运行以下命令：
- 重命名每个生成的文件并将其作为条件保存.csv，放在其自己的目录中。请参阅此处推荐的目录结构：相似性/示例材料/主题数据和项目 README。
注意：如步骤4所述，每个实验在标准设计中重复五次，在10小时的长时间过程中，每个实验都在一个单独的一天。受试者应该被要求每天只来一次，以避免疲劳。参见 表1 ，了解不同规模刺激集所需的试验和疗程数量。
4. 运行实验并收集相似性数据
- 向受试者解释任务并给他们指示。在每次试验中，受试者将查看被八个刺激包围的中心参考刺激，并被要求点击周围刺激，按照与中心参考相似的顺序，即他们应该点击最相似的第一个和最不相似的最后一个。
- 要求他们尝试使用一致的策略。告诉他们，在10个会话过程中，他们将多次显示相同的刺激配置。如果研究探测语义信息的表示，请确保受试者在开始之前熟悉刺激。
- 导航到相关的实验目录（请参阅步骤 2.1）。如果这是第一次运行试验，请创建一个名为 subject-data 的目录来存储使用者响应。在其中创建两个子目录：原始目录和预处理目录。对于每个主题，在主题数据/原始内容中创建一个子目录。
- 复制在步骤3中为特定会话准备的条件.csv文件并将其粘贴到当前目录，即包含psyexp文件的目录中。如果那里已经有一个文件，命名为条件.csv，请确保将其替换为当前会话的文件。
- 打开PsychoPy，然后打开相关实验目录中的psyexp或py文件。在PsychoPy中，单击绿色的“ 播放 ”按钮以运行实验。在模式弹出窗口中，输入使用者名称或 ID 和会话编号。单击 “确定” 开始。说明将在每次会话开始时显示。
- 让受试者大约1小时完成任务。由于任务是自定进度的，因此如果需要，鼓励受试者休息一下。当受试者完成会话时，PsychoPy将自动终止，文件将在相似性/实验/<图像或单词>_exp/数据目录中生成。
- 将它们传输到主题数据/raw/<主题 ID>目录（在步骤 4.3 中创建）。有关建议的目录结构，请参阅自述文件。
注意：如前所述，日志文件用于故障排除。PsychoPy意外关闭的最常见原因是受试者在会话期间不小心按下 了Escape 。如果发生这种情况，直到最后一次完成的试验的试验响应仍将写入响应.csv文件。 - 如果 PsychoPy 意外关闭，请重新打开它并创建一个新的条件.csv文件，其中仅包含尚未尝试的试验。将现有会话的条件文件替换为此文件，然后重新运行试验。请务必将生成的文件保存在适当的位置。在会话结束时，可以手动将两个响应文件合并为一个，但这不是必需的。
- 对于剩余的每个会话，重复步骤 4.4 到 4.8。
- 完成所有会话后，合并原始数据文件并将其重新格式化为单个 json 文件以进行进一步处理。为此，请在终端中运行 preprocess.py（相似性/分析/预处理.py），如下所示：
cd ~/相似性
康达激活 venv_sim_3.8
python -m analysis.preprocess - 出现提示时，输入请求的输入参数：使用者数据目录的路径、要为其预处理数据的使用者 ID 以及实验名称（用于命名输出文件）。按 回车键。
- 退出虚拟环境：
康达停用
注意：这将在输出目录中创建一个 json 文件，该文件将每个试用的重复响应组合在一起。相似性数据从主题数据/原始数据中读入，并写入主题数据/预处理。
5. 分析相似性判断
注意：受试者被要求按与参考文献相似的顺序点击刺激，从而在每次试验中提供排名。对于标准实验，每次试验重复五次，生成相同八个刺激的五个排名顺序（见 图2B）。这些等级判断被解释为一系列比较，其中受试者比较感知距离对。假设受试者在每次点击之前都会问以下问题：“参考和刺激A之间的（感知）距离是否小于参考和刺激B之间的距离？如图 2C所示，这产生了每个试验的多个成对相似性比较的选择概率。下面的分析使用这些选择概率。
图 2：从排名判断中获取选择概率。 （A）我们进行的“实验”一词的试验说明。（B） 在同一审判中，在多次审理过程中，获得了五个军衔排序。（C）排名判断所代表的成对相异性比较的选择概率。 请点击此处查看此图的放大版本。
- 根据排名顺序判断确定成对选择概率。
- 在相似性/分析中，在命令行中运行 describe_data.py 。
cd ~/相似性
康达激活 venv_sim_3.8
python -m analysis.describe_data - 出现提示时，输入主题数据/预处理的路径以及要对其运行分析的主题列表。
注意：这将创建三种图：i）给定受试者完整数据集的选择概率分布，ii）热图，用于评估受试者对选择概率的一致性，以及iii）在两个上下文中发生的所有比较的选择概率热图，以评估上下文影响。从操作上讲，这意味着比较成对试验中的选择概率，这些试验在环中包含相同的参考和一对共同的刺激，但在环中的所有其他刺激中有所不同：热图显示了选择概率如何取决于此上下文。
- 在相似性/分析中，在命令行中运行 describe_data.py 。
- 使用选择概率生成感知空间的低维欧几里得模型。在命令行中运行 model_fitting.py ，如下所示：
cd ~/相似性
康达激活 venv_sim_3.8
python -m analysis.model_fitting- 出现提示时提供以下输入参数：主题数据/预处理目录的路径;刺激物的数量（默认为37）;迭代次数（应运行建模分析的次数）;输出目录;和高斯噪声量（默认为 0.18）。
注意：此脚本需要几个小时才能运行。完成后，包含描述相似性数据的 1D、2D、3D、4D 和 5D 模型的最佳拟合坐标的 npy 文件将写入输出目录。将生成一个包含不同模型的日志似然值的 csv 文件。
- 出现提示时提供以下输入参数：主题数据/预处理目录的路径;刺激物的数量（默认为37）;迭代次数（应运行建模分析的次数）;输出目录;和高斯噪声量（默认为 0.18）。
- 可视化所获得模型的对数似然性并评估其拟合。为此，请在命令行中运行 相似性/分析/model_fitting_figure.py ：
cd ~/相似性
python -m analysis.model_fitting_figure- 出现提示时，输入所需的参数：包含日志似然的 csv 文件的路径（从步骤 5.2 开始）。
- 分析生成的图形，在 y 轴上显示对数似然，在 x 轴上显示模型维度。作为健全性检查，除了欧几里得模型之外，还包括两个模型：随机选择模型和最佳可能模型。
注意：随机选择模型假定受试者随机单击。因此，它为任何优于随机的模型提供了对数似然的绝对下限。同样，作为对数似然（标记为最佳）的上限，存在使用经验选择概率作为其模型概率的模型的对数似然。 - 验证没有欧几里得模型优于最佳模型，因为最佳模型在设计上过度拟合并且不受几何考虑因素的约束。检查绘制的可能性是否与最佳对数似然数相关。
- 可视化每个主题的感知空间。生成散点图，显示从 5D 模型投影到前两个主成分上的点。为此，请在命令行中运行 相似性/分析/perceptual_space_visualizations.py ：
cd ~/相似性
python -m analysis.perceptual_space_visualizations- 出现提示时，输入参数：主题 ID（用空格分隔）和包含从步骤 5.2 获得的 5D 点的 npy 文件的路径。
- 脚本执行完毕后，退出虚拟环境：
康达停用
注：此脚本用于可视化相似性判断。它将通过将 5D 点投影到前两个主组件上来创建 2D 散点图，归一化为具有相等方差。如果受试者认为两点不那么相似，那么两点之间的距离会更远， 反之亦然。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
图 1A 显示了脚本在步骤 3.3 中为单词实验生成的条件文件的一部分。每行对应于一个试验。ref 列中的刺激将显示在显示屏的中心。列名 stim1 到 stim8 对应于沿圆的八个位置，逆时针方向运行，从中心参照右侧的位置开始。来自单词实验的样本试验如图 1B所示。
为了证明可行性和可重复性，进行了一项实验，其中刺激集包括37只动物的名称。作为研究的一部分，从八名视力正常的健康受试者中收集了完整的数据集。为了证明这种方法，这里显示了其中三个受试者的数据，其中两个对研究的目的很天真。知情同意是根据《赫尔辛基宣言》和威尔康奈尔医学院的机构准则获得的。
数据收集后，执行上述初始处理（协议步骤4.10-4.12）。受试者在每次试验中的反应被解释为一组独立的二元选择，其形式为“参考和s1之间的距离是否小于参考和s2之间的距离？”，用于周围环中的所有刺激对。秩判断被分解成这样的成对选择，如图 2C所示。
图3A 显示了这些选择概率的分布，这在受试者之间高度一致（协议步骤5.1）。由于每次试验重复五次，因此选择概率取以下值：0，0.2，0.4，0.6，0.8和1.最常见的选择概率为0和1，相当于每个受试者所有决策的50%-70%;这些是每次选择一个选项的判断。例如，判断 s1 和 s2 之间的距离小于 s1 和 s3 之间的距离（满分 5 次）将对应于选择概率 0;做出5次中的5次判断将对应于1的选择概率。值得注意的是，受试者之间的选择概率存在很大的一致性，即使对于不处于极端的判断也是如此，如图 3B中每个面板中对角线附近的数据聚类所示。
接下来，评估了背景影响。这是可能的，因为实验设计的一个重要特征：参考刺激和两个比较刺激s1 和s2 的许多三元组在两种情况下重复（即，使用不同的六个其他刺激集来完成刺激阵列）。然后，在每个上下文中分别列出每个成对比较的选择概率。 图 4 中的主要对角线表示，对于每个受试者，两个上下文中的选择概率（包括介于 0 和 1 之间的选择概率）接近相同。如果选择概率严重依赖于上下文，则它们将不具强相关性，并且这种对角线也不会突出。
还通过统计措施评估了背景影响。上下文效果的度量构造如下。第一步是计算观察到的数据集的不平衡统计数据（详见下文），该统计数据量化了观察到的判断似乎取决于上下文的程度。然后，我们构建了10000个模拟数据集，这些数据集具有与实际数据相同的试验配置，试验计数和总体选择概率，但以不包含上下文影响的方式生成 - 通过将观察到的判断随机分配给两个上下文。接下来，我们计算这些模拟数据集的不平衡统计数据，就像对观察到的响应所做的那样。最后，我们将观测到的响应的不平衡统计量与模拟数据集的不平衡统计量进行比较，以确定观察到的不平衡可以从没有上下文影响的数据集中获得的概率。经验 p 值为 < 0.05 表明存在上下文效应。对于 图4中的数据，p值分别为0.98，0.30和0.33，S4，S7和S9分别为0.05>。
数据集的不平衡统计数据计算为在两个上下文中发生的所有三元组的贡献总和。每个三元组的贡献（比较，例如，d（ref，s1）与d（ref，s2））如下。首先，对这个三合会的判决被计入一个2 x 2的表格中。列对应于两个上下文，因此列总和受该上下文中的演示文稿总数的约束。行对应于替代判断的计数 d（ref， s1） < d（ref， s2） 或 d（ref， s1） > d（ref， s2），因此行和受观察到的选择的约束，这些选择是跨上下文求和的。由于双尾 Fisher 精确检验14 产生的概率是，如果实际上不存在交互作用，则可以看到行和列之间观察到（或更大）交互作用（判断和上下文）的表，因此我们使用该概率的负对数作为该三元组对整体不平衡统计量的贡献。因此，对负对数求和以创建总体不平衡统计量，可以在无上下文效应的原假设下捕获三元组之间观察到的不平衡的联合概率。
为了模拟动物名称的心理表示，使用最大似然法推导了1，2，3，4和5维感知空间的欧几里得模型。受试者的响应被建模为反映两个距离与表示估计误差的加法高斯噪声（即决策阶段的噪声）进行比较的决策。 图 5 显示了五个欧几里得模型的对数似然（每个决策）。对数似然数是相对于最佳模型的对数似然值显示的，即，一个将观察到的选择概率分配给每个比较的模型，而不通过任何几何考虑来约束这些概率。为了正确看待这些对数似然，还指出了随机选择模型的对数似然性;这是模型性能的下限。模型拟合随每个添加的维度而改善。最大的跳跃是在1D和2D模型之间，表明简单的1D模型无法完全解释数据。然而，4到5维周围的高原表明，即使是5D模型也不能完全捕捉到解释相似性判断的距离。为了验证该方法，还对模拟数据运行了管道。对单独的实验进行仿真，分别从1D、2D、3D、4D和5D空间中绘制的点之间生成相似性判断。在所有情况下，该方法都正确标识了维度。此外，具有正确维数的模型产生了与从模型中获得的地面实况对数似然一致的对数似然。
最后，可视化了感知空间模型中点的组织。 图 6 显示了一个主体 S7 的这些数据。对感知空间5D模型中的点进行主成分分析（PCA）。分别投射到前两个主成分以及第一个和第三个主成分上的点如图 6A 和 图6B所示，轴归一化为相等方差。点与实验获得的相似性判断一致的点之间的距离：被认为是相似的动物由彼此靠近的点表示。
图 3：各主题的一致性。 （A）所有成对比较的三个受试者的选择概率分布。（B）受试者对之间相同成对比较的选择概率。颜色条显示观测到的关节概率与独立关节概率的比率。沿主对角线的高值表示主体之间的一致性。 请点击此处查看此图的放大版本。
图 4：上下文效果。 在两个上下文中针对三个主题中的每一个进行的所有成对比较的选择概率。A任意地指三元组提出的一个上下文，B指的是另一个上下文。颜色条显示观测到的关节概率与独立关节概率的比率。沿主对角线的高值表示缺少上下文效果。 请点击此处查看此图的放大版本。
图 5：模型拟合分析的结果。 不同维度的模型以及随机选择（下限）模型的相对对数似然，针对三个受试者显示。相对对数似然为零对应于最佳模型的对数似然，其中选择概率与经验选择概率匹配而不考虑几何。 请点击此处查看此图的放大版本。
图 6：更详细的一个主体 （S7） 的感知空间。 从建模中获得的 5D 坐标投影到 （A） 中的前两个主分量以及 （B） 中的第一个和第三个主分量上。对轴进行缩放，以便沿每个轴的方差相等。 请点击此处查看此图的放大版本。
表 1：示例参数集。 实验范式可以改变，以产生更少或更多的刺激，试验和成对比较。粗体行表示我们使用的参数。 请点击此处下载此表格。
表 2： analysis/config.yaml 和 experiments/config.yaml 中的参数。 请点击此处下载此表格。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
这里概述的协议对于获取和分析可以直观呈现的刺激的相似性判断是有效的。首先讨论了实验范式，分析和可能的扩展，然后讨论了该方法的优缺点。
实验范式：使用37个动物名称的域演示了所提出的方法，并提供了感知判断的样本数据集，以便人们可以遵循步骤5中的分析并重现图3-6的部分内容（协议步骤1.4）。实验设计将这37个刺激分为222个试验 - 每个试验在中心包含一个参考刺激，在周围环中包含八个比较刺激 - 使得几个标准成立：a）37个刺激中的每一个都作为参考出现相等的次数（222 = 37×6），b）在六个试验中，刺激是参考的， 其余所有36个刺激至少用作比较刺激一次，c）24个刺激发生在给定参考的一个比较中，以及d）六对刺激与参考一起出现在两个单独的试验中。范式的这一方面，即每个参考刺激在单独的上下文中发生六对比较刺激，允许在步骤5中检查上下文效应（见图4）。该标准设计产生6216 = 222×28形式的比较“对s1的引用的相似性是否大于或小于对s2的引用的相似性”这种效率是可能的，因为222项试验中的每项试验都产生了八个相似性的排名，而八个排名的相似性产生了28个成对的比较。在这6216个比较中，有222个是重复的，给了我们5994个独特的比较。
一旦选择了激励域，下一个最重要的设计决策就是样本数量。许多替代设计是可能的（表1），其他选择用于在不同环境中重复刺激的方式。如图4所示，在每个试验中，有一个三元组 - 包括参考和两个周围的刺激 - 在另一个试验中一起出现。与具有公共参考的另一个试验重叠的周围刺激的数量 - 在本例中等于两个 - 由分析配置文件中的重叠参数控制。增加此参数将导致在两个试验之间共享更多的刺激，从而允许在两个上下文中对距离排名进行更广泛的比较，例如，“s1是否比s2更类似于参考文献，s2是否比s3更相似？有关可能具有该参数和其他参数的不同值的其他实验设计的示例，请参见表1。有关所有参数、它们控制的内容以及更改它们的位置的详细信息，请参阅表 2。值得注意的是，还可以通过分别更改图像和单词实验的参数num_images_per_trial和num_words_per_trial来更改每个试验中参考周围出现的刺激数量。增加环绕声的大小将增加每次试验的比较次数和更好的研究背景效应;减少它将降低任务复杂性。试验中的比较刺激数（Ncircle），实验中的刺激数（Nstim），试验数（Ntrials），唯一比较数（Ncomparisons）和重复比较（Nrepeated）的数量是相互关联的，并且取决于试验之间前面提到的重叠的大小（Noverlap）和每个参考刺激的试验次数（k）。刺激集大小由m决定，m是一个任意整数。下面列出了这些关系：
范式和数据收集程序的其他细节有助于最大限度地减少混淆。随机化刺激的位置和试验顺序（步骤3.4）很重要，这样即使重复会话，受试者也不会开始识别刺激放置中的空间或时间模式。同样重要的是，不要给受试者任何关于如何衡量相似性的直接线索（步骤4），因为这可能会使结果产生偏差。他们应该自己决定在特定实验的背景下相似性对他们意味着什么。然而，在受试者完成实验后，向他们汇报是有用的，因为这可能有助于了解研究结果在受试者之间的差异。如果由于某种原因，会话已损坏或中止，则我们建议删除整个会话，以便所有试用完成的次数相同。
相似性数据分析：对于每个试验，实验产生Ncircle比较刺激和参考之间相似性的排名顺序。当分解成刺激对的比较时，这些试验为每个独特的比较产生选择概率。然后分析选择概率以搜索感知空间的几何模型（协议步骤5）。该分析试图根据欧几里得空间中刺激之间的距离d（si，sj）来解释选择概率。也就是说，目标是为每个刺激分配坐标，以便单击 s1 在 s2 之前的选择概率反映受试者判断 d（ref， s1） < d（ref， s2） 的概率。这里之所以描述这个拟合过程，既是因为它具有一些新颖的元素，也是为了让用户能够修改它（协议步骤5.2）。
分析是一种多维缩放问题，但具有一些显著特征。首先，数据提供不同性判断的排名顺序，而不是距离的估计。其次，数据集虽然广泛，但仅包含所有可能的成对距离比较的子集。最后，目标是考虑选择概率，而不仅仅是哪个距离更大的二元决策。考虑到这些因素，选择成本函数时，当模型预测的选择概率最有可能产生实验观察到的选择概率时，其值最小化。因此，它被定义为模型下观察到的选择概率的负对数似然，由成对比较的总数归一化，并且改编自以前的工作15：
其中 N0 = Ncomparisons。Nrepeats和Nrepeats是协议的重复次数（即，每个唯一试验重复的次数），并且
在这里，sr表示试验中的参考刺激，si和sj以及sr周围环中的刺激。P （d（sr， si） < d（sr， sj）） 表示 sr 和 si 之间的距离小于 sr 和 sj 之间的距离的模型概率，C 表示主体判断 d（sr， si） 的次数） < d（sr， sj）。建模分析的目的是在欧几里得空间中找到点的配置，该配置考虑了经验选择概率。迭代地，最小化调整分配给每个刺激的坐标，从而调整模型选择概率（P）。当成本函数停止降低到公差以下时（名为公差的可调参数控制此值）或达到最大迭代次数（由参数max_iterations控制），最小化终止。
为了将刺激坐标与模型选择概率联系起来，假设受试者 - 在试验中选择两个刺激进行点击时 - 将对其与参考的相对距离进行内部比较，即d（sr，si）和d（sr，sj）。这些距离（默认情况下）是分配给刺激 sr、si 和 sj 的点之间的普通欧氏距离。此外，假设这种心理比较具有内部噪声，我们将其建模为标准差σ的加法高斯源，这是Maloney等人为一维域引入的模型，也用于多维域15。模型选择概率通过以下方式与坐标相关：
内部噪声（σ）可以通过改变分析配置文件中的西格玛来控制。为了使用一组刺激坐标初始化算法，使用秩阶判断来获得一组近似距离，然后将标准的多维缩放10应用于这些距离以获得初始坐标。这些近似距离是通过计算每对刺激的胜利和损失来确定的。也就是说，查看数据中的所有成对比较，每次判断一个距离 d（sr， sk） 大于另一个距离 d（sr， sn） 时，就会记录较大距离 d（sr， sk） 的赢钱，并记录 d（sr， sn） 的损失).核心思想是，两个刺激之间的距离越大，就越经常被判断为大于另一个距离（就胜利而言），反之亦然。在迭代所有比较并将每对刺激的收益和损失制成表格之后，距离估计值的计算如下：
完成此操作后，通过将标准度量多维缩放应用于 dinit （si， sj） 来确定初始坐标集。
这样描述的最小化例程独立运行，以获得 1、2、3、4 和 5 维的模型。在每种情况下，都返回推断刺激点的最优坐标以及成本函数的值，即经验选择概率的负对数似然。 图5中绘制了相对于最佳对数似然度的对数似然，其计算方法与公式1类似，具有
,
用于所有比较。作为健全性检查，在 图 5 中，还绘制了随机模型对数似然，这是判断模型性能的下限。在计算随机选择对数似然时，我们设置
用于所有比较。
可能的扩展： 首先，如前所述，可以修改实验范式以适应不同大小的刺激集，并且可以改变环中的刺激数量以产生每次试验的不同数量的成对比较（见 表 1）。
其次，在分析中使用非欧氏距离度量可能很有用。例如，一项研究发现，城市街区指标更好地代表了表面亮度和照明度的感知空间18。所提出的方法可以推广，因此具有其他距离度量（例如城市街区距离，闵可夫斯基距离或双曲距离19）的模型适合相似性数据。为此，必须修改提供的代码并实现替代的距离度量。需要的主要更改是在文件 相似性/分析/pairwise_likelihood_analysis.py的第105行（函数名称：dist_model_ll_vectorized）。
优点和局限性： 所提出方法的一个关键优势是，它提供了一个灵活的框架，用于设计具有各种刺激集大小，各种比较次数，重复次数或每次试验的刺激次数以及各种重叠集大小的实验，以测量上下文效应。通过改变试验之间的重叠大小和试验中环绕的大小，可以探究上下文在相似性判断中的作用，同时获得每次试验的大量成对相似性判断。该方法解决了以前用于收集相似性数据的实验范式的许多局限性。例如，与基于排列的方法12，20（要求将刺激物排列在2D欧几里得平面上，将相似的项目放在一起并将不同的项目分开）和排序方法（需要将刺激物分类成堆）不同，11排名方法不会提示受试者将其内部表示投影到任何几何结构上。过去一些方法的另一个局限性 - 例如，混淆矩阵，其中两个刺激如果在快速识别任务中相互混淆，则认为它们是相似的21 - 是它们不产生分级度量。这种方法确实产生了分级度量，即选择概率。
如上所述，集合方法是灵活的，因为它不假定内部表示是欧几里得空间。在这里，分析方法仅测试欧几里得模型;但是，它可以通过源代码中的本地化修改来扩展以包括非欧几里得模型。但是，建模框架的设计并不考虑上下文效果。如果它们很重要，它将对可以得出的结论提出警告。
所提方法比配对比较方法更具时效性。该范式的每次试验大约需要30秒（受试者在一小时内进行111次试验），每小时产生111×28 = 3108次比较。单次比较试验不太可能每次试验少于3秒，这将产生每小时1200次比较。此外，还有第二个效率水平：目前的方法不需要比较所有成对距离。对于手稿中的示例，整组成对距离相当于221445比较，但在目前的方法中，5994个唯一比较的稀疏子集，每个重复5或10次，足以对相似性数据进行建模。然而，这种方法虽然有效，但仍然耗时，并且需要受试者的大量承诺。因此，对于一组数百个刺激，这不是一种可行的方法，除非跨受试者汇集数据。最后，该方法不直接适用于非视觉刺激。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
作者没有什么可透露的。
Acknowledgments
这项工作得到了美国国立卫生研究院（NIH）的资助，拨款EY07977。作者还要感谢Usman Ayyaz在测试软件方面的帮助，以及Muhammad Naeem Ayyaz对手稿的评论。
Materials
| Name | Company | Catalog Number | Comments |
| Computer Workstation | N/A | N/A | OS: Windows/ MacOS 10 or higher/ Linux; 3.1 GHz Dual-Core Intel Core i5 or similar; 8GB or more memory; User permissions for writing and executing files |
| conda | Version 4.11 | OS: Windows/ MacOS 10 or higher/ Linux | |
| Microsoft Excel | Microsoft | Any | To open and shuffle rows and columns in trial conditions files. |
| PsychoPy | N/A | Version 2021.2 | Framework for running psychophysical studies |
| Python 3 | Python Software Foundation | Python Version 3.8 | Python3 and associated built-in libraries |
| Required Python Libraries | N/A | numpy version: 1.17.2 or higher; matplotlib version 3.4.3 or higher; scipy version 1.3.1 or higher; pandas version 0.25.3 or higher; seaborn version 0.9.0 or higher; scikit_learn version 0.23.1 or higher; yaml version 6.0 or higher | numpy, scipy and scikit_learn are computing modules with in-built functions for optimization and vector operations. matplotlib and seaborn are plotting libraries. pandas is used to reading in and edit data from csv files. |
References
- Edelman, S.
- Hahn, U., Chater, N. Concepts and similarity. Knowledge, Concepts and Categories. , The MIT Press. 43-84 (1997).
- Kriegeskorte, N., Kievit, R. A. Representational geometry: integrating cognition, computation, and the brain. Trends in Cognitive Sciences. 17 (8), 401-412 (2013).
- Hebart, M. N., Zheng, C. Y., Pereira, F., Baker, C. I. Revealing the multidimensional mental representations of natural objects underlying human similarity judgements. Nature Human Behaviour. 4 (11), 1173-1185 (2020).
- Deng, W. S., Sloutsky, V. M. The development of categorization: Effects of classification and inference training on category representation. Developmental Psychology. 51 (3), 392-405 (2015).
- Shepard, R. N. Stimulus and response generalization: tests of a model relating generalization to distance in psychological space. Journal of Experimental Psychology. 55 (6), 509-523 (1958).
- Coombs, C. H. A method for the study of interstimulus similarity. Psychometrika. 19 (3), 183-194 (1954).
- Gärdenfors, P. Conceptual Spaces: The Geometry of Thought. , The MIT Press. (2000).
- Zaidi, Q., et al. Perceptual spaces: mathematical structures to neural mechanisms. The Journal of Neuroscience The Official Journal of the Society for Neuroscience. 33 (45), 17597-17602 (2013).
- Krishnaiah, P. R., Kanal, L. N. Handbook of Statistics 2. , Elsevier. (1982).
- Tsogo, L., Masson, M. H., Bardot, A. Multidimensional Scaling Methods for Many-Object Sets: A Review. Multivariate Behavioral Research. 35 (3), 307-319 (2000).
- Kriegeskorte, N., Mur, M. Inverse MDS: Inferring dissimilarity structure from multiple item arrangements. Frontiers in Psychology. 3, 245 (2012).
- Rao, V. R., Katz, R. Alternative Multidimensional Scaling Methods for Large Stimulus Sets. Journal of Marketing Research. 8 (4), 488-494 (1971).
- Hoffman, J. I. E. Hypergeometric Distribution. Biostatistics for Medical and Biomedical Practitioners. , Academic Press. 179-182 (2015).
- Victor, J. D., Rizvi, S. M., Conte, M. M. Two representations of a high-dimensional perceptual space. Vision Research. 137, 1-23 (2017).
- Knoblauch, K., Maloney, L. T. Estimating classification images with generalized linear and additive models. Journal of Vision. 8 (16), 1-19 (2008).
- Maloney, L. T., Yang, J. N.
- Logvinenko, A. D., Maloney, L. T. The proximity structure of achromatic surface colors and the impossibility of asymmetric lightness matching. Perception & Psychophysics. 68 (1), 76-83 (2006).
- Zhou, Y., Smith, B. H., Sharpee, T. O.
- Goldstone, R. An efficient method for obtaining similarity data. Behavior Research Methods, Instruments, & Computers. 26 (4), 381-386 (1994).
- Townsend, J. T. Theoretical analysis of an alphabetic confusion matrix. Perception & Psychophysics. 9, 40-50 (1971).
