方法文章

利用眼动追踪数据对交互式虚拟物体旋转的三维映射

1.9K 次观看

⸱

DOI：

10.3791/65977

⸱

2024年10月18日

 ,  ,  ,  , 
1Graduate Program in Chemistry, University of São Paulo, Institute of Chemistry, 2Graduate Program in Applied Mathematics, University of São Paulo, Institute of Mathematics and Statistics, 3Graduate Program in Neuroscience and Cognition, Federal University of ABC, Center of Mathematics, Computing and Cognition, 4School of Biomedical Engineering, Science and Health Systems, Drexel University

本文内容

摘要

我们开发了一种简单、可定制且高效的方法，用于从交互式空间任务中记录定量的过程数据，并将这些旋转数据与眼动追踪数据进行映射。

摘要

我们提出了一种用于实时记录人类与三维（3D）虚拟物体交互的方法。该方法通过将被操作物体的旋转数据与眼动追踪等行为测量指标相结合，以更准确地推断潜在的认知过程。

该任务要求在计算机屏幕上显示同一三维物体（一个分子）的两个相同模型：一个可旋转的交互式物体（iObj）和一个静态的目标物体（tObj）。参与者需使用鼠标旋转iObj，直到认为其方向与tObj完全一致为止。计算机实时记录所有交互数据，同时使用眼动仪记录参与者的注视数据。计算机的采样频率为10 Hz，眼动仪的采样频率为60 Hz。

iObj相对于tObj的方位数据以旋转四元数形式记录。注视数据与iObj的方位同步，并使用同一系统进行参考。该方法使我们能够获得人类与iObj和tObj交互过程的以下可视化结果：（1）与其他时间依赖性数据同步的角度差异；（2）在我们称之为"旋转球体"内部的三维旋转轨迹；（3）三维注视热图。本实验方案的所有步骤均使用了自由软件，例如GNU Octave和Jmol，所有脚本均可作为补充材料获取。

通过这种方法，我们能够对涉及心理或物理旋转的任务求解过程进行详细的定量研究，而不仅仅是关注最终结果。可以精确测量三维模型的各个部分在参与者完成任务过程中的重要性，从而将这些模型与相关变量联系起来，例如物体的特征、个体的认知能力以及人机界面的特性。

引言

心理旋转（MR）是一种认知能力，使个体能够在心理上对物体进行操控和旋转，从而更好地理解物体的特征及其空间关系。它是视空间能力的一种，而视空间能力作为基本的认知功能组别，早在1890年就已开始被研究1。视空间能力是个体认知能力体系中的重要组成部分，受到遗传和环境因素的共同影响2,3,4,5。由于越来越多的证据表明视空间能力在诸多关键领域中具有重要意义，整个二十世纪以来对其研究兴趣不断增长，这些领域包括衰老6和发育7、科学、技术、工程和数学（STEM）学科的表现8,9、创造力10以及进化特征11。

当前关于心理旋转（MR）的概念源于Shepard和Metzler（SM）于1971年发表的开创性研究12。他们设计了一种计时测量方法，采用一系列"相同或不同"任务，将抽象三维物体的两个投影并排呈现。参与者需要在某一轴向上对这些物体进行心理旋转，判断这两个投影是否为同一物体的不同旋转视角，或是两个不同的物体。该研究发现，被试的反应时间（RT）与同一物体不同表征之间的角度差异（AD）呈正线性相关。这种相关性被称为角度差异效应（ADE）。ADE被视为心理旋转的行为表现，并在后续该领域的多项重要研究中被广泛采用13,14,15,16,17,18,19,20,21,22,23,24,25。SM研究中使用的三维物体由10个相连的立方体组成，这些图形由贝尔实验室的计算机图形学先驱Michael Noll生成26。这类图形被称为SM图形，在心理旋转研究中被广泛使用。

在谢泼德和梅策勒的开创性研究中，有两个进展具有重要意义；首先，考虑到该领域内心理旋转评估方面的贡献。1978年，范德伯格和库泽27 基于SM开发了一项包含20个条目的心理测量纸笔测验 "相同或不同" 被称为心理旋转测试（VKMRT）的图形。每个测试项目呈现一个目标刺激，参与者必须从四个刺激中选择哪些代表了目标刺激中所示的同一物体，哪些不是。VKMRT 已被用于研究心理旋转能力与其他各种因素之间的相关性，例如性别差异。6,21,24,28,29,30衰老与发育6,31,32，学业成绩8,33音乐和体育方面的技能341995年，Peters 等人发表了一项针对 VKMRT 的重绘图示研究35,36同样地，随后的步骤 "相同或不同" 任务设计，已采用多种计算机生成刺激材料的图库来研究心理旋转（MR）过程并评估MR能力（原始SM刺激材料的3D版本）19,22,23,37,38，模拟人体的SM模型25,39,40，用于二维旋转的平面多边形41,42解剖学和器官43，有机形态44分子45,46以及其他21）。由Guay于1976年提出的普渡空间可视化测试（PSVT）47 也具有重要意义。它包含一系列测试，其中包括心理旋转测试（PSVT:R）。与VKMRT所使用的刺激不同，PSVT:R要求参与者识别模型刺激中的旋转操作，并在心理上将其应用于另一个不同的刺激。PSVT:R也被广泛使用，特别是在研究心理旋转（MR）在STEM领域成就中作用的研究中。48,49,50.

Shepard 和 Metzler 的开创性研究中的第二个重要进展，是推动了对心理旋转（MR）过程的理解，尤其是通过使用眼动追踪设备所取得的成果。1976 年，Just 和 Carpenter14 采用基于模拟视频的眼动追踪设备，开展了一项基于 Shepard 和 Metzler 的 ADE 实验的研究。根据他们对扫视眼动和反应时（RTs）的结果，提出了一个包含三个阶段的心理旋转过程模型：1）搜索阶段，识别图形中相似的部分；2）转换与比较阶段，对已识别的部分之一进行心理旋转；3）确认阶段，判断两个图形是否相同。这些阶段会递归重复，直到做出最终判断。每个阶段都对应特定的扫视和注视眼动模式，并与观察到的 ADE 现象密切相关。因此，通过将眼动活动与计时数据相关联，Just 和 Carpenter 为心理旋转过程的研究提供了认知层面的特征性指标。迄今为止，该模型虽经若干调整，仍已被多项研究采纳15,42,46,51,52,53。

基于这一研究方向，多项后续研究对刺激旋转过程中的行为18,19,22,23,25,34,40,54,55和脑活动20,22,56,57功能进行了监测。这些研究结果表明，心理旋转（MR）与运动过程之间存在协同作用。此外，针对个体差异背景下涉及心理旋转的问题解决策略，目前也日益受到关注15,41,46,51,58。

总体而言，可以认为旨在理解心理旋转（MR）过程的研究设计，通常是通过呈现包含视觉刺激的任务，要求参与者执行一种心理旋转操作，而该操作又涉及某种运动反应。如果这种反应允许对刺激物进行物理旋转，则通常被称为物理旋转（PR）。根据每项研究的具体目标，研究人员已采用不同的策略和设备来采集并分析心理旋转和物理旋转的数据。在任务刺激呈现阶段，可以改变刺激物的类型（即前文提到的示例）；刺激呈现方式（传统显示器上的计算机生成图像22,23,25,29,40,41,59，以及立体镜19、虚拟60和混合43现实环境中的呈现）；以及刺激物的交互性（静态图像12,27,36、动画61，以及可交互的虚拟物体19,22,23,43,53,59）。

通常通过反应时间（ADE）以及眼动和脑活动的测量来推断心理旋转（MR）25,46,62。眼动活动通过眼动追踪数据进行测量，包括扫视运动和注视14,15,42,51,52,54,58,60，以及瞳孔测量40。反应时间数据通常来源于操作各种设备时记录的运动反应数据，例如操纵杆13、按钮和开关14,53、踏板53、旋钮19、操纵杆（joystick）37、键盘61和鼠标29,58,60、驱动轮53、惯性传感器22,23、触摸屏52,59以及麦克风22。为了测量手动旋转（PR），除了反应时间外，研究设计还将包括记录参与者执行MR任务时对交互式刺激的手动旋转操作22,23,52,53。

1998年，Wohlschläger 和 Wohlschläger19 使用 "相同或不同" 通过旋钮操控仅限单轴旋转的交互式虚拟空间记忆刺激任务，测量反应时（RT）以及任务过程中执行的物理旋转累积记录。通过比较交互式刺激有无实际旋转的情况，得出结论：心理旋转与实际执行的旋转在想象和实际操作条件下共享同一加工过程。

2014年，有两项研究采用了相同类型的任务，并使用虚拟交互刺激22,23。然而，这些物体是通过惯性传感器进行操作的，该传感器可捕捉三维空间中的运动。在这两项研究中，除了反应时间（RTs）外，还记录了旋转轨迹——即在任务过程中参考刺激与交互刺激之间旋转差异的变化过程。从这些轨迹中，可以提取出累积信息（例如，以四元数单位表示的总旋转次数）以及关于解决策略的详细信息。Adams 等人23研究了心理旋转（MR）与实际旋转（PR）之间的协同效应。除了反应时间外，他们还将旋转轨迹的积分作为衡量解决准确性和客观性的参数。曲线轮廓根据一个三阶段模型63（规划、主要旋转、精细调整）进行解释。结果表明，心理旋转和实际旋转并不一定由单一共同因素决定。Gardony 等人22收集了反应时间、准确性和实时旋转的数据。除了验证心理旋转与实际旋转之间的关系外，对旋转轨迹的分析还显示，参与者会持续操作图形，直到能够判断它们是否不同。如果图形相同，参与者会将其旋转至看起来一致为止。

延续这一策略，2018年，Wetzel 和 Bertel52 也使用了交互式SM图 "相同或不同" 使用触摸屏平板电脑作为交互界面。此外，他们采用眼动追踪设备获取解决心理旋转任务过程中与认知负荷相关的注视时间累积数据和扫视幅度参数。作者证实了上述先前研究中关于心理旋转与表征操作之间的关系以及任务解决过程的结论。然而，在本研究中，他们并未使用针对刺激材料的注视点分布图和扫视数据。

针对在虚拟三维物体上映射眼动数据的方法学已提出并持续改进，通常由关注虚拟环境中视觉注意相关因素的研究人员开展64。尽管这些方法成本较低且使用类似的眼动追踪设备，但显然尚未有效整合到涉及交互式三维物体的心理旋转研究的实验方法体系中，例如前述研究中所使用的。相反，我们未在文献中发现任何报告在交互式三维物体上实时映射注视点和扫视运动数据的研究。目前似乎尚无便捷的方法可将眼动数据与旋转轨迹轻松整合。本研究旨在弥补这一空白。本文详细介绍了从数据采集到图形化输出生成的完整流程。

本文详细描述了一种利用虚拟交互式三维对象研究心理旋转过程的方法。该方法具有以下优势：首先，在与三维虚拟模型的交互过程中，整合了定量的行为运动数据（通过计算机界面手动操控对象旋转）和眼动数据（眼动追踪）的采集；其次，仅需常规的计算机设备和眼动追踪装置即可完成视觉任务设计、数据采集、记录与处理；第三，能够便捷地生成图形化输出，以辅助数据分析，包括角度差异、物理旋转、四元数旋转轨迹，以及眼动数据在三维虚拟对象上的注视点映射；最后，该方法仅依赖免费软件，所有开发的代码和脚本均可免费获取（https://github.com/rodrigocnstest/rodrigocnstest.github.io）。

方案

1. 数据采集工具的准备

  1. 设置在线数据采集（可选）。
    注意：此步骤介绍如何设置项目代码和工作网页的可自定义克隆（请参见 补充文件 1）。此步骤改编自 https://pages.github.com/ 和 https://github.com/jamiewilson/form-to-google-sheets 提供的教程。如果用户仅关注数据处理方法而无需进行数据记录，可使用网页 https://rodrigocnstest.github.io/iRT_JoVE.html 配合 补充表 S1 以及存储库文件位于 https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave，并跳过步骤 1.1、1.2 及其子步骤。
    1. 登录 GitHub (https://github.com/)。
    2. 创建原始 GitHub Pages 仓库的公开克隆版本。
      1. 点击 导入仓库 从 https://github.com 在登录账户后。 
      2. 在 您旧代码仓库的克隆 URL 领域，粘贴网址 https://github.com/rodrigocns/rodrigocns_JoVE in the 知识库名称 领域，输入类型 username.github.io，其中 用户名 是账户中使用的用户名，并确保 公开 启用该选项，然后点击绿色按钮 开始导入.
        注意：该代码仓库现在包含完成此设置所需的大部分文件，对仓库所做的任何更改将在几分钟后更新到网站上。例如，用户名为 rodrigocnstest 的用户可通过以下地址访问其个人页面 https://rodrigocnstest.github.io 及其 GitHub 仓库 https://github.com/rodrigocnstest/rodrigocnstest.github.io
    3. 设置一个云端电子表格以在线存储实验数据。
      1. 注册或登录 Google 账号。
      2. 登录账户后，前往 iRT 电子表格清理 文件可在以下位置获取 https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
        Ops1wZrXI/edit?usp=sharing
      3. 在此电子表格中，点击 文件 | 创建副本将出现一个小型确认窗口。
      4. 在小窗口内为文件命名，然后点击 复制一份 按钮
    4. 在您创建的电子表格中设置 Google Apps Script 以自动存储数据。
      1. 在电子表格文件中时，单击该选项 扩展 | Apps Script.
        注意：此脚本必须在电子表格内部创建或访问，以确保其与电子表格相关联。尝试在外部创建脚本可能无法成功。
      2. 点击 运行 首次运行脚本的按钮。
      3. 点击 审查权限 按钮。新窗口将出现。单击创建电子表格时使用的同一账户。
        注意：如果这是首次执行此步骤，系统可能会弹出安全警告，提示用户该应用程序正在请求访问账户信息。此操作是安全的，因为该应用程序旨在读取电子表格内容，并请求权限以将数据填入其中。若未出现任何警告，可跳过步骤 1.1.4.4。
      4. 点击 高级 | 转到从 iRT 到工作表（不安全） | 允许 按钮
        注意：执行完成后，执行日志中应出现提示执行已完成的通知。
      5. 在左侧滑动面板中，单击 触发因素 按钮（从上往下数第四个图标） | + 添加触发器 按钮
      6. 下 选择要运行的功能，选择 doPost；在……之下 选择事件源，选择 从电子表格；在……之下 选择事件类型，选择 表单提交时然后，单击 保存如果出现任何权限弹窗，请按照步骤 1.1.4.3–1.1.4.4 操作。如果浏览器最终阻止了弹窗，请取消阻止。
      7. 点击 部署 下拉按钮 | 新部署.
      8. 将鼠标悬停在 齿轮 图标并确保 网页应用 选项被选中。
      9. 撰写一段描述 新描述 领域，例如 部署 1；在 谁可以访问 领域，选择 任何人 然后点击 部署 按钮
        注意：本步骤的目的是 新描述 该领域的目标是组织脚本的部署。其名称可由使用者自行定义，例如 首次部署。该 执行作为 字段应已显示为 Me（电子邮件），其中 email 为迄今为止使用的电子邮件地址。
      10. 在新弹出窗口中，复制该脚本部署的网络应用程序 URL。
        注意：如果由于某种原因丢失了已复制的网页应用 URL，请通过点击 部署 下拉菜单 | 管理部署网络应用程序的 URL 应位于此处。
      11. 前往页面 https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js rodrigocnstest 是 GitHub 上使用的用户名。将第 5 行中现有的 URL 替换为步骤 1.1.4.10 中复制的 Web 应用 URL，然后点击绿色按钮 提交更改….
        注意：复制的 URL 值应保留在单引号 ' ' 或双引号之间 " “引号。请仔细检查所复制的 URL 是否为 Web 应用中的正确链接。”
      12. 最后，单击 提交更改 屏幕中央的确认按钮
    5. 确保流程已正确完成且页面正常运行。
      1. 前往 https://github.com/username/username.github.io/ 的代码仓库，其中 用户名 是在 GitHub 上使用的用户名，并检查在完成步骤 1.4.14 的修改后部署是否已更新。
      2. 访问 https://username.github.io/iRT_JoVE 网页，更改 用户名 与 GitHub 中使用的用户名一致，然后点击 下一步.
      3. 点击 开始，通过鼠标点击并拖动右侧的对象进行交互，然后单击 完成！ 按钮。
      4. 返回在步骤 1.1.3 和 1.1.4 中配置的电子表格文件，并验证每次操作后是否新增了一行数据 已完成 按钮被按下。
  2. 设置离线数据采集（可选）。
    注意：用于运行和采集交互式旋转任务（iRT）数据的方法是通过上述步骤中配置的云服务在线进行的。如果需要（例如因网络连接可能存在问题，或希望采用其他方式运行），也可以在测试执行地点本地运行该测试，且此方式可选择是否连接互联网。以下步骤为可选的替代方案，用于实现本地运行；否则，请跳至步骤1.3。
    1. 访问 GitHub 仓库，链接为：https://github.com/rodrigocnstest/rodrigocnstest.github.io。点击绿色按钮 < > 代码 | 下载 ZIP，然后解压下载的文件。
      注意：对本地存储的文件所做的更改不会影响仓库中的文件 反之亦然任何拟对两个版本进行的修改都应同时应用到两个位置，可通过手动复制更新后的文件或使用 git/GitHub Desktop 实现。
    2. 通过以下链接获取最新版本的 Mozilla Firefox： https://www.mozilla.org/zh-CN/firefox/new/
    3. 打开 Mozilla Firefox 浏览器，输入 "about:config" 在 URL 栏中输入 "security.fileuri.strict_origin_policy" 在搜索字段中，将其值更改为 false。注意：现在，Windows 操作系统中的 Mozilla Firefox 应能够本地访问您计算机上下载的网页文件。其他浏览器和操作系统也可配置为支持本地访问，各自的设置方法详见该链接 http://wiki.jmol.org/index.php/Troubleshooting/Local_Files
  3. 设置数据处理工具。
    1. 下载并安装最新版本的 GNU Octave https://octave.org/download
  4. 设置眼动追踪设备。
    1. 确保笔记本电脑上已安装记录系统软件。
    2. 确保实验室干净整洁，以避免干扰。
    3. 在房间内使用人工照明，以保持全天光照条件的一致性。
    4. 将计算机安装在桌面上，确保受试者能够舒适地移动鼠标。
    5. 为受试者提供一把舒适的椅子，最好使用固定式椅子，以尽量减少测试过程中的移动。
    6. 将一根USB线连接至红外照明设备以供电，另将一根USB线连接至笔记本电脑/计算机和眼动仪，用于摄像头。
    7. 将眼动仪放置在屏幕下方。

2. 数据采集

  1. 启动数据采集软件。
    1. 在计算机上运行眼动仪软件，以接收来自眼动仪的数据。
    2. 选择该选项 屏幕截图 在软件主窗口中捕获实验过程中的注视数据（该软件也可用于热图可视化和原始数据导出）。
    3. 点击 新项目 创建一个新项目及项目文件夹，用于保存数据。
    4. 在以下网址打开测试页面： https://rodrigocnstest.github.io/iRT_JoVE.html（若使用示例中提供的链接或步骤1.1中创建的网页）。或者，在步骤1.2中先前配置的浏览器中本地打开iRT_JoVE.html文件。
    5. 如有需要，填写姓名和电子邮箱字段，以帮助识别数据，并勾选复选框以下载所生成数据的备份副本。
      注意：如果使用离线方法（步骤 1.2），建议下载备份副本。
    6. 尝试运行一次实验，以确保浏览器能够正确加载所有元素，并确认所呈现的任务或数据采集过程中不存在任何问题。
  2. 运行实验。
    1. 向受试者说明实验目的、所使用的技术以及纳入/排除标准。确保受试者已完全理解所有内容。请受试者填写知情同意书。
    2. 让参与者坐在眼动追踪系统前，并尽可能保持舒适。
    3. 将椅子移动至确保受试者与摄像头之间保持最佳距离的位置（眼动仪到受试者眼睛的理想距离为65 cm）。
    4. 要求参与者在实验过程中尽量保持静止。调整摄像头的高度，以准确捕捉参与者的瞳孔（某些软件会高亮瞳孔以显示角膜反射）。
    5. 点击 启用自动增益 通过调整相机增益来优化瞳孔追踪，直至检测到瞳孔（某些软件不具备此选项）。
    6. 要求参与者注视屏幕上的系列光点，并在不移动头部的情况下跟随光点的移动。
    7. 点击 校准 开始校准（这将确保眼动仪能够追踪参与者在屏幕上的注视位置）。
      注意：屏幕将变为空白，校准标记（点）将在屏幕上移动五个位置。
    8. 校准完成后，屏幕上将显示一个视觉注视点估计值，以检查校准的准确性。请受试者注视显示器上的特定点，以确认注视点是否正确显示。
    9. 如果校准效果不理想，请调整摄像头并重新进行校准，直至系统能够准确追踪视线。
    10. 点击 收集数据 点击眼动追踪软件（主菜单）右侧的按钮以启动数据采集模式。捕获的屏幕将实时显示在主显示窗口中，同时呈现注视数据。
    11. 点击 注视视频 主菜单中的按钮以显示眼动仪捕捉到的用户面部图像。然后，单击 开始记录 开始实验。
      注意：实验过程中，参与者的瞳孔会被高亮显示，其眼睛将以一个在笔记本电脑屏幕上移动的点的形式呈现。确保眼动仪能够全程追踪瞳孔和眼睛在屏幕上的移动。
    12. 如果光点消失或频繁闪烁，请停止实验并尝试重新校准。
    13. 打开之前已打开的 iRT 窗口，并指示参与者点击 下一步.
    14. 向参与者提供以下指示： "在本部分，您将执行三项旋转任务。当您点击时 开始！ 按钮，屏幕两侧将出现两个物体。您的目标是尽可能旋转右侧的物体，使其与左侧的物体尽可能匹配。要旋转物体，请单击并拖动鼠标。完成三项任务中的每一项后，点击 完成！ 按钮以结束。"
      注意：对于每个任务，超过5分钟（327）的任何iRT数据th 第二个（精确而言）可能会丢失。随着我们对方法的进一步开发，这一限制应能得到拓展。
    15. 实验结束时，需从延长电缆处关闭眼动仪，并将镜头盖重新盖回相机上。
  3. 提取数据。
    1. 眼动仪数据采集完成后，单击 分析数据 以访问所收集的数据。
    2. 导出包含用户所有记录数据的 .csv 文件。
      注意：眼动仪数据的第一列 必须 数据的 UNIX 时间戳，因为这是确保不同数据集在时间上正确匹配的唯一方法。如果文件中不包含该时间戳，则应从所使用的任何其他时间标准进行转换。文件可以是 ".csv" 或 ".xlsx" 格式。
    3. 如果使用交互式旋转任务页面的在线版本（步骤 1.1），请打开用于接收在线数据的 Google 表格文件（在步骤 1.1.3 中创建），然后点击下载 文件 | 下载 | Microsoft Excel (.xlsx).
      注意：这些数据经过打包处理，以方便数据传输（每个任务对应一行填充了数据的记录）。要处理其中的数据，必须对每一行打包的数据进行解包 "未包装" 首先。

3. 数据处理与分析

  1. 拆包、合并并处理数据。
    注意：以下步骤描述了如何使用提供的脚本处理数据（参见 补充文件 2）。GNU Octave 脚本将提示用户输入相关文件信息。如果用户未输入内容而直接留空，则系统将采用默认值；若用户未提供数据，脚本将引用所提供的示例数据作为默认值。脚本运行完成后，可将其关闭。
    1. 下载并解压尚未下载的代码仓库（用户自己的仓库或原始仓库 https://github.com/rodrigocns/rodrigocns_JoVE）。
    2. 确保脚本 1. unpacking_sheets.m，2. data_merge_and_process.m，3. 3D rotational trajectory.m，以及文件夹 模型 位于下载的仓库中文件夹内的 八度，然后将从步骤 2.3.2 和 2.3.3 下载的数据文件移至与 Octave 脚本相同的文件夹中。
      注意：文件夹中任何与新生成文件同名的现有文件都可能被覆盖。请相应地重命名或将这些文件移至其他文件夹。
    3. 打开脚本 1. 拆包工作表.m 通过 GNU Octave 启动器。在 编辑 标签页中，通过点击绿色按钮来运行脚本 保存文件并运行 按钮，以将数据解包为更易读的结构。
      注意：如果所请求的数据文件中有任何文件在本地处于打开状态，请记得在运行脚本前将其关闭。所有 .m 脚本文件均通过 GNU Octave Launcher 执行。
    4. 将依次出现两个提示框。在第一个提示框中输入已下载文件的名称，在第二个提示框中输入解压后文件的名称。或者，也可将两个提示框均留空，以使用随附示例文件的默认名称。等待数分钟（具体时间取决于数据量），直至弹出提示窗口，告知用户处理已完成且新文件已生成。
    5. 打开并运行脚本 2.data_merge_and_process.m 合并眼动仪和iRT的数据。
      注意：尽管该脚本较为复杂，包含数百行代码，但它分为三个主要部分：设置、函数和脚本。所有部分均配有详尽的注释和说明，便于在必要时进行后续修改。
    6. 将出现四个提示。输入 sessionID 值，taskID 值 （均来自 iRT 数据表）， 未包装的 iRT 数据文件名 （见步骤 3.1.5），以及 眼动仪数据文件名 （在步骤 2.3.2 中导出）或留空以使用默认值。
      注意：数分钟后，帮助弹窗将提示脚本已完成计算，并显示所使用及生成的文件名称。在脚本运行过程中，将出现三个角度差异的示例图：一个简单图、一个带有彩色注视数据的图，以及一个带有瞳孔直径数据的图。生成的两个文件为 输出合并 X Y.xlsx 和 输出 jmol 控制台 X Y.xlsx，其中 X 是 sessionID 值，和 Y 是 任务ID 值，均在步骤 3.1.6 开始时记录。
  2. 生成三维旋转轨迹图像。
    1. 打开并运行脚本 3. 三维旋转轨迹.m.
    2. 将出现三个提示。输入 sessionID 值，taskID 值，以及 未包装的 iRT 数据文件名，或留空以使用默认值。
      注意：将出现一个三维图。所渲染的图形为指定会话和任务的三维旋转轨迹。
  3. 重播动画。
    1. 要重放参与者的任务交互过程，请首先访问交互式任务网页，启动测试（显示两个3D模型），然后将鼠标指针移至屏幕右上角，直至鼠标图标变为文本状态，如图所示 补充文件 2，然后单击不可见的 调试 文本，从而实现 调试模式.
    2. 在模型之间出现的按钮中，点击 计时器停止 按钮以中断任务并点击 控制台 单击按钮以打开右侧模型的 JSmol 控制台。如果所关注的相互作用对应的任务并非第一个，请单击顶部调试区域内的编号按钮，以切换屏幕上显示的任务。
      注：JSmol 是网页中使用的分子建模软件。
    3. 打开文件 输出 jmol 控制台.xlsx 并复制 Jmol 命令的整页内容。
      注意：每页包含不同场景或动画的指令。
    4. 在 JSmol 控制台中，粘贴已复制的命令列表，然后点击 运行 按钮或按下 输入 在键盘上执行该操作。
    5. 如有需要，生成一个 .gif 动画。输入以下命令 捕获 "文件名" 脚本 "输出" 在 JSmol 控制台内部，其中 文件名 是将要创建的 .gif 文件的名称 输出 是步骤 3.3.3 中复制的全部命令列表，保留双引号内的所有内容。
      注意：命令越复杂（如使用更大的模型或随时间进行更多变化），且所用计算机的配置越低，动画的运行速度就越慢。Jmol 主要专注于化学化合物与反应的可视化，而本研究生成的动画类型已接近 Jmol 渲染能力的极限。在利用该动画进行任何定量测量时，应充分考虑并计入上述因素。

4. 任务定制

注意：本节内容为可选部分，仅推荐给喜欢尝试或希望了解编码方法的用户。以下列出了部分当前可用的可自定义选项，随着方法的进一步开发，将会有更多选项陆续提供。

  1. 配置新任务或现有任务。
    1. 在 object_configs.js 文件中的 task_list 数组内定义参与者将执行的交互式任务数量，并为每个任务命名，替换现有项目名称或添加更多任务。确保每个名称唯一，因为它们后续将用作标识符。
    2. 选择与 JSmol 兼容的三维坐标文件以执行交互式任务（http://wiki.jmol.org/index.php/File_formats）。将这些文件复制到 models 文件夹中。
      注意：本文所含脚本针对使用 .xyz 文件格式的非对称模型进行了优化。选择坐标文件时，应避免具有旋转对称性的结构，因其存在模糊解65。
    3. 在 prepMolecule(num) 函数中定义三维对象的渲染设置。
      注意：所有在不同任务之间由 JSmol 执行的更改均在此处设置：包括更改颜色模式、调整图形元素的大小或渲染方式、方位、平移、隐藏对象部分、加载新的三维模型等（更多示例见 https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm）。 task_list 中命名的每个任务对应一个 case。每条 JSmol 执行命令遵循以下结构：Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 ");，其中 jsmol_obj 指代被修改的对象（jsmol_ref 和 jsmol_obj 分别为靶标对象和交互对象的默认值），后跟一条或多条命令，各命令之间以 ";" 分隔。
  2. 创建新模型。
    1. 使用从网络下载的任意 .xyz 模型，或使用 Avogadro 等分子编辑器（https://avogadro.cc/）构建模型。

结果

角差异及其他变量的演变
如补充文件2中步骤3.3.1所示，视频显示器上向参与者呈现两个画布，分别显示同一三维虚拟物体在不同方向上的图像。左侧画布显示目标物体（tObj），其位置保持静止，作为目标位置或tObj位置。右侧画布显示交互物体（iObj），其初始位置不同，参与者可通过鼠标围绕固定旋转中心随时间对其进行旋转操作（仅允许旋转，平移功能已禁用）。该任务要求参与者根据自身判断，调整iObj以尽可能匹配tObj。所使用的三个三维物体如图1所示。尽管求解过程较为复杂，但可对其进行精确记录以便后续分析。该记录不仅限于视频影像，还包括以固定0.1秒间隔对每个时刻的位置记录为四元数，形成时间序列，从而实现对整个过程的完整重建。在任意位置，均存在一个围绕特定轴的唯一旋转，其角度范围为0°至180°，可将tObj位置直接变换至iObj位置。尽管该旋转在抽象意义上与参与者在任务中的实际旋转路径（PR）无关，但它能准确反映iObj相对于tObj的精确位置。AD即为此旋转的角度，可通过相应的四元数计算得出。当iObj位置趋近于tObj位置时，该值趋近于零。

在“数据处理与分析”部分的步骤 3.1.6 之后，将生成两个文件：output merge X Y.xlsx 和 output jmol console X Y.xlsx，其中 X 为 sessionID 的值，Y 为 taskID 的值。如果未填写输入字段而使用默认值，则文件名应为 output merge 1682707472090 bolaBastao_c.xlsx 和 output jmol console 1682707472090 bolaBastao_c.xlsx。output merge X Y.xlsx 文件包含经选择的眼动仪数据，这些数据已根据 UNIX 时间戳与 iRT 数据合并并对齐，若所有步骤正确执行，结果应类似于 图 2A；若出现某些问题，则可能类似于 图 2B。

文件 output jmol console X Y.xlsx 包含最多五个工作表，其中填充了 Jmol 控制台命令。将这些命令粘贴至 Jmol 控制台后，可重现实验参与者在完成任务过程中的操作行为：rotation replay 可重现实验参与者对 iObj 所做的旋转操作；gaze replay int 在重现实Obj旋转的同时，通过透明度/不透明度变化叠加显示对象上的注视热图，以反映时间进程；gaze replay tgt 仅显示任务过程中 tObj 的三维注视热图；gaze frame int 和 gaze frame tgt 则分别显示 iObj 和 tObj 在整个过程中的总体注视映射。以上内容均在 图 3A-F 中进行了图示说明。Jmol 与 JSmol 基本功能相同，区别在于 Jmol 是基于 Java 编程语言的插件，而 JSmol 基于 JavaScript 编程语言，两者功能一致，可互换使用。

图4展示了六种不同情境下角差异随时间演变的情况，这些情境涉及两名参与者和三个物体。该过程的持续时间可能因参与者在交互任务物体上的表现而有显著差异。在参与者正确完成的任何任务中，角差异（AD）最终趋于零。如果同一图表未表现出此趋势，则可能是参与者未能完成任务（因放弃或达到每项任务的时间限制，约5分钟），或数据处理中出现了错误。

iObj PR 记录与眼动追踪测量数据的综合结果如图5所示。目标与惯性物体之间角视差随时间的变化表明，完成给定任务的过程可分为三个明显阶段：对模型的初始观察；交互模型的 ballistic 旋转；交互模型旋转的精细调节。图5A显示了在初始阶段以及更具体的精细调节阶段，视线在模型之间的交替情况。图5B显示瞳孔在初始阶段和精细调节阶段保持更大的扩张状态。在精细调节阶段，对交互模型的长时间注视期（图5A中40-47秒）对应于瞳孔直径的平台期（40-47秒，图5B）。

这些结果表明，采用本文所提出方法获得的数据与基于静态模型眼动注视数据提出的心理旋转问题解决模型相一致14,66 以及用于交互式模型23该模型将包含三个阶段：搜索、转换与比较，以及确认模型之间的匹配或不匹配。此外，在比较阶段中观察到的在目标模型与交互模型之间交替的注视现象 图5A 与使用静态图像的 Sheppard 和 Metzler 型测试所获得的结果一致42,66然而，在交互式模型的情况下，搜索、转换、比较和确认这些阶段可能通过交互式模型的相互作用与重新定位而依次发生。

三维旋转轨迹
在三维空间中，从 0° 到 180° 的每一次旋转都可以对应到一个半径为 180° 的球体内部的一个点（即球体所包含的体积内的一个点）。图6 通过三个旋转示例展示了这种对应关系。该点到球心的距离表示相对于目标对象（tObj）位置的被试对象（iObj）角度差异，而从球心指向该点的矢量则表示旋转方向，旋转方向定义为从球心向外观察时的顺时针方向。将旋转映射为球内点的方式，使得人们能够在单个三维图示中直观地呈现参与者在任务中所执行旋转的完整轨迹。我们将这种图示称为三维旋转轨迹。

与AD指标类似，对于参与者正确完成的任何任务，其轨迹最终应接近球体的中心。如果轨迹在旋转180°时到达球面边界，则会绕至球面上的对跖点。图7展示了前述两位参与者执行第三项任务时（即图4中的C1和C2）的旋转轨迹，图中同时显示了透视视角以及在三个坐标平面上的投影。从图中可以明显看出，尽管参与者1的初始AD值相对较小，接近45°，但在找到通向正确解的明确路径之前，其轨迹最初偏离了目标位置；而参与者2则更快地完成了任务。

3D 注视热图
在解决问题的过程中，参与者在与交互对象（iObj）交互的同时，会不断在目标对象（tObj）和交互对象（iObj）之间切换视线。通过眼动追踪数据，我们可以提取参与者的注视位置，并生成屏幕区域的热图，以显示在任意时间段内哪些区域受到最多或最少的关注。进一步地，通过同步眼动追踪数据和iRT四元数数据，我们能够在三维空间和时间上同时映射每个物体顶点所受到的关注程度，即使该物体在随时间旋转过程中亦可实现。

在图3中，对象所受关注程度通过每个顶点的不透明度来表示。顶点距离受试者注视点越近，且停留时间越长，则其受到的关注越多，导致该对象区域的不透明度越高。注意力在空间上的衰减通过一个双变量齐次高斯函数对注视位置建模，时间上的衰减则采用一个简单的齐次高斯函数进行建模。这些高斯函数的标准差设定基于2度的视觉角度67和10秒的视觉短期记忆68。为避免该方法产生任何视觉伪影，当注视点位于对象画布之外时，注视接近度数据被设为零（当注视点位于tObj画布内或两个对象画布之外时，iObj不会保留残余注意力）。图3展示了完整回放动画中每个对象的一个单帧图像，以及对应的三维注视热图。可以观察到受试者在解题过程中对tObj和iObj进行比较的可能情况（图3C、D），此时任务接近结束（时间 = 6.3 s）。整个过程可在补充视频S1中以视频形式查看。我们报告了在常规条件下参与者完成三维模型计算机辅助旋转任务的结果。

用于结构分析的三维结构与化学键分子建模示意图。
图1：所使用的靶标对象。网页任务中使用的三维模型图像。（A）以球棍模型表示的分子；（B）同一分子，以填充多边形表示，不含氢原子，且仅以棍状表示；（C）一个类似于谢泼德（Shepard）和梅茨勒（Metzler）图示的多立方体13，源自彼得斯（Peters）和巴蒂斯塔（Battista）刺激库36。 请点击此处查看此图的放大版本。

眼动数据对比，显示 Unix 时间戳列格式问题；电子表格分析示意图。
图 2：电子表格对比。（A、B）图像取自电子表格 output merge 1682707472090 bolaBastao_c.xlsx。A 至 G 列包含 iRT 数据值，而 H 至 N 列包含眼动仪数据值。在（A）中，所有数据均正确；而在（B）中，眼动仪数据列中的所有数值均为常数，且与 iRT 系统时间值不匹配。如果数据同步过程出现任何问题，就很可能发生此类错误。请点击此处查看该图的放大版本。

分子动力学模拟，万古霉素构象变化，三维分子结构分析。
图 3：三维注视热图。 使用不透明度标度在三维对象上生成的注视热图，其中更高的不透明度表示参与者注视停留时间更长。(A,B) 参与者在任务进行至 6.3 秒时所解决问题的 tObj 和 iObj 图像。(C,D) 与 (A,B) 相同时刻的图像，叠加了热图的不透明度标度。(E,F) 考虑参与者可视对象的整个时间段所生成的注视热图图像。请点击此处查看该图的高清版本。

任务A、B、C的角度差异图；两名参与者表现的比较
图 4：阿尔茨海默病网格。 两名参与者在三种任务中的角度差异图示。列表示参与者1和2，行表示参与者使用图示三种物体完成的任务 图3请注意，尽管AD在不同情况下有所差异 0° 和 180°，时间范围不固定，而是根据参与者的操作表现及其自主决定停止过程的时机而变化。当参与者旋转iObj时，随着时间推移，tObj与iObj之间的AD值随之变化，最终参与者会选择当前iObj的朝向作为最接近tObj的匹配结果。在1st 和 2nd 任务中，两位参与者似乎都以相似的方式取得了进展，但参与者1所用的时间仅为参与者2的一半。而在3rd 任务中，尽管参与者2完成任务所用时间更短，但参与者1已在20秒标记前完成任务，并持续进行微小调整以使iObj与tObj更好地匹配。缩写：AD = 角度差异。 请点击此处查看此图的放大版本。

角偏差图；上图：注视位置与任务持续时间的关系，下图：瞳孔数据与任务持续时间的关系。
图 5：结合眼动追踪数据的角偏差（AD）。角偏差与眼动追踪数据的变化过程。 （A）角偏差与注视位置，显示 tObj 与 iObj 之间角偏差的变化趋势，并结合每个模型的区域注视数据。图中表示参与者注视所在的区域：当注视位于 iObj 画布内时为红色，位于 tObj 画布内时为蓝色，当注视位于两者之外时为灰色，表示注视屏幕上的其他元素或视线离开屏幕。（B）角偏差与瞳孔直径。角偏差以蓝色表示，瞳孔直径数据以橙色表示。瞳孔直径为左右眼瞳孔在每一时间点的平均值。缩写：AD = 角偏差（angular disparity）。 请点击此处查看该图的放大版本。

三维旋转示意图；欧拉角；轴变换；数学可视化。
图6：旋转球体。 该图说明了物体从参考位置出发的每一个可能的旋转状态，都可以用一个半径为180°的球体内的一个点来表示，从而完整地呈现物体在三个轴上的旋转位置。此处，“球体”指的是由球面所围成的体积。(A) 示例中使用的物体是一个不对称的七立方体组合，如左上方所示。对该物体施加了三种简单的旋转，编号为I、II和III，如右侧所示。它们分别是绕x轴+90°、绕z轴-60°，以及绕位于+x与-y之间、与两轴均成45°的轴旋转180°。(B) 图中展示了旋转球体，以及对应于旋转I、II和III的点。到球心的距离表示旋转角度的大小。由于III达到了最大旋转角度（180°），因此也在其对跖点上表示，因为两者本质上是相同的。旋转II相对于z轴正方向为逆时针方向，因此显示在负侧。请点击此处查看该图的放大版本。

三维轨迹图；矢量场与运动路径的可视化分析；对比研究。
图7：三维旋转轨迹。 两名参与者在第三项任务中球面旋转空间内的旋转轨迹，以透视视角（A）及在坐标平面上的投影（B–D）呈现。线条粗细随时间递减。每一列对应一名参与者（v1 和 v2）。当轨迹趋近球心时，表示参与者更接近完成任务。“0”表示任务的初始位置。后续数字表示轨迹到达球体边缘并从对侧对跖点继续延伸的位置（1 到 2，2 到 3，3 到 4，依此类推）。请点击此处查看该图的放大版本。

补充表 S1：工作表标题。 克隆工作表文件中的标题列表。每个标题对应一个变量名称，并将接收来自该变量的数据，形成用于数据处理和分析的数值列。请点击此处下载该文件。

补充文件 1：方案步骤 1 指南。 一份截图列表，用于指导完成方案方法“1. 数据采集工具的准备”的各个步骤。请点击此处下载该文件。

补充文件 2：实验步骤 3 指南。 一份截图列表，用于指导完成“3. 数据处理与分析”这一实验方法的各个步骤。请点击此处下载该文件。

补充视频 1：注视点映射回放。 使用 iObj 和 tObj 同时记录的三维时间注意映射动画回放示例。采用 OBS Studios 录制，并使用 OpenShot 视频编辑器进行渲染。请点击此处下载该文件。

讨论

如前所述，本文旨在详细介绍在交互式三维对象上实时映射注视与扫视运动数据的完整流程。该方法易于定制，且仅使用免费软件，提供逐步操作说明，确保所有步骤均可顺利实现。

尽管本实验设置涉及高度交互性的任务，例如在三个可能的轴向中的两个轴向上移动三维物体以匹配另一物体的朝向并实现位置重置（PR），但我们通过适当的注释对脚本进行了详尽的文档记录，以方便任何定制化修改。此外，还可设计多种其他类型的实验，其中眼动追踪设备仅是可用于时间序列数据采集的众多设备之一。

步骤 1.1.3.3 中复制的文件的表头定义了将在线收集的数据内容和位置。补充表 S1 列出了变量名称（均区分大小写）及其含义。这些变量与 GitHub 代码仓库中 JavaScript 文件内的变量相对应。应根据研究的范围和需求，修改本表及 JavaScript 文件中的数据类型、变量种类和变量名称。

以四元数记录旋转数据，可使研究人员重现参与者在任务过程中所做出的相同动作，从而便于对过程进行分析，并且与屏幕录制相比，能够更高效地利用存储空间。通过交互对象的内部四元数数据，还可以实现更详细的分析，例如使用旋转球展示的三维旋转轨迹（见图7）。这种新型图表在Gardony22和Adams23提出的AD随时间变化图的基础上进一步扩展，提供了更为详尽的信息，包含随时间变化的实际三维旋转坐标。

另一个优势来自于使用标准时间度量来同步所有数据源。通过这种方式，合并不同层次的时间依赖性信息变得更加容易，例如将多个数据源的图表叠加显示：如图5B中与瞳孔扩张测量结果的叠加，或图5A中用彩色竖条表示参与者解题过程中可能存在的模式，即使此时iObj中几乎未发生任何旋转。只有在四元数数据和数据同步的基础上，才能生成图3所示的三维注视热图。

使用标准时间度量进行同步对于确保任何时间数据的整合至关重要。本项目选用的时间标准为 UNIX 纪元时间，该标准也被 JavaScript 和大多数其他编程语言所采用。每个数据集都必须使用某种已知的时间标准，即使采用的是其他标准，也应能够在后续转换为 UNIX 纪元时间。未使用任何标准的时间数据几乎必然无法实现同步，从而失去其应用价值。

另一个局限性在于，iRT 测试中使用的 10 Hz 频率相对于眼动仪的 60 Hz 频率而言相对较低。这在一定程度上是由于浏览器内数据处理和传输的限制，因为若使用更高的频率，将成比例地缩短每项任务的最大时间限制（目前为 327 秒）。此外，在此帧率下流畅渲染 Jmol 中的复杂动画已存在挑战。补充视频 S1 是一段 Jmol 渲染回放过程的视频记录，其中随时间变化的透明度映射了每个顶点所获得的关注程度。尽管视频时长接近 2 分钟，但实际任务在 63 秒内即已完成。未来若开发专门针对此类功能的软件，而非沿用现有工具进行改造，将有望解决这些局限性，并提升数据采集与分析能力。

披露

作者声明无利益冲突。

致谢

作者感谢高等教育人员协调改进办公室（CAPES）——资助代码 001 以及联邦阿布查克大学（UFABC）。João R. Sato 收到了圣保罗研究基金会（FAPESP，资助编号：2018/21934-5、2018/04654-9 和 2023/02538-0）的经费支持。

材料

本文使用的材料清单
姓名公司目录编号评论
FirefoxMozilla Foundation (开源)任何支持 WebGL（https://caniuse.com/webgl）的现代更新浏览器均可使用，从而兼容 Jmol
GNU Octave开源https://octave.org/
Google Apps ScriptGoogle LLCscript.google.com
Google SheetsGoogle LLChttps://www.google.com/sheets/about/
笔记本电脑任何能够运行眼动追踪系统软件的计算机
Mangold Software SuiteMangold 用于眼动追踪设备的软件界面。任何能够输出带系统时间值数据的软件均可使用
鼠标任何可通过简单操作实现点击和拖拽的鼠标均应兼容。具有相同功能的类鼠标人机接口设备（如触摸屏或指点装置）也应兼容，但行为可能有所不同
Vt3miniEyeTech Digital Systems60 Hz。任何正常工作的瞳孔追踪设备均应兼容

参考文献

  1. Spearman, C. 34;General intelligence," objectively determined and measured. The American Journal of Psychology. 15, 201-292 (1904).
  2. McGee, M. G. Human spatial abilities: psychometric studies and environmental, genetic, hormonal, and neurological influences. Psychological bulletin. 86 (5), 889-918 (1979).
  3. Johnson, W., Bouchard, T. J. The structure of human intelligence: It is verbal, perceptual, and image rotation (VPR), not fluid and crystallized. Intelligence. 33 (4), 393-416 (2005).
  4. Hegarty, M. Components of spatial intelligence. Psychology of Learning and Motivation. 52, 265-297 (2010).
  5. Uttal, D. H., et al. The malleability of spatial skills: a meta-analysis of training studies. Psychological Bulletin. 139 (2), 352-402 (2013).
  6. Linn, M. C., Petersen, A. C. Emergence and characterization of sex differences in spatial ability: a meta-analysis. Child Development. 56 (6), 1479-1498 (1985).
  7. Johnson, S. P., Moore, D. S. Spatial thinking in infancy: Origins and development of mental rotation between 3 and 10 months of age. Cognitive Research: Principles and Implications. 5, 10(2020).
  8. Wai, J., Lubinski, D., Benbow, C. P. Spatial ability for STEM domains: aligning over 50 years of cumulative psychological knowledge solidifies its importance. Journal of Educational Psychology. 101 (4), 817-835 (2009).
  9. Newcombe, N. S., Stieff, M. Six myths about spatial thinking. International Journal of Science Education. 34, 955-971 (2012).
  10. Kell, H. J., Lubinski, D., Benbow, C. P., Steiger, J. H. Creativity and technical innovation: spatial ability's unique role. Psychological Science. 24 (9), 1831-1836 (2013).
  11. Geary, D. C. Spatial ability as a distinct domain of human cognition: An evolutionary perspective. Intelligence. 101616, (2022).
  12. Shepard, R., Metzler, J. Mental rotation of three-dimensional objects. Science. 171, 701-703 (1971).
  13. Shepard, R., Judd, S. Perceptual illusion of rotation of three-dimensional objects. Science. 191, 952-954 (1973).
  14. Just, M. A., Carpenter, P. A. Eye fixations and cognitive processes. Cognitive Psychology. 8, 441-480 (1976).
  15. Just, M. A., Carpenter, P. A. Cognitive coordinate systems: accounts of mental rotation and individual differences in spatial ability. Psychological Review. 92 (2), 137-172 (1985).
  16. Shepard, S., Metzler, D. Mental rotation: effects of dimensionality of objects and type of task. Journal of Experimental Psychology: Human Perception and Performance. 14 (1), 3-11 (1988).
  17. Biederman, I., Cooper, E. Size invariance in visual object priming. Journal of Experimental Psychology: Human Perception and Performance. 18, 121-133 (1992).
  18. Wexler, M., Kosslyn, S. M., Berthoz, A. Motor processes in mental rotation. Cognition. 68 (1), 77-94 (1998).
  19. Wohlschläger, A., Wohlschläger, A. Mental and manual rotation. Journal of Experimental Psychology: Human Perception and Performance. 24 (2), 397-412 (1998).
  20. Jordan, K., W, T., Heinze, H., Peters, M., Jäncke, L. Women and men exhibit different cortical activation patterns during mental rotation tasks. Neuropsychologia. 40, 2397-2408 (2002).
  21. Jansen-Osmann, P., Heil, M. Suitable stimuli to obtain (no) gender differences in the speed of cognitive processes involved in mental rotation. Brain and Cognition. 64, 217-227 (2007).
  22. Gardony, A. L., Taylor, H. A., Brunyé, T. T. What does physical rotation reveal about mental rotation. Psychological Science. 25 (2), 605-612 (2014).
  23. Adams, D. M., Stull, A. T., Hegarty, M. Effects of mental and manual rotation training on mental and manual rotation performance. Spatial Cognition & Computation. 14 (3), 169-198 (2014).
  24. Griksiene, R., Arnatkeviciute, A., Monciunskaite, R., Koenig, T., Ruksenas, O. Mental rotation of sequentially presented 3D figures: sex and sex hormones related differences in behavioural and ERP measures. Scientific Reports. 9, 18843(2019).
  25. Jansen, P., Render, A., Scheer, C., Siebertz, M. Mental rotation with abstract and embodied objects as stimuli: evidence from event-related potential (ERP). Experimental Brain Research. 238, 525-535 (2020).
  26. Noll, M. Early digital computer art at Bell Telephone Laboratories, Incorporated. Leonardo. 49 (1), 55-65 (2016).
  27. Vandenberg, S. G., Kuse, A. R. Mental rotations, a group of three-dimensional spatial visualization. Perceptual and Motor Skills. 47, 599-604 (1978).
  28. Hegarty, M. Ability and sex differences in spatial thinking: What does the mental rotation test really measure. Psychonomic Bulletin & Review. 25, 1212-1219 (2018).
  29. Kozaki, T. Training effect on sex-based differences in components of the Shepard and Metzler mental rotation task. Journal of Physiological Anthropology. 41, 39(2022).
  30. Bartlett, K. A., Camba, J. D. Gender differences in spatial ability: a critical review. Educational Psychology Review. 35, 1-29 (2023).
  31. Jansen, P., Schmelter, A., Quaiser-Pohl, C. M., Neuburger, S., Heil, M. Mental rotation performance in primary school age children: Are there gender differences in chronometric tests. Cognitive Development. 28, 51-62 (2013).
  32. Techentin, C., Voyer, D., Voyer, S. D. Spatial abilities and aging: a meta-analysis. Experimental Aging Research. 40, 395-425 (2014).
  33. Guillot, A., Champely, S., Batier, C., Thiriet, P., Collet, C. Relationship between spatial abilities, mental rotation and functional anatomy learning. Advances in Health Sciences Education. 12, 491-507 (2007).
  34. Voyer, D., Jansen, P. Motor expertise and performance in spatial tasks: A meta-analysis. Human Movement Science. 54, 110-124 (2017).
  35. Peters, M., et al. A redrawn Vandenberg and Kuse mental rotations test: different versions and factors that affect performance. Brain and Cognition. 28, 39-58 (1995).
  36. Peters, M., Battista, C. Applications of mental rotation figures of the Shepard and Metzler type and description of a mental rotation stimulus library. Brain and Cognition. 66, 260-264 (2008).
  37. Wiedenbauer, G., Schmid, J., Jansen-Osmann, P. Manual training of mental rotation. European Journal of Cognitive Psychology. 19, 17-36 (2007).
  38. Jost, L., Jansen, P. A novel approach to analyzing all trials in chronometric mental rotation and description of a flexible extended library of stimuli. Spatial Cognition & Computation. 20 (3), 234-256 (2020).
  39. Amorim, M. A., Isableu, B., Jarraya, M. Embodied spatial transformations:" body analogy" for the mental rotation of objects. Journal of Experimental Psychology: General. 135 (3), 327(2006).
  40. Bauer, R., Jost, L., Günther, B., Jansen, P. Pupillometry as a measure of cognitive load in mental rotation tasks with abstract and embodied figures. Psychological Research. 86, 1382-1396 (2022).
  41. Heil, M., Jansen-Osmann, P. Sex differences in mental rotation with polygons of different complexity: Do men utilize holistic processes whereas women prefer piecemeal ones. The Quarterly Journal of Experimental Psychology. 61 (5), 683-689 (2008).
  42. Larsen, A. Deconstructing mental rotation. Journal of Experimental Psychology: Human Perception and Performance. 40 (3), 1072-1091 (2014).
  43. Ho, S., Liu, P., Palombo, D. J., Handy, T. C., Krebs, C. The role of spatial ability in mixed reality learning with the HoloLens. Anatomic Sciences Education. 15, 1074-1085 (2022).
  44. Foster, D. H., Gilson, S. J. Recognizing novel three-dimensional objects by summing signals from parts and views. Procedures of the Royal Society London B. 269, 1939-1947 (2002).
  45. Stieff, M., Origenes, A., DeSutter, D., Lira, M. Operational constraints on the mental rotation of STEM representations. Journal of Educational Psychology. 110 (8), 1160-1174 (2018).
  46. Moen, K. C., et al. Strengthening spatial reasoning: elucidating the attentional and neural mechanisms associated with mental rotation skill development. Cognitive Research: Principles and Implications. 5, 20(2020).
  47. Guay, R. B. Purdue spatial visualization test: Rotations. Purdue Research Foundation. , West Lafayette, IN. (1976).
  48. Bodner, G. M., Guay, R. B. The Purdue Visualization of Rotations Test. The Chemical Educator. 2 (4), 1-17 (1997).
  49. Maeda, Y., Yoon, S. Y., Kim-Kang, K., Imbrie, P. K. Psychometric properties of the Revised PSVT:R for measuring First Year engineering students' spatial ability. International Journal of Engineering Education. 29, 763-776 (2013).
  50. Sorby, S., Veurink, N., Streiner, S. Does spatial skills instruction improve STEM outcomes? The answer is 'yes'. Learning and Individual Differences. 67, 209-222 (2018).
  51. Khooshabeh, P., Hegarty, M. Representations of shape during mental rotation. AAAI Spring Symposium: Cognitive Shape Processing. , 15-20 (2010).
  52. Wetzel, S., Bertel, S. Spatial cognition XI. Spatial cognition 2018. Lecture Notes in Computer Science. Creem-Regehr, S., Schoning, J., Klippel, A. 11034, Springer. Cham. 167-179 (2018).
  53. Jost, L., Jansen, P. Manual training of mental rotation performance: Visual representation of rotating figures is the main driver for improvements. Quarterly Journal of Experimental Psychology. 75 (4), 695-711 (2022).
  54. Irwin, D. E., Brockmole, J. R. Mental rotation is suppressed during saccadic eye movements. Psychonomic Bulletin & Review. 7 (4), 654-661 (2000).
  55. Moreau, D. The role of motor processes in three-dimensional mental rotation: Shaping cognitive processing via sensorimotor experience. Learning and Individual Differences. 22, 354-359 (2021).
  56. Kosslyn, S. M., Ganis, G., Thmpson, W. L. Neural foundations of imagery. Nature Reviews Neuroscience. 2, 635-642 (2001).
  57. Guo, J., Song, J. H. Reciprocal facilitation between mental and visuomotor rotations. Scientific Reports. 13, 825(2023).
  58. Nazareth, A., Killick, R., Dick, A. S., Pruden, S. M. Strategy selection versus flexibility: Using eye-trackers to investigate strategy use during mental rotation. Journal of Experimental Psychology: Learning, Memory, and Cognition. 45 (2), 232-245 (2019).
  59. Montag, M., Bertel, S., Koning, B. B., Zander, S. Exploration vs. limitation - An investigation of instructional design techniques for spatial ability training on mobile devices. Computers in Human Behavior. 118, 106678(2021).
  60. Tang, Z., et al. Eye movement characteristics in a mental rotation task presented in virtual reality. Frontiers in Neuroscience. 17, 1143006(2023).
  61. Münzer, S. Facilitating recognition of spatial structures through animation and the role of mental rotation ability. Learning and Individual Differences. 38, 76-82 (2015).
  62. Gardony, A. L., Eddy, M. D., Brunyé, T. T., Taylor, H. A. Cognitive strategies in the mental rotation task revealed by EEG spectral power. Brain and Cognition. 118, 1-18 (2017).
  63. Ruddle, R. A., Jones, D. M. Manual and virtual rotation of three-dimensional object. Journal of Experimental Psychology: Applied. 7 (4), 286-296 (2001).
  64. Sundstedt, V., Garro, V. A Systematic review of visualization techniques and analysis tools for eye-tracking in 3D environments. Frontiers in Neuroergonomics. 3, 910019(2022).
  65. Sawada, T., Zaidi, Q. Rotational-symmetry in a 3D scene and its 2D image. Journal of Mathematical Psychology. 87, 108-125 (2018).
  66. Xue, J., et al. Uncovering the cognitive processes underlying mental rotation: an eye-movement study. Scientific Reports. 7, 10076(2017).
  67. O'Shea, R. P. Thumb's rule tested: Visual angle of thumb's width is about 2 deg. Perception. 20, 415-418 (1991).
  68. Todd, J., Marois, R. Capacity limit of visual short-term memory in human posterior parietal cortex. Nature. 428, 751-754 (2004).

重印与许可

标签

三维虚拟物体旋转轨迹心理旋转交互式旋转任务人机交互眼动数据分析认知过程实时记录旋转映射
利用眼动追踪数据对交互式虚拟物体旋转的三维映射
联系我们
向图书馆推荐

隐私政策

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。