Method Article

使用眼动追踪数据对交互式虚拟对象旋转进行三维映射

DOI:

10.3791/65977

⸱

October 18th, 2024

 ,  ,  ,  , 
1Graduate Program in Chemistry, University of São Paulo, Institute of Chemistry, 2Graduate Program in Applied Mathematics, University of São Paulo, Institute of Mathematics and Statistics, 3Graduate Program in Neuroscience and Cognition, Federal University of ABC, Center of Mathematics, Computing and Cognition, 4School of Biomedical Engineering, Science and Health Systems, Drexel University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

我们开发了一种简单、可定制且高效的方法来记录来自交互式空间任务的定量过程数据，并使用眼动追踪数据映射这些旋转数据。

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

我们提出了一种实时记录人类与 3D （3D） 虚拟对象交互的方法。该方法包括将纵对象的旋转数据与行为测量（例如眼动追踪）相关联，以更好地推断潜在的认知过程。

该任务包括在计算机屏幕上显示同一 3D 对象（分子）的两个相同模型:一个旋转的交互式对象 （iObj） 和一个静态的目标对象 （tObj）。参与者必须使用鼠标旋转 iObj，直到他们认为其方向与 tObj 的方向相同。计算机实时跟踪所有交互数据。参与者的眼动数据也使用眼动仪进行记录。计算机的测量频率为 10 Hz，眼动仪的测量频率为 60 Hz。

iObj 相对于 tObj 的方向数据以旋转四元数记录。注视数据与 iObj 的方向同步，并使用相同的系统进行引用。这种方法使我们能够获得人类与 iObj 和 tObj 交互过程的以下可视化:（1） 与其他时间相关数据同步的角度视差;（2） 我们决定称之为"旋转球"的内部 3D 旋转轨迹;（3） 3D 固定热图。该协议的所有步骤都使用了免费软件，例如 GNU Octave 和 Jmol，并且所有脚本都作为补充材料提供。

通过这种方法，我们可以对涉及心理或身体旋转的任务解决过程进行详细的定量研究，而不仅仅是达到的结果。可以精确测量 3D 模型的每个部分对参与者解决任务的重要性，从而将模型与相关变量相关联，例如对象的特征、个体的认知能力和人机界面的特征。

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

心理旋转 （MR） 是一种认知能力，使个体能够在心理上操纵和旋转物体，从而促进更好地理解其特征和空间关系。它是视觉空间能力之一，早在 1890 年 1 就被研究过一个基本的认知群。视觉空间能力是个体认知能力的重要组成部分，它受遗传和环境因素的影响 2,3,4,5。在整个 20 世纪，人们对视觉空间能力的兴趣不断增长，因为越来越多的证据表明它们在关键学科中的重要性，例如衰老6 和发展 7 （development7）、科学、技术、工程和数学 （STEM） 的表现 8,9、创造力10 和进化特征 11。

MR 的当代理念源于 Shepard 和 Metzler （SM） 于 1971 年发表的开创性工作12。他们设计了一种计时方法，使用一系列"相同或不同"的任务，呈现并排显示的抽象 3D 对象的两个投影。参与者必须在脑海中沿某个轴旋转物体，并决定这些投影是否描绘了同一物体、不同旋转或不同的物体。该研究揭示了响应时间 （RT） 和同一对象表示之间的角度差异 （AD） 之间存在正线性相关。这种相关性被称为角度视差效应 （ADE）。ADE 被认为是 MR 的一种行为表现，并在该领域随后的几项有影响力的研究中变得无处不在 13,14,15,16,17,18,19,20,21,22,23,24,25.SM 研究中采用的 3D 对象由 10 个连续的立方体组成，由贝尔实验室26 的计算机图形先驱 Michael Noll 生成。它们被称为 SM 图，并广泛用于 MR 研究。

在 Shepard 和 Metzler 的开创性工作中，有两项进步非常重要;首先，考虑 MR 评估领域的贡献。1978 年，Vanderberg 和 Kuze27 开发了一种基于 SM"相同或不同"数字的 20 项心理测量纸笔测试，后来被称为心理旋转测试 （VKMRT）。每个测试项目都呈现一个目标刺激。参与者必须在四种刺激中进行选择，哪些代表目标刺激中描绘的相同对象，哪些不代表。VKMRT 已用于研究 MR 能力与各种其他因素之间的相关性，例如性别相关差异 6,21,24,28,29,30，衰老和发育 6,31,32，学习成绩8，33 以及音乐和体育技能34。1995 年，Peters 等人发表了一项研究，其中重绘了 VKMRT35,36 的数字。同样，在"相同或不同"的任务设计之后，已经采用了各种其他计算机生成的刺激库来研究 MR 过程并评估 MR 能力（原始 SM 刺激19、22、23、37、38 的 3D 版本，模拟 SM 图形的人体25、39、40，用于 2D 旋转的平面多边形41，42、解剖学和器官43，有机形状44，分子45,46 等21）。Guay 在 197647 年提出的普渡空间可视化测试 （PSVT） 也是相关的。它需要一系列测试，包括 MR （PSVT:R）。PSVT:R 采用与 VKMRT 中的刺激不同的刺激，要求参与者识别模型刺激中的旋转操作，并在心理上将其应用于不同的刺激。PSVT:R 也被广泛使用，特别是在调查 MR 在 STEM 成就中的作用的研究 48,49,50。

Shepard 和 Metzler 的开创性工作中非常重要的第二个进步包括对理解 MR 过程的贡献，特别是使用眼动追踪设备。1976 年，Just 和 Carpenter14 使用基于模拟视频的眼动追踪设备进行了一项基于 Shepard 和 Metzler 的 ADE 实验的研究。根据他们对扫视眼球运动和 RT 的结果，他们提出了一个 MR 过程模型，该模型由三个阶段组成:1） 搜索阶段，其中识别了图形的相似部分;2） 转换和比较阶段，其中识别的部分之一在精神上旋转;3） 确认阶段，决定数字是否相同。这些阶段以递归方式重复，直到可以做出决定。每个步骤对应于与观察到的 ADE 密切相关的特定扫视和注视眼球运动模式。因此，通过将眼睛活动与计时数据相关联，Just 和 Carpenter 为 MR 过程的研究提供了认知特征。迄今为止，该模型尽管进行了调整，但已在多项研究中采用 15,42,46,51,52,53。

沿着这条轨道，随后的几项研究监测行为 18,19,22,23,25,34,40,54,55 和大脑活动 20,22,56,57进行刺激旋转期间的功能。他们的研究结果表明 MR 和运动过程之间的合作作用。此外，人们对研究涉及 MR 与个体差异相关的问题解决策略的兴趣日益浓厚 15,41,46,51,58。

总的来说，可以认为旨在了解 MR 过程的研究设计是基于提出带有视觉刺激的任务，要求参与者执行 MR 操作，进而导致运动反应。如果这种反应允许刺激旋转，则通常称为物理旋转 （PR）。根据每项研究的具体目标，采用了不同的策略和设备来获取和分析 MR 和 PR。在任务刺激呈现步骤中，可以改变刺激的类型（即前面引用的例子）;投影（传统显示器22、23、25、29、40、41、59 以及立体镜19 和虚拟60 和混合43 现实环境中的计算机生成图像）;以及刺激的交互性（静态图像12、27、36、动画61 和交互式虚拟对象19、22、23、43、53、59）。

MR 通常从 RTs （ADE） 以及眼部和脑部活动的测量中推断出来 25,46,62。使用眼动追踪数据测量眼球活动，包括扫视运动和注视14、15、42、51、52、54、58、60 以及瞳孔测量40。RT 数据通常来自操作各种设备时记录的电机响应数据，例如杠杆13、按钮和开关14,53、踏板53、旋钮19、操纵杆37、键盘61 和鼠标 29,58,60、驱动轮53、惯性传感器22,23、触摸屏52,59和microphones 22。为了测量 PR，除了 RT 之外，研究设计还将包括在参与者执行 MR 任务时记录交互式刺激的手动旋转 22,23,52,53。

1998 年，Wohlschläger 和 Wohlschläger19 使用"相同或不同"的任务，通过旋钮操纵交互式虚拟 SM 刺激，每个任务的旋转仅限于一个轴。他们测量了 RT 和任务期间执行的身体旋转的累积记录。比较有和没有交互式刺激实际旋转的情况，他们得出结论，MR 和 PR 对于想象和实际执行的旋转共享一个共同的过程。

2014 年，进行了两项研究，采用具有虚拟交互刺激的相同类型的任务22,23。然而，这些物体是用惯性传感器操纵的，这些传感器可以捕捉 3D 空间中的运动。在这两种情况下，除了 RT 之外，还记录了旋转轨迹 - 任务期间参考和交互刺激之间旋转差异的演变。从这些轨迹中，可以提取累积信息（即以四元数为单位的旋转总数）和有关求解策略的详细信息。Adams 等人 23 研究了 MR 和 PR 之间的协同效应。除了 RT 之外，他们还使用旋转轨迹的积分作为分辨率的准确性和客观性的参数。根据三步模型63 （规划、主要旋转、微调） 解释曲线剖面。结果表明 MR 和 PR 不一定具有单一的公因子。Gardony 等人22 收集了有关 RT、准确性和实时旋转的数据。除了确认 MR 和 PR 之间的关系外，对旋转轨迹的分析还表明，参与者会操纵这些数字，直到他们能够识别它们是否不同。如果它们相同，参与者会轮换它们，直到它们看起来相同。

延续这一策略，在 2018 年，Wetzel 和 Bertel52 还使用触摸屏平板电脑作为界面，在"相同或不同"的任务中使用交互式 SM 图形。此外，他们使用眼动追踪设备来获得有关注视时间和扫视振幅的累积数据，作为解决 MR 任务所涉及的认知负荷参数。作者证实了上面讨论的关于 MR 和 PR 之间关系以及任务解决过程的先前研究。然而，在这项研究中，他们没有对刺激使用注视映射和扫视数据。

在虚拟 3D 对象上映射眼动追踪数据的方法已经提出并不断改进，通常由对研究虚拟环境中视觉注意力相关因素感兴趣的研究人员提出64。尽管价格实惠并且使用类似的眼动追踪设备，但显然，这些方法尚未有效地整合到使用交互式 3D 对象（如前面提到的那些）进行精神旋转研究的实验库中。相反，我们在文献中没有发现任何研究报告了交互式 3D 物体上注视和扫视运动数据的实时映射。似乎没有方便的方法可以轻松地将眼球活动数据与旋转轨迹整合在一起。在这项研究中，我们的目标是为填补这一空白做出贡献。详细介绍了从数据采集到图形输出生成的过程。

在本文中，我们详细描述了一种使用虚拟交互式 3D 对象研究心理旋转过程的方法。重点介绍了以下进展。首先，它在与 3D 虚拟模型的交互过程中集成了定量行为运动（通过计算机界面手动驱动物体旋转）和目测（眼动追踪）数据收集。其次，它只需要传统的计算机设备和眼动追踪设备进行视觉任务设计、数据采集、记录和处理。第三，它可以轻松生成图形输出以促进数据分析 - 角度视差、物理旋转、四元数旋转轨迹以及眼动追踪数据在 3D 虚拟对象上的命中映射。最后，该方法只需要免费软件。所有开发的代码和脚本均免费提供 （https://github.com/rodrigocnstest/rodrigocnstest.github.io）。

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. 准备数据收集工具

  1. 设置在线数据收集（可选）。
    注意:此步骤介绍如何设置项目代码和工作网页的可自定义克隆（请参阅 补充文件 1).此步骤改编自 https://pages.github.com/ 和 https://github.com/jamiewilson/form-to-google-sheets 中提供的教程。如果用户只对数据处理方法感兴趣，对数据记录不感兴趣，他们可以使用 web https://rodrigocnstest.github.io/iRT_JoVE.html 和补充表 S1 和存储库文件 https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave，并跳过步骤 1.1、1.2 及其子步骤。
    1. 在 GitHub （https://github.com/） 中登录。
    2. 创建原始 GitHub Pages 存储库的公共克隆。
      1. 登录账户后，单击 Import repository from https://github.com （ 从导入仓库 ）。
      2. 在 Your old repository's clone URL 字段中，将 URL https://github.com/rodrigocns/rodrigocns_JoVE 粘贴到 Repository name 字段中，键入 username.github.io，其中 username 是帐户中使用的用户名，并确保启用 Public 选项。然后，单击绿色按钮 Begin import。
        注意:存储库现在包含此设置其余部分所需的大部分文件，对存储库所做的任何更改都将在几分钟后在网站上更新。例如，名为 rodrigocnstest 的用户将在 https://rodrigocnstest.github.io 上访问他们自己的页面，在 https://github.com/rodrigocnstest/rodrigocnstest.github.io 上访问他们的 GitHub 存储库。
    3. 设置云电子表格以在线存储实验数据。
      1. 注册或登录 Google 帐户。
      2. 登录帐户后，转到 https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9 上提供的 iRT 电子表格清理 文件
        Ops1wZrXI/edit？usp=sharing 的 Ops1wZrXI/edit？usp=sharing 中。
      3. 在此电子表格中，单击 File （文件） |制作副本。将出现一个小的确认窗口。
      4. 在小窗口中，为文件命名，然后单击 制作副本 按钮。
    4. 设置 Google Apps 脚本，以便在您创建的电子表格中自动存储数据。
      1. 在电子表格文件中，单击选项 扩展 |Apps 脚本。
        注意:必须从电子表格内部创建或访问此脚本，以便将其与电子表格关联。尝试在外部创建脚本可能不起作用。
      2. 单击 Run 按钮首次运行脚本。
      3. 单击 Review permissions 按钮。将出现一个新窗口。单击创建电子表格时使用的相同帐户。
        注意:如果这是第一次执行此步骤，则可能会出现安全警报，警告用户有关应用程序请求从帐户访问信息的信息。这是安全的，因为该应用程序会尝试访问电子表格内容并请求权限以填充数据。如果未显示警告，则可以跳过步骤 1.1.4.4。
      4. 单击 高级 |转到 从 iRT 到床单（不安全） |允许 （Allow ） 按钮。
        注意:执行后，执行日志中应显示一条通知，说明执行已完成。
      5. 在左侧滑动面板中，单击 Triggers 按钮（从上到下的第四个图标） | + Add Trigger 按钮。
      6. 在 Choose which function to run （选择要运行的函数） 下，选择 doPost;在 Select event source （选择事件源） 下，选择 From spreadsheet;在 Select event type （选择事件类型） 下，选择 On form submit （表单提交时）。然后，单击 Save （保存）。如果出现任何权限弹出窗口，请按照步骤 1.1.4.3-1.1.4.4 进行操作。如果浏览器最终阻止了弹出窗口，请取消阻止它。
      7. 单击 Deploy 下拉按钮 |新部署。
      8. 将鼠标悬停在 齿轮 图标上，并确保选中 Web App 选项。
      9. 在 New description 字段中编写描述，如 Deployment 1;在 Who has access 字段中，选择 Anyone ，然后单击 Deploy 按钮。
        注意: New description 字段的目的是组织脚本部署。它可以按照读者的意愿命名，例如 First deployment。 Execute as 字段应已显示为 Me（email），其中 email 是直到现在使用的电子邮件。
      10. 在新弹出窗口中，复制脚本部署的 Web 应用程序 URL。
        注意:如果由于某种原因，您最终丢失了复制的 Web 应用程序 URL，请单击 Deploy 下拉菜单 |管理部署。Web 应用程序 URL 应该在那里。
      11. 转到 https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js 页面，其中 rodrigocnstest 是 GitHub 上使用的用户名。替换步骤 1.1.4.10 中复制的 Web 应用程序 URL 的第 5 行中的现有 URL，然后单击绿色按钮 Commit changes...。
        注意:复制的 URL 值应保持在单 ' ' 或双 " "' 引号之间。仔细检查复制的 URL 是否是 Web 应用程序中的正确 URL。
      12. 最后，单击屏幕中间的 Commit changes 确认按钮。
    5. 确保该过程已正确完成并且页面正在运行。
      1. 转到 https://github.com/username/username.github.io/ 处的存储库，其中 username 是 GitHub 上使用的用户名，并检查在步骤 1.4.14 中进行更改后部署是否已更新。
      2. 导航到 https://username.github.io/iRT_JoVE 处的网页，将 username 更改为 GitHub 中使用的用户名，然后单击 Next。
      3. 单击 Go，通过单击并拖动右侧的对象进行任何交互，然后单击 DONE！ 按钮。
      4. 返回到步骤 1.1.3 和 1.1.4 中配置的电子表格文件，并验证每次按下 DONE 按钮时是否存在新添加的数据行。
  2. 设置离线数据采集（可选）。
    注意:用于运行和获取交互式旋转任务 （iRT） 数据的方法是通过上述步骤中配置的云服务联机。如果需要（因为 Internet 连接可能是一个问题，或者有其他方式来运行它），也可以在执行测试的位置本地运行测试，无论是否有 Internet 连接。以下步骤是可选的替代方法，并描述了如何实现此目的。否则，请跳至步骤 1.3。
    1. 通过以下链接访问 GitHub 存储库:https://github.com/rodrigocnstest/rodrigocnstest.github.io。点击绿色按钮 < > 代码 |下载 ZIP，然后解压缩下载的文件。
      注意:对本地存储的文件所做的更改不会更改存储库中的文件， 反之亦然。针对这两个版本的任何更改都应应用于这两个位置，手动复制更新的文件或使用 git/GitHub desktop。
    2. 通过链接获取最新版本的 Mozilla Firefox:https://www.mozilla.org/en-US/firefox/new/。
    3. 打开 Mozilla Firefox 浏览器，在 URL 槽中输入 "about:config"，在搜索字段中输入 "security.fileuri.strict_origin_policy"，然后将其值更改为 false。注意:现在，Windows 操作系统中的 Mozilla Firefox 应该能够本地访问计算机上下载的网页文件。其他浏览器和操作系统可以配置为在本地工作，每个浏览器和操作系统的设置都在链接 http://wiki.jmol.org/index.php/Troubleshooting/Local_Files 中进行了描述。
  3. 设置数据处理工具。
    1. 在 https://octave.org/download 下载并安装最新版本的 GNU Octave。
  4. 设置眼动跟踪设备。
    1. 确保笔记本电脑上已安装录制系统软件。
    2. 确保研究室干净整洁，以免分心。
    3. 在房间内使用人工照明，以保持全天照明一致。
    4. 将计算机安装在桌子上，并确保参与者可以舒适地移动鼠标。
    5. 为参与者提供舒适的椅子，最好是固定的椅子，以尽量减少测试期间的移动。
    6. 在笔记本电脑/计算机和相机的眼动仪之间连接一根 USB 电缆，为红外照明供电，再连接一根 USB 电缆。
    7. 将眼动仪放在屏幕下方。

2. 数据收集

  1. 初始化数据收集软件。
    1. 在计算机上运行 眼动追踪软件以接收来自眼动追踪器的数据。
    2. 在软件的主窗口中选择选项 Screen Capture 以在实验期间捕获凝视（也可以使用此软件进行热图可视化和原始导出数据）。
    3. 单击 New Project 创建一个新项目和应保存数据的项目文件夹。
    4. 如果使用作为示例提供的页面或在步骤 1.1 中创建的页面，请在 https://rodrigocnstest.github.io/iRT_JoVE.html 处打开测试页面。或者，在步骤 1.2 中，从先前配置的浏览器本地打开 iRT_JoVE.html 文件。
    5. 如果需要，请填写 name 和 email 字段以帮助识别数据，并勾选复选框以下载所生成数据的备份副本。
      注意:如果使用离线方法（步骤 1.2），建议下载备份副本。
    6. 尝试运行一次实验，以确保浏览器正确加载元素，并且显示的任务或数据采集没有问题。
  2. 运行实验。
    1. 向参与者解释实验的目的、使用的技术以及纳入/排除标准。确保参与者已经理解了所有内容。让参与者填写同意书。
    2. 让参与者坐在眼动追踪系统前，并尽可能舒适。
    3. 移动椅子以确保参与者和摄像头之间保持最佳距离（理想的长度是从眼动仪到参与者眼睛 65 厘米）。
    4. 要求参与者在实验过程中尽可能保持静止。调整摄像头的高度以正确捕捉参与者的瞳孔（某些软件会突出显示瞳孔以显示角膜反射）。
    5. 单击 "启用自动增益 "，通过更改相机增益来优化瞳孔跟踪，直到找到瞳孔（某些软件没有此选项）。
    6. 让参与者看着屏幕上的一系列点，并在不移动头部的情况下跟随点的移动。
    7. 点击 Calibrate 开始校准（这将确保眼动仪可以跟踪被试者看屏幕的位置）。
      注意:屏幕将变为空白，校准标记（点）将在屏幕上的五个位置之间移动。
    8. 校准后，屏幕上将绘制一个视觉视点估计值，以检查校准精度。让参与者注视屏幕上的特定点，以查看凝视是否能正确显示。
    9. 如果校准结果不令人满意，请调整相机并再次尝试校准，直到系统正确跟踪凝视。
    10. 点击眼动追踪软件（主菜单）右侧的 Collect Data（收集数据 ）按钮，激活数据收集模式。捕获的屏幕的实时显示将与主显示窗口中显示的凝视数据一起显示。
    11. 点击主菜单中的 Gaze video 按钮，显示眼动仪捕捉的用户面部。然后，单击 Start record（开始记录 ）以开始实验。
      注意:在实验过程中，参与者的瞳孔会突出显示，他们的眼睛会显示为一个在笔记本电脑屏幕上移动的点。确保眼动仪在屏幕上跟踪瞳孔和眼睛。
    12. 如果点消失或频繁闪烁，请停止实验并再次尝试校准。
    13. 打开之前打开的 iRT 窗口，并告诉参与者单击 Next。
    14. 向参与者提供以下说明:"在本节中，您将执行三个轮换任务。当您点击 GO！ 按钮，两个对象将出现在屏幕的相对两侧。您的目标是旋转右侧的对象，直到它尽可能地与左侧的对象紧密匹配。要旋转对象，请在其上单击并拖动鼠标。完成三项任务中的每一项后，单击 DONE！ 按钮结束。
      注意:对于每个任务，任何超过 5 分钟标记（正好是第 327 秒）的 iRT 数据都可能丢失。随着我们进一步开发该方法，此限制应扩展。
    15. 实验结束时，确保将眼动仪从延长线上关闭，并将镜头盖放回相机上。
  3. 提取数据。
    1. 眼动仪数据收集完成后，单击 Analyze Data 以访问收集的数据。
    2. 导出一个 .csv 文件，其中包含为用户记录的所有数据。
      注意:眼动仪数据的第一列 必须是 数据的 UNIX 纪元，因为这是使不同数据集在时间上正确匹配的唯一方法。如果文件不包含 1 个时间标准，则应从使用的任何其他时间标准转换而来。该文件可以是 ".csv" 或 ".xlsx" 格式。
    3. 如果使用交互式轮换任务页面的在线版本（步骤 1.1），请打开用于接收在线数据的 Google 表格文件（在步骤 1.1.3 中创建），然后单击文件 |下载 |Microsoft Excel （.xlsx）。
      注意:这些数据被打包以方便数据传输（每个任务对应于一行填充了数据）。要处理内部的数据，必须先对每行打包的数据进行 "解包"。

3. 数据处理和分析

  1. 解包、合并和处理数据。
    注意:以下步骤介绍如何使用提供的脚本处理数据（请参阅 补充文件 2）。GNU Octave 脚本将提示用户输入有关其文件的信息。如果输入作为空白发送，则将改用默认值，如果没有用户数据覆盖它们，则引用提供的示例数据。脚本运行完毕后，可以将其关闭。
    1. 下载并解压缩正在使用的存储库（用户自己的存储库或原始存储库，https://github.com/rodrigocns/rodrigocns_JoVE），如果尚未下载。
    2. 确保脚本 1.unpacking_sheets.m、2.data_merge_and_process.m 3.3D rotational trajectory.m 和文件夹 models 位于下载的存储库中的文件夹 Octave 中，并将从步骤 2.3.2 和 2.3.3 下载的数据文件移动到 octave 脚本所在的同一文件夹中。
      注意:文件夹中已有的任何与新写入的文件同名的现有文件都可能被覆盖。相应地重命名文件或将文件移动到另一个文件夹。
    3. 使用 GNU Octave Launcher 打开脚本 1.unpacking_sheets.m 。在 Editor 选项卡中，通过单击绿色的 Save file and run 按钮来运行脚本，以将数据解包为更具可读性的结构。
      注意:如果请求的任何数据文件在本地打开，请记住在运行脚本之前关闭它们。所有 .m 脚本文件均使用 GNU Octave Launcher 执行。
    4. 将出现两个提示，一个接一个。在第一个提示符中输入下载文件的名称，在第二个字段中输入未打包文件的名称。或者，将两个提示字段留空，以使用用于所包含示例文件的默认名称。等待几分钟（取决于数据量），然后出现一个弹出窗口，通知用户该过程已完成，并且新文件已写入。
    5. 打开并运行脚本 2.data_merge_and_process.m 以合并来自 eye tracker 和 iRT 的数据。
      注意:尽管此脚本很复杂，包含数百行代码，但它分为三个主要部分:设置、函数和脚本。所有这些都被彻底地评论和解释，以便在必要时促进将来的修改。
    6. 将出现四个提示。输入 sessionID 值、taskID 值 （均来自 iRT 数据表）、 未打包的 iRT 数据文件名 （在步骤 3.1.5 中写入）和 眼动仪数据文件名 （在步骤 2.3.2 中导出）或将它们全部留空以使用默认值。
      注意:几分钟后，帮助弹出窗口将指示脚本已完成计算以及使用和创建的文件的名称。在脚本过程中，将出现三个角度视差样本图:一个简单的图、一个带有彩色注视数据的图和一个带有瞳孔直径数据的图。创建的两个文件是 output merge X Y.xlsx 和 output jmol console X Y.xlsx，其中 X 是 sessionID 值， Y 是 taskID 值，这两个文件都写在步骤 3.1.6 的开头。
  2. 渲染 3D 旋转轨迹图像。
    1. 打开并运行脚本 3.3D rotation trajectory.m。
    2. 将出现三个提示。输入 sessionID 值、taskID 值和 未打包的 iRT 数据文件名，或将其留空以使用默认值。
      注意:将出现一个 3D 图形。渲染的图形是指定会话和任务的 3D 旋转轨迹。
  3. 重播动画。
    1. 要重播参与者的任务交互，首先，转到交互式任务网页，开始测试（显示两个 3D 模型），将鼠标指针移动到屏幕右上角，直到鼠标图标变为文本，如 补充文件 2 中所示，然后单击不可见的 Debug 文本，启用 调试模式。
    2. 从模型之间出现的按钮中，单击 timerStop 按钮中断任务，然后单击 控制台 按钮打开右侧的模型 JSmol 控制台。如果来自相关交互的任务不是第一个任务，请单击顶部调试区域内的编号按钮以更改屏幕上显示的任务。
      注意:JSmol 是网页中使用的分子建模软件。
    3. 打开文件 输出 jmol console.xlsx 并复制整个 Jmol 命令页面。
      注意:每个页面都包含用于不同场景或动画的命令。
    4. 在 JSmol 控制台中，粘贴复制的命令列表，然后单击 Run 按钮或按键盘上的 Enter 键来执行它。
    5. 如果需要，生成 .gif 动画。在 JSmol 控制台中编写命令 capture "filename" SCRIPT "output" ，其中 filename 是要创建的.gif文件的名称， output 是在步骤 3.3.3 中复制的整个命令列表，将两者保持在双引号内。
      注意:命令越复杂，模型越大或时间变化越多，所用计算机的规格越弱，动画就会变得越慢。Jmol 专注于可视化化合物和反应，通过我们的研究制作的动画类型突破了 Jmol 渲染能力的界限。在使用此动画进行任何定量测量时，应考虑并考虑这些点。

4. 任务定制

注意:整个部分是可选的，仅推荐给那些喜欢尝试或了解如何编码的人。下面，您将找到许多可用的可自定义选项中的一些，随着我们进一步开发这些方法，将提供更多选项。

  1. 配置新任务或现有任务。
    1. 定义参与者将执行多少个交互式任务，并在文件 object_configs.js 数组中命名每个任务， task_list 替换现有项名称或添加更多项。确保每个名称都是唯一的，因为它们稍后将用作标识符。
    2. 选择与 JSmol 兼容的 3D 坐标文件以执行交互式任务 （http://wiki.jmol.org/index.php/File_formats）。将这些文件复制到 models 文件夹。
      注意:本文中包含的脚本针对使用 .xyz 文件格式的非对称模型进行了优化。选择坐标文件时，请避免旋转对称，因为它们具有模棱两可的解65.
    3. 在 prepMolecule（num） 函数中定义 3D 对象的渲染设置。
      注意:JSmol 执行从一个任务到下一个任务的所有更改都在此处:更改颜色图案、更改图形元素的大小或呈现方式、方向、平移、隐藏对象的部分、加载新的 3D 模型等（有关更多示例，请参阅 https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm）。task_list 中命名的每个任务都对应一个 case。JSmol 要执行的每个命令都遵循以下结构: Jmol.script（ jsmol_obj ， " jsmol_command1;jsmol_command2 "）; 其中 jsmol_obj 是指正在更改的对象（jsmol_ref 和 jsmol_obj 是目标和交互式对象的默认值），后跟一个或多个命令，以 ";" 分隔。
  2. 创建新模型。
    1. 使用在线下载或由分子编辑器（如 Avogadro （https://avogadro.cc/））构建的任何 .xyz 模型。

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

角度视差和其他变量的演变
如补充文件 2 中的步骤 3.3.1 所示，在视频监视器屏幕上向参与者显示两个画布，以不同方向显示同一 3D 虚拟对象的副本。在左侧画布上，目标对象 （tObj） 保持静态，并用作目标位置或 tObj 位置。在右侧画布上，交互式对象 （iObj） 显示在不同的位置，并允许参与者使用鼠标围绕固定的旋转中心随时间推移移动它（仅旋转;禁用平移）。手头的任务包括根据参与者的判断调整 iObj 以紧密匹配 tObj。使用的三个 3D 对象如图 1 所示。求解过程虽然复杂，但可以细致地记录下来以供后续分析。这种记录超越了单纯的视频片段，因为随着时间的推移，每个位置都以固定的 0.1 s 间隔作为四元数捕获，形成一个时间序列，可以完全重建整个过程。在任何位置，都存在围绕特定轴的独特旋转，范围从 0° 到 180°，直接将 tObj 位置转换为 iObj 位置。虽然这种旋转是抽象的，与参与者在任务期间的 PR 无关，但它准确地表明了 iObj 相对于 tObj 的精确位置。AD 是此旋转的角度，可以根据相应的四元数计算。当 iObj 位置接近 tObj 位置时，该值接近零。

在数据处理和分析部分的步骤 3.1.6 之后，创建了两个文件: output merge X Y.xlsx 和 output jmol console X Y.xlsx，其中 X 是 sessionID 值， Y 是 taskID 值。如果通过将输入字段留空来使用默认值，则文件应命名为 output merge 1682707472090 bolaBastao_c.xlsx 和 output jmol console 1682707472090 bolaBastao_c.xlsx。 输出合并 X Y.xlsx 文件包含合并到 iRT 数据的选定眼动仪数据，按 UNIX 纪元时间对齐，如果一切正常，类似于 图 2A ，如果发生一些问题，则类似于 图 2B 。

输出 jmol 控制台 X Y.xlsx 文件最多包含五个选项卡，其中填充了 Jmol 控制台命令，当这些命令粘贴到 Jmol 控制台时，将在解决任务时重现参与者的动作:旋转重播再现参与者进行的 iObj 旋转;凝视重播 int 通过使用透明度/不透明刻度在对象上及时再现 iObj 旋转，并在对象上添加了注视热图;眼动回放 tgt 只显示任务过程中 tObj 的 3D 注视热力图;注视框架 int 和注视框架 tgt 显示了 iObj 和 tObj 全过程的整体注视映射。所有这些都如图 3A-F 所示。Jmol 和 JSmol 本质上是相同的，Jmol 是基于 Java 编程语言的插件，而 JSmol 是基于 JavaScript 编程语言的插件，两者具有相同的功能并且可以互换使用。

图 4 说明了在涉及两个参与者和三个对象的六种不同场景中，角度视差随时间的变化。流程的持续时间可能会有很大差异，具体取决于参与者对交互式任务对象的表现。在参与者正确完成的任何任务中，AD 在结束时往往为零。如果同一图表没有表现出此行为，则参与者无法完成任务，因为他们放弃或达到每个任务的时间限制（大约 5 分钟），或者数据处理中发生错误。

iObj PR 记录和从眼动追踪测量中获得的数据的组合结果如图 5 所示。目标和惯性物体之间角度差距随时间的变化表明了解决给定任务过程中的三个不同阶段:模型的初步观察;交互式模型的弹道旋转;微调交互式模型的旋转。图 5A 显示了在初始阶段，更具体地说，在微调阶段，模型之间的注视交替。图 5B 显示，在初始和微调阶段，瞳孔仍然更加放大。在微调阶段，交互式模型上的长注视期（图 5A 中的 40-47 秒）对应于瞳孔直径的平台期（40-47 秒，图 5B）。

这些结果表明，使用此处提出的方法获得的数据与基于静态模型 14,66 和交互式模型23 的注视固定数据提出的心理旋转问题解决模型一致。这样的模型将包括三个阶段:搜索、转换和比较，以及确认模型之间的匹配或不匹配。此外，在图 5A 中观察到的比较阶段中目标模型和交互式模型之间的注视交替与使用静态图像42,66 的 Sheppard 和 Metzler 类型测试中获得的结果一致。但是，对于交互式模型，这些搜索、转换、比较和确认阶段很可能通过交互式模型的交互和重新定位连续发生。

3D 旋转轨迹
在 3D 空间中从 0° 到 180° 的每次旋转都可以转换为球内半径等于 180° 的点（理解为球体内的体积）。 图 6 通过三个示例旋转演示了这种对应关系。点到球中心的距离是 iObj 角度与 tObj 位置的视差，从球中心指向点的矢量是旋转方向，从中心看，旋转是顺时针方向的。这种将旋转转换为球中点的做法使某人可以在单个 3D 绘图中直接可视化任务参与者所做的整个旋转轨迹。我们称此绘图为 3D 旋转轨迹。

与 AD 测量类似，对于参与者正确完成的任何任务，轨迹最终应接近球的中心。如果轨迹以 180° 旋转到达球体的边界，它将环绕到球体上的对跖点。 图 7 说明了前面提到的两个参与者执行第三项任务（ 图 4 中的 C1 和 C2）所采取的旋转轨迹，在三个坐标平面上的透视和投影中都可以看到。从图中可以清楚地看出，尽管相对较小的起始 AD 接近 45°，但参与者 1 最初偏离了目标位置，然后才找到通往解决方案的明确路径，这与参与者 2 不同，后者更快地完成了任务。

3D 固定热图
在解决问题的过程中，参与者在与 iObj 交互时在 tObj 和 iObj 之间交替注视。借助眼动追踪数据，我们可以提取参与者的注视位置，并创建在任何给定时间间隔内捕获参与者注意力最多和最少的屏幕区域的热图。更进一步，通过同步眼动追踪和 iRT 四元数数据，我们可以同时在 3D 空间和时间上映射每个对象顶点受到的关注，即使对象在时间上旋转也是如此。

在图 3 中，对对象的关注由每个顶点的不透明度级别表示。它离参与者的视线越近，保持距离越长，它受到的关注就越多，从而导致对象该区域的不透明度更高。注意力的空间下降是使用用于凝视位置的二元齐次高斯函数和应用于经过时间的简单齐次高斯函数来建模的。选择这些高斯的标准差时，假设视角为 2 度67，视觉短期记忆为 10 s68。为了防止使用此方法出现任何视觉伪影，当凝视位于对象画布外部时，凝视邻近数据将设置为零（当凝视位于 tObj 画布内部或两者外部时，iObj 不会收到残余关注）。图 3 显示了整个重播动画中每个对象的单帧和带有 3D 固定热图的相同帧。当任务接近尾声时（时间 = 6.3 秒），可以看到参与者在求解过程中对 tObj 和 iObj 之间的可能比较（图 3C，D）。整个过程可以在 Supplemental Video S1 中看作一个视频。我们报告了计算机介导的 3D 模型旋转的结果，作为在正常条件下承担的任务呈现给参与者。

figure-results-1
图 1:使用的目标对象。网页任务中使用的 3D 模型的图像。 （A） 以球和棒表示的分子;（B） 具有填充多边形的相同分子，没有氢，仅用棍子表示;（C） 类似于 Shepard 和 Metzler 图13 之一的多立方体，源自 Peters 和 Battista36 的刺激库。 请单击此处查看此图的较大版本。

figure-results-2
图 2:表格比较。（A，B） 图像取自电子表格输出合并1682707472090 bolaBastao_c.xlsx。列 A 到 G 包含 iRT 数据值，而列 H 到 N 包含眼动仪数据值。在（A）中，一切都是正确的，而在（B）中，在眼动仪列中，所有值都是恒定的，与iRT系统时间值不匹配。如果数据同步过程出现任何问题，则可能会发生此错误。请单击此处查看此图的较大版本。

figure-results-3
图 3:3D 固定热图。使用不透明度等级在 3D 对象上进行注视热图，其中更不透明与在参与者凝视附近花费的时间越多相关。（A，B） 参与者在 6.3 秒处完成的任务的 tObj 和 iObj 图像。（C，D）与（A，B）相同的图像在同一时刻，并添加了热图的不透明度范围。（东、女）考虑到参与者可以看到物体的整个时间段的注视热图图像。请单击此处查看此图的较大版本。

figure-results-4
图 4:AD 网格。绘制两个参与者和三个任务的角度差异网格。列表示参与者 1 和 2，行表示参与者使用图 3 中所示的三个对象完成的任务。请注意，虽然 AD 在 0° 和 180° 之间变化，但时间范围不是固定的，并且会随着参与者的表现和他们自己停止该过程的决定而变化。随着参与者旋转 iObj，tObj 和 iObj 之间的 AD 会随着时间的推移而变化，最终参与者选择当前的 iObj 方向作为最接近 tObj 的方向。在第 1 个和第 2 个任务中，两个参与者似乎都以相似的方式取得进展，但参与者 1 花费的时间是参与者 2 的一半。而在第 3 个任务中，虽然参与者 2 完成任务的时间较少，但参与者 1 在 20 秒之前就已经完成了任务，并不断进行小调整以更好地匹配 iObj 和 tObj。缩写:AD = 角度视差。请单击此处查看此图的较大版本。

figure-results-5
图 5:具有眼动追踪数据的 AD。角度视差的演变与眼动仪数据相结合。 （A） 角度视差和注视位置，tObj 和 iObj 之间角度视差的演变，以及每个模型的区域注视数据。该图显示了参与者的视线所在的区域:在 iObj 画布内时为红色，在 tObj 画布内时为蓝色，在两者之外时为灰色，同时查看屏幕上的另一个元素或将其移开。（B） 角度视差和瞳孔直径。角度视差（蓝色）与瞳孔直径数据（橙色）相结合。瞳孔直径是每个时间点左右瞳孔的平均值。缩写:AD = 角度视差。 请单击此处查看此图的较大版本。

figure-results-6
图 6:旋转球。 该图说明了如何将物体从参考位置的每个可能的旋转位置表示为半径为 180° 的球中的一个点，从而可以完整表示物体在所有三个轴上的旋转位置。在这里，球被理解为由球体界定的体积。（A） 用作示例的对象是七个立方体的不对称联合，如顶部左侧所示。编号为 I、II 和 III 的三个简单旋转应用于此对象，如右图所示。它们分别在 x 轴上为 +90°，在 z 轴上为 -60°，在 +x 和 -y 之间的轴上为 180°，与两个轴成 45°。（B） 旋转球显示与旋转 I、II 和 III 相对应的点。到球中心的距离就是角度视差。当 III 达到最大旋转角度 （180°） 时，它也表示在其对跖点，因为它们本质上是相同的。旋转 II 相对于轴 z 的正方向逆时针旋转，显示在负侧。 请单击此处查看此图的较大版本。

figure-results-7
图 7:3D 旋转轨迹。在第三个任务中，两个参与者所采用的旋转球内的旋转轨迹，从透视图 （A） 和坐标平面 （B-D） 上的投影中均可查看。线条粗细会随着时间的推移而减小。每列对应一个参与者（v1 和 v2）。当轨迹接近球的中心时，参与者更接近完成任务。"0" 表示任务的初始位置。随后的数字表示轨迹到达球的边缘并继续穿过对侧的对跖点（1 到 2、2 到 3、3 到 4 等）的点。请单击此处查看此图的较大版本。

补充表 S1:图纸标题。 克隆的工作表文件中的标题列表。每个标题对应一个变量名称，并将从该变量接收数据，形成一列用于处理和分析数据的值。 请点击此处下载此文件。

补充文件 1:协议步骤 1 指南。 指导完成协议方法步骤的屏幕截图列表"1.准备数据收集工具"。 请点击此处下载此文件。

补充文件 2:协议步骤 3 指南。 指导完成协议方法步骤的屏幕截图列表"3.数据处理和分析"。 请点击此处下载此文件。

补充视频 1:注视点测重播。 同时从 iObj 和 tObj 进行 3D 时间注意力映射的动画重放示例。使用 OBS Studios 录制并使用 OpenShot Video Editor 渲染。 请点击此处下载此文件。

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

如前所述，本文旨在介绍在交互式 3D 对象上实时映射注视和眼跳运动数据的详细过程，该程序易于定制，并且仅使用免费提供的软件，提供分步说明以使一切正常工作。

虽然这个实验设置涉及高度交互的任务，例如在三个可能轴中的两个轴上移动 3D 对象以匹配另一个对象的方向和 PR，但我们通过适当的注释确保对脚本进行全面记录，以促进任何自定义。可以设计各种其他类型的实验，眼动追踪设备只是用于时间数据采集的许多其他可能设备之一。

从步骤 1.1.3.3 复制的文件中的标题定义在线收集数据的内容和位置。 补充表 S1 列出了变量名称（全部区分大小写）及其含义。这些变量反映了在 GitHub 存储库的 JavaScript 文件中找到的变量。来自此表格和 JavaScript 文件的数据和变量名称的类型和种类应根据研究的范围和要求进行更改。

以四元数记录旋转数据使研究人员能够重现参与者在任务期间所做的相同动作，与屏幕截图相比，有助于分析过程并更有效地使用存储空间。更详细的分析，例如 图 7 中所示的 3D 旋转轨迹，使用旋转球，只能通过交互式对象的内部四元数数据来实现。这种新型图形从 Gardony22 和 Adams23 随时间变化的 AD 图扩展而来，提供了更详细的信息，以及实际的 3D 旋转坐标。

另一个优点是使用标准时间度量来同步所有数据源。将不同层的时间相关信息与此合并变得更加容易，例如将图形与多个数据源叠加，如图 5B 中的瞳孔扩张测量，或图 5A 中带有彩色垂直带，表示参与者求解过程中的可能模式，即使 iObj 中几乎没有发生旋转。 图 3 所示的 3D 固定热图只能从四元数数据和数据同步中获得。

通过标准时间度量使用同步以确保时态数据的任何集成至关重要。我们项目选择的时间标准是 UNIX Epoch，它用于 JavaScript 和大多数其他编程语言。每个数据集必须使用某种类型的已知时间标准，即使以后可以转换为 UNIX 纪元的不同标准也是如此。不使用任何标准的时态数据肯定无法同步并失去其实用性。

另一个限制是，相对于眼动仪的频率 60 Hz，iRT 测试中使用的 10 Hz 频率相对较低。发生这种情况的部分原因是浏览器内的数据处理和传输限制，因为使用任何更高的频率都会按比例减少每个任务的最大时间限制，目前为 327 秒。此外，以这种帧速率在 Jmol 中流畅地渲染复杂的动画已经带来了挑战。 补充视频 S1 是 Jmol 渲染不透明度随时间变化的重放的视频记录，映射每个顶点接收到的焦点量。虽然视频时长接近 2 分钟，但实际任务在 63 秒内完成。未来的软件开发专门针对这些功能，而不是调整现有功能，可以解决这些限制并增强数据收集和分析能力。

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者没有需要披露的利益冲突。

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者感谢高等教育人员改进协调 （CAPES） - 财务代码 001 和 ABC 联邦大学 （UFABC）。João R. Sato 获得了圣保罗研究基金会（FAPESP，拨款号 2018/21934-5、2018/04654-9 和 2023/02538-0）的财政支持。

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
FirefoxMozilla Foundation （Open Source）任何与 WebGL （https://caniuse.com/webgl） 兼容并与 Jmol 兼容的更新现代浏览器都可以使用
GNU OctaveOpen Sourcehttps://octave.org/
Google Apps ScriptGoogle LLCscript.google.com
Google SheetsGoogle LLChttps://www.google.com/sheets/about/
笔记本电脑任何可以运行眼动追踪系统软件的计算机。
Mangold 软件套件Mangold 用于眼动追踪设备的软件接口。可以使用任何输出带有系统时间值的数据的软件。
鼠标任何能够通过简单动作单击和拖动的鼠标都应该是兼容的。类似于具有相同功能的鼠标（如触摸屏或指针）的人机界面应该兼容，但行为可能有所不同。
Vt3miniEyeTech 数字系统60 Hz。任何正常工作的眼动追踪设备都应该是兼容的。

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. 34;General intelligence," objectively determined and measured. The American Journal of Psychology. 15, 201-292 (1904).">Spearman, C. 34;General intelligence," objectively determined and measured. The American Journal of Psychology. 15, 201-292 (1904).
  2. Human spatial abilities: psychometric studies and environmental, genetic, hormonal, and neurological influences. Psychological bulletin. 86 (5), 889-918 (1979).">McGee, M. G. Human spatial abilities: psychometric studies and environmental, genetic, hormonal, and neurological influences. Psychological bulletin. 86 (5), 889-918 (1979).
  3. The structure of human intelligence: It is verbal, perceptual, and image rotation (VPR), not fluid and crystallized. Intelligence. 33 (4), 393-416 (2005).">Johnson, W., Bouchard, T. J. The structure of human intelligence: It is verbal, perceptual, and image rotation (VPR), not fluid and crystallized. Intelligence. 33 (4), 393-416 (2005).
  4. Components of spatial intelligence. Psychology of Learning and Motivation. 52, 265-297 (2010).">Hegarty, M. Components of spatial intelligence. Psychology of Learning and Motivation. 52, 265-297 (2010).
  5. The malleability of spatial skills: a meta-analysis of training studies. Psychological Bulletin. 139 (2), 352-402 (2013).">Uttal, D. H., et al. The malleability of spatial skills: a meta-analysis of training studies. Psychological Bulletin. 139 (2), 352-402 (2013).
  6. Emergence and characterization of sex differences in spatial ability: a meta-analysis. Child Development. 56 (6), 1479-1498 (1985).">Linn, M. C., Petersen, A. C. Emergence and characterization of sex differences in spatial ability: a meta-analysis. Child Development. 56 (6), 1479-1498 (1985).
  7. Spatial thinking in infancy: Origins and development of mental rotation between 3 and 10 months of age. Cognitive Research: Principles and Implications. 5, 10(2020).">Johnson, S. P., Moore, D. S. Spatial thinking in infancy: Origins and development of mental rotation between 3 and 10 months of age. Cognitive Research: Principles and Implications. 5, 10(2020).
  8. Spatial ability for STEM domains: aligning over 50 years of cumulative psychological knowledge solidifies its importance. Journal of Educational Psychology. 101 (4), 817-835 (2009).">Wai, J., Lubinski, D., Benbow, C. P. Spatial ability for STEM domains: aligning over 50 years of cumulative psychological knowledge solidifies its importance. Journal of Educational Psychology. 101 (4), 817-835 (2009).
  9. Six myths about spatial thinking. International Journal of Science Education. 34, 955-971 (2012).">Newcombe, N. S., Stieff, M. Six myths about spatial thinking. International Journal of Science Education. 34, 955-971 (2012).
  10. Creativity and technical innovation: spatial ability's unique role. Psychological Science. 24 (9), 1831-1836 (2013).">Kell, H. J., Lubinski, D., Benbow, C. P., Steiger, J. H. Creativity and technical innovation: spatial ability's unique role. Psychological Science. 24 (9), 1831-1836 (2013).
  11. Spatial ability as a distinct domain of human cognition: An evolutionary perspective. Intelligence. 101616, (2022).">Geary, D. C. Spatial ability as a distinct domain of human cognition: An evolutionary perspective. Intelligence. 101616, (2022).
  12. Mental rotation of three-dimensional objects. Science. 171, 701-703 (1971).">Shepard, R., Metzler, J. Mental rotation of three-dimensional objects. Science. 171, 701-703 (1971).
  13. Perceptual illusion of rotation of three-dimensional objects. Science. 191, 952-954 (1973).">Shepard, R., Judd, S. Perceptual illusion of rotation of three-dimensional objects. Science. 191, 952-954 (1973).
  14. Eye fixations and cognitive processes. Cognitive Psychology. 8, 441-480 (1976).">Just, M. A., Carpenter, P. A. Eye fixations and cognitive processes. Cognitive Psychology. 8, 441-480 (1976).
  15. Cognitive coordinate systems: accounts of mental rotation and individual differences in spatial ability. Psychological Review. 92 (2), 137-172 (1985).">Just, M. A., Carpenter, P. A. Cognitive coordinate systems: accounts of mental rotation and individual differences in spatial ability. Psychological Review. 92 (2), 137-172 (1985).
  16. Mental rotation: effects of dimensionality of objects and type of task. Journal of Experimental Psychology: Human Perception and Performance. 14 (1), 3-11 (1988).">Shepard, S., Metzler, D. Mental rotation: effects of dimensionality of objects and type of task. Journal of Experimental Psychology: Human Perception and Performance. 14 (1), 3-11 (1988).
  17. Size invariance in visual object priming. Journal of Experimental Psychology: Human Perception and Performance. 18, 121-133 (1992).">Biederman, I., Cooper, E. Size invariance in visual object priming. Journal of Experimental Psychology: Human Perception and Performance. 18, 121-133 (1992).
  18. Motor processes in mental rotation. Cognition. 68 (1), 77-94 (1998).">Wexler, M., Kosslyn, S. M., Berthoz, A. Motor processes in mental rotation. Cognition. 68 (1), 77-94 (1998).
  19. Mental and manual rotation. Journal of Experimental Psychology: Human Perception and Performance. 24 (2), 397-412 (1998).">Wohlschläger, A., Wohlschläger, A. Mental and manual rotation. Journal of Experimental Psychology: Human Perception and Performance. 24 (2), 397-412 (1998).
  20. Women and men exhibit different cortical activation patterns during mental rotation tasks. Neuropsychologia. 40, 2397-2408 (2002).">Jordan, K., W, T., Heinze, H., Peters, M., Jäncke, L. Women and men exhibit different cortical activation patterns during mental rotation tasks. Neuropsychologia. 40, 2397-2408 (2002).
  21. Suitable stimuli to obtain (no) gender differences in the speed of cognitive processes involved in mental rotation. Brain and Cognition. 64, 217-227 (2007).">Jansen-Osmann, P., Heil, M. Suitable stimuli to obtain (no) gender differences in the speed of cognitive processes involved in mental rotation. Brain and Cognition. 64, 217-227 (2007).
  22. What does physical rotation reveal about mental rotation. Psychological Science. 25 (2), 605-612 (2014).">Gardony, A. L., Taylor, H. A., Brunyé, T. T. What does physical rotation reveal about mental rotation. Psychological Science. 25 (2), 605-612 (2014).
  23. Effects of mental and manual rotation training on mental and manual rotation performance. Spatial Cognition & Computation. 14 (3), 169-198 (2014).">Adams, D. M., Stull, A. T., Hegarty, M. Effects of mental and manual rotation training on mental and manual rotation performance. Spatial Cognition & Computation. 14 (3), 169-198 (2014).
  24. Mental rotation of sequentially presented 3D figures: sex and sex hormones related differences in behavioural and ERP measures. Scientific Reports. 9, 18843(2019).">Griksiene, R., Arnatkeviciute, A., Monciunskaite, R., Koenig, T., Ruksenas, O. Mental rotation of sequentially presented 3D figures: sex and sex hormones related differences in behavioural and ERP measures. Scientific Reports. 9, 18843(2019).
  25. Mental rotation with abstract and embodied objects as stimuli: evidence from event-related potential (ERP). Experimental Brain Research. 238, 525-535 (2020).">Jansen, P., Render, A., Scheer, C., Siebertz, M. Mental rotation with abstract and embodied objects as stimuli: evidence from event-related potential (ERP). Experimental Brain Research. 238, 525-535 (2020).
  26. Early digital computer art at Bell Telephone Laboratories, Incorporated. Leonardo. 49 (1), 55-65 (2016).">Noll, M. Early digital computer art at Bell Telephone Laboratories, Incorporated. Leonardo. 49 (1), 55-65 (2016).
  27. Mental rotations, a group of three-dimensional spatial visualization. Perceptual and Motor Skills. 47, 599-604 (1978).">Vandenberg, S. G., Kuse, A. R. Mental rotations, a group of three-dimensional spatial visualization. Perceptual and Motor Skills. 47, 599-604 (1978).
  28. Ability and sex differences in spatial thinking: What does the mental rotation test really measure. Psychonomic Bulletin & Review. 25, 1212-1219 (2018).">Hegarty, M. Ability and sex differences in spatial thinking: What does the mental rotation test really measure. Psychonomic Bulletin & Review. 25, 1212-1219 (2018).
  29. Training effect on sex-based differences in components of the Shepard and Metzler mental rotation task. Journal of Physiological Anthropology. 41, 39(2022).">Kozaki, T. Training effect on sex-based differences in components of the Shepard and Metzler mental rotation task. Journal of Physiological Anthropology. 41, 39(2022).
  30. Gender differences in spatial ability: a critical review. Educational Psychology Review. 35, 1-29 (2023).">Bartlett, K. A., Camba, J. D. Gender differences in spatial ability: a critical review. Educational Psychology Review. 35, 1-29 (2023).
  31. Mental rotation performance in primary school age children: Are there gender differences in chronometric tests. Cognitive Development. 28, 51-62 (2013).">Jansen, P., Schmelter, A., Quaiser-Pohl, C. M., Neuburger, S., Heil, M. Mental rotation performance in primary school age children: Are there gender differences in chronometric tests. Cognitive Development. 28, 51-62 (2013).
  32. Spatial abilities and aging: a meta-analysis. Experimental Aging Research. 40, 395-425 (2014).">Techentin, C., Voyer, D., Voyer, S. D. Spatial abilities and aging: a meta-analysis. Experimental Aging Research. 40, 395-425 (2014).
  33. Relationship between spatial abilities, mental rotation and functional anatomy learning. Advances in Health Sciences Education. 12, 491-507 (2007).">Guillot, A., Champely, S., Batier, C., Thiriet, P., Collet, C. Relationship between spatial abilities, mental rotation and functional anatomy learning. Advances in Health Sciences Education. 12, 491-507 (2007).
  34. Motor expertise and performance in spatial tasks: A meta-analysis. Human Movement Science. 54, 110-124 (2017).">Voyer, D., Jansen, P. Motor expertise and performance in spatial tasks: A meta-analysis. Human Movement Science. 54, 110-124 (2017).
  35. A redrawn Vandenberg and Kuse mental rotations test: different versions and factors that affect performance. Brain and Cognition. 28, 39-58 (1995).">Peters, M., et al. A redrawn Vandenberg and Kuse mental rotations test: different versions and factors that affect performance. Brain and Cognition. 28, 39-58 (1995).
  36. Applications of mental rotation figures of the Shepard and Metzler type and description of a mental rotation stimulus library. Brain and Cognition. 66, 260-264 (2008).">Peters, M., Battista, C. Applications of mental rotation figures of the Shepard and Metzler type and description of a mental rotation stimulus library. Brain and Cognition. 66, 260-264 (2008).
  37. Manual training of mental rotation. European Journal of Cognitive Psychology. 19, 17-36 (2007).">Wiedenbauer, G., Schmid, J., Jansen-Osmann, P. Manual training of mental rotation. European Journal of Cognitive Psychology. 19, 17-36 (2007).
  38. A novel approach to analyzing all trials in chronometric mental rotation and description of a flexible extended library of stimuli. Spatial Cognition & Computation. 20 (3), 234-256 (2020).">Jost, L., Jansen, P. A novel approach to analyzing all trials in chronometric mental rotation and description of a flexible extended library of stimuli. Spatial Cognition & Computation. 20 (3), 234-256 (2020).
  39. Embodied spatial transformations:" body analogy" for the mental rotation of objects. Journal of Experimental Psychology: General. 135 (3), 327(2006).">Amorim, M. A., Isableu, B., Jarraya, M. Embodied spatial transformations:" body analogy" for the mental rotation of objects. Journal of Experimental Psychology: General. 135 (3), 327(2006).
  40. Pupillometry as a measure of cognitive load in mental rotation tasks with abstract and embodied figures. Psychological Research. 86, 1382-1396 (2022).">Bauer, R., Jost, L., Günther, B., Jansen, P. Pupillometry as a measure of cognitive load in mental rotation tasks with abstract and embodied figures. Psychological Research. 86, 1382-1396 (2022).
  41. Sex differences in mental rotation with polygons of different complexity: Do men utilize holistic processes whereas women prefer piecemeal ones. The Quarterly Journal of Experimental Psychology. 61 (5), 683-689 (2008).">Heil, M., Jansen-Osmann, P. Sex differences in mental rotation with polygons of different complexity: Do men utilize holistic processes whereas women prefer piecemeal ones. The Quarterly Journal of Experimental Psychology. 61 (5), 683-689 (2008).
  42. Deconstructing mental rotation. Journal of Experimental Psychology: Human Perception and Performance. 40 (3), 1072-1091 (2014).">Larsen, A. Deconstructing mental rotation. Journal of Experimental Psychology: Human Perception and Performance. 40 (3), 1072-1091 (2014).
  43. The role of spatial ability in mixed reality learning with the HoloLens. Anatomic Sciences Education. 15, 1074-1085 (2022).">Ho, S., Liu, P., Palombo, D. J., Handy, T. C., Krebs, C. The role of spatial ability in mixed reality learning with the HoloLens. Anatomic Sciences Education. 15, 1074-1085 (2022).
  44. Recognizing novel three-dimensional objects by summing signals from parts and views. Procedures of the Royal Society London B. 269, 1939-1947 (2002).">Foster, D. H., Gilson, S. J. Recognizing novel three-dimensional objects by summing signals from parts and views. Procedures of the Royal Society London B. 269, 1939-1947 (2002).
  45. Operational constraints on the mental rotation of STEM representations. Journal of Educational Psychology. 110 (8), 1160-1174 (2018).">Stieff, M., Origenes, A., DeSutter, D., Lira, M. Operational constraints on the mental rotation of STEM representations. Journal of Educational Psychology. 110 (8), 1160-1174 (2018).
  46. Strengthening spatial reasoning: elucidating the attentional and neural mechanisms associated with mental rotation skill development. Cognitive Research: Principles and Implications. 5, 20(2020).">Moen, K. C., et al. Strengthening spatial reasoning: elucidating the attentional and neural mechanisms associated with mental rotation skill development. Cognitive Research: Principles and Implications. 5, 20(2020).
  47. Purdue Research Foundation. , West Lafayette, IN. (1976).">Guay, R. B. Purdue spatial visualization test: Rotations. Purdue Research Foundation. , West Lafayette, IN. (1976).
  48. The Purdue Visualization of Rotations Test. The Chemical Educator. 2 (4), 1-17 (1997).">Bodner, G. M., Guay, R. B. The Purdue Visualization of Rotations Test. The Chemical Educator. 2 (4), 1-17 (1997).
  49. Psychometric properties of the Revised PSVT:R for measuring First Year engineering students' spatial ability. International Journal of Engineering Education. 29, 763-776 (2013).">Maeda, Y., Yoon, S. Y., Kim-Kang, K., Imbrie, P. K. Psychometric properties of the Revised PSVT:R for measuring First Year engineering students' spatial ability. International Journal of Engineering Education. 29, 763-776 (2013).
  50. Does spatial skills instruction improve STEM outcomes? The answer is 'yes'. Learning and Individual Differences. 67, 209-222 (2018).">Sorby, S., Veurink, N., Streiner, S. Does spatial skills instruction improve STEM outcomes? The answer is 'yes'. Learning and Individual Differences. 67, 209-222 (2018).
  51. Representations of shape during mental rotation. AAAI Spring Symposium: Cognitive Shape Processing. , 15-20 (2010).">Khooshabeh, P., Hegarty, M. Representations of shape during mental rotation. AAAI Spring Symposium: Cognitive Shape Processing. , 15-20 (2010).
  52. Spatial cognition XI. Spatial cognition 2018. Lecture Notes in Computer Science. Creem-Regehr, S., Schoning, J., Klippel, A. 11034, Springer. Cham. 167-179 (2018).">Wetzel, S., Bertel, S. Spatial cognition XI. Spatial cognition 2018. Lecture Notes in Computer Science. Creem-Regehr, S., Schoning, J., Klippel, A. 11034, Springer. Cham. 167-179 (2018).
  53. Manual training of mental rotation performance: Visual representation of rotating figures is the main driver for improvements. Quarterly Journal of Experimental Psychology. 75 (4), 695-711 (2022).">Jost, L., Jansen, P. Manual training of mental rotation performance: Visual representation of rotating figures is the main driver for improvements. Quarterly Journal of Experimental Psychology. 75 (4), 695-711 (2022).
  54. Mental rotation is suppressed during saccadic eye movements. Psychonomic Bulletin & Review. 7 (4), 654-661 (2000).">Irwin, D. E., Brockmole, J. R. Mental rotation is suppressed during saccadic eye movements. Psychonomic Bulletin & Review. 7 (4), 654-661 (2000).
  55. The role of motor processes in three-dimensional mental rotation: Shaping cognitive processing via sensorimotor experience. Learning and Individual Differences. 22, 354-359 (2021).">Moreau, D. The role of motor processes in three-dimensional mental rotation: Shaping cognitive processing via sensorimotor experience. Learning and Individual Differences. 22, 354-359 (2021).
  56. Neural foundations of imagery. Nature Reviews Neuroscience. 2, 635-642 (2001).">Kosslyn, S. M., Ganis, G., Thmpson, W. L. Neural foundations of imagery. Nature Reviews Neuroscience. 2, 635-642 (2001).
  57. Reciprocal facilitation between mental and visuomotor rotations. Scientific Reports. 13, 825(2023).">Guo, J., Song, J. H. Reciprocal facilitation between mental and visuomotor rotations. Scientific Reports. 13, 825(2023).
  58. Strategy selection versus flexibility: Using eye-trackers to investigate strategy use during mental rotation. Journal of Experimental Psychology: Learning, Memory, and Cognition. 45 (2), 232-245 (2019).">Nazareth, A., Killick, R., Dick, A. S., Pruden, S. M. Strategy selection versus flexibility: Using eye-trackers to investigate strategy use during mental rotation. Journal of Experimental Psychology: Learning, Memory, and Cognition. 45 (2), 232-245 (2019).
  59. Exploration vs. limitation - An investigation of instructional design techniques for spatial ability training on mobile devices. Computers in Human Behavior. 118, 106678(2021).">Montag, M., Bertel, S., Koning, B. B., Zander, S. Exploration vs. limitation - An investigation of instructional design techniques for spatial ability training on mobile devices. Computers in Human Behavior. 118, 106678(2021).
  60. Eye movement characteristics in a mental rotation task presented in virtual reality. Frontiers in Neuroscience. 17, 1143006(2023).">Tang, Z., et al. Eye movement characteristics in a mental rotation task presented in virtual reality. Frontiers in Neuroscience. 17, 1143006(2023).
  61. Facilitating recognition of spatial structures through animation and the role of mental rotation ability. Learning and Individual Differences. 38, 76-82 (2015).">Münzer, S. Facilitating recognition of spatial structures through animation and the role of mental rotation ability. Learning and Individual Differences. 38, 76-82 (2015).
  62. Cognitive strategies in the mental rotation task revealed by EEG spectral power. Brain and Cognition. 118, 1-18 (2017).">Gardony, A. L., Eddy, M. D., Brunyé, T. T., Taylor, H. A. Cognitive strategies in the mental rotation task revealed by EEG spectral power. Brain and Cognition. 118, 1-18 (2017).
  63. Manual and virtual rotation of three-dimensional object. Journal of Experimental Psychology: Applied. 7 (4), 286-296 (2001).">Ruddle, R. A., Jones, D. M. Manual and virtual rotation of three-dimensional object. Journal of Experimental Psychology: Applied. 7 (4), 286-296 (2001).
  64. A Systematic review of visualization techniques and analysis tools for eye-tracking in 3D environments. Frontiers in Neuroergonomics. 3, 910019(2022).">Sundstedt, V., Garro, V. A Systematic review of visualization techniques and analysis tools for eye-tracking in 3D environments. Frontiers in Neuroergonomics. 3, 910019(2022).
  65. Rotational-symmetry in a 3D scene and its 2D image. Journal of Mathematical Psychology. 87, 108-125 (2018).">Sawada, T., Zaidi, Q. Rotational-symmetry in a 3D scene and its 2D image. Journal of Mathematical Psychology. 87, 108-125 (2018).
  66. Uncovering the cognitive processes underlying mental rotation: an eye-movement study. Scientific Reports. 7, 10076(2017).">Xue, J., et al. Uncovering the cognitive processes underlying mental rotation: an eye-movement study. Scientific Reports. 7, 10076(2017).
  67. Thumb's rule tested: Visual angle of thumb's width is about 2 deg. Perception. 20, 415-418 (1991).">O'Shea, R. P. Thumb's rule tested: Visual angle of thumb's width is about 2 deg. Perception. 20, 415-418 (1991).
  68. Capacity limit of visual short-term memory in human posterior parietal cortex. Nature. 428, 751-754 (2004).">Todd, J., Marois, R. Capacity limit of visual short-term memory in human posterior parietal cortex. Nature. 428, 751-754 (2004).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Eye Tracking3D Virtual ObjectsRotation TrajectoryMental RotationInteractive Rotation TaskHuman Computer InteractionGaze Data AnalysisCognitive ProcessesReal Time RecordingRotational Mapping

Related Articles