利用眼动追踪数据对交互式虚拟物体旋转的三维映射

Rodrigo A. Consoli; Eduardo Colli; Raimundo da Silva Soares Jr.; João R. Sato; Guilherme A. Marson

doi:10.3791/65977

需要JoVE订阅才能观看此内容。请登录或开始免费试用

方法文章

利用眼动追踪数据对交互式虚拟物体旋转的三维映射

1.9K 次观看

⸱

DOI：

10.3791/65977

⸱

2024年10月18日

Rodrigo A. Consoli¹ , Eduardo Colli² , Raimundo da Silva Soares Jr.³^,⁴ , João R. Sato³ , Guilherme A. Marson¹

¹Graduate Program in Chemistry, University of São Paulo, Institute of Chemistry, ²Graduate Program in Applied Mathematics, University of São Paulo, Institute of Mathematics and Statistics, ³Graduate Program in Neuroscience and Cognition, Federal University of ABC, Center of Mathematics, Computing and Cognition, ⁴School of Biomedical Engineering, Science and Health Systems, Drexel University

本文内容

摘要

我们开发了一种简单、可定制且高效的方法，用于从交互式空间任务中记录定量的过程数据，并将这些旋转数据与眼动追踪数据进行映射。

摘要

我们提出了一种用于实时记录人类与三维（3D）虚拟物体交互的方法。该方法通过将被操作物体的旋转数据与眼动追踪等行为测量指标相结合，以更准确地推断潜在的认知过程。

该任务要求在计算机屏幕上显示同一三维物体（一个分子）的两个相同模型：一个可旋转的交互式物体（iObj）和一个静态的目标物体（tObj）。参与者需使用鼠标旋转iObj，直到认为其方向与tObj完全一致为止。计算机实时记录所有交互数据，同时使用眼动仪记录参与者的注视数据。计算机的采样频率为10 Hz，眼动仪的采样频率为60 Hz。

iObj相对于tObj的方位数据以旋转四元数形式记录。注视数据与iObj的方位同步，并使用同一系统进行参考。该方法使我们能够获得人类与iObj和tObj交互过程的以下可视化结果：（1）与其他时间依赖性数据同步的角度差异；（2）在我们称之为"旋转球体"内部的三维旋转轨迹；（3）三维注视热图。本实验方案的所有步骤均使用了自由软件，例如GNU Octave和Jmol，所有脚本均可作为补充材料获取。

通过这种方法，我们能够对涉及心理或物理旋转的任务求解过程进行详细的定量研究，而不仅仅是关注最终结果。可以精确测量三维模型的各个部分在参与者完成任务过程中的重要性，从而将这些模型与相关变量联系起来，例如物体的特征、个体的认知能力以及人机界面的特性。

引言

心理旋转（MR）是一种认知能力，使个体能够在心理上对物体进行操控和旋转，从而更好地理解物体的特征及其空间关系。它是视空间能力的一种，而视空间能力作为基本的认知功能组别，早在1890年就已开始被研究¹。视空间能力是个体认知能力体系中的重要组成部分，受到遗传和环境因素的共同影响²^,³^,⁴^,⁵。由于越来越多的证据表明视空间能力在诸多关键领域中具有重要意义，整个二十世纪以来对其研究兴趣不断增长，这些领域包括衰老⁶和发育⁷、科学、技术、工程和数学（STEM）学科的表现⁸^,⁹、创造力¹⁰以及进化特征¹¹。

当前关于心理旋转（MR）的概念源于Shepard和Metzler（SM）于1971年发表的开创性研究¹²。他们设计了一种计时测量方法，采用一系列"相同或不同"任务，将抽象三维物体的两个投影并排呈现。参与者需要在某一轴向上对这些物体进行心理旋转，判断这两个投影是否为同一物体的不同旋转视角，或是两个不同的物体。该研究发现，被试的反应时间（RT）与同一物体不同表征之间的角度差异（AD）呈正线性相关。这种相关性被称为角度差异效应（ADE）。ADE被视为心理旋转的行为表现，并在后续该领域的多项重要研究中被广泛采用¹³^,¹⁴^,¹⁵^,¹⁶^,¹⁷^,¹⁸^,¹⁹^,²⁰^,²¹^,²²^,²³^,²⁴^,²⁵。SM研究中使用的三维物体由10个相连的立方体组成，这些图形由贝尔实验室的计算机图形学先驱Michael Noll生成²⁶。这类图形被称为SM图形，在心理旋转研究中被广泛使用。

在谢泼德和梅策勒的开创性研究中，有两个进展具有重要意义；首先，考虑到该领域内心理旋转评估方面的贡献。1978年，范德伯格和库泽²⁷ 基于SM开发了一项包含20个条目的心理测量纸笔测验 "相同或不同" 被称为心理旋转测试（VKMRT）的图形。每个测试项目呈现一个目标刺激，参与者必须从四个刺激中选择哪些代表了目标刺激中所示的同一物体，哪些不是。VKMRT 已被用于研究心理旋转能力与其他各种因素之间的相关性，例如性别差异。⁶^,²¹^,²⁴^,²⁸^,²⁹^,³⁰衰老与发育⁶^,³¹^,³²，学业成绩⁸^,³³音乐和体育方面的技能³⁴1995年，Peters 等人发表了一项针对 VKMRT 的重绘图示研究³⁵^,³⁶同样地，随后的步骤 "相同或不同" 任务设计，已采用多种计算机生成刺激材料的图库来研究心理旋转（MR）过程并评估MR能力（原始SM刺激材料的3D版本）¹⁹^,²²^,²³^,³⁷^,³⁸，模拟人体的SM模型²⁵^,³⁹^,⁴⁰，用于二维旋转的平面多边形⁴¹^,⁴²解剖学和器官⁴³，有机形态⁴⁴分子⁴⁵^,⁴⁶以及其他²¹）。由Guay于1976年提出的普渡空间可视化测试（PSVT）⁴⁷ 也具有重要意义。它包含一系列测试，其中包括心理旋转测试（PSVT:R）。与VKMRT所使用的刺激不同，PSVT:R要求参与者识别模型刺激中的旋转操作，并在心理上将其应用于另一个不同的刺激。PSVT:R也被广泛使用，特别是在研究心理旋转（MR）在STEM领域成就中作用的研究中。⁴⁸^,⁴⁹^,⁵⁰.

Shepard 和 Metzler 的开创性研究中的第二个重要进展，是推动了对心理旋转（MR）过程的理解，尤其是通过使用眼动追踪设备所取得的成果。1976 年，Just 和 Carpenter¹⁴ 采用基于模拟视频的眼动追踪设备，开展了一项基于 Shepard 和 Metzler 的 ADE 实验的研究。根据他们对扫视眼动和反应时（RTs）的结果，提出了一个包含三个阶段的心理旋转过程模型：1）搜索阶段，识别图形中相似的部分；2）转换与比较阶段，对已识别的部分之一进行心理旋转；3）确认阶段，判断两个图形是否相同。这些阶段会递归重复，直到做出最终判断。每个阶段都对应特定的扫视和注视眼动模式，并与观察到的 ADE 现象密切相关。因此，通过将眼动活动与计时数据相关联，Just 和 Carpenter 为心理旋转过程的研究提供了认知层面的特征性指标。迄今为止，该模型虽经若干调整，仍已被多项研究采纳¹⁵^,⁴²^,⁴⁶^,⁵¹^,⁵²^,⁵³。

基于这一研究方向，多项后续研究对刺激旋转过程中的行为¹⁸^,¹⁹^,²²^,²³^,²⁵^,³⁴^,⁴⁰^,⁵⁴^,⁵⁵和脑活动²⁰^,²²^,⁵⁶^,⁵⁷功能进行了监测。这些研究结果表明，心理旋转（MR）与运动过程之间存在协同作用。此外，针对个体差异背景下涉及心理旋转的问题解决策略，目前也日益受到关注¹⁵^,⁴¹^,⁴⁶^,⁵¹^,⁵⁸。

总体而言，可以认为旨在理解心理旋转（MR）过程的研究设计，通常是通过呈现包含视觉刺激的任务，要求参与者执行一种心理旋转操作，而该操作又涉及某种运动反应。如果这种反应允许对刺激物进行物理旋转，则通常被称为物理旋转（PR）。根据每项研究的具体目标，研究人员已采用不同的策略和设备来采集并分析心理旋转和物理旋转的数据。在任务刺激呈现阶段，可以改变刺激物的类型（即前文提到的示例）；刺激呈现方式（传统显示器上的计算机生成图像²²^,²³^,²⁵^,²⁹^,⁴⁰^,⁴¹^,⁵⁹，以及立体镜¹⁹、虚拟⁶⁰和混合⁴³现实环境中的呈现）；以及刺激物的交互性（静态图像¹²^,²⁷^,³⁶、动画⁶¹，以及可交互的虚拟物体¹⁹^,²²^,²³^,⁴³^,⁵³^,⁵⁹）。

通常通过反应时间（ADE）以及眼动和脑活动的测量来推断心理旋转（MR）²⁵^,⁴⁶^,⁶²。眼动活动通过眼动追踪数据进行测量，包括扫视运动和注视¹⁴^,¹⁵^,⁴²^,⁵¹^,⁵²^,⁵⁴^,⁵⁸^,⁶⁰，以及瞳孔测量⁴⁰。反应时间数据通常来源于操作各种设备时记录的运动反应数据，例如操纵杆¹³、按钮和开关¹⁴^,⁵³、踏板⁵³、旋钮¹⁹、操纵杆（joystick）³⁷、键盘⁶¹和鼠标²⁹^,⁵⁸^,⁶⁰、驱动轮⁵³、惯性传感器²²^,²³、触摸屏⁵²^,⁵⁹以及麦克风²²。为了测量手动旋转（PR），除了反应时间外，研究设计还将包括记录参与者执行MR任务时对交互式刺激的手动旋转操作²²^,²³^,⁵²^,⁵³。

1998年，Wohlschläger 和 Wohlschläger¹⁹ 使用 "相同或不同" 通过旋钮操控仅限单轴旋转的交互式虚拟空间记忆刺激任务，测量反应时（RT）以及任务过程中执行的物理旋转累积记录。通过比较交互式刺激有无实际旋转的情况，得出结论：心理旋转与实际执行的旋转在想象和实际操作条件下共享同一加工过程。

2014年，有两项研究采用了相同类型的任务，并使用虚拟交互刺激²²^,²³。然而，这些物体是通过惯性传感器进行操作的，该传感器可捕捉三维空间中的运动。在这两项研究中，除了反应时间（RTs）外，还记录了旋转轨迹——即在任务过程中参考刺激与交互刺激之间旋转差异的变化过程。从这些轨迹中，可以提取出累积信息（例如，以四元数单位表示的总旋转次数）以及关于解决策略的详细信息。Adams 等人²³研究了心理旋转（MR）与实际旋转（PR）之间的协同效应。除了反应时间外，他们还将旋转轨迹的积分作为衡量解决准确性和客观性的参数。曲线轮廓根据一个三阶段模型⁶³（规划、主要旋转、精细调整）进行解释。结果表明，心理旋转和实际旋转并不一定由单一共同因素决定。Gardony 等人²²收集了反应时间、准确性和实时旋转的数据。除了验证心理旋转与实际旋转之间的关系外，对旋转轨迹的分析还显示，参与者会持续操作图形，直到能够判断它们是否不同。如果图形相同，参与者会将其旋转至看起来一致为止。

延续这一策略，2018年，Wetzel 和 Bertel⁵² 也使用了交互式SM图 "相同或不同" 使用触摸屏平板电脑作为交互界面。此外，他们采用眼动追踪设备获取解决心理旋转任务过程中与认知负荷相关的注视时间累积数据和扫视幅度参数。作者证实了上述先前研究中关于心理旋转与表征操作之间的关系以及任务解决过程的结论。然而，在本研究中，他们并未使用针对刺激材料的注视点分布图和扫视数据。

针对在虚拟三维物体上映射眼动数据的方法学已提出并持续改进，通常由关注虚拟环境中视觉注意相关因素的研究人员开展⁶⁴。尽管这些方法成本较低且使用类似的眼动追踪设备，但显然尚未有效整合到涉及交互式三维物体的心理旋转研究的实验方法体系中，例如前述研究中所使用的。相反，我们未在文献中发现任何报告在交互式三维物体上实时映射注视点和扫视运动数据的研究。目前似乎尚无便捷的方法可将眼动数据与旋转轨迹轻松整合。本研究旨在弥补这一空白。本文详细介绍了从数据采集到图形化输出生成的完整流程。

本文详细描述了一种利用虚拟交互式三维对象研究心理旋转过程的方法。该方法具有以下优势：首先，在与三维虚拟模型的交互过程中，整合了定量的行为运动数据（通过计算机界面手动操控对象旋转）和眼动数据（眼动追踪）的采集；其次，仅需常规的计算机设备和眼动追踪装置即可完成视觉任务设计、数据采集、记录与处理；第三，能够便捷地生成图形化输出，以辅助数据分析，包括角度差异、物理旋转、四元数旋转轨迹，以及眼动数据在三维虚拟对象上的注视点映射；最后，该方法仅依赖免费软件，所有开发的代码和脚本均可免费获取（https://github.com/rodrigocnstest/rodrigocnstest.github.io）。

访问受限。请登录或开始试用以查看此内容。

方案

1. 数据采集工具的准备

设置在线数据采集（可选）。
注意：此步骤介绍如何设置项目代码和工作网页的可自定义克隆（请参见 补充文件 1）。此步骤改编自 https://pages.github.com/ 和 https://github.com/jamiewilson/form-to-google-sheets 提供的教程。如果用户仅关注数据处理方法而无需进行数据记录，可使用网页 https://rodrigocnstest.github.io/iRT_JoVE.html 配合 补充表 S1 以及存储库文件位于 https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave，并跳过步骤 1.1、1.2 及其子步骤。
1. 登录 GitHub (https://github.com/)。
2. 创建原始 GitHub Pages 仓库的公开克隆版本。
  1. 点击 导入仓库 从 https://github.com 在登录账户后。
  2. 在 您旧代码仓库的克隆 URL 领域，粘贴网址 https://github.com/rodrigocns/rodrigocns_JoVE in the 知识库名称 领域，输入类型 username.github.io，其中 用户名 是账户中使用的用户名，并确保公开启用该选项，然后点击绿色按钮 开始导入.
    注意：该代码仓库现在包含完成此设置所需的大部分文件，对仓库所做的任何更改将在几分钟后更新到网站上。例如，用户名为 rodrigocnstest 的用户可通过以下地址访问其个人页面 https://rodrigocnstest.github.io 及其 GitHub 仓库 https://github.com/rodrigocnstest/rodrigocnstest.github.io
3. 设置一个云端电子表格以在线存储实验数据。
  1. 注册或登录 Google 账号。
  2. 登录账户后，前往 iRT 电子表格清理 文件可在以下位置获取 https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
    Ops1wZrXI/edit?usp=sharing
  3. 在此电子表格中，点击 文件 | 创建副本将出现一个小型确认窗口。
  4. 在小窗口内为文件命名，然后点击 复制一份 按钮
4. 在您创建的电子表格中设置 Google Apps Script 以自动存储数据。
  1. 在电子表格文件中时，单击该选项 扩展 | Apps Script.
    注意：此脚本必须在电子表格内部创建或访问，以确保其与电子表格相关联。尝试在外部创建脚本可能无法成功。
  2. 点击运行首次运行脚本的按钮。
  3. 点击 审查权限 按钮。新窗口将出现。单击创建电子表格时使用的同一账户。
    注意：如果这是首次执行此步骤，系统可能会弹出安全警告，提示用户该应用程序正在请求访问账户信息。此操作是安全的，因为该应用程序旨在读取电子表格内容，并请求权限以将数据填入其中。若未出现任何警告，可跳过步骤 1.1.4.4。
  4. 点击 高级 | 转到从 iRT 到工作表（不安全） | 允许 按钮
    注意：执行完成后，执行日志中应出现提示执行已完成的通知。
  5. 在左侧滑动面板中，单击 触发因素 按钮（从上往下数第四个图标） | + 添加触发器 按钮
  6. 下 选择要运行的功能，选择 doPost；在……之下 选择事件源，选择 从电子表格；在……之下 选择事件类型，选择 表单提交时然后，单击保存如果出现任何权限弹窗，请按照步骤 1.1.4.3–1.1.4.4 操作。如果浏览器最终阻止了弹窗，请取消阻止。
  7. 点击部署下拉按钮 | 新部署.
  8. 将鼠标悬停在齿轮图标并确保 网页应用 选项被选中。
  9. 撰写一段描述 新描述 领域，例如 部署 1；在 谁可以访问 领域，选择 任何人 然后点击部署按钮
    注意：本步骤的目的是 新描述 该领域的目标是组织脚本的部署。其名称可由使用者自行定义，例如 首次部署。该 执行作为 字段应已显示为 Me（电子邮件），其中 email 为迄今为止使用的电子邮件地址。
  10. 在新弹出窗口中，复制该脚本部署的网络应用程序 URL。
    注意：如果由于某种原因丢失了已复制的网页应用 URL，请通过点击部署下拉菜单 | 管理部署网络应用程序的 URL 应位于此处。
  11. 前往页面 https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js rodrigocnstest 是 GitHub 上使用的用户名。将第 5 行中现有的 URL 替换为步骤 1.1.4.10 中复制的 Web 应用 URL，然后点击绿色按钮 提交更改….
    注意：复制的 URL 值应保留在单引号 ' ' 或双引号之间 " “引号。请仔细检查所复制的 URL 是否为 Web 应用中的正确链接。”
  12. 最后，单击 提交更改 屏幕中央的确认按钮
5. 确保流程已正确完成且页面正常运行。
  1. 前往 https://github.com/username/username.github.io/ 的代码仓库，其中 用户名 是在 GitHub 上使用的用户名，并检查在完成步骤 1.4.14 的修改后部署是否已更新。
  2. 访问 https://username.github.io/iRT_JoVE 网页，更改 用户名 与 GitHub 中使用的用户名一致，然后点击 下一步.
  3. 点击开始，通过鼠标点击并拖动右侧的对象进行交互，然后单击 完成！ 按钮。
  4. 返回在步骤 1.1.3 和 1.1.4 中配置的电子表格文件，并验证每次操作后是否新增了一行数据 已完成 按钮被按下。
设置离线数据采集（可选）。
注意：用于运行和采集交互式旋转任务（iRT）数据的方法是通过上述步骤中配置的云服务在线进行的。如果需要（例如因网络连接可能存在问题，或希望采用其他方式运行），也可以在测试执行地点本地运行该测试，且此方式可选择是否连接互联网。以下步骤为可选的替代方案，用于实现本地运行；否则，请跳至步骤1.3。
1. 访问 GitHub 仓库，链接为：https://github.com/rodrigocnstest/rodrigocnstest.github.io。点击绿色按钮 < > 代码 | 下载 ZIP，然后解压下载的文件。
  注意：对本地存储的文件所做的更改不会影响仓库中的文件 反之亦然任何拟对两个版本进行的修改都应同时应用到两个位置，可通过手动复制更新后的文件或使用 git/GitHub Desktop 实现。
2. 通过以下链接获取最新版本的 Mozilla Firefox： https://www.mozilla.org/zh-CN/firefox/new/
3. 打开 Mozilla Firefox 浏览器，输入 "about:config" 在 URL 栏中输入 "security.fileuri.strict_origin_policy" 在搜索字段中，将其值更改为 false。注意：现在，Windows 操作系统中的 Mozilla Firefox 应能够本地访问您计算机上下载的网页文件。其他浏览器和操作系统也可配置为支持本地访问，各自的设置方法详见该链接 http://wiki.jmol.org/index.php/Troubleshooting/Local_Files
设置数据处理工具。
1. 下载并安装最新版本的 GNU Octave https://octave.org/download
设置眼动追踪设备。
1. 确保笔记本电脑上已安装记录系统软件。
2. 确保实验室干净整洁，以避免干扰。
3. 在房间内使用人工照明，以保持全天光照条件的一致性。
4. 将计算机安装在桌面上，确保受试者能够舒适地移动鼠标。
5. 为受试者提供一把舒适的椅子，最好使用固定式椅子，以尽量减少测试过程中的移动。
6. 将一根USB线连接至红外照明设备以供电，另将一根USB线连接至笔记本电脑/计算机和眼动仪，用于摄像头。
7. 将眼动仪放置在屏幕下方。

2. 数据采集

启动数据采集软件。
1. 在计算机上运行眼动仪软件，以接收来自眼动仪的数据。
2. 选择该选项 屏幕截图 在软件主窗口中捕获实验过程中的注视数据（该软件也可用于热图可视化和原始数据导出）。
3. 点击 新项目 创建一个新项目及项目文件夹，用于保存数据。
4. 在以下网址打开测试页面： https://rodrigocnstest.github.io/iRT_JoVE.html（若使用示例中提供的链接或步骤1.1中创建的网页）。或者，在步骤1.2中先前配置的浏览器中本地打开iRT_JoVE.html文件。
5. 如有需要，填写姓名和电子邮箱字段，以帮助识别数据，并勾选复选框以下载所生成数据的备份副本。
  注意：如果使用离线方法（步骤 1.2），建议下载备份副本。
6. 尝试运行一次实验，以确保浏览器能够正确加载所有元素，并确认所呈现的任务或数据采集过程中不存在任何问题。
运行实验。
1. 向受试者说明实验目的、所使用的技术以及纳入/排除标准。确保受试者已完全理解所有内容。请受试者填写知情同意书。
2. 让参与者坐在眼动追踪系统前，并尽可能保持舒适。
3. 将椅子移动至确保受试者与摄像头之间保持最佳距离的位置（眼动仪到受试者眼睛的理想距离为65 cm）。
4. 要求参与者在实验过程中尽量保持静止。调整摄像头的高度，以准确捕捉参与者的瞳孔（某些软件会高亮瞳孔以显示角膜反射）。
5. 点击 启用自动增益 通过调整相机增益来优化瞳孔追踪，直至检测到瞳孔（某些软件不具备此选项）。
6. 要求参与者注视屏幕上的系列光点，并在不移动头部的情况下跟随光点的移动。
7. 点击校准开始校准（这将确保眼动仪能够追踪参与者在屏幕上的注视位置）。
  注意：屏幕将变为空白，校准标记（点）将在屏幕上移动五个位置。
8. 校准完成后，屏幕上将显示一个视觉注视点估计值，以检查校准的准确性。请受试者注视显示器上的特定点，以确认注视点是否正确显示。
9. 如果校准效果不理想，请调整摄像头并重新进行校准，直至系统能够准确追踪视线。
10. 点击 收集数据 点击眼动追踪软件（主菜单）右侧的按钮以启动数据采集模式。捕获的屏幕将实时显示在主显示窗口中，同时呈现注视数据。
11. 点击 注视视频 主菜单中的按钮以显示眼动仪捕捉到的用户面部图像。然后，单击 开始记录 开始实验。
  注意：实验过程中，参与者的瞳孔会被高亮显示，其眼睛将以一个在笔记本电脑屏幕上移动的点的形式呈现。确保眼动仪能够全程追踪瞳孔和眼睛在屏幕上的移动。
12. 如果光点消失或频繁闪烁，请停止实验并尝试重新校准。
13. 打开之前已打开的 iRT 窗口，并指示参与者点击 下一步.
14. 向参与者提供以下指示： "在本部分，您将执行三项旋转任务。当您点击时 开始！ 按钮，屏幕两侧将出现两个物体。您的目标是尽可能旋转右侧的物体，使其与左侧的物体尽可能匹配。要旋转物体，请单击并拖动鼠标。完成三项任务中的每一项后，点击 完成！ 按钮以结束。"
  注意：对于每个任务，超过5分钟（327）的任何iRT数据^th 第二个（精确而言）可能会丢失。随着我们对方法的进一步开发，这一限制应能得到拓展。
15. 实验结束时，需从延长电缆处关闭眼动仪，并将镜头盖重新盖回相机上。
提取数据。
1. 眼动仪数据采集完成后，单击 分析数据 以访问所收集的数据。
2. 导出包含用户所有记录数据的 .csv 文件。
  注意：眼动仪数据的第一列必须数据的 UNIX 时间戳，因为这是确保不同数据集在时间上正确匹配的唯一方法。如果文件中不包含该时间戳，则应从所使用的任何其他时间标准进行转换。文件可以是 ".csv" 或 ".xlsx" 格式。
3. 如果使用交互式旋转任务页面的在线版本（步骤 1.1），请打开用于接收在线数据的 Google 表格文件（在步骤 1.1.3 中创建），然后点击下载 文件 | 下载 | Microsoft Excel (.xlsx).
  注意：这些数据经过打包处理，以方便数据传输（每个任务对应一行填充了数据的记录）。要处理其中的数据，必须对每一行打包的数据进行解包 "未包装" 首先。

3. 数据处理与分析

拆包、合并并处理数据。
注意：以下步骤描述了如何使用提供的脚本处理数据（参见 补充文件 2）。GNU Octave 脚本将提示用户输入相关文件信息。如果用户未输入内容而直接留空，则系统将采用默认值；若用户未提供数据，脚本将引用所提供的示例数据作为默认值。脚本运行完成后，可将其关闭。
1. 下载并解压尚未下载的代码仓库（用户自己的仓库或原始仓库 https://github.com/rodrigocns/rodrigocns_JoVE）。
2. 确保脚本 1. unpacking_sheets.m，2. data_merge_and_process.m，3. 3D rotational trajectory.m，以及文件夹模型位于下载的仓库中文件夹内的八度，然后将从步骤 2.3.2 和 2.3.3 下载的数据文件移至与 Octave 脚本相同的文件夹中。
  注意：文件夹中任何与新生成文件同名的现有文件都可能被覆盖。请相应地重命名或将这些文件移至其他文件夹。
3. 打开脚本 1. 拆包工作表.m 通过 GNU Octave 启动器。在编辑标签页中，通过点击绿色按钮来运行脚本 保存文件并运行 按钮，以将数据解包为更易读的结构。
  注意：如果所请求的数据文件中有任何文件在本地处于打开状态，请记得在运行脚本前将其关闭。所有 .m 脚本文件均通过 GNU Octave Launcher 执行。
4. 将依次出现两个提示框。在第一个提示框中输入已下载文件的名称，在第二个提示框中输入解压后文件的名称。或者，也可将两个提示框均留空，以使用随附示例文件的默认名称。等待数分钟（具体时间取决于数据量），直至弹出提示窗口，告知用户处理已完成且新文件已生成。
5. 打开并运行脚本 2.data_merge_and_process.m 合并眼动仪和iRT的数据。
  注意：尽管该脚本较为复杂，包含数百行代码，但它分为三个主要部分：设置、函数和脚本。所有部分均配有详尽的注释和说明，便于在必要时进行后续修改。
6. 将出现四个提示。输入 sessionID 值，taskID 值 （均来自 iRT 数据表）， 未包装的 iRT 数据文件名 （见步骤 3.1.5），以及 眼动仪数据文件名 （在步骤 2.3.2 中导出）或留空以使用默认值。
  注意：数分钟后，帮助弹窗将提示脚本已完成计算，并显示所使用及生成的文件名称。在脚本运行过程中，将出现三个角度差异的示例图：一个简单图、一个带有彩色注视数据的图，以及一个带有瞳孔直径数据的图。生成的两个文件为 输出合并 X Y.xlsx 和 输出 jmol 控制台 X Y.xlsx，其中 X 是 sessionID 值，和 Y 是 任务ID 值，均在步骤 3.1.6 开始时记录。
生成三维旋转轨迹图像。
1. 打开并运行脚本 3. 三维旋转轨迹.m.
2. 将出现三个提示。输入 sessionID 值，taskID 值，以及 未包装的 iRT 数据文件名，或留空以使用默认值。
  注意：将出现一个三维图。所渲染的图形为指定会话和任务的三维旋转轨迹。
重播动画。
1. 要重放参与者的任务交互过程，请首先访问交互式任务网页，启动测试（显示两个3D模型），然后将鼠标指针移至屏幕右上角，直至鼠标图标变为文本状态，如图所示 补充文件 2，然后单击不可见的调试文本，从而实现 调试模式.
2. 在模型之间出现的按钮中，点击 计时器停止 按钮以中断任务并点击 控制台 单击按钮以打开右侧模型的 JSmol 控制台。如果所关注的相互作用对应的任务并非第一个，请单击顶部调试区域内的编号按钮，以切换屏幕上显示的任务。
  注：JSmol 是网页中使用的分子建模软件。
3. 打开文件 输出 jmol 控制台.xlsx 并复制 Jmol 命令的整页内容。
  注意：每页包含不同场景或动画的指令。
4. 在 JSmol 控制台中，粘贴已复制的命令列表，然后点击运行按钮或按下输入在键盘上执行该操作。
5. 如有需要，生成一个 .gif 动画。输入以下命令 捕获 "文件名" 脚本 "输出" 在 JSmol 控制台内部，其中 文件名 是将要创建的 .gif 文件的名称输出是步骤 3.3.3 中复制的全部命令列表，保留双引号内的所有内容。
  注意：命令越复杂（如使用更大的模型或随时间进行更多变化），且所用计算机的配置越低，动画的运行速度就越慢。Jmol 主要专注于化学化合物与反应的可视化，而本研究生成的动画类型已接近 Jmol 渲染能力的极限。在利用该动画进行任何定量测量时，应充分考虑并计入上述因素。

4. 任务定制

注意：本节内容为可选部分，仅推荐给喜欢尝试或希望了解编码方法的用户。以下列出了部分当前可用的可自定义选项，随着方法的进一步开发，将会有更多选项陆续提供。

配置新任务或现有任务。
1. 在 object_configs.js 文件中的 task_list 数组内定义参与者将执行的交互式任务数量，并为每个任务命名，替换现有项目名称或添加更多任务。确保每个名称唯一，因为它们后续将用作标识符。
2. 选择与 JSmol 兼容的三维坐标文件以执行交互式任务（http://wiki.jmol.org/index.php/File_formats）。将这些文件复制到 models 文件夹中。
  注意：本文所含脚本针对使用 .xyz 文件格式的非对称模型进行了优化。选择坐标文件时，应避免具有旋转对称性的结构，因其存在模糊解⁶⁵。
3. 在 prepMolecule(num) 函数中定义三维对象的渲染设置。
  注意：所有在不同任务之间由 JSmol 执行的更改均在此处设置：包括更改颜色模式、调整图形元素的大小或渲染方式、方位、平移、隐藏对象部分、加载新的三维模型等（更多示例见 https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm）。 task_list 中命名的每个任务对应一个 case。每条 JSmol 执行命令遵循以下结构：Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 ");，其中 jsmol_obj 指代被修改的对象（jsmol_ref 和 jsmol_obj 分别为靶标对象和交互对象的默认值），后跟一条或多条命令，各命令之间以 ";" 分隔。
创建新模型。
1. 使用从网络下载的任意 .xyz 模型，或使用 Avogadro 等分子编辑器（https://avogadro.cc/）构建模型。

访问受限。请登录或开始试用以查看此内容。

结果

角差异及其他变量的演变
如补充文件2中步骤3.3.1所示，视频显示器上向参与者呈现两个画布，分别显示同一三维虚拟物体在不同方向上的图像。左侧画布显示目标物体（tObj），其位置保持静止，作为目标位置或tObj位置。右侧画布显示交互物体（iObj），其初始位置不同，参与者可通过鼠标围绕固定旋转中心随时间对其进行旋转操作（仅允许旋转，平移功能已禁用）。该任务要求参与者根据自身判断，调整iObj以尽可能匹配tObj。所使用的三个三维物体如图1所示。尽管求解过程较为复杂，但可对其进行精确记录以便后续分析。该记录不仅限于视频影像，还包括以固定0.1秒间隔对每个时刻的位置记录为四元数，形成时间序列，从而实现对整个过程的完整重建。在任意位置，均存在一个围绕特定轴的唯一旋转，其角度范围为0°至180°，可将tObj位置直接变换至iObj位置。尽管该旋转在抽象意义上与参与者在任务中的实际旋转路径（PR）无关，但它能准确反映iObj相对于tObj的精确位置。AD即为此旋转的角度，可通过相应的四元数计算得出。当iObj位置趋...

访问受限。请登录或开始试用以查看此内容。

讨论

如前所述，本文旨在详细介绍在交互式三维对象上实时映射注视与扫视运动数据的完整流程。该方法易于定制，且仅使用免费软件，提供逐步操作说明，确保所有步骤均可顺利实现。

尽管本实验设置涉及高度交互性的任务，例如在三个可能的轴向中的两个轴向上移动三维物体以匹配另一物体的朝向并实现位置重置（PR），但我们通过适当的注释对脚本进行了详尽的文档记录，以方便任何定制化修改。此外，还可设计多种其他类型的实验，其中眼动追踪设备仅是可用于时间序列数据采集的众多设备之一。

步骤 1.1.3.3 中复制的文件的表头定义了将在线收集的数据内容和位置。补充表 S1 列出了变量名称（均区分大小写）及其含义。这些变量与 GitHub 代码仓库中 JavaScript 文件内的变量相对应。应根据研究的范围和需求，修改本表及 JavaScript 文件中的数据类型、变量种类和变量名称。

以四元数记录旋转数据，可使研究人员重现参与者在任务过程中所做出的相同动作，从而便于对过程进行...

访问受限。请登录或开始试用以查看此内容。

披露

作者声明无利益冲突。

致谢

作者感谢高等教育人员协调改进办公室（CAPES）——资助代码 001 以及联邦阿布查克大学（UFABC）。João R. Sato 收到了圣保罗研究基金会（FAPESP，资助编号：2018/21934-5、2018/04654-9 和 2023/02538-0）的经费支持。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名	公司	评论
Firefox	Mozilla Foundation (开源)	任何支持 WebGL（https://caniuse.com/webgl）的现代更新浏览器均可使用，从而兼容 Jmol
GNU Octave	开源	https://octave.org/
Google Apps Script	Google LLC	script.google.com
Google Sheets	Google LLC	https://www.google.com/sheets/about/
笔记本电脑		任何能够运行眼动追踪系统软件的计算机
Mangold Software Suite	Mangold	用于眼动追踪设备的软件界面。任何能够输出带系统时间值数据的软件均可使用
鼠标		任何可通过简单操作实现点击和拖拽的鼠标均应兼容。具有相同功能的类鼠标人机接口设备（如触摸屏或指点装置）也应兼容，但行为可能有所不同
Vt3mini	EyeTech Digital Systems	60 Hz。任何正常工作的瞳孔追踪设备均应兼容

参考文献

Spearman, C. 34;General intelligence," objectively determined and measured. The American Journal of Psychology. 15, 201-292 (1904).
McGee, M. G. Human spatial abilities: psychometric studies and environmental, genetic, hormonal, and neurological influences. Psychological bulletin. 86 (5), 889-918 (1979).
Johnson, W., Bouchard, T. J. The structure of human intelligence: It is verbal, perceptual, and image rotation (VPR), not fluid and crystallized. Intelligence. 33 (4), 393-416 (2005).
Hegarty, M. Components of spatial intelligence. Psychology of Learning and Motivation. 52, 265-297 (2010).
Uttal, D. H., et al. The malleability of spatial skills: a meta-analysis of training studies. Psychological Bulletin. 139 (2), 352-402 (2013).
Linn, M. C., Petersen, A. C. Emergence and characterization of sex differences in spatial ability: a meta-analysis. Child Development. 56 (6), 1479-1498 (1985).
Johnson, S. P., Moore, D. S. Spatial thinking in infancy: Origins and development of mental rotation between 3 and 10 months of age. Cognitive Research: Principles and Implications. 5, 10(2020).
Wai, J., Lubinski, D., Benbow, C. P. Spatial ability for STEM domains: aligning over 50 years of cumulative psychological knowledge solidifies its importance. Journal of Educational Psychology. 101 (4), 817-835 (2009).
Newcombe, N. S., Stieff, M. Six myths about spatial thinking. International Journal of Science Education. 34, 955-971 (2012).
Kell, H. J., Lubinski, D., Benbow, C. P., Steiger, J. H. Creativity and technical innovation: spatial ability's unique role. Psychological Science. 24 (9), 1831-1836 (2013).
Geary, D. C. Spatial ability as a distinct domain of human cognition: An evolutionary perspective. Intelligence. 101616, (2022).
Shepard, R., Metzler, J. Mental rotation of three-dimensional objects. Science. 171, 701-703 (1971).
Shepard, R., Judd, S. Perceptual illusion of rotation of three-dimensional objects. Science. 191, 952-954 (1973).
Just, M. A., Carpenter, P. A. Eye fixations and cognitive processes. Cognitive Psychology. 8, 441-480 (1976).
Just, M. A., Carpenter, P. A. Cognitive coordinate systems: accounts of mental rotation and individual differences in spatial ability. Psychological Review. 92 (2), 137-172 (1985).
Shepard, S., Metzler, D. Mental rotation: effects of dimensionality of objects and type of task. Journal of Experimental Psychology: Human Perception and Performance. 14 (1), 3-11 (1988).
Biederman, I., Cooper, E. Size invariance in visual object priming. Journal of Experimental Psychology: Human Perception and Performance. 18, 121-133 (1992).
Wexler, M., Kosslyn, S. M., Berthoz, A. Motor processes in mental rotation. Cognition. 68 (1), 77-94 (1998).
Wohlschläger, A., Wohlschläger, A. Mental and manual rotation. Journal of Experimental Psychology: Human Perception and Performance. 24 (2), 397-412 (1998).
Jordan, K., W, T., Heinze, H., Peters, M., Jäncke, L. Women and men exhibit different cortical activation patterns during mental rotation tasks. Neuropsychologia. 40, 2397-2408 (2002).
Jansen-Osmann, P., Heil, M. Suitable stimuli to obtain (no) gender differences in the speed of cognitive processes involved in mental rotation. Brain and Cognition. 64, 217-227 (2007).
Gardony, A. L., Taylor, H. A., Brunyé, T. T. What does physical rotation reveal about mental rotation. Psychological Science. 25 (2), 605-612 (2014).
Adams, D. M., Stull, A. T., Hegarty, M. Effects of mental and manual rotation training on mental and manual rotation performance. Spatial Cognition & Computation. 14 (3), 169-198 (2014).
Griksiene, R., Arnatkeviciute, A., Monciunskaite, R., Koenig, T., Ruksenas, O. Mental rotation of sequentially presented 3D figures: sex and sex hormones related differences in behavioural and ERP measures. Scientific Reports. 9, 18843(2019).
Jansen, P., Render, A., Scheer, C., Siebertz, M. Mental rotation with abstract and embodied objects as stimuli: evidence from event-related potential (ERP). Experimental Brain Research. 238, 525-535 (2020).
Noll, M. Early digital computer art at Bell Telephone Laboratories, Incorporated. Leonardo. 49 (1), 55-65 (2016).
Vandenberg, S. G., Kuse, A. R. Mental rotations, a group of three-dimensional spatial visualization. Perceptual and Motor Skills. 47, 599-604 (1978).
Hegarty, M. Ability and sex differences in spatial thinking: What does the mental rotation test really measure. Psychonomic Bulletin & Review. 25, 1212-1219 (2018).
Kozaki, T. Training effect on sex-based differences in components of the Shepard and Metzler mental rotation task. Journal of Physiological Anthropology. 41, 39(2022).
Bartlett, K. A., Camba, J. D. Gender differences in spatial ability: a critical review. Educational Psychology Review. 35, 1-29 (2023).
Jansen, P., Schmelter, A., Quaiser-Pohl, C. M., Neuburger, S., Heil, M. Mental rotation performance in primary school age children: Are there gender differences in chronometric tests. Cognitive Development. 28, 51-62 (2013).
Techentin, C., Voyer, D., Voyer, S. D. Spatial abilities and aging: a meta-analysis. Experimental Aging Research. 40, 395-425 (2014).
Guillot, A., Champely, S., Batier, C., Thiriet, P., Collet, C. Relationship between spatial abilities, mental rotation and functional anatomy learning. Advances in Health Sciences Education. 12, 491-507 (2007).
Voyer, D., Jansen, P. Motor expertise and performance in spatial tasks: A meta-analysis. Human Movement Science. 54, 110-124 (2017).
Peters, M., et al. A redrawn Vandenberg and Kuse mental rotations test: different versions and factors that affect performance. Brain and Cognition. 28, 39-58 (1995).
Peters, M., Battista, C. Applications of mental rotation figures of the Shepard and Metzler type and description of a mental rotation stimulus library. Brain and Cognition. 66, 260-264 (2008).
Wiedenbauer, G., Schmid, J., Jansen-Osmann, P. Manual training of mental rotation. European Journal of Cognitive Psychology. 19, 17-36 (2007).
Jost, L., Jansen, P. A novel approach to analyzing all trials in chronometric mental rotation and description of a flexible extended library of stimuli. Spatial Cognition & Computation. 20 (3), 234-256 (2020).
Amorim, M. A., Isableu, B., Jarraya, M. Embodied spatial transformations:" body analogy" for the mental rotation of objects. Journal of Experimental Psychology: General. 135 (3), 327(2006).
Bauer, R., Jost, L., Günther, B., Jansen, P. Pupillometry as a measure of cognitive load in mental rotation tasks with abstract and embodied figures. Psychological Research. 86, 1382-1396 (2022).
Heil, M., Jansen-Osmann, P. Sex differences in mental rotation with polygons of different complexity: Do men utilize holistic processes whereas women prefer piecemeal ones. The Quarterly Journal of Experimental Psychology. 61 (5), 683-689 (2008).
Larsen, A. Deconstructing mental rotation. Journal of Experimental Psychology: Human Perception and Performance. 40 (3), 1072-1091 (2014).
Ho, S., Liu, P., Palombo, D. J., Handy, T. C., Krebs, C. The role of spatial ability in mixed reality learning with the HoloLens. Anatomic Sciences Education. 15, 1074-1085 (2022).
Foster, D. H., Gilson, S. J. Recognizing novel three-dimensional objects by summing signals from parts and views. Procedures of the Royal Society London B. 269, 1939-1947 (2002).
Stieff, M., Origenes, A., DeSutter, D., Lira, M. Operational constraints on the mental rotation of STEM representations. Journal of Educational Psychology. 110 (8), 1160-1174 (2018).
Moen, K. C., et al. Strengthening spatial reasoning: elucidating the attentional and neural mechanisms associated with mental rotation skill development. Cognitive Research: Principles and Implications. 5, 20(2020).
Guay, R. B. Purdue spatial visualization test: Rotations. Purdue Research Foundation. , West Lafayette, IN. (1976).
Bodner, G. M., Guay, R. B. The Purdue Visualization of Rotations Test. The Chemical Educator. 2 (4), 1-17 (1997).
Maeda, Y., Yoon, S. Y., Kim-Kang, K., Imbrie, P. K. Psychometric properties of the Revised PSVT:R for measuring First Year engineering students' spatial ability. International Journal of Engineering Education. 29, 763-776 (2013).
Sorby, S., Veurink, N., Streiner, S. Does spatial skills instruction improve STEM outcomes? The answer is 'yes'. Learning and Individual Differences. 67, 209-222 (2018).
Khooshabeh, P., Hegarty, M. Representations of shape during mental rotation. AAAI Spring Symposium: Cognitive Shape Processing. , 15-20 (2010).
Wetzel, S., Bertel, S. Spatial cognition XI. Spatial cognition 2018. Lecture Notes in Computer Science. Creem-Regehr, S., Schoning, J., Klippel, A. 11034, Springer. Cham. 167-179 (2018).
Jost, L., Jansen, P. Manual training of mental rotation performance: Visual representation of rotating figures is the main driver for improvements. Quarterly Journal of Experimental Psychology. 75 (4), 695-711 (2022).
Irwin, D. E., Brockmole, J. R. Mental rotation is suppressed during saccadic eye movements. Psychonomic Bulletin & Review. 7 (4), 654-661 (2000).
Moreau, D. The role of motor processes in three-dimensional mental rotation: Shaping cognitive processing via sensorimotor experience. Learning and Individual Differences. 22, 354-359 (2021).
Kosslyn, S. M., Ganis, G., Thmpson, W. L. Neural foundations of imagery. Nature Reviews Neuroscience. 2, 635-642 (2001).
Guo, J., Song, J. H. Reciprocal facilitation between mental and visuomotor rotations. Scientific Reports. 13, 825(2023).
Nazareth, A., Killick, R., Dick, A. S., Pruden, S. M. Strategy selection versus flexibility: Using eye-trackers to investigate strategy use during mental rotation. Journal of Experimental Psychology: Learning, Memory, and Cognition. 45 (2), 232-245 (2019).
Montag, M., Bertel, S., Koning, B. B., Zander, S. Exploration vs. limitation - An investigation of instructional design techniques for spatial ability training on mobile devices. Computers in Human Behavior. 118, 106678(2021).
Tang, Z., et al. Eye movement characteristics in a mental rotation task presented in virtual reality. Frontiers in Neuroscience. 17, 1143006(2023).
Münzer, S. Facilitating recognition of spatial structures through animation and the role of mental rotation ability. Learning and Individual Differences. 38, 76-82 (2015).
Gardony, A. L., Eddy, M. D., Brunyé, T. T., Taylor, H. A. Cognitive strategies in the mental rotation task revealed by EEG spectral power. Brain and Cognition. 118, 1-18 (2017).
Ruddle, R. A., Jones, D. M. Manual and virtual rotation of three-dimensional object. Journal of Experimental Psychology: Applied. 7 (4), 286-296 (2001).
Sundstedt, V., Garro, V. A Systematic review of visualization techniques and analysis tools for eye-tracking in 3D environments. Frontiers in Neuroergonomics. 3, 910019(2022).
Sawada, T., Zaidi, Q. Rotational-symmetry in a 3D scene and its 2D image. Journal of Mathematical Psychology. 87, 108-125 (2018).
Xue, J., et al. Uncovering the cognitive processes underlying mental rotation: an eye-movement study. Scientific Reports. 7, 10076(2017).
O'Shea, R. P. Thumb's rule tested: Visual angle of thumb's width is about 2 deg. Perception. 20, 415-418 (1991).
Todd, J., Marois, R. Capacity limit of visual short-term memory in human posterior parietal cortex. Nature. 428, 751-754 (2004).

访问受限。请登录或开始试用以查看此内容。

重印与许可

利用眼动追踪数据对交互式虚拟物体旋转的三维映射

本文内容

摘要

摘要

引言

方案

结果

讨论

披露

致谢

材料

参考文献

重印与许可

探索更多文章