我们开发了一种简单、可定制且高效的方法，用于从交互式空间任务中记录定量的过程数据，并将这些旋转数据与眼动追踪数据进行映射。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文内容
摘要
摘要
我们提出了一种用于实时记录人类与三维（3D）虚拟物体交互的方法。该方法通过将被操作物体的旋转数据与眼动追踪等行为测量指标相结合，以更准确地推断潜在的认知过程。
该任务要求在计算机屏幕上显示同一三维物体（一个分子）的两个相同模型：一个可旋转的交互式物体（iObj）和一个静态的目标物体（tObj）。参与者需使用鼠标旋转iObj，直到认为其方向与tObj完全一致为止。计算机实时记录所有交互数据，同时使用眼动仪记录参与者的注视数据。计算机的采样频率为10 Hz，眼动仪的采样频率为60 Hz。
iObj相对于tObj的方位数据以旋转四元数形式记录。注视数据与iObj的方位同步，并使用同一系统进行参考。该方法使我们能够获得人类与iObj和tObj交互过程的以下可视化结果：（1）与其他时间依赖性数据同步的角度差异；（2）在我们称之为"旋转球体"内部的三维旋转轨迹；（3）三维注视热图。本实验方案的所有步骤均使用了自由软件，例如GNU Octave和Jmol，所有脚本均可作为补充材料获取。
通过这种方法，我们能够对涉及心理或物理旋转的任务求解过程进行详细的定量研究，而不仅仅是关注最终结果。可以精确测量三维模型的各个部分在参与者完成任务过程中的重要性，从而将这些模型与相关变量联系起来，例如物体的特征、个体的认知能力以及人机界面的特性。
引言
心理旋转（MR）是一种认知能力，使个体能够在心理上对物体进行操控和旋转，从而更好地理解物体的特征及其空间关系。它是视空间能力的一种，而视空间能力作为基本的认知功能组别，早在1890年就已开始被研究1。视空间能力是个体认知能力体系中的重要组成部分，受到遗传和环境因素的共同影响2,3,4,5。由于越来越多的证据表明视空间能力在诸多关键领域中具有重要意义，整个二十世纪以来对其研究兴趣不断增长，这些领域包括衰老6和发育7、科学、技术、工程和数学（STEM）学科的表现8,9、创造力10以及进化特征11。
当前关于心理旋转（MR）的概念源于Shepard和Metzler（SM）于1971年发表的开创性研究12。他们设计了一种计时测量方法....
访问受限。请登录或开始试用以查看此内容。
方案
1. 数据采集工具的准备
- 设置在线数据采集（可选）。
注意：此步骤介绍如何设置项目代码和工作网页的可自定义克隆（请参见 补充文件 1）。此步骤改编自 https://pages.github.com/ 和 https://github.com/jamiewilson/form-to-google-sheets 提供的教程。如果用户仅关注数据处理方法而无需进行数据记录，可使用网页 https://rodrigocnstest.github.io/iRT_JoVE.html 配合 补充表 S1 以及存储库文件位于 https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave，并跳过步骤 1.1、1.2 及其子步骤。- 登录 GitHub (https://github.com/)。
- 创建原始 GitHub Pages 仓库的公开克隆版本。
- 点击 导入仓库 从 https://github.com 在登录账户后。
- 在 您旧代码仓库的克隆 URL 领域，粘贴网址 https://github.com/rodrigocns/ro....
访问受限。请登录或开始试用以查看此内容。
结果
角差异及其他变量的演变
如补充文件2中步骤3.3.1所示，视频显示器上向参与者呈现两个画布，分别显示同一三维虚拟物体在不同方向上的图像。左侧画布显示目标物体（tObj），其位置保持静止，作为目标位置或tObj位置。右侧画布显示交互物体（iObj），其初始位置不同，参与者可通过鼠标围绕固定旋转中心随时间对其进行旋转操作（仅允许旋转，平移功能已禁用）。该任务要求参与者根据自身判断，调整iObj以尽可能匹配tObj。所使用的三个三维物体如图1所示。尽管求解过程较为复杂，但可对其进行精确记录以便后续分析。该记录不仅限于视频影像，还包括以固定0.1秒间隔对每个时刻的位置记录为四元数，形成时间序列，从而实现对整个过程的完整重建。在任意位置，均存在一个围绕特定轴的唯一旋转，其角度范围为0°至180°，可将tObj位置直接变换至iObj位置。尽管该旋转在抽象意义上与参与者在任务中的实际旋转路径（PR）无关，但它能准确反映iObj相对于tObj的精确位置。AD即为此旋转的角度，可通过相应的四元数计算得出。当iObj位置趋.......
访问受限。请登录或开始试用以查看此内容。
讨论
如前所述，本文旨在详细介绍在交互式三维对象上实时映射注视与扫视运动数据的完整流程。该方法易于定制，且仅使用免费软件，提供逐步操作说明，确保所有步骤均可顺利实现。
尽管本实验设置涉及高度交互性的任务，例如在三个可能的轴向中的两个轴向上移动三维物体以匹配另一物体的朝向并实现位置重置（PR），但我们通过适当的注释对脚本进行了详尽的文档记录，以方便任何定制化修改。此外，还可设计多种其他类型的实验，其中眼动追踪设备仅是可用于时间序列数据采集的众多设备之一。
步骤 1.1.3.3 中复制的文件的表头定义了将在线收集的数据内容和位置。补充表 S1 列出了变量名称（均区分大小写）及其含义。这些变量与 GitHub 代码仓库中 JavaScript 文件内的变量相对应。应根据研究的范围和需求，修改本表及 JavaScript 文件中的数据类型、变量种类和变量名称。
以四元数记录旋转数据，可使研究人员重现参与者在任务过程中所做出的相同动作，从而便于对过程进行.......
访问受限。请登录或开始试用以查看此内容。
披露
作者声明无利益冲突。
致谢
作者感谢高等教育人员协调改进办公室（CAPES）——资助代码 001 以及联邦阿布查克大学（UFABC）。João R. Sato 收到了圣保罗研究基金会（FAPESP，资助编号：2018/21934-5、2018/04654-9 和 2023/02538-0）的经费支持。
....访问受限。请登录或开始试用以查看此内容。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| Firefox | Mozilla Foundation (开源) | 任何支持 WebGL（https://caniuse.com/webgl）的现代更新浏览器均可使用，从而兼容 Jmol | |
| GNU Octave | 开源 | https://octave.org/ | |
| Google Apps Script | Google LLC | script.google.com | |
| Google Sheets | Google LLC | https://www.google.com/sheets/about/ | |
| 笔记本电脑 | 任何能够运行眼动追踪系统软件的计算机 | ||
| Mangold Software Suite | Mangold | 用于眼动追踪设备的软件界面。任何能够输出带系统时间值数据的软件均可使用 | |
| 鼠标 | 任何可通过简单操作实现点击和拖拽的鼠标均应兼容。具有相同功能的类鼠标人机接口设备（如触摸屏或指点装置）也应兼容，但行为可能有所不同 | ||
| Vt3mini | EyeTech Digital Systems | 60 Hz。任何正常工作的瞳孔追踪设备均应兼容 |
参考文献
- Spearman, C. 34;General intelligence," objectively determined and measured. The American Journal of Psychology. 15, 201-292 (1904).
- McGee, M. G. Human spatial abilities: psychometric stud....
访问受限。请登录或开始试用以查看此内容。
重印与许可
