Name: 使用眼动追踪数据对交互式虚拟对象旋转进行三维映射 (视频) | JoVE Journal
Uploaded: 2024-10-18T12:30:00.000+00:00
Duration: 6 min 36 s
Description: 学习将眼动追踪数据与三维虚拟对象旋转相结合的方法，用于认知心理学和人机交互研究。该技术可实时记录空间任务中的眼动轨迹，揭示个体认知差异，为教育和临床应用提供新工具。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

作者感谢高等教育人员协调改进办公室（CAPES）——资助代码 001 以及联邦阿布查克大学（UFABC）。João R. Sato 收到了圣保罗研究基金会（FAPESP，资助编号：2018/21934-5、2018/04654-9 和 2023/02538-0）的经费支持。

Real-Time Recording and Mapping of Human Interaction with 3D Virtual Objects

作者声明无利益冲突。

如前所述，本文旨在详细介绍在交互式三维对象上实时映射注视与扫视运动数据的完整流程。该方法易于定制，且仅使用免费软件，提供逐步操作说明，确保所有步骤均可顺利实现。
尽管本实验设置涉及高度交互性的任务，例如在三个可能的轴向中的两个轴向上移动三维物体以匹配另一物体的朝向并实现位置重置（PR），但我们通过适当的注释对脚本进行了详尽的文档记录，以方便任何定制化修改。此外，还可设计多种其他类型的实验，其中眼动追踪设备仅是可用于时间序列数据采集的众多设备之一。
步骤 1.1.3.3 中复制的文件的表头定义了将在线收集的数据内容和位置。补充表 S1 列出了变量名称（均区分大小写）及其含义。这些变量与 GitHub 代码仓库中 JavaScript 文件内的变量相对应。应根据研究的范围和需求，修改本表及 JavaScript 文件中的数据类型、变量种类和变量名称。
以四元数记录旋转数据，可使研究人员重现参与者在任务过程中所做出的相同动作，从而便于对过程进行分析，并且与屏幕录制相比，能够更高效地利用存储空间。通过交互对象的内部四元数数据，还可以实现更详细的分析，例如使用旋转球展示的三维旋转轨迹（见图7）。这种新型图表在Gardony22和Adams23提出的AD随时间变化图的基础上进一步扩展，提供了更为详尽的信息，包含随时间变化的实际三维旋转坐标。
另一个优势来自于使用标准时间度量来同步所有数据源。通过这种方式，合并不同层次的时间依赖性信息变得更加容易，例如将多个数据源的图表叠加显示：如图5B中与瞳孔扩张测量结果的叠加，或图5A中用彩色竖条表示参与者解题过程中可能存在的模式，即使此时iObj中几乎未发生任何旋转。只有在四元数数据和数据同步的基础上，才能生成图3所示的三维注视热图。
使用标准时间度量进行同步对于确保任何时间数据的整合至关重要。本项目选用的时间标准为 UNIX 纪元时间，该标准也被 JavaScript 和大多数其他编程语言所采用。每个数据集都必须使用某种已知的时间标准，即使采用的是其他标准，也应能够在后续转换为 UNIX 纪元时间。未使用任何标准的时间数据几乎必然无法实现同步，从而失去其应用价值。
另一个局限性在于，iRT 测试中使用的 10 Hz 频率相对于眼动仪的 60 Hz 频率而言相对较低。这在一定程度上是由于浏览器内数据处理和传输的限制，因为若使用更高的频率，将成比例地缩短每项任务的最大时间限制（目前为 327 秒）。此外，在此帧率下流畅渲染 Jmol 中的复杂动画已存在挑战。补充视频 S1 是一段 Jmol 渲染回放过程的视频记录，其中随时间变化的透明度映射了每个顶点所获得的关注程度。尽管视频时长接近 2 分钟，但实际任务在 63 秒内即已完成。未来若开发专门针对此类功能的软件，而非沿用现有工具进行改造，将有望解决这些局限性，并提升数据采集与分析能力。

心理旋转（MR）是一种认知能力，使个体能够在心理上对物体进行操控和旋转，从而更好地理解物体的特征及其空间关系。它是视空间能力的一种，而视空间能力作为基本的认知功能组别，早在1890年就已开始被研究1。视空间能力是个体认知能力体系中的重要组成部分，受到遗传和环境因素的共同影响2,3,4,5。由于越来越多的证据表明视空间能力在诸多关键领域中具有重要意义，整个二十世纪以来对其研究兴趣不断增长，这些领域包括衰老6和发育7、科学、技术、工程和数学（STEM）学科的表现8,9、创造力10以及进化特征11。
当前关于心理旋转（MR）的概念源于Shepard和Metzler（SM）于1971年发表的开创性研究12。他们设计了一种计时测量方法，采用一系列&#34;相同或不同&#34;任务，将抽象三维物体的两个投影并排呈现。参与者需要在某一轴向上对这些物体进行心理旋转，判断这两个投影是否为同一物体的不同旋转视角，或是两个不同的物体。该研究发现，被试的反应时间（RT）与同一物体不同表征之间的角度差异（AD）呈正线性相关。这种相关性被称为角度差异效应（ADE）。ADE被视为心理旋转的行为表现，并在后续该领域的多项重要研究中被广泛采用13,14,15,16,17,18,19,20,21,22,23,24,25。SM研究中使用的三维物体由10个相连的立方体组成，这些图形由贝尔实验室的计算机图形学先驱Michael Noll生成26。这类图形被称为SM图形，在心理旋转研究中被广泛使用。
在谢泼德和梅策勒的开创性研究中，有两个进展具有重要意义；首先，考虑到该领域内心理旋转评估方面的贡献。1978年，范德伯格和库泽27 基于SM开发了一项包含20个条目的心理测量纸笔测验 &#34;相同或不同&#34; 被称为心理旋转测试（VKMRT）的图形。每个测试项目呈现一个目标刺激，参与者必须从四个刺激中选择哪些代表了目标刺激中所示的同一物体，哪些不是。VKMRT 已被用于研究心理旋转能力与其他各种因素之间的相关性，例如性别差异。6,21,24,28,29,30衰老与发育6,31,32，学业成绩8,33音乐和体育方面的技能341995年，Peters 等人发表了一项针对 VKMRT 的重绘图示研究35,36同样地，随后的步骤 &#34;相同或不同&#34; 任务设计，已采用多种计算机生成刺激材料的图库来研究心理旋转（MR）过程并评估MR能力（原始SM刺激材料的3D版本）19,22,23,37,38，模拟人体的SM模型25,39,40，用于二维旋转的平面多边形41,42解剖学和器官43，有机形态44分子45,46以及其他21）。由Guay于1976年提出的普渡空间可视化测试（PSVT）47 也具有重要意义。它包含一系列测试，其中包括心理旋转测试（PSVT:R）。与VKMRT所使用的刺激不同，PSVT:R要求参与者识别模型刺激中的旋转操作，并在心理上将其应用于另一个不同的刺激。PSVT:R也被广泛使用，特别是在研究心理旋转（MR）在STEM领域成就中作用的研究中。48,49,50.
Shepard 和 Metzler 的开创性研究中的第二个重要进展，是推动了对心理旋转（MR）过程的理解，尤其是通过使用眼动追踪设备所取得的成果。1976 年，Just 和 Carpenter14 采用基于模拟视频的眼动追踪设备，开展了一项基于 Shepard 和 Metzler 的 ADE 实验的研究。根据他们对扫视眼动和反应时（RTs）的结果，提出了一个包含三个阶段的心理旋转过程模型：1）搜索阶段，识别图形中相似的部分；2）转换与比较阶段，对已识别的部分之一进行心理旋转；3）确认阶段，判断两个图形是否相同。这些阶段会递归重复，直到做出最终判断。每个阶段都对应特定的扫视和注视眼动模式，并与观察到的 ADE 现象密切相关。因此，通过将眼动活动与计时数据相关联，Just 和 Carpenter 为心理旋转过程的研究提供了认知层面的特征性指标。迄今为止，该模型虽经若干调整，仍已被多项研究采纳15,42,46,51,52,53。
基于这一研究方向，多项后续研究对刺激旋转过程中的行为18,19,22,23,25,34,40,54,55和脑活动20,22,56,57功能进行了监测。这些研究结果表明，心理旋转（MR）与运动过程之间存在协同作用。此外，针对个体差异背景下涉及心理旋转的问题解决策略，目前也日益受到关注15,41,46,51,58。
总体而言，可以认为旨在理解心理旋转（MR）过程的研究设计，通常是通过呈现包含视觉刺激的任务，要求参与者执行一种心理旋转操作，而该操作又涉及某种运动反应。如果这种反应允许对刺激物进行物理旋转，则通常被称为物理旋转（PR）。根据每项研究的具体目标，研究人员已采用不同的策略和设备来采集并分析心理旋转和物理旋转的数据。在任务刺激呈现阶段，可以改变刺激物的类型（即前文提到的示例）；刺激呈现方式（传统显示器上的计算机生成图像22,23,25,29,40,41,59，以及立体镜19、虚拟60和混合43现实环境中的呈现）；以及刺激物的交互性（静态图像12,27,36、动画61，以及可交互的虚拟物体19,22,23,43,53,59）。
通常通过反应时间（ADE）以及眼动和脑活动的测量来推断心理旋转（MR）25,46,62。眼动活动通过眼动追踪数据进行测量，包括扫视运动和注视14,15,42,51,52,54,58,60，以及瞳孔测量40。反应时间数据通常来源于操作各种设备时记录的运动反应数据，例如操纵杆13、按钮和开关14,53、踏板53、旋钮19、操纵杆（joystick）37、键盘61和鼠标29,58,60、驱动轮53、惯性传感器22,23、触摸屏52,59以及麦克风22。为了测量手动旋转（PR），除了反应时间外，研究设计还将包括记录参与者执行MR任务时对交互式刺激的手动旋转操作22,23,52,53。
1998年，Wohlschläger 和 Wohlschläger19 使用 &#34;相同或不同&#34; 通过旋钮操控仅限单轴旋转的交互式虚拟空间记忆刺激任务，测量反应时（RT）以及任务过程中执行的物理旋转累积记录。通过比较交互式刺激有无实际旋转的情况，得出结论：心理旋转与实际执行的旋转在想象和实际操作条件下共享同一加工过程。
2014年，有两项研究采用了相同类型的任务，并使用虚拟交互刺激22,23。然而，这些物体是通过惯性传感器进行操作的，该传感器可捕捉三维空间中的运动。在这两项研究中，除了反应时间（RTs）外，还记录了旋转轨迹——即在任务过程中参考刺激与交互刺激之间旋转差异的变化过程。从这些轨迹中，可以提取出累积信息（例如，以四元数单位表示的总旋转次数）以及关于解决策略的详细信息。Adams 等人23研究了心理旋转（MR）与实际旋转（PR）之间的协同效应。除了反应时间外，他们还将旋转轨迹的积分作为衡量解决准确性和客观性的参数。曲线轮廓根据一个三阶段模型63（规划、主要旋转、精细调整）进行解释。结果表明，心理旋转和实际旋转并不一定由单一共同因素决定。Gardony 等人22收集了反应时间、准确性和实时旋转的数据。除了验证心理旋转与实际旋转之间的关系外，对旋转轨迹的分析还显示，参与者会持续操作图形，直到能够判断它们是否不同。如果图形相同，参与者会将其旋转至看起来一致为止。
延续这一策略，2018年，Wetzel 和 Bertel52 也使用了交互式SM图 &#34;相同或不同&#34; 使用触摸屏平板电脑作为交互界面。此外，他们采用眼动追踪设备获取解决心理旋转任务过程中与认知负荷相关的注视时间累积数据和扫视幅度参数。作者证实了上述先前研究中关于心理旋转与表征操作之间的关系以及任务解决过程的结论。然而，在本研究中，他们并未使用针对刺激材料的注视点分布图和扫视数据。
针对在虚拟三维物体上映射眼动数据的方法学已提出并持续改进，通常由关注虚拟环境中视觉注意相关因素的研究人员开展64。尽管这些方法成本较低且使用类似的眼动追踪设备，但显然尚未有效整合到涉及交互式三维物体的心理旋转研究的实验方法体系中，例如前述研究中所使用的。相反，我们未在文献中发现任何报告在交互式三维物体上实时映射注视点和扫视运动数据的研究。目前似乎尚无便捷的方法可将眼动数据与旋转轨迹轻松整合。本研究旨在弥补这一空白。本文详细介绍了从数据采集到图形化输出生成的完整流程。
本文详细描述了一种利用虚拟交互式三维对象研究心理旋转过程的方法。该方法具有以下优势：首先，在与三维虚拟模型的交互过程中，整合了定量的行为运动数据（通过计算机界面手动操控对象旋转）和眼动数据（眼动追踪）的采集；其次，仅需常规的计算机设备和眼动追踪装置即可完成视觉任务设计、数据采集、记录与处理；第三，能够便捷地生成图形化输出，以辅助数据分析，包括角度差异、物理旋转、四元数旋转轨迹，以及眼动数据在三维虚拟对象上的注视点映射；最后，该方法仅依赖免费软件，所有开发的代码和脚本均可免费获取（https://github.com/rodrigocnstest/rodrigocnstest.github.io）。

<table><tbody><tr><td>Firefox</td><td>Mozilla Foundation (开源)</td><td></td><td>任何支持 WebGL（https://caniuse.com/webgl）的现代更新浏览器均可使用，从而兼容 Jmol</td></tr><tr><td>GNU Octave</td><td>开源</td><td></td><td>https://octave.org/</td></tr><tr><td>Google Apps Script</td><td>Google LLC</td><td></td><td>script.google.com</td></tr><tr><td>Google Sheets</td><td>Google LLC</td><td></td><td>https://www.google.com/sheets/about/</td></tr><tr><td>笔记本电脑</td><td></td><td></td><td>任何能够运行眼动追踪系统软件的计算机</td></tr><tr><td>Mangold Software Suite</td><td>Mangold&amp;nbsp;</td><td></td><td>用于眼动追踪设备的软件界面。任何能够输出带系统时间值数据的软件均可使用</td></tr><tr><td>鼠标</td><td></td><td></td><td>任何可通过简单操作实现点击和拖拽的鼠标均应兼容。具有相同功能的类鼠标人机接口设备（如触摸屏或指点装置）也应兼容，但行为可能有所不同</td></tr><tr><td>Vt3mini</td><td>EyeTech Digital Systems</td><td></td><td>60 Hz。任何正常工作的瞳孔追踪设备均应兼容</td></tr></tbody></table>

利用眼动追踪数据对交互式虚拟物体旋转的三维映射

Three-Dimensional Mapping of the Rotation of Interactive Virtual Objects with Eye-Tracking Data

我们提出了一种用于实时记录人类与三维（3D）虚拟物体交互的方法。该方法通过将被操作物体的旋转数据与眼动追踪等行为测量指标相结合，以更准确地推断潜在的认知过程。
该任务要求在计算机屏幕上显示同一三维物体（一个分子）的两个相同模型：一个可旋转的交互式物体（iObj）和一个静态的目标物体（tObj）。参与者需使用鼠标旋转iObj，直到认为其方向与tObj完全一致为止。计算机实时记录所有交互数据，同时使用眼动仪记录参与者的注视数据。计算机的采样频率为10 Hz，眼动仪的采样频率为60 Hz。
iObj相对于tObj的方位数据以旋转四元数形式记录。注视数据与iObj的方位同步，并使用同一系统进行参考。该方法使我们能够获得人类与iObj和tObj交互过程的以下可视化结果：（1）与其他时间依赖性数据同步的角度差异；（2）在我们称之为&#34;旋转球体&#34;内部的三维旋转轨迹；（3）三维注视热图。本实验方案的所有步骤均使用了自由软件，例如GNU Octave和Jmol，所有脚本均可作为补充材料获取。
通过这种方法，我们能够对涉及心理或物理旋转的任务求解过程进行详细的定量研究，而不仅仅是关注最终结果。可以精确测量三维模型的各个部分在参与者完成任务过程中的重要性，从而将这些模型与相关变量联系起来，例如物体的特征、个体的认知能力以及人机界面的特性。

角差异及其他变量的演变 
如补充文件2中步骤3.3.1所示，视频显示器上向参与者呈现两个画布，分别显示同一三维虚拟物体在不同方向上的图像。左侧画布显示目标物体（tObj），其位置保持静止，作为目标位置或tObj位置。右侧画布显示交互物体（iObj），其初始位置不同，参与者可通过鼠标围绕固定旋转中心随时间对其进行旋转操作（仅允许旋转，平移功能已禁用）。该任务要求参与者根据自身判断，调整iObj以尽可能匹配tObj。所使用的三个三维物体如图1所示。尽管求解过程较为复杂，但可对其进行精确记录以便后续分析。该记录不仅限于视频影像，还包括以固定0.1秒间隔对每个时刻的位置记录为四元数，形成时间序列，从而实现对整个过程的完整重建。在任意位置，均存在一个围绕特定轴的唯一旋转，其角度范围为0°至180°，可将tObj位置直接变换至iObj位置。尽管该旋转在抽象意义上与参与者在任务中的实际旋转路径（PR）无关，但它能准确反映iObj相对于tObj的精确位置。AD即为此旋转的角度，可通过相应的四元数计算得出。当iObj位置趋近于tObj位置时，该值趋近于零。
在“数据处理与分析”部分的步骤 3.1.6 之后，将生成两个文件：output merge X Y.xlsx 和 output jmol console X Y.xlsx，其中 X 为 sessionID 的值，Y 为 taskID 的值。如果未填写输入字段而使用默认值，则文件名应为 output merge 1682707472090 bolaBastao_c.xlsx 和 output jmol console 1682707472090 bolaBastao_c.xlsx。output merge X Y.xlsx 文件包含经选择的眼动仪数据，这些数据已根据 UNIX 时间戳与 iRT 数据合并并对齐，若所有步骤正确执行，结果应类似于 图 2A；若出现某些问题，则可能类似于 图 2B。
文件 output jmol console X Y.xlsx 包含最多五个工作表，其中填充了 Jmol 控制台命令。将这些命令粘贴至 Jmol 控制台后，可重现实验参与者在完成任务过程中的操作行为：rotation replay 可重现实验参与者对 iObj 所做的旋转操作；gaze replay int 在重现实Obj旋转的同时，通过透明度/不透明度变化叠加显示对象上的注视热图，以反映时间进程；gaze replay tgt 仅显示任务过程中 tObj 的三维注视热图；gaze frame int 和 gaze frame tgt 则分别显示 iObj 和 tObj 在整个过程中的总体注视映射。以上内容均在 图 3A-F 中进行了图示说明。Jmol 与 JSmol 基本功能相同，区别在于 Jmol 是基于 Java 编程语言的插件，而 JSmol 基于 JavaScript 编程语言，两者功能一致，可互换使用。
图4展示了六种不同情境下角差异随时间演变的情况，这些情境涉及两名参与者和三个物体。该过程的持续时间可能因参与者在交互任务物体上的表现而有显著差异。在参与者正确完成的任何任务中，角差异（AD）最终趋于零。如果同一图表未表现出此趋势，则可能是参与者未能完成任务（因放弃或达到每项任务的时间限制，约5分钟），或数据处理中出现了错误。
iObj PR 记录与眼动追踪测量数据的综合结果如图5所示。目标与惯性物体之间角视差随时间的变化表明，完成给定任务的过程可分为三个明显阶段：对模型的初始观察；交互模型的 ballistic 旋转；交互模型旋转的精细调节。图5A显示了在初始阶段以及更具体的精细调节阶段，视线在模型之间的交替情况。图5B显示瞳孔在初始阶段和精细调节阶段保持更大的扩张状态。在精细调节阶段，对交互模型的长时间注视期（图5A中40-47秒）对应于瞳孔直径的平台期（40-47秒，图5B）。
这些结果表明，采用本文所提出方法获得的数据与基于静态模型眼动注视数据提出的心理旋转问题解决模型相一致14,66 以及用于交互式模型23该模型将包含三个阶段：搜索、转换与比较，以及确认模型之间的匹配或不匹配。此外，在比较阶段中观察到的在目标模型与交互模型之间交替的注视现象 图5A 与使用静态图像的 Sheppard 和 Metzler 型测试所获得的结果一致42,66然而，在交互式模型的情况下，搜索、转换、比较和确认这些阶段可能通过交互式模型的相互作用与重新定位而依次发生。
三维旋转轨迹 
在三维空间中，从 0° 到 180° 的每一次旋转都可以对应到一个半径为 180° 的球体内部的一个点（即球体所包含的体积内的一个点）。图6 通过三个旋转示例展示了这种对应关系。该点到球心的距离表示相对于目标对象（tObj）位置的被试对象（iObj）角度差异，而从球心指向该点的矢量则表示旋转方向，旋转方向定义为从球心向外观察时的顺时针方向。将旋转映射为球内点的方式，使得人们能够在单个三维图示中直观地呈现参与者在任务中所执行旋转的完整轨迹。我们将这种图示称为三维旋转轨迹。
与AD指标类似，对于参与者正确完成的任何任务，其轨迹最终应接近球体的中心。如果轨迹在旋转180°时到达球面边界，则会绕至球面上的对跖点。图7展示了前述两位参与者执行第三项任务时（即图4中的C1和C2）的旋转轨迹，图中同时显示了透视视角以及在三个坐标平面上的投影。从图中可以明显看出，尽管参与者1的初始AD值相对较小，接近45°，但在找到通向正确解的明确路径之前，其轨迹最初偏离了目标位置；而参与者2则更快地完成了任务。
3D 注视热图 
在解决问题的过程中，参与者在与交互对象（iObj）交互的同时，会不断在目标对象（tObj）和交互对象（iObj）之间切换视线。通过眼动追踪数据，我们可以提取参与者的注视位置，并生成屏幕区域的热图，以显示在任意时间段内哪些区域受到最多或最少的关注。进一步地，通过同步眼动追踪数据和iRT四元数数据，我们能够在三维空间和时间上同时映射每个物体顶点所受到的关注程度，即使该物体在随时间旋转过程中亦可实现。
在图3中，对象所受关注程度通过每个顶点的不透明度来表示。顶点距离受试者注视点越近，且停留时间越长，则其受到的关注越多，导致该对象区域的不透明度越高。注意力在空间上的衰减通过一个双变量齐次高斯函数对注视位置建模，时间上的衰减则采用一个简单的齐次高斯函数进行建模。这些高斯函数的标准差设定基于2度的视觉角度67和10秒的视觉短期记忆68。为避免该方法产生任何视觉伪影，当注视点位于对象画布之外时，注视接近度数据被设为零（当注视点位于tObj画布内或两个对象画布之外时，iObj不会保留残余注意力）。图3展示了完整回放动画中每个对象的一个单帧图像，以及对应的三维注视热图。可以观察到受试者在解题过程中对tObj和iObj进行比较的可能情况（图3C、D），此时任务接近结束（时间 = 6.3 s）。整个过程可在补充视频S1中以视频形式查看。我们报告了在常规条件下参与者完成三维模型计算机辅助旋转任务的结果。
<img alt="用于结构分析的三维结构与化学键分子建模示意图。" class="xfigimg" src="/files/ftp_upload/65977/65977fig01.jpg" data-altupdatedat="1788304762000" data-alt="图1"> 
图1：所使用的靶标对象。网页任务中使用的三维模型图像。（A）以球棍模型表示的分子；（B）同一分子，以填充多边形表示，不含氢原子，且仅以棍状表示；（C）一个类似于谢泼德（Shepard）和梅茨勒（Metzler）图示的多立方体13，源自彼得斯（Peters）和巴蒂斯塔（Battista）刺激库36。 <a href="https://www.jove.com/files/ftp_upload/65977/65977fig01large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<img alt="眼动数据对比，显示 Unix 时间戳列格式问题；电子表格分析示意图。" class="xfigimg" src="/files/ftp_upload/65977/65977fig02.jpg" data-altupdatedat="1788304762000" data-alt="图 2"> 
图 2：电子表格对比。（A、B）图像取自电子表格 output merge 1682707472090 bolaBastao_c.xlsx。A 至 G 列包含 iRT 数据值，而 H 至 N 列包含眼动仪数据值。在（A）中，所有数据均正确；而在（B）中，眼动仪数据列中的所有数值均为常数，且与 iRT 系统时间值不匹配。如果数据同步过程出现任何问题，就很可能发生此类错误。<a href="https://www.jove.com/files/ftp_upload/65977/65977fig02large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="分子动力学模拟，万古霉素构象变化，三维分子结构分析。" class="xfigimg" src="/files/ftp_upload/65977/65977fig03.jpg" data-altupdatedat="1788304762000" data-alt="图 3"> 
图 3：三维注视热图。 使用不透明度标度在三维对象上生成的注视热图，其中更高的不透明度表示参与者注视停留时间更长。(A,B) 参与者在任务进行至 6.3 秒时所解决问题的 tObj 和 iObj 图像。(C,D) 与 (A,B) 相同时刻的图像，叠加了热图的不透明度标度。(E,F) 考虑参与者可视对象的整个时间段所生成的注视热图图像。<a href="https://www.jove.com/files/ftp_upload/65977/65977fig03large.jpg" target="_blank">请点击此处查看该图的高清版本。</a>
<img alt="任务A、B、C的角度差异图；两名参与者表现的比较" class="xfigimg" src="/files/ftp_upload/65977/65977fig04.jpg" data-altupdatedat="1788304762000" data-alt="图4"> 
图 4：阿尔茨海默病网格。 两名参与者在三种任务中的角度差异图示。列表示参与者1和2，行表示参与者使用图示三种物体完成的任务 图3请注意，尽管AD在不同情况下有所差异 0° 和 180°，时间范围不固定，而是根据参与者的操作表现及其自主决定停止过程的时机而变化。当参与者旋转iObj时，随着时间推移，tObj与iObj之间的AD值随之变化，最终参与者会选择当前iObj的朝向作为最接近tObj的匹配结果。在1st 和 2nd 任务中，两位参与者似乎都以相似的方式取得了进展，但参与者1所用的时间仅为参与者2的一半。而在3rd 任务中，尽管参与者2完成任务所用时间更短，但参与者1已在20秒标记前完成任务，并持续进行微小调整以使iObj与tObj更好地匹配。缩写：AD = 角度差异。 <a href="https://www.jove.com/files/ftp_upload/65977/65977fig04large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<img alt="角偏差图；上图：注视位置与任务持续时间的关系，下图：瞳孔数据与任务持续时间的关系。" class="xfigimg" src="/files/ftp_upload/65977/65977fig05.jpg" data-altupdatedat="1788304762000" data-alt="图 5"> 
图 5：结合眼动追踪数据的角偏差（AD）。角偏差与眼动追踪数据的变化过程。 （A）角偏差与注视位置，显示 tObj 与 iObj 之间角偏差的变化趋势，并结合每个模型的区域注视数据。图中表示参与者注视所在的区域：当注视位于 iObj 画布内时为红色，位于 tObj 画布内时为蓝色，当注视位于两者之外时为灰色，表示注视屏幕上的其他元素或视线离开屏幕。（B）角偏差与瞳孔直径。角偏差以蓝色表示，瞳孔直径数据以橙色表示。瞳孔直径为左右眼瞳孔在每一时间点的平均值。缩写：AD = 角偏差（angular disparity）。 <a href="https://www.jove.com/files/ftp_upload/65977/65977fig05large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="三维旋转示意图；欧拉角；轴变换；数学可视化。" class="xfigimg" src="/files/ftp_upload/65977/65977fig06.jpg" data-altupdatedat="1788304762000" data-alt="图6"> 
图6：旋转球体。 该图说明了物体从参考位置出发的每一个可能的旋转状态，都可以用一个半径为180°的球体内的一个点来表示，从而完整地呈现物体在三个轴上的旋转位置。此处，“球体”指的是由球面所围成的体积。(A) 示例中使用的物体是一个不对称的七立方体组合，如左上方所示。对该物体施加了三种简单的旋转，编号为I、II和III，如右侧所示。它们分别是绕x轴+90°、绕z轴-60°，以及绕位于+x与-y之间、与两轴均成45°的轴旋转180°。(B) 图中展示了旋转球体，以及对应于旋转I、II和III的点。到球心的距离表示旋转角度的大小。由于III达到了最大旋转角度（180°），因此也在其对跖点上表示，因为两者本质上是相同的。旋转II相对于z轴正方向为逆时针方向，因此显示在负侧。<a href="https://www.jove.com/files/ftp_upload/65977/65977fig06large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="三维轨迹图；矢量场与运动路径的可视化分析；对比研究。" class="xfigimg" src="/files/ftp_upload/65977/65977fig07.jpg" data-altupdatedat="1788304762000" data-alt="图7"> 
图7：三维旋转轨迹。 两名参与者在第三项任务中球面旋转空间内的旋转轨迹，以透视视角（A）及在坐标平面上的投影（B–D）呈现。线条粗细随时间递减。每一列对应一名参与者（v1 和 v2）。当轨迹趋近球心时，表示参与者更接近完成任务。“0”表示任务的初始位置。后续数字表示轨迹到达球体边缘并从对侧对跖点继续延伸的位置（1 到 2，2 到 3，3 到 4，依此类推）。<a href="https://www.jove.com/files/ftp_upload/65977/65977fig07large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
补充表 S1：工作表标题。 克隆工作表文件中的标题列表。每个标题对应一个变量名称，并将接收来自该变量的数据，形成用于数据处理和分析的数值列。<a href="https://www.jove.com/files/ftp_upload/65977/ST1%20-%20sheet%20headers.zip" target="_blank">请点击此处下载该文件。</a>
补充文件 1：方案步骤 1 指南。 一份截图列表，用于指导完成方案方法“1. 数据采集工具的准备”的各个步骤。<a href="https://www.jove.com/files/ftp_upload/65977/SF1%20-%20Protocol%20step%201%20guide.zip" target="_blank">请点击此处下载该文件。</a>
补充文件 2：实验步骤 3 指南。 一份截图列表，用于指导完成“3. 数据处理与分析”这一实验方法的各个步骤。<a href="https://www.jove.com/files/ftp_upload/65977/SF2%20-%20Protocol%20step%203%20guide.zip" target="_blank">请点击此处下载该文件。</a>
补充视频 1：注视点映射回放。 使用 iObj 和 tObj 同时记录的三维时间注意映射动画回放示例。采用 OBS Studios 录制，并使用 OpenShot 视频编辑器进行渲染。<a href="https://www.jove.com/files/ftp_upload/65977/SV1%20-%20Fixation%20Mapping%20Replay.zip" target="_blank">请点击此处下载该文件。</a>

我们开发了一种简单、可定制且高效的方法，用于从交互式空间任务中记录定量的过程数据，并将这些旋转数据与眼动追踪数据进行映射。

我们提出了一种用于实时记录人类与三维（3D）虚拟物体交互的方法。该方法包括将……

我们开发了一种实时记录人类与三维虚拟物体交互的方法。该方法通过将操作物体的旋转数据与眼动追踪等行为测量指标关联，使我们能够更深入地理解任务背后的认知过程，而不仅仅是最终结果。本文探讨了以下主题：心理旋转与眼动之间的关系、个体差异、应用与实际意义、方法学进展、认知模型与理论、发展与临床视角以及神经认知机制。本研究在方法学方面做出了贡献。目前尚无直接有效的方法将眼动数据与旋转轨迹进行整合。在本研究中，我们旨在弥补这一空白。我们设计了一种简单且经济高效的实验方案，可将传统的三维眼动追踪数据与旋转测试相结合，并映射到三维模型上。我们未来的研究将聚焦于改进我们的方法，以研究个体在解释和交互虚拟及物理三维物体方面的差异。例如，我们将考察化学领域的学生与专家的情况。首先，在计算机上启动眼动追踪软件。打开iRT网页，填写姓名和电子邮件，然后点击下一步。让受试者在眼动追踪系统前以舒适姿势就座。调节座椅位置，确保受试者与摄像头之间保持最佳距离。现在，调整摄像头的高度，以准确捕捉受试者的瞳孔。按下“校准”开始校准过程。请受试者注视屏幕上的一系列圆点，并在不移动头部的情况下跟随圆点的移动。校准过程完成后，可在主显示窗口中实时查看带有视线数据的捕获画面。在主菜单中点击“Gaze Video”图标以显示眼动仪捕获的用户面部图像，然后点击“Start Record”开始实验。打开之前已打开的 iRTs 窗口，要求参与者点击“Go”按钮，随后他们需要旋转右侧的物体，直到其与左侧的物体尽可能匹配。单击“完成”以结束旋转操作，并重复此过程，直至所有任务均完成。眼动追踪数据采集完成后，单击“分析数据”，然后导出包含用户所有记录数据的 CSV 文件。如果使用的是在线交互式旋转任务页面，请打开用于接收在线数据的 Google 表格文件，然后依次单击“文件”、“下载”和 xlsx 格式。接下来，下载并解压正在使用的代码库。确保脚本 1.unpacking_sheets.m 和 2.data_merge_and_process. 能够正常访问。米，三维旋转轨迹。米，文件夹模型位于下载的代码仓库中的 Octave 文件夹内。请将数据文件移至 Octave 文件夹中。使用 GNU Octave 启动器打开脚本 1.unpacking_sheets.m。在编辑器选项卡中，单击绿色的“保存文件并运行”图标以运行该脚本。当两个提示框连续出现时，在第一个提示框中输入已下载文件的名称，在第二个字段中输入解压后文件的名称。几分钟后将弹出一个提示框，告知用户处理已完成。随后打开并运行脚本 2.data_merge_and_process。合并眼动仪和iRT的数据。现在，从保存的数据表中输入sessionID值和taskID值。然后输入未打包的iRT数据文件名以及眼动仪数据文件名。启动并运行 3.3D 旋转轨迹.m 脚本。当出现三个提示时，输入 sessionID 值、taskID 值和未打包的 iRT 数据文件名，或将其留空。要重放参与者对任务的交互过程，请首先进入交互式任务网页，启动测试，然后移动鼠标指针。接着，单击不可见的调试文本以启用调试模式。按下 timerStop 图标以中断任务，然后单击控制台以打开模型的 JSmol 控制台。现在打开文件“output jmol console.xlsx”，复制包含 JMol 命令的整个页面内容，将复制的命令列表粘贴到 JSmol 控制台中，然后点击“运行”按钮以执行这些命令。要生成 gif 动画，请在 JSmol 控制台中输入命令 capture filename SCRIPT output，其中 filename 是要创建的 gif 文件的名称，output 是复制的完整命令列表。在初始阶段和精细调节阶段，受试者的瞳孔保持更明显的扩张状态。精细调节阶段的长时间注视对应于瞳孔直径的平台期。旋转轨迹分析显示，参与者一开始偏离了目标位置，随后才找到通向解决方案的明确路径。

three-dimensional-mapping-rotation-interactive-virtual-objects-with

Research

科研

JoVE Journal

Neuroscience

神经科学

使用眼动追踪数据对交互式虚拟对象旋转进行三维映射

本文描述了一种利用六自由度（6DF）运动模拟器在人体中测量三维前庭眼反射（3D...

使用六自由度运动平台进行三维前庭眼反射测试

在本研究中，作者首次报道了一种新型的3D沉浸式 &amp;#38; 通过患者大脑μ-阿片系统在自发性偏头痛发作期间的变化实现交互式神经导航（3D-IIN） 体内.

3D-神经导航 在体 内 通过患者大脑观察自发性偏头痛发作期间的变化

视觉世界范式通过监测参与者在倾听或说出口语时其在视觉工作区中的眼动，来研究心理语言学中的多种在线加工问题，包括诸如析取语句等语义复杂的陈述。...

利用视觉世界范式中记录的眼动数据探究口语的在线加工过程

使用多模态传感器是理解社交互动在教育环境中作用的一种有前景的方法。本文描述了一种利用移动眼动仪捕捉共处一地的成对个体之间共同视觉注意的实验方法。...

使用移动眼动仪捕捉联合视觉注意的方法学

在某些实验、娱乐和教育应用中，对人类观察者的物理旋转进行控制是可取的。本文概述了一种将办公转椅改装成在虚拟现实环境中实现受控物理旋转装置的方法。...

在虚拟现实环境中对人类观察者进行可控旋转

该方法探讨了视动和全身旋转过程中视觉与前庭觉对凝视稳定性的贡献。通过视觉、前庭觉以及视听觉联合试验实施刺激。每项试验中，扭转性眼动增益和眼震频率作为感觉特异性运动信息向反射性脑干反应的皮层下传递通路的指标。...

利用眼动追踪评估视觉与前庭输入在翻滚平面中对皮层下运动处理的相对重要性

我们采用脑磁图（MEG）和脑电图（EEG）来绘制参与简单感觉刺激处理的脑区。...

同步 MEG 与 EEG 的功能定位映射

本文介绍了一种深入了解脑部炎症反应复杂性的方法。我们描述了基于免疫荧光的实验方案，结合三维共聚焦分析，用于研究局灶性脑缺血小鼠模型中小胶质细胞/巨噬细胞表型标志物的共表达模式。...

实验性脑损伤中小胶质细胞/巨噬细胞极化标志物的三维共聚焦分析

中枢神经系统中的星形胶质细胞在受到有害刺激时会改变其功能和结构特性。本报告介绍了一种在疾病状态或治疗干预后评估星形胶质细胞三维形态的实验方案。...

星形胶质细胞三维共聚焦形态计量分析方案

本方案采用三维（3D）成像与分析技术，用于可视化并定量神经特异性线粒体。该技术适用于其他利用一种荧光信号从另一种荧光信号中分离出特定数据子集的情况。...

三维成像与分析人表皮内神经纤维中的线粒体

学习将眼动追踪数据与三维虚拟对象旋转相结合的方法，用于认知心理学和人机交互研究。该技术可实时记录空间任务中的眼动轨迹，揭示个体认知差异，为教育和临床应用提供新工具。

利用眼动追踪数据对交互式虚拟物体旋转的三维映射

探索更多视频