Method Article

Three-Dimensional Mapping of the Rotation of Interactive Virtual Objects with Eye-Tracking Data

DOI:

10.3791/65977

⸱

October 18th, 2024

 ,  ,  ,  , 
1Graduate Program in Chemistry, University of São Paulo, Institute of Chemistry, 2Graduate Program in Applied Mathematics, University of São Paulo, Institute of Mathematics and Statistics, 3Graduate Program in Neuroscience and Cognition, Federal University of ABC, Center of Mathematics, Computing and Cognition, 4School of Biomedical Engineering, Science and Health Systems, Drexel University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

우리는 대화형 공간 작업에서 정량적 프로세스 데이터를 기록하고 이러한 회전 데이터를 시선 추적 데이터와 매핑하기 위한 간단하고 사용자 정의 가능하며 효율적인 방법을 개발했습니다.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

3차원(3D) 가상 물체와 인간의 상호 작용을 실시간으로 기록하는 방법을 제시합니다. 이 접근 방식은 조작된 물체의 회전 데이터를 시선 추적과 같은 행동 측정과 연결하여 기본 인지 과정에 대해 더 나은 추론을 하는 것으로 구성됩니다.

이 작업은 컴퓨터 화면에 표시되는 동일한 3D 물체(분자)의 두 개의 동일한 모델, 즉 회전하는 대화형 물체(iObj)와 정적 대상 물체(tObj)를 표시하는 것으로 구성됩니다. 참가자는 iObj의 방향이 tObj의 방향과 동일하다고 간주될 때까지 마우스를 사용하여 iObj를 회전해야 합니다. 컴퓨터는 모든 상호 작용 데이터를 실시간으로 추적합니다. 참가자의 시선 데이터도 시선 추적기를 사용하여 기록됩니다. 측정 주파수는 컴퓨터에서 10Hz, 아이트래커에서 60Hz입니다.

tObj에 대한 iObj의 방향 데이터는 회전 쿼터니언으로 기록됩니다. 응시 데이터는 iObj의 방향과 동기화되고 동일한 시스템을 사용하여 참조됩니다. 이 방법을 사용하면 iObj 및 tObj와의 인간 상호 작용 과정에 대한 다음과 같은 시각화를 얻을 수 있습니다 : (1) 다른 시간 종속 데이터와 동기화 된 각도 격차; (2) 우리가 "회전 공"이라고 부르기로 결정한 것 내부의 3D 회전 궤적; (3) 3D 고정 히트맵. 프로토콜의 모든 단계는 GNU Octave 및 Jmol과 같은 무료 소프트웨어를 사용했으며 모든 스크립트는 보충 자료로 사용할 수 있습니다.

이 접근 방식을 사용하면 도달한 결과뿐만 아니라 정신적 또는 신체적 회전과 관련된 작업 해결 과정에 대한 자세한 정량적 연구를 수행할 수 있습니다. 3D 모델의 각 부분이 참가자가 과제를 해결하는 데 얼마나 중요한지 정확하게 측정할 수 있으며, 따라서 모델을 물체의 특성, 개인의 인지 능력, 인간-기계 인터페이스의 특성과 같은 관련 변수와 연관시킬 수 있습니다.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

정신 회전(MR)은 개인이 물체를 정신적으로 조작하고 회전할 수 있도록 하여 물체의 특징과 공간 관계를 더 잘 이해할 수 있도록 하는 인지 능력입니다. 그것은 시공간 능력 중 하나이며, 1890년 초에 연구된 기본인지 그룹1. 시공간 능력은 유전적 요인과 환경적 요인 모두에 의해 영향을 받는 개인의 인지 레퍼토리의 중요한 구성 요소입니다 2,3,4,5. 시공간 능력에 대한 관심은 20세기 전반에 걸쳐 노화6 및 발달7, 과학, 기술, 공학 및 수학(STEM)8,9, 창의성10 및 진화적 특성11과 같은 주요 주제에서 시공간 능력이 중요하다는 증거가 증가함에 따라 증가했습니다.

MR의 현대 아이디어는 1971 년 Shepard와 Metzler (SM)가 발표 한 선구적인 연구에서 파생됩니다12. 그들은 일련의 "동일하거나 다른" 작업을 사용하여 크로노미터 방법을 고안하여 나란히 표시된 추상적인 3D 물체의 두 가지 투영을 제시했습니다. 참가자들은 어떤 축에서 물체를 정신적으로 회전시키고 이러한 투영이 동일한 물체를 다르게 회전시키는지 아니면 별개의 물체를 묘사하는지 결정해야 했습니다. 이 연구는 응답 시간(RT)과 동일한 물체의 표현 간의 각도 차이(AD) 사이에 양의 선형 상관 관계가 있음을 밝혔습니다. 이 상관 관계를 각도 차이 효과(ADE)라고 합니다. ADE는 MR의 행동 징후로 간주되며 13,14,15,16,17,18,19,20,21,22,23,24,25 분야의 여러 영향력 있는 후속 연구에서 유비쿼터스가되었습니다.. SM 연구에 사용된 3D 물체는 컴퓨터 그래프의 선구자인 BellLaboratories 26의 Michael Noll이 생성한 10개의 연속된 큐브로 구성되었습니다. 그들은 SM 수치라고 불리며 MR 연구에서 널리 사용됩니다.

셰퍼드와 메츨러의 중요한 작업에는 두 가지 발전이 매우 중요했다. 첫째, MR 평가 분야에서의 기여를 고려합니다. 1978년, 밴더버그(Vanderberg)와 쿠제(Kuze27)는 SM의 "같거나 다른" 수치를 기반으로 한 20개 항목으로 구성된 심리 측정 테스트를 개발했는데, 이는 정신 회전 테스트(VKMRT)로 알려지게 되었습니다. 각 테스트 항목은 목표 자극을 제시합니다. 참가자는 목표 자극에 묘사된 것과 동일한 대상을 나타내는 것과 그렇지 않은 4가지 자극 중에서 선택해야 합니다. VKMRT는 MR 능력과 성별 관련 차이 6,21,24,28,29,30, 노화 및 발달 6,31,32, 학업 성취도 8과 같은 다양한 기타 요인 간의 상관 관계를 조사하는 데 사용되었습니다.,33, 음악 및 스포츠 기술34. 1995 년 Peters et al.은 VKMRT35,36에 대한 재 그려진 수치를 사용한 연구를 발표했습니다. 유사하게, "동일하거나 다른" 작업 설계에 따라, MR 과정을 조사하고 MR 능력을 평가하기 위해 컴퓨터 생성 자극의 다양한 다른 라이브러리가 사용되었다(원래 SM 자극의 3D 버전 19,22,23,37,38, SM 도형 25,39,40을 모방한 인체, 2D 회전을 위한 평면 다각형41, 42, 해부학 및 장기43, 유기적 모양44, 분자45,46 등21). Guay가 1976년 47 년에 제안한 Purdue Spatial Visualization Test (PSVT)도 관련이 있습니다. 여기에는 MR(PSVT:R)을 포함한 일련의 테스트가 수반됩니다. VKMRT와 다른 자극을 사용하는 PSVT:R은 참가자가 모델 자극에서 회전 연산을 식별하고 정신적으로 다른 자극에 적용하도록 요구합니다. PSVT:R은 특히 STEM 성취도 48,49,50에서 MR의 역할을 조사하는 연구에서 널리 사용됩니다.

Shepard와 Metzler의 중요한 연구에서 매우 중요한 두 번째 발전은 특히 시선 추적 장치의 사용을 통해 MR 프로세스에 대한 이해에 기여한 것입니다. 1976년, 저스트와 카펜터(14)는 아날로그 비디오 기반 시선 추적 장비를 사용하여 셰퍼드와 메츨러의 ADE 실험에 기반한 연구를 수행했습니다. saccadic 안구 운동과 RT에 대한 결과로부터, 그들은 세 단계로 구성된 MR 과정 모델을 제안했다 : 1) 그림의 유사한 부분이 인식되는 탐색 단계; 2) 식별된 부분 중 하나가 정신적으로 회전하는 변형 및 비교 단계; 3) 수치가 동일한지 여부를 결정하는 확인 단계. 결정을 내릴 수 있을 때까지 단계가 재귀적으로 반복됩니다. 각 단계는 관찰된 ADE와 밀접한 관련이 있는 특정 saccadic 및 fixational 안구 운동 패턴에 해당합니다. 따라서 눈 활동을 크로노미터 데이터와 연관시킴으로써 Just와 Carpenter는 MR 프로세스 연구를 위한 인지 신호를 제공했습니다. 현재까지 이 모델은 적응이 있었지만 여러 연구에서 채택되었습니다 15,42,46,51,52,53.

이 트랙에 이어 행동 18,19,22,23,25,34,40,54,55 및 뇌 활동 20,22,56,57을 모니터링하는 여러 후속 연구가 있습니다 자극 회전 중 기능이 수행되었습니다. 그들의 발견은 MR과 운동 프로세스 사이의 협력적 역할을 지적합니다. 또한, 개인차와 관련하여 MR과 관련된 문제 해결 전략을 조사하는 것에 대한 관심이 높아지고 있다 15,41,46,51,58.

전반적으로, MR 과정을 이해하는 것을 목표로 하는 연구의 설계는 참가자에게 운동 반응을 수반하는 MR 작업을 수행하도록 요청하는 시각적 자극으로 과제를 제시하는 것을 기반으로 한다고 간주할 수 있습니다. 이 반응이 자극의 회전을 허용하는 경우 종종 물리적 회전(PR)이라고 합니다. 각 연구의 특정 목표에 따라 MR 및 PR의 데이터 수집 및 분석을 위해 다양한 전략과 장치가 사용되었습니다. 과제 자극 제시 단계에서, 자극의 유형(즉, 이전에 인용된 예시)을 변경할 수 있습니다. 프로젝션(전통적 디스플레이(22,23,25,29,40,41,59), 스테레오스코프(19) 및 버추얼(60) 및 혼합(43) 현실 환경에서의 컴퓨터 생성 이미지); 및 자극의 상호 작용 (정적 이미지 12,27,36, 애니메이션61 및 상호 작용 가상 객체 19,22,23,43,53,59).

MR은 일반적으로 RT (ADE)뿐만 아니라 안구 및 뇌 활동의 측정으로부터 추론됩니다 25,46,62. 안구 활동은 saccadic 움직임 및 고정(14,15,42,51,52,54,58,60) 및 동공측정법(40)으로 구성된 시선추적 데이터를 사용하여 측정된다. RT 데이터는 전형적으로 레버(13), 버튼 및 스위치(14,53), 페달(53), 회전 노브(19), 조이스틱(37), 키보드(61) 및 마우스(29,58,60), 구동 휠(53), 관성 센서(22,23), 터치 스크린(52,59)과 같은 다양한 장치를 작동하는 동안 기록된 모터 응답 데이터로부터 발생한다및 마이크22. RT 외에도 PR을 측정하기 위해 연구 설계에는 참가자가 MR 작업 22,23,52,53을 수행하는 동안 상호 작용 자극의 수동 회전을 기록하는 것도 포함됩니다.

1998년, Wohlschläger와 Wohlschläger19 는 노브로 조작하는 대화형 가상 SM 자극을 사용하여 "동일하거나 다른" 작업을 사용했으며, 회전은 작업당 한 축으로 제한되었습니다. 그들은 RT와 작업 중에 수행된 물리적 회전의 누적 기록을 측정했습니다. 상호작용 자극의 실제 회전이 있는 상황과 없는 상황을 비교한 결과, 그들은 MR과 PR이 상상된 회전과 실제로 수행된 회전 모두에 대한 공통 과정을 공유한다는 결론을 내렸습니다.

2014년에는 가상 상호 작용 자극과 함께 동일한 유형의 작업을 사용하는 두 가지 연구가 수행되었습니다22,23. 그러나 물체는 3D 공간에서 움직임을 포착하는 관성 센서로 조작되었습니다. 두 경우 모두, RT 외에도 회전 궤적(작업 중 참조 자극과 상호 작용 자극 간의 회전 차이의 진화)이 기록되었습니다. 이러한 궤적에서 누적 정보(즉, 쿼터니언 단위의 총 회전 수)와 솔루션 전략에 대한 자세한 정보를 모두 추출할 수 있었습니다. Adams et al.23은 MR과 PR 사이의 협력 효과를 연구했습니다. RT 외에도 회전 궤적의 적분을 해상도의 정확성과 객관성의 매개변수로 사용했습니다. 곡선 프로파일은 3단계 모델(63)(계획, 주요 회전, 미세 조정)에 따라 해석되었습니다. 결과는 MR과 PR이 반드시 단일 공통 요인을 갖는 것은 아니라는 것을 나타냅니다. Gardony et al.22은 RT, 정확도 및 실시간 회전에 대한 데이터를 수집했습니다. MR과 PR의 관계를 확인하는 것 외에도 회전 궤적을 분석한 결과 참가자가 서로 다른지 여부를 식별할 수 있을 때까지 수치를 조작한 것으로 밝혀졌습니다. 만약 그들이 동일하다면, 참가자들은 그것들이 동일하게 보일 때까지 그것들을 회전시킬 것이다.

이 전략을 계속하기 위해 2018년에도 Wetzel과 Bertel52 는 터치스크린 태블릿을 인터페이스로 사용하여 "동일하거나 다른" 작업에 인터랙티브 SM 피규어를 사용했습니다. 또한, 연구진은 시선 추적 장치를 사용하여 MR 과제 해결과 관련된 인지 부하의 매개변수로 고정 시간과 saccadic 진폭에 대한 누적 데이터를 얻었습니다. 저자들은 MR과 PR 간의 관계와 과제 해결 과정에 대해 위에서 논의한 이전 연구를 확인했습니다. 그러나 이 연구에서는 자극에 대한 고정 매핑 및 saccades 데이터를 사용하지 않았습니다.

가상 3D 물체에 대한 시선 추적 데이터를 매핑하기 위한 방법론적 접근법은 일반적으로 가상 환경에서의 시각적 주의와 관련된 요인을 연구하는 데 관심이 있는 연구자들에 의해 제안되고 지속적으로 개선되어 왔다(64). 저렴하고 유사한 시선 추적 장치를 사용하긴 했지만, 이러한 방법은 앞서 언급한 것과 같은 인터랙티브 3D 물체를 사용한 정신 회전 연구에 사용되는 실험 레퍼토리에 효과적으로 통합되지 않은 것으로 보입니다. 반대로, 인터랙티브 3D 물체에 대한 고정 및 saccade 모션 데이터의 실시간 매핑을 보고하는 문헌에서 어떤 연구도 찾지 못했습니다. 눈 활동 데이터를 회전 궤적과 쉽게 통합할 수 있는 편리한 방법은 없는 것 같습니다. 이 연구에서는 이러한 간극을 메우는 데 기여하는 것을 목표로 합니다. 이 절차는 데이터 수집에서 그래픽 출력 생성에 이르기까지 자세히 제시됩니다.

이 논문에서는 가상 인터랙티브 3D 물체를 사용하여 정신 회전 과정을 연구하는 방법을 자세히 설명합니다. 다음과 같은 개선 사항이 강조되어 있습니다. 첫째, 3D 가상 모델과의 상호 작용 세션 동안 정량적 행동 모터(컴퓨터 인터페이스를 통한 수동 구동 물체 회전) 및 안구(시선 추적) 데이터 수집을 통합합니다. 둘째, 시각적 작업 디자인, 데이터 수집, 기록 및 처리를 위해 기존 컴퓨터 장비와 시선 추적 장치만 필요합니다. 셋째, 각도 격차, 물리적 회전, 쿼터니언 회전 궤적, 3D 가상 물체에 대한 시선 추적 데이터의 적중 매핑과 같은 데이터 분석을 용이하게 하기 위해 그래픽 출력을 쉽게 생성합니다. 마지막으로, 이 방법에는 무료 소프트웨어만 필요합니다. 개발된 모든 코드와 스크립트는 무료(https://github.com/rodrigocnstest/rodrigocnstest.github.io)로 사용할 수 있습니다.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. 데이터 수집 도구의 준비

  1. 온라인 데이터 수집을 설정합니다(선택 사항).
    참고: 이 단계에서는 프로젝트 코드 및 작업 웹 페이지의 사용자 지정 가능한 복제본을 설정하는 방법을 설명합니다( 보충 파일 1). 이 단계는 https://pages.github.com/ 및 https://github.com/jamiewilson/form-to-google-sheets 에서 사용할 수 있는 자습서에서 조정되었습니다. 사용자가 데이터 처리 방법에만 관심이 있고 데이터 기록에는 관심이 없는 경우 웹 페이지 https://rodrigocnstest.github.io/iRT_JoVE.html 함께 사용할 수 있습니다.보충표 S1 및 https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave 의 리포지토리 파일을 선택하고 1.1, 1.2 단계 및 해당 하위 단계를 건너뜁니다.
    1. GitHub(https://github.com/)에 로그인합니다.
    2. 원래 GitHub 페이지 리포지토리의 퍼블릭 클론을 만듭니다.
      1. 계정에 로그인되어 있는 동안 Import repository from https://github.com 를 클릭합니다.
      2. 이전 리포지토리의 복제 URL 필드에서 리포지토리 이름 필드에 URL https://github.com/rodrigocns/rodrigocns_JoVE 붙여넣고, username.github.io 를 입력하고, 여기서 username은 계정에서 사용되는 사용자 이름이고, Public 옵션이 활성화되어 있는지 확인합니다. 그런 다음 녹색 버튼 Begin import를 클릭하십시오.
        참고: 이제 저장소에는 이 설정의 나머지 부분에 필요한 대부분의 파일이 포함되어 있으며 저장소에 대한 모든 변경 사항은 몇 분 후에 웹 사이트에서 업데이트됩니다. 예를 들어, rodrigocnstest라는 사용자는 https://rodrigocnstest.github.io 에서 자신의 페이지에 액세스하고 https://github.com/rodrigocnstest/rodrigocnstest.github.io 에서 GitHub 리포지토리에 액세스합니다.
    3. 실험 데이터를 온라인에 저장할 클라우드 스프레드시트를 설정합니다.
      1. Google 계정에 가입하거나 로그인합니다.
      2. 계정에 로그인한 상태에서 에서 사용할 수 있는 iRT 스프레드시트 정리 파일로 이동합니다 https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
        Ops1wZrXI/edit?usp=공유.
      3. 이 스프레드시트에서 File(파일) | 사본을 만드십시오. 작은 확인 창이 나타납니다.
      4. 작은 창에서 파일 이름을 지정하고 사본 만들기 버튼을 클릭합니다.
    4. Google Apps Script를 설정하여 만든 스프레드시트 내의 데이터 저장을 자동화합니다.
      1. 스프레드시트 파일 내에서 옵션을 클릭하십시오 Extension | Apps Script를 탭합니다.
        참고: 이 스크립트는 스프레드시트와 연결되도록 스프레드시트 내부에서 만들거나 액세스해야 합니다. 외부에서 스크립트를 만들려고 하면 작동하지 않을 수 있습니다.
      2. Run 버튼을 클릭하여 스크립트를 처음으로 실행합니다.
      3. Review permissions(권한 검토) 버튼을 클릭합니다. 새 창이 나타납니다. 스프레드시트를 만들 때 사용한 것과 동일한 계정을 클릭합니다.
        참고: 이 단계를 처음 수행하는 경우 앱이 계정의 정보에 대한 액세스를 요청하는 것에 대해 사용자에게 경고하는 안전 경고가 나타날 수 있습니다. 앱이 스프레드시트 내용에 도달하려고 시도하고 데이터로 채울 수 있는 권한을 요청하므로 안전합니다. 경고가 나타나지 않으면 1.1.4.4단계를 건너뛸 수 있습니다.
      4. Advanced( 고급) | iRT에서 시트로(안전하지 않음)로 이동 | 허용 버튼을 클릭합니다.
        참고: 실행 후 실행이 완료되었다는 알림이 실행 로그 내에 나타나야 합니다.
      5. 왼쪽 슬라이딩 패널에서 트리거 버튼(위에서 아래로 네 번째 아이콘)을 클릭합니다 . + 트리거 추가 버튼을 클릭합니다.
      6. Choose which function to run(실행할 함수 선택)에서 doPost를 선택합니다. Select event source(이벤트 원본 선택)에서 From spreadsheet(스프레드시트에서)를 선택합니다. Select event type(이벤트 유형 선택)에서 On form submit(양식 제출 시)을 선택합니다. 그런 다음 저장을 클릭합니다. 권한 팝업이 나타나면 1.1.4.3-1.1.4.4단계를 수행합니다. 브라우저가 팝업을 차단하게 되면 차단을 해제하십시오.
      7. Deploy(배포) 드롭다운 버튼을 클릭합니다. 새 배포.
      8. 톱니바퀴 아이콘 위에 마우스를 놓고 웹앱 옵션이 선택되어 있는지 확인합니다.
      9. New description(새 설명) 필드에 Deployment 1(배포 1)과 같은 설명을 작성합니다. Who has access 필드에서 Anyone을 선택한 다음 Deploy 버튼을 클릭합니다.
        참고: New description(새 설명 ) 필드의 목적은 스크립트 배포를 구성하는 것입니다. 첫 번째 배포와 같이 독자가 원하는 대로 이름을 지정할 수 있습니다. 다음으로 실행 필드는 이미 Me(email)로 표시되어야 하며, 여기서 email은 지금까지 사용된 이메일입니다.
      10. 새 팝업 내에서 스크립트 배포의 웹앱 URL을 복사합니다.
        참고: 어떤 이유로든 복사된 웹앱 URL을 잃어버리게 된 경우 Deploy(배포 ) 드롭다운 메뉴 | 배포를 관리합니다. 웹앱 URL이 있어야 합니다.
      11. https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js 의 페이지로 이동합니다. 여기서 rodrigocnstest 는 GitHub에서 사용되는 사용자 이름입니다. 1.1.4.10단계에서 복사한 웹앱 URL의 5줄에 있는 기존 URL을 바꾸고 녹색 단추 변경 내용 커밋...을 클릭합니다.
        참고: 복사된 URL 값은 단일 ' ' 또는 이중 " "' 따옴표 사이에 있어야 합니다. 복사한 URL이 웹앱에서 올바른 URL인지 다시 확인합니다.
      12. 마지막으로 화면 중앙에 있는 변경 사항 커밋 확인 버튼을 클릭합니다.
    5. 프로세스가 올바르게 완료되었고 페이지가 작동하는지 확인합니다.
      1. https://github.com/username/username.github.io/ 의 리포지토리로 이동하여 username 은 GitHub에서 사용되는 사용자 이름이고 1.4.14단계에서 변경한 후 배포가 업데이트되었는지 확인합니다.
      2. https://username.github.io/iRT_JoVE 에서 웹 페이지로 이동하여 사용자 이름을 GitHub에서 사용되는 사용자 이름으로 변경한 후 다음을 클릭합니다.
      3. 이동을 클릭하고 마우스로 오른쪽에 있는 개체를 클릭하고 끌어 상호 작용을 한 다음 DONE! 버튼을 클릭합니다.
      4. 1.1.3 및 1.1.4 단계에서 구성한 스프레드시트 파일로 돌아가서 완료 버튼을 누를 때마다 새로 추가된 데이터 줄이 있는지 확인합니다.
  2. 오프라인 데이터 수집을 설정합니다(선택 사항).
    참고: iRT(대화형 회전 작업)의 데이터를 실행하고 획득하기 위한 방법은 위에서 설명한 단계에서 구성된 클라우드 서비스를 통해 온라인 상태입니다. 원하는 경우(인터넷 연결이 문제일 수 있거나 다른 실행 방법이 있을 수 있으므로) 테스트가 실행될 장소에서 인터넷 연결 여부에 관계없이 로컬로 테스트를 실행할 수도 있습니다. 다음 단계는 선택적 대안이며 이를 수행하는 방법을 설명합니다. 그렇지 않으면 1.3단계로 건너뜁니다.
    1. https://github.com/rodrigocnstest/rodrigocnstest.github.io 링크에서 GitHub 리포지토리에 액세스합니다. 녹색 버튼을 클릭하십시오 < > 코드 | ZIP을 다운로드한 다음 다운로드한 파일의 압축을 풉니다.
      참고: 로컬에 저장된 파일을 변경해도 저장소의 파일은 변경되지 않으며 그 반대의 경우도 마찬가지입니다. 두 버전에 대한 모든 변경 사항은 업데이트된 파일을 수동으로 복사하거나 git/GitHub 데스크톱을 사용하여 두 위치에 모두 적용해야 합니다.
    2. https://www.mozilla.org/en-US/firefox/new/ 링크를 통해 최신 버전의 Mozilla Firefox를 받으십시오.
    3. Mozilla Firefox 브라우저를 열고 URL 슬롯에 "about:config"를 입력하고 검색 필드에 "security.fileuri.strict_origin_policy"를 입력한 다음 해당 값을 false로 변경합니다. 참고: 이제 Windows 운영 체제의 Mozilla Firefox에서 다운로드한 웹 페이지 파일에 로컬로 액세스할 수 있어야 합니다. 다른 브라우저와 운영 체제는 로컬에서 작동하도록 구성할 수 있으며, 각각은 링크 http://wiki.jmol.org/index.php/Troubleshooting/Local_Files 에 설명된 설정으로 구성됩니다.
  3. 데이터 처리 도구를 설정합니다.
    1. https://octave.org/download 에서 최신 버전의 GNU Octave를 다운로드하여 설치하십시오.
  4. 시선 추적 장치를 설정합니다.
    1. 녹음 시스템 소프트웨어가 랩톱에 설치되어 있는지 확인하십시오.
    2. 산만하지 않도록 연구실이 깨끗하고 잘 정리되어 있는지 확인하십시오.
    3. 하루 종일 일관된 조명을 유지하기 위해 실내에 인공 조명을 사용하십시오.
    4. 컴퓨터를 테이블 위에 설치하고 참가자가 마우스를 편안하게 움직일 수 있는지 확인합니다.
    5. 시험 중 움직임을 최소화하기 위해 참가자에게 편안한 의자, 가급적이면 고정식 의자를 제공하십시오.
    6. 하나의 USB 케이블을 연결하여 적외선 조명에 전원을 공급하고 노트북/컴퓨터와 카메라의 시선 추적기 사이에 다른 USB 케이블을 연결합니다.
    7. 화면 아래에 아이트래커를 놓습니다.

2. 데이터 수집

  1. 데이터 수집 소프트웨어를 초기화합니다.
    1. 컴퓨터에서 시선 추적 소프트웨어를 실행하여 시선 추적기에서 데이터를 수신합니다.
    2. 소프트웨어의 기본 창에서 Screen Capture 옵션을 선택하여 실험 중 시선을 캡처합니다(히트맵 시각화 및 원시 내보내기 데이터에도 이 소프트웨어를 사용할 수 있음).
    3. 새 프로젝트를 클릭하여 데이터를 저장해야 하는 새 프로젝트와 프로젝트 폴더를 만듭니다.
    4. 예제로 제공된 페이지를 사용하거나 1.1단계에서 만든 페이지를 사용하는 경우 https://rodrigocnstest.github.io/iRT_JoVE.html 에서 테스트 페이지를 엽니다. 또는 1.2단계에서 이전에 구성한 브라우저에서 로컬로 iRT_JoVE.html 파일을 엽니다.
    5. 필요한 경우 데이터 식별에 도움이 되도록 이름 및 이메일 필드를 채우고 생성된 데이터의 백업 복사본을 다운로드하려면 확인란을 선택합니다.
      참고: 오프라인 방법(1.2단계)을 사용하는 경우 백업 복사본을 다운로드하는 것이 좋습니다.
    6. 실험을 한 번 실행하여 브라우저가 요소를 올바르게 로드하는지, 제시된 작업이나 데이터 수집에 문제가 없는지 확인하십시오.
  2. 실험을 실행합니다.
    1. 참가자에게 실험의 목적, 사용된 기술, 포함/제외 기준을 설명합니다. 참가자가 모든 것을 이해했는지 확인하십시오. 참가자가 동의 양식을 작성하도록 합니다.
    2. 참가자에게 시선 추적 시스템 앞에 앉아서 가능한 한 편안하게 지내도록 요청합니다.
    3. 참가자와 카메라 사이에 최적의 거리를 확보하기 위해 의자를 움직입니다(이상적인 길이는 시선 추적기에서 참가자의 눈까지 65cm입니다).
    4. 참가자에게 실험 중에 가능한 한 가만히 있으라고 요청합니다. 참가자의 동공을 올바르게 캡처하기 위해 카메라의 높이를 조정합니다(일부 소프트웨어는 각막 반사를 보여주기 위해 동공을 강조 표시합니다).
    5. 자동 게인 활성화를 클릭하여 동공이 발견될 때까지 카메라 게인을 변경하여 동공 추적을 최적화합니다(일부 소프트웨어에는 이 옵션이 없음).
    6. 참가자에게 화면에서 일련의 점을 보고 머리를 움직이지 않고 점의 움직임을 따라가도록 요청합니다.
    7. 보정을 클릭하여 보정을 시작합니다(아이트래커가 참가자가 화면을 보고 있는 위치를 추적할 수 있도록 합니다).
      알림: 화면에 아무 것도 표시되지 않고 보정 마커(점)가 화면의 5개 위치를 이동합니다.
    8. 보정 후 보정 정확도를 확인하기 위해 시각적 시점 추정치가 화면에 그려집니다. 참가자에게 디스플레이의 특정 지점을 보고 시선이 올바르게 표시되는지 확인하도록 요청합니다.
    9. 보정이 만족스럽지 않으면 카메라를 조정하고 시스템이 시선을 적절하게 추적할 때까지 보정을 다시 시도하십시오.
    10. 시선 추적 소프트웨어(메인 메뉴)의 오른쪽에 있는 데이터 수집 버튼을 클릭하여 데이터 수집 모드를 활성화합니다. 캡처된 화면의 실시간 표시는 기본 디스플레이 창에 표시된 응시 데이터와 함께 표시됩니다.
    11. 메인 메뉴에서 응시 비디오 단추를 클릭하여 시선 추적기로 캡처한 사용자의 얼굴을 표시합니다. 그런 다음 레코드 시작 을 클릭하여 실험을 시작합니다.
      참고: 실험 중에는 참가자의 동공이 강조 표시되고 눈은 노트북 화면을 가로질러 움직이는 점으로 표시됩니다. 시선 추적기가 화면을 가로질러 동공과 눈을 추적하는지 확인합니다.
    12. 점이 자주 사라지거나 깜박이면 실험을 중지하고 다시 보정을 시도하십시오.
    13. 이전에 열었던 iRT의 창을 열고 참가자에게 다음을 클릭하도록 지시합니다.
    14. 참가자에게 다음 지침을 제공합니다: "이 섹션에서는 세 가지 회전 작업을 수행합니다. GO! 버튼을 누르면 두 개의 개체가 화면 반대쪽에 나타납니다. 목표는 왼쪽의 개체와 최대한 일치할 때까지 오른쪽의 개체를 회전하는 것입니다. 개체를 회전하려면 개체를 클릭하고 개체 위로 끕니다. 세 가지 작업을 각각 완료하면 완료 !버튼을 눌러 결론을 내립니다."
      참고: 각 작업에 대해 5분 표시(정확히 327초 )를 초과하는 모든 iRT 데이터는 손실될 수 있습니다. 이 방법을 더욱 개발함에 따라 이 제한을 확장해야 합니다.
    15. 실험이 끝나면 연장 케이블에서 아이트래커가 꺼져 있는지 확인하고 렌즈 캡을 카메라에 다시 끼웁니다.
  3. 데이터를 추출합니다.
    1. 아이트래커 데이터 수집이 완료되면 데이터 분석을 클릭하여 수집된 데이터에 액세스합니다.
    2. 사용자에 대해 기록된 모든 데이터가 포함된 .csv 파일을 내보냅니다.
      참고: 아이트래커 데이터의 첫 번째 열은 서로 다른 데이터 세트를 시간에 맞게 일치시킬 수 있는 유일한 방법이므로 데이터의 UNIX epoch여야 합니다 . 파일에 포함되어 있지 않은 경우 사용된 다른 시간 표준에서 변환해야 합니다. 파일은 ".csv" 또는 ".xlsx" 형식일 수 있습니다.
    3. 대화형 회전 작업 페이지의 온라인 버전(1.1단계)을 사용하는 경우 온라인 데이터를 수신하는 데 사용되는 Google 스프레드시트 파일(1.1.3단계에서 생성)을 열고 파일 | 다운로드 | 마이크로소프트 엑셀(.xlsx).
      참고: 이러한 데이터는 데이터 전송을 용이하게 하기 위해 패키지화되어 있습니다(각 작업은 데이터로 채워진 한 줄에 해당). 내부 데이터를 처리하려면 패키징된 데이터의 각 줄을 먼저 "언패킹"해야 합니다.

3. 데이터 처리 및 분석

  1. 데이터의 패키징을 해제하고, 병합하고, 처리합니다.
    참고: 다음 단계에서는 제공된 스크립트를 사용하여 데이터를 처리하는 방법을 설명합니다( 추가 파일 2 참조). GNU Octave 스크립트는 파일에 대한 사용자 입력을 요청합니다. 입력이 공백으로 전송되면 사용자 데이터가 덮어쓰지 않은 경우 제공된 샘플 데이터를 참조하는 기본값이 대신 사용됩니다. 스크립트 실행이 완료되면 닫을 수 있습니다.
    1. 아직 다운로드하지 않은 경우 사용 중인 저장소(사용자 고유 또는 https://github.com/rodrigocns/rodrigocns_JoVE 의 원본)를 다운로드하고 압축을 풉니다.
    2. 스크립트 1.unpacking_sheets.m, 2.data_merge_and_process.m 3.3D rotational trajectory.m 및 폴더 모델이 Octave 폴더의 다운로드 한 저장소 내에 있는지 확인하고 2.3.2 및 2.3.3 단계에서 다운로드 한 데이터 파일을 옥타브 스크립트가있는 동일한 폴더로 이동합니다.
      참고: 새로 작성된 파일과 이름이 같은 폴더에 이미 있는 기존 파일은 덮어쓸 수 있습니다. 그에 따라 파일의 이름을 바꾸거나 다른 폴더로 이동합니다.
    3. GNU Octave Launcher로 1.unpacking_sheets.m 스크립트를 엽니다. Editor 탭에서 녹색 Save file and run 버튼을 클릭하여 스크립트를 실행하여 데이터를 더 읽기 쉬운 구조로 언패키징합니다.
      참고: 요청된 데이터 파일이 로컬로 열려 있는 경우 스크립트를 실행하기 전에 해당 파일을 닫아야 합니다. 모든 .m 스크립트 파일은 GNU Octave Launcher를 사용하여 실행되었습니다.
    4. 두 개의 프롬프트가 차례로 나타납니다. 첫 번째 프롬프트에 다운로드한 파일의 이름을 입력하고 두 번째 필드에 패키지되지 않은 파일의 이름을 입력합니다. 또는 두 프롬프트 필드를 모두 비워 두어 포함된 샘플 파일에 대한 기본 이름을 사용합니다. 데이터 양에 따라 몇 분 정도 기다렸다가 사용자에게 프로세스가 완료되고 새 파일이 작성되었음을 알리는 팝업이 나타납니다.
    5. 스크립트 2.data_merge_and_process.m 을 열고 실행하여 eye tracker와 iRT의 데이터를 병합합니다.
      참고: 이 스크립트는 수백 줄의 코드를 포함하는 복잡한 스크립트이지만 설정, 기능 및 스크립트의 세 가지 주요 섹션으로 나뉩니다. 그들 모두는 철저하게 주석되고 설명되어 필요한 경우 향후 수정을 용이하게합니다.
    6. 4개의 프롬프트가 나타납니다. sessionID 값, taskID 값 (둘 다 iRT 데이터 테이블에서), 패키지되지 않은 iRT 데이터 파일 이름 (3.1.5단계에서 작성) 및 시선 추적기 데이터 파일 이름 (2.3.2단계에서 내보냄)을 입력하거나 기본값을 사용하려면 모두 비워 둡니다.
      참고: 몇 분 후 스크립트가 계산을 완료했음을 나타내는 도움말 팝업과 사용 및 생성된 파일의 이름이 표시됩니다. 각도 격차에 대한 세 가지 샘플 플롯이 스크립트 프로세스 중에 나타납니다: 단순 플롯, 컬러 시선 데이터가 있는 플롯, 동공 지름 데이터가 있는 플롯. 생성된 두 파일은 output merge X Y.xlsx 및 output jmol console X Y.xlsx이며, 여기서 X 는 sessionID 값이고 Y 는 taskID 값이며, 둘 다 3.1.6 단계의 시작 부분에 작성되었습니다.
  2. 3D 회전 궤적 이미지를 렌더링합니다.
    1. 회전 궤적.m 3.3D 스크립트를 열고 실행합니다.
    2. 세 가지 프롬프트가 나타납니다. sessionID 값, taskID 값 및 패키지되지 않은 iRT 데이터 파일 이름을 입력하거나 기본값을 사용하려면 비워 둡니다.
      참고: 3D 그래프가 나타납니다. 렌더링된 그래프는 지정된 세션 및 작업의 3D 회전 궤적입니다.
  3. 애니메이션을 다시 재생합니다.
    1. 참가자의 작업 상호 작용을 재생하려면 먼저 대화형 작업 웹 페이지로 이동하여 테스트를 시작하고(두 3D 모델 모두 표시) 추가 파일 2에 표시된 대로 마우스 아이콘이 텍스트로 변경될 때까지 화면 오른쪽 상단 모서리에서 마우스 포인터를 이동한 다음 보이지 않는 디버그 텍스트를 클릭하여 디버그 모드를 활성화합니다.
    2. 모델 사이에 나타나는 버튼에서 timerStop 버튼을 클릭하여 작업을 중단하고 콘솔 버튼을 클릭하여 오른쪽에 있는 모델의 JSmol 콘솔을 엽니다. 관심 있는 인터랙션의 작업이 첫 번째 작업이 아닌 경우 상단 디버그 영역 내부의 번호가 매겨진 버튼을 클릭하여 화면에 표시되는 작업을 변경합니다.
      참고: JSmol은 웹 페이지에서 사용되는 분자 모델링 소프트웨어입니다.
    3. 파일 출력 jmol console.xlsx 를 열고 Jmol 명령의 전체 페이지를 복사합니다.
      참고: 각 페이지에는 서로 다른 장면 또는 애니메이션에 대한 명령이 포함되어 있습니다.
    4. JSmol 콘솔에 복사한 명령 목록을 붙여넣고 Run 버튼을 클릭하거나 키보드에서 Enter 키를 눌러 실행합니다.
    5. 원하는 경우 .gif 애니메이션을 생성합니다. JSmol 콘솔 안에 capture "filename" SCRIPT "output" 명령을 작성하십시오. 여기서 filename 은 생성할 .gif 파일의 이름이고 output 은 3.3.3단계에서 복사한 명령의 전체 목록이며 둘 다 큰따옴표 안에 유지합니다.
      참고: 명령이 복잡해질수록, 모델이 커지거나 시간이 많이 변경될수록, 사용되는 컴퓨터 사양의 성능이 떨어질수록 애니메이션이 느려집니다. Jmol은 화합물 및 반응을 시각화하는 데 중점을 두고 있으며, 연구를 통해 제작된 애니메이션의 종류는 Jmol의 렌더링 용량의 한계를 뛰어넘습니다. 이 애니메이션으로 정량적 측정을 수행할 때 이러한 점을 고려하고 고려해야 합니다.

4. 작업 사용자 정의

참고: 이 전체 섹션은 선택 사항이며 코딩 방법을 실험하거나 이해하려는 사용자에게만 권장됩니다. 아래에서 사용 가능한 많은 사용자 정의 가능한 옵션 중 일부를 찾을 수 있으며 방법을 추가로 개발함에 따라 더 많은 옵션을 사용할 수 있게 될 것입니다.

  1. 새 작업 또는 기존 작업을 구성합니다.
    1. 참가자가 수행할 대화형 작업의 수를 정의하고 기존 항목 이름을 바꾸거나 더 추가할 task_list 파일 object_configs.js 배열 내부의 각 작업 이름을 지정합니다. 나중에 식별자로 사용되므로 각 이름이 고유한지 확인합니다.
    2. JSmol 호환 3D 좌표 파일을 선택하여 대화형 작업(http://wiki.jmol.org/index.php/File_formats)을 수행합니다. 이러한 파일을 models 폴더에 복사합니다.
      참고: 이 문서에 포함된 스크립트는 .xyz 파일 형식을 사용하는 비대칭 모델에 최적화되어 있습니다. 좌표 파일을 선택할 때, 회전 대칭은 모호한 해를 가지고 있으므로 피한다65.
    3. prepMolecule(num) 함수 내에서 3D 객체에 대한 렌더링 설정을 정의합니다.
      참고 : JSmol이 수행하는 한 작업에서 다음 작업으로의 모든 변경 사항은 색상 패턴 변경, 그래픽 요소의 크기 또는 렌더링 방식 변경, 방향, 변환, 객체의 일부 숨기기, 새 3D 모델로드 등으로 이동합니다 (자세한 예제는 https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm 참조). task_list 에 명명된 각 작업은 케이스에 해당합니다. JSmol이 실행할 각 명령은 다음과 같은 구조를 따릅니다: Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 "); 여기서 jsmol_obj 는 변경되는 객체(jsmol_ref 및 jsmol_obj 가 대상 및 대화형 객체의 기본값임)를 나타내고 그 뒤에 ";"로 구분된 하나 이상의 명령이 옵니다.
  2. 새 모델을 만듭니다.
    1. 온라인으로 다운로드하거나 Avogadro(https://avogadro.cc/)와 같은 분자 편집기가 제작한 .xyz 모델을 사용할 수 있습니다.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

각도 격차와 다른 변수의 진화
보충 파일 2의 단계 3.3.1에 설명된 대로 두 개의 캔버스가 비디오 모니터 화면에 참가자에게 제공되어 동일한 3D 가상 개체의 복사본을 다른 방향으로 표시합니다. 왼쪽 캔버스에서 대상 개체(tObj)는 정적으로 유지되며 대상 위치 또는 tObj 위치로 사용됩니다. 오른쪽 캔버스에서 대화형 개체(iObj)는 다른 위치에 표시되며 참가자는 마우스를 사용하여 고정된 회전 중심 주위로 시간이 지남에 따라 이동할 수 있습니다(회전만, 번역은 사용할 수 없음). 당면한 작업에는 참가자의 판단에 따라 tObj와 밀접하게 일치하도록 iObj를 조정하는 것이 포함됩니다. 사용된 3개의 3D 개체는 그림 1에서 볼 수 있습니다. 해결 프로세스는 복잡하지만 후속 분석을 위해 꼼꼼하게 기록할 수 있습니다. 이 기록은 시간 경과에 따른 각 위치가 쿼터니언으로 고정된 0.1초 간격으로 캡처되어 전체 프로세스를 완전히 재구성할 수 있는 시계열을 형성하기 때문에 단순한 비디오 영상을 넘어섭니다. 모든 위치에는 0°에서 최대 180°에 이르는 특정 축을 중심으로 고유한 회전이 존재하며, 이 회전은 tObj 위치를 iObj 위치로 직접 변환합니다. 이 회전은 추상적이며 작업 중 참가자의 PR과 관련이 없지만 tObj를 기준으로 정확한 iObj 위치를 정확하게 나타냅니다. AD는 이 회전의 각도이며 해당 쿼터니언에서 계산할 수 있습니다. iObj 위치가 tObj 위치에 가까워지면 이 값은 0에 가까워집니다.

데이터 처리 및 분석 섹션의 3.1.6단계 후에 output merge X Y.xlsx 및 output jmol console X Y.xlsx라는 두 개의 파일이 생성되었습니다. 여기서 X 는 sessionID 값이고 Y 는 taskID 값입니다. 입력 필드를 비워 두어 기본값을 사용하는 경우 파일 이름은 output merge 1682707472090 bolaBastao_c.xlsx 및 output jmol console 1682707472090 bolaBastao_c.xlsx이어야 합니다. 출력 병합 X Y.xlsx 파일에는 선택한 아이트래커 데이터가 UNIX Epoch 시간에 따라 정렬되어 iRT 데이터에 병합된 다음이 포함되며, 모든 것이 올바르게 진행된 경우 그림 2A , 일부 문제가 발생한 경우 그림 2B 와 유사합니다.

출력 jmol 콘솔 X Y.xlsx 파일에는 Jmol 콘솔 명령으로 채워진 최대 5개의 탭이 포함되어 있으며, Jmol 콘솔에 붙여넣으면 작업을 해결할 때 참가자의 움직임을 재현합니다. 회전 재생은 참가자가 만든 iObj 회전을 재현합니다. gaze replay int는 투명도/불투명 스케일을 사용하여 시간에 따라 개체에 고정 히트맵이 추가된 iObj 회전을 재현합니다. gaze replay tgt는 작업 중 tObj의 3D 고정 히트맵만 표시합니다. gaze frame int 및 gaze frame tgt는 iObj 및 tObj 모두에 대한 전체 프로세스의 전체 고정 매핑을 보여줍니다. 이들 모두는 그림 3A-F에 나와 있습니다. Jmol과 JSmol은 본질적으로 동일하며, Jmol은 Java 프로그래밍 언어를 기반으로 하는 플러그인이고 JSmol은 JavaScript 프로그래밍 언어로, 둘 다 동일한 기능을 가지고 있으며 상호 교환하여 사용됩니다.

그림 4 는 2명의 참가자와 3개의 물체를 포함하는 6개의 서로 다른 시나리오에 대한 시간 함수로서의 각도 격차의 진화를 보여줍니다. 프로세스 기간은 대화형 작업 개체에 대한 참가자의 성과에 따라 크게 달라질 수 있습니다. 참가자가 올바르게 완료한 모든 작업에서 AD는 마지막에 0이 되는 경향이 있습니다. 동일한 그래프에서 이러한 동작이 나타나지 않으면 참가자가 포기하거나 작업당 시간 제한(약 5분)에 도달하여 작업을 완료할 수 없었거나 데이터 처리에 오류가 발생했습니다.

iObj PR 레코드의 결과와 시선 추적 측정에서 얻은 데이터를 결합한 결과가 그림 5에 나와 있습니다. 시간의 함수로서 대상과 관성 물체 사이의 각도 불균형의 변화는 주어진 과제를 해결하는 과정에서 세 가지 뚜렷한 단계를 나타냅니다. 모델의 초기 관찰; 인터랙티브 모델의 탄도 회전; 대화형 모델의 회전을 미세 조정합니다. 그림 5A 는 초기 단계와 보다 구체적으로 미세 조정 단계에서 모델 간에 번갈아 나타나는 시선을 보여줍니다. 그림 5B 는 동공이 초기 및 미세 조정 단계에서 더 확장된 상태를 유지한다는 것을 보여줍니다. 미세 조정 단계에서 대화형 모델의 긴 고정 기간( 그림 5A의 40-47초)은 동공 직경의 정체기(40-47초, 그림 5B)에 해당합니다.

이러한 결과는 여기에서 제안된 방법으로 얻은 데이터가 정적 모델(static model)14,66 및 상호작용 모델(interactive model)23에 대한 시선 고정(gaze fixation) 데이터를 기반으로 제안된 정신적 회전 문제 해결 모델과 일치함을 시사한다. 이러한 모델에는 검색, 변환 및 비교, 모델 간의 일치 또는 불일치 확인의 세 단계가 포함됩니다. 또한, 도 5A에서 관찰된 비교 단계에서 타겟 모델과 인터랙티브 모델 사이의 고정의 교대는 정적 이미지(42,66)를 사용하는 셰퍼드(Sheppard) 및 메츨러(Metzler) 유형 테스트에서 얻어진 결과와 일치한다. 그러나 인터랙티브 모델의 경우, 이러한 탐색, 변환, 비교 및 확인의 단계는 인터랙티브 모델의 상호 작용 및 재배치를 통해 연속적으로 발생할 가능성이 높습니다.

3D 회전 궤적
3D 공간에서 0°에서 180°까지의 각 회전은 반지름이 180°인 공 내부의 점(구 내부의 부피로 이해됨)으로 변환될 수 있습니다. 그림 6 은 세 가지 회전 예제를 통해 이러한 대응을 보여 줍니다. 점으로부터 공의 중심까지의 거리는 tObj 위치로부터의 iObj 각도 차이이고, 공의 중심에서 점까지의 벡터는 회전 방향이며, 회전은 중심에서 보는 시계 방향으로 이루어집니다. 이렇게 회전을 공의 점으로 변환하면 작업자가 작업에서 수행한 회전의 전체 궤적을 단일 3D 도면으로 직접 시각화할 수 있습니다. 이 그림을 3D 회전 궤적이라고 합니다.

AD 측정과 유사하게, 참가자가 올바르게 완료한 모든 작업의 경우 궤적은 결국 공의 중심에 접근해야 합니다. 궤적이 180° 회전하여 구의 경계에 도달하면 구의 대척점까지 둘러쌉니다. 그림 7 은 세 번째 작업( 그림 4의 C1 및 C2)을 수행하는 앞서 언급한 두 참가자가 3개의 좌표 평면에서 투영으로 본 회전 궤적을 보여줍니다. 참가자 1은 45°에 가까운 상대적으로 작은 시작 광고에도 불구하고 작업을 더 빨리 완료한 참가자 2와 달리 솔루션에 대한 명확한 경로를 찾기 전에 처음에 목표 위치에서 벗어났다는 것이 그림에서 분명합니다.

3D 고정 히트맵
문제 해결 과정에서 참가자는 iObj와 상호 작용하면서 tObj와 iObj 사이에서 시선을 번갈아 가며 사용합니다. 시선 추적 데이터를 사용하여 참가자의 시선 위치를 추출하고 주어진 간격 동안 참가자의 가장 많은 관심과 가장 적은 관심을 끈 화면 영역의 히트맵을 만들 수 있습니다. 더 나아가 시선 추적 및 iRT 쿼터니언 데이터가 모두 동기화되면 각 개체 정점이 시간에 따라 회전하는 개체에 대해서도 얼마나 많은 관심을 받고 있는지 3D 공간과 시간에 동시에 매핑할 수 있습니다.

그림 3에서 개체에 대한 관심은 각 꼭지점의 불투명도 수준으로 표시됩니다. 참가자의 시선에 가까울수록 근접 상태가 오래 유지될수록 더 많은 관심을 받게 되어 개체의 해당 영역에서 더 높은 불투명도가 발생합니다. 주의력의 공간적 감소는 시선 위치에 대해 이변량 동종 가우스 함수를 사용하고 경과 시간에 적용되는 단순 동종 가우스 함수를 사용하여 모델링됩니다. 이 가우시안의 표준 편차는 2도67의 시야각과 10 s68의 시각적 단기 기억을 가정하여 선택되었습니다. 이 방법을 사용하여 시각적 아티팩트를 방지하기 위해 응시가 개체 캔버스 외부에 있는 동안 응시 근접 데이터는 0으로 설정됩니다(iObj는 응시가 tObj 캔버스 내부 또는 둘 다 외부에 있을 때 잔여 주의를 받지 않음). 그림 3은 전체 리플레이 애니메이션의 각 오브젝트의 단일 프레임과 3D 고정 히트맵이 있는 동일한 프레임을 보여줍니다. 해결 과정에서 참가자가 tObj와 iObj를 비교할 수 있는 것은 작업이 거의 끝나감에 따라(시간 = 6.3초) 볼 수 있습니다(그림 3C,D). 전체 과정은 보충 비디오 S1에서 비디오로 볼 수 있습니다. 우리는 참가자들에게 일반적인 조건에서 수행된 과제로 제시된 3D 모델의 컴퓨터 매개 회전 결과를 보고합니다.

figure-results-1
그림 1: 사용된 대상 개체. 웹 페이지 작업에 사용되는 3D 모델의 이미지입니다. (A) 공과 막대기 표현을 가진 분자; (B) 다각형이 채워져 있고 수소가 없으며 막대기만 있는 동일한 분자; (C) 셰퍼드(Shepard)와 메츨러(Metzler)의 그림(13) 중 하나와 유사한 폴리큐브(polycube)로서, 피터스(Peters)와 바티스타(Battista) 36의 자극 라이브러리(stimuli library)에서 유래되었다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

figure-results-2
그림 2: 시트 비교. (A,B) 이미지는 스프레드시트 출력 병합 1682707472090 bolaBastao_c.xlsx에서 가져옵니다. A열에서 G열에는 iRT 데이터 값이 포함되고, H열에서 N열에는 시선추적기 데이터 값이 포함됩니다. (A)에서는 모든 것이 정확하지만 (B)에서는 아이트래커 열의 모든 값이 일정하며 iRT 시스템 시간 값과 일치하지 않습니다. 데이터 동기화 프로세스에 문제가 발생하면 이 오류가 발생할 수 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

figure-results-3
그림 3: 3D 고정 히트맵. 불투명도 척도를 사용하여 3D 개체에 대한 고정 히트맵으로, 불투명도가 높을수록 참가자의 시선 근처에서 더 많은 시간을 보내는 것과 상관 관계가 있습니다. (A,B) 6.3초 표시에서 참가자가 해결하고 있는 과제의 tObj 및 iObj 이미지. (씨,디) 히트맵의 불투명도 스케일이 추가된 동일한 순간에 (A,B)와 동일한 이미지. (E,F) 참가자가 물체를 볼 수 있는 전체 기간을 고려한 고정 히트맵 이미지. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

figure-results-4
그림 4: AD 그리드. 두 명의 참가자와 세 개의 작업에 대한 각도 격차의 그리드를 플로팅합니다. 열은 참가자 1과 2를 나타내고, 행은 그림 3에 표시된 세 가지 개체를 사용하여 참가자가 해결한 작업을 나타냅니다. AD는 0°에서 180° 사이에서 다양하지만 시간 범위는 고정되어 있지 않으며 참가자의 성과 및 프로세스 중지에 대한 자신의 결정에 따라 다릅니다. 참가자가 iObj를 회전함에 따라 tObj와 iObj 사이의 AD는 시간이 지남에 따라 달라지며 결국 참가자는 현재 iObj 방향을 tObj에 가장 가까운 방향으로 선택합니다. 1차과제와 2차 과제에서 두 참가자 모두 비슷한 방식으로 진행된 것처럼 보였지만 참가자 1은 참가자 2보다 절반의 시간이 걸렸습니다. 그리고 3번째 작업에서 참가자 2는 작업을 완료하는 데 시간이 덜 걸렸지만 참가자 1은 20초 표시 이전에 이미 작업을 해결했으며 iObj를 tObj에 더 잘 일치시키기 위해 계속 약간의 조정을 수행했습니다. 약어: AD = 각도 격차. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

figure-results-5
그림 5: 시선 추적 데이터가 있는 AD. 시선 추적기 데이터와 결합된 각도 격차의 진화. (A) 각도 격차 및 시선 위치, tObj와 iObj 간의 각도 격차의 진화, 각 모델에 대한 지역 고정 데이터와 결합. 그래프는 참가자의 시선이 위치한 영역을 보여줍니다: iObj 캔버스 내부일 때 빨간색, tObj 캔버스 내부일 때 파란색, 화면의 다른 요소를 보거나 시선을 돌릴 때 둘 다 외부일 때 회색입니다. (B) 각도 격차 및 동공 직경. 각도 격차(파란색)와 동공 지름 데이터(주황색)가 결합됩니다. 동공 지름은 각 시점에서 왼쪽 및 오른쪽 동공의 평균값입니다. 약어: AD = 각도 격차. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

figure-results-6
그림 6: 회전의 공. 이 그림은 기준 위치에서 물체의 가능한 각 회전 위치를 반경이 180°인 공의 점으로 나타낼 수 있는 방법을 보여주며, 이를 통해 세 축 모두에서 물체의 회전 위치를 완전히 표현할 수 있습니다. 여기서 공은 구로 둘러싸인 부피로 이해됩니다. (A) 예로 사용된 물체는 7개의 정육면체의 비대칭 합집합으로, 위쪽 왼쪽에 표시되어 있습니다. 오른쪽 그림과 같이 I, II 및 III로 번호가 매겨진 세 개의 단순 회전이 이 오브젝트에 적용됩니다. 각각 x축에서 +90°, z축에서 -60°, +x와 -y 사이의 축에서 180°이며 두 축에서 45°입니다. (B) 회전구는 회전 I, II, III에 해당하는 점으로 표시됩니다. 공의 중심까지의 거리는 각도 차이입니다. III가 최대 회전 각도(180°)를 달성하면 본질적으로 동일하기 때문에 대척점으로도 표시됩니다. 회전 II는 축 z의 양의 방향에 대해 시계 반대 방향으로 음의 쪽에 나타납니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

figure-results-7
그림 7: 3D 회전 궤적. 세 번째 작업에서 두 참가자가 취한 회전 볼 내부의 회전 궤적으로, 원근법(A)과 좌표면(B-D)의 투영에서 모두 볼 수 있습니다. 선 두께는 시간이 지남에 따라 감소합니다. 각 열은 참가자(v1 및 v2)에 해당합니다. 궤적이 공의 중심에 가까워질수록 참가자들은 과제 해결에 더 가까워집니다. '0'은 작업의 초기 위치를 나타냅니다. 다음 숫자는 궤적이 공의 가장자리에 도달하고 반대쪽의 대척점을 통해 계속되는 점을 나타냅니다(1에서 2, 2에서 3, 3에서 4 등). 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

보충 표 S1: 시트 헤더. 복제된 시트 파일의 헤더 목록입니다. 각 헤더는 변수 이름에 해당하며 이 변수에서 데이터를 수신하여 데이터 처리 및 분석에 사용되는 값 열을 형성합니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

추가 파일 1: 프로토콜 1단계 가이드. 프로토콜 방법의 단계를 안내하는 스크린샷 목록 "1. 데이터 수집 도구 준비". 이 파일을 다운로드하려면 여기를 클릭하십시오.

추가 파일 2: 프로토콜 3단계 가이드. 프로토콜 방법의 단계를 안내하는 스크린샷 목록 "3. 데이터 처리 및 분석". 이 파일을 다운로드하려면 여기를 클릭하십시오.

추가 비디오 1: 고정 매핑 재생. iObj 및 tObj에서 동시에 3D로 시간적 주의 매핑을 애니메이션으로 다시 보는 예제입니다. OBS Studios를 사용하여 녹화하고 OpenShot Video Editor를 사용하여 렌더링했습니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

앞서 언급했듯이 이 논문은 쉽게 사용자 정의할 수 있고 무료로 제공되는 소프트웨어만 사용하여 모든 것이 작동하도록 단계별 지침을 제공하는 대화형 3D 개체에 대한 고정 및 saccade 모션 데이터의 실시간 매핑에 대한 자세한 절차를 제시하는 것을 목표로 합니다.

이 실험적인 설정에는 가능한 세 축 중 두 축에서 PR을 사용하여 다른 물체의 방향을 일치시키기 위해 3D 물체를 이동하는 것과 같은 고도의 상호 작용 작업이 포함되었지만, 모든 사용자 정의를 용이하게 하기 위해 적절한 주석을 통해 스크립트를 철저히 문서화했습니다. 다양한 다른 유형의 실험이 설계될 수 있으며, 시선 추적 장치는 시간 데이터 수집에 사용되는 다른 많은 가능한 장치 중 하나일 뿐입니다.

1.1.3.3단계에서 복사된 파일의 헤더는 데이터가 온라인으로 수집될 내용과 위치를 정의합니다. 보충 표 S1 에는 변수 이름(모두 대소문자 구분)과 그 의미가 나열되어 있습니다. 이러한 변수는 GitHub 리포지토리 내의 JavaScript 파일에 있는 변수를 미러링합니다. 이 시트와 JavaScript 파일 모두에서 데이터 및 변수 이름의 유형과 다양성은 연구의 범위와 요구 사항에 따라 변경되어야 합니다.

쿼터니언으로 회전 데이터를 기록하면 연구원은 작업 중에 참가자가 수행한 것과 동일한 움직임을 재현할 수 있으므로 프로세스 분석이 용이하고 화면 캡처와 비교할 때 저장 공간을 훨씬 더 효율적으로 사용할 수 있습니다. 회전 공을 사용한 그림 7 에서 볼 수 있는 3D 회전 궤적과 같은 보다 자세한 분석은 대화형 개체의 내부 쿼터니언 데이터를 통해서만 가능합니다. Gardony22 및 Adams23에 의한 시간 경과에 따른 AD 플롯에서 확장된 이 새로운 유형의 그래프는 시간에 따른 실제 3D 회전 좌표와 함께 보다 자세한 정보를 제공합니다.

또 다른 장점은 표준 시간 측정값을 사용하여 모든 데이터 원본을 동기화한다는 것입니다. 이와 같이 시간 종속 정보의 다양한 계층을 병합하는 것이 훨씬 쉬워지는데, 예를 들어 그림 5B 와 같이 동공 확장 측정이 있는 그래프를 여러 데이터 소스와 겹쳐 놓거나 그림 5A 와 같이 참가자의 해결 과정에서 가능한 패턴을 나타내는 컬러 수직 밴드를 사용하여 iObj에서 회전이 거의 발생하지 않는 동안에도 가능합니다. 그림 3 에 표시된 3D 고정 히트맵은 쿼터니언 데이터와 데이터 동기화 모두에서만 가능합니다.

시간 데이터의 통합을 보장하기 위해 표준 시간 측정을 통해 동기화를 사용하는 것이 중요합니다. 우리 프로젝트를 위해 선택된 시간 표준은 JavaScript 및 대부분의 다른 프로그래밍 언어에서 사용되는 UNIX Epoch였습니다. 나중에 UNIX Epoch로 변환할 수 있는 다른 표준이 있더라도 각 데이터 세트에 대해 일부 유형의 알려진 시간 표준을 사용해야 합니다. 표준을 사용하지 않는 시간 데이터는 동기화할 수 없으며 유용성을 잃게 될 것이 분명합니다.

또 다른 제한 사항은 아이트래커 주파수인 60Hz와 관련하여 iRT 테스트에 사용된 10Hz의 상대적으로 낮은 주파수입니다. 이는 부분적으로 브라우저 내의 데이터 처리 및 전송 제한으로 인해 발생하며, 더 높은 빈도를 사용하면 현재 327초인 각 작업의 최대 시간 제한이 비례적으로 감소하기 때문입니다. 또한 이 프레임 속도에서 Jmol에서 복잡한 애니메이션을 매끄럽게 렌더링하는 것은 이미 도전 과제였습니다. Supplemental Video S1 은 Jmol이 시간의 불투명도 변화에 따라 리플레이를 렌더링하여 각 정점이 받은 초점의 양을 매핑하는 비디오 녹화입니다. 비디오 지속 시간은 거의 2분이지만 실제 작업은 63초 만에 완료되었습니다. 기존 기능을 조정하는 대신 이러한 기능에 특별히 맞춘 향후 소프트웨어 개발은 이러한 제한 사항을 해결하고 데이터 수집 및 분석 기능을 향상시킬 수 있습니다.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

저자는 공개할 이해 상충이 없습니다.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

저자들은 CAPES(Coordination for the Improvement of Higher Education Personnel) - Finance Code 001 및 UFABC(Federal University of ABC)에 감사를 표합니다. João R. Sato는 상파울루 연구 재단(FAPESP, 보조금 번호 2018/21934-5, 2018/04654-9 및 2023/02538-0)으로부터 재정 지원을 받았습니다.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
FirefoxMozilla Foundation (오픈 소스)WebGL (https://caniuse.com/webgl)과 호환되는 업데이트 된 최신 브라우저
GNU OctaveOpen Sourcehttps://octave.org/
Google Apps ScriptGoogle LLCscript.google.com
Google SheetsGoogle LLC와 함께 사용할 수 있습니다.https://www.google.com/sheets/about/
노트북시선 추적 시스템 소프트웨어를 실행할 수 있는 모든 컴퓨터.
Mangold 소프트웨어 제품군Mangold 시선 추적 장치에 사용되는 소프트웨어 인터페이스입니다. 시스템 시간 값으로 데이터를 출력하는 모든 소프트웨어를 사용할 수 있습니다.
마우스간단한 움직임으로 클릭하고 드래그할 수 있는 모든 마우스가 호환되어야 합니다. 터치 스크린 또는 포인터와 같이 동일한 기능을 가진 마우스와 유사한 휴먼 인터페이스는 호환되어야 하지만 다르게 동작할 수 있습니다.
Vt3miniEyeTech 디지털 시스템60Hz. 작동하는 모든 시선 추적 장치가 호환되어야 합니다.
는

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. 34;General intelligence," objectively determined and measured. The American Journal of Psychology. 15, 201-292 (1904).">Spearman, C. 34;General intelligence," objectively determined and measured. The American Journal of Psychology. 15, 201-292 (1904).
  2. Human spatial abilities: psychometric studies and environmental, genetic, hormonal, and neurological influences. Psychological bulletin. 86 (5), 889-918 (1979).">McGee, M. G. Human spatial abilities: psychometric studies and environmental, genetic, hormonal, and neurological influences. Psychological bulletin. 86 (5), 889-918 (1979).
  3. The structure of human intelligence: It is verbal, perceptual, and image rotation (VPR), not fluid and crystallized. Intelligence. 33 (4), 393-416 (2005).">Johnson, W., Bouchard, T. J. The structure of human intelligence: It is verbal, perceptual, and image rotation (VPR), not fluid and crystallized. Intelligence. 33 (4), 393-416 (2005).
  4. Components of spatial intelligence. Psychology of Learning and Motivation. 52, 265-297 (2010).">Hegarty, M. Components of spatial intelligence. Psychology of Learning and Motivation. 52, 265-297 (2010).
  5. The malleability of spatial skills: a meta-analysis of training studies. Psychological Bulletin. 139 (2), 352-402 (2013).">Uttal, D. H., et al. The malleability of spatial skills: a meta-analysis of training studies. Psychological Bulletin. 139 (2), 352-402 (2013).
  6. Emergence and characterization of sex differences in spatial ability: a meta-analysis. Child Development. 56 (6), 1479-1498 (1985).">Linn, M. C., Petersen, A. C. Emergence and characterization of sex differences in spatial ability: a meta-analysis. Child Development. 56 (6), 1479-1498 (1985).
  7. Spatial thinking in infancy: Origins and development of mental rotation between 3 and 10 months of age. Cognitive Research: Principles and Implications. 5, 10(2020).">Johnson, S. P., Moore, D. S. Spatial thinking in infancy: Origins and development of mental rotation between 3 and 10 months of age. Cognitive Research: Principles and Implications. 5, 10(2020).
  8. Spatial ability for STEM domains: aligning over 50 years of cumulative psychological knowledge solidifies its importance. Journal of Educational Psychology. 101 (4), 817-835 (2009).">Wai, J., Lubinski, D., Benbow, C. P. Spatial ability for STEM domains: aligning over 50 years of cumulative psychological knowledge solidifies its importance. Journal of Educational Psychology. 101 (4), 817-835 (2009).
  9. Six myths about spatial thinking. International Journal of Science Education. 34, 955-971 (2012).">Newcombe, N. S., Stieff, M. Six myths about spatial thinking. International Journal of Science Education. 34, 955-971 (2012).
  10. Creativity and technical innovation: spatial ability's unique role. Psychological Science. 24 (9), 1831-1836 (2013).">Kell, H. J., Lubinski, D., Benbow, C. P., Steiger, J. H. Creativity and technical innovation: spatial ability's unique role. Psychological Science. 24 (9), 1831-1836 (2013).
  11. Spatial ability as a distinct domain of human cognition: An evolutionary perspective. Intelligence. 101616, (2022).">Geary, D. C. Spatial ability as a distinct domain of human cognition: An evolutionary perspective. Intelligence. 101616, (2022).
  12. Mental rotation of three-dimensional objects. Science. 171, 701-703 (1971).">Shepard, R., Metzler, J. Mental rotation of three-dimensional objects. Science. 171, 701-703 (1971).
  13. Perceptual illusion of rotation of three-dimensional objects. Science. 191, 952-954 (1973).">Shepard, R., Judd, S. Perceptual illusion of rotation of three-dimensional objects. Science. 191, 952-954 (1973).
  14. Eye fixations and cognitive processes. Cognitive Psychology. 8, 441-480 (1976).">Just, M. A., Carpenter, P. A. Eye fixations and cognitive processes. Cognitive Psychology. 8, 441-480 (1976).
  15. Cognitive coordinate systems: accounts of mental rotation and individual differences in spatial ability. Psychological Review. 92 (2), 137-172 (1985).">Just, M. A., Carpenter, P. A. Cognitive coordinate systems: accounts of mental rotation and individual differences in spatial ability. Psychological Review. 92 (2), 137-172 (1985).
  16. Mental rotation: effects of dimensionality of objects and type of task. Journal of Experimental Psychology: Human Perception and Performance. 14 (1), 3-11 (1988).">Shepard, S., Metzler, D. Mental rotation: effects of dimensionality of objects and type of task. Journal of Experimental Psychology: Human Perception and Performance. 14 (1), 3-11 (1988).
  17. Size invariance in visual object priming. Journal of Experimental Psychology: Human Perception and Performance. 18, 121-133 (1992).">Biederman, I., Cooper, E. Size invariance in visual object priming. Journal of Experimental Psychology: Human Perception and Performance. 18, 121-133 (1992).
  18. Motor processes in mental rotation. Cognition. 68 (1), 77-94 (1998).">Wexler, M., Kosslyn, S. M., Berthoz, A. Motor processes in mental rotation. Cognition. 68 (1), 77-94 (1998).
  19. Mental and manual rotation. Journal of Experimental Psychology: Human Perception and Performance. 24 (2), 397-412 (1998).">Wohlschläger, A., Wohlschläger, A. Mental and manual rotation. Journal of Experimental Psychology: Human Perception and Performance. 24 (2), 397-412 (1998).
  20. Women and men exhibit different cortical activation patterns during mental rotation tasks. Neuropsychologia. 40, 2397-2408 (2002).">Jordan, K., W, T., Heinze, H., Peters, M., Jäncke, L. Women and men exhibit different cortical activation patterns during mental rotation tasks. Neuropsychologia. 40, 2397-2408 (2002).
  21. Suitable stimuli to obtain (no) gender differences in the speed of cognitive processes involved in mental rotation. Brain and Cognition. 64, 217-227 (2007).">Jansen-Osmann, P., Heil, M. Suitable stimuli to obtain (no) gender differences in the speed of cognitive processes involved in mental rotation. Brain and Cognition. 64, 217-227 (2007).
  22. What does physical rotation reveal about mental rotation. Psychological Science. 25 (2), 605-612 (2014).">Gardony, A. L., Taylor, H. A., Brunyé, T. T. What does physical rotation reveal about mental rotation. Psychological Science. 25 (2), 605-612 (2014).
  23. Effects of mental and manual rotation training on mental and manual rotation performance. Spatial Cognition & Computation. 14 (3), 169-198 (2014).">Adams, D. M., Stull, A. T., Hegarty, M. Effects of mental and manual rotation training on mental and manual rotation performance. Spatial Cognition & Computation. 14 (3), 169-198 (2014).
  24. Mental rotation of sequentially presented 3D figures: sex and sex hormones related differences in behavioural and ERP measures. Scientific Reports. 9, 18843(2019).">Griksiene, R., Arnatkeviciute, A., Monciunskaite, R., Koenig, T., Ruksenas, O. Mental rotation of sequentially presented 3D figures: sex and sex hormones related differences in behavioural and ERP measures. Scientific Reports. 9, 18843(2019).
  25. Mental rotation with abstract and embodied objects as stimuli: evidence from event-related potential (ERP). Experimental Brain Research. 238, 525-535 (2020).">Jansen, P., Render, A., Scheer, C., Siebertz, M. Mental rotation with abstract and embodied objects as stimuli: evidence from event-related potential (ERP). Experimental Brain Research. 238, 525-535 (2020).
  26. Early digital computer art at Bell Telephone Laboratories, Incorporated. Leonardo. 49 (1), 55-65 (2016).">Noll, M. Early digital computer art at Bell Telephone Laboratories, Incorporated. Leonardo. 49 (1), 55-65 (2016).
  27. Mental rotations, a group of three-dimensional spatial visualization. Perceptual and Motor Skills. 47, 599-604 (1978).">Vandenberg, S. G., Kuse, A. R. Mental rotations, a group of three-dimensional spatial visualization. Perceptual and Motor Skills. 47, 599-604 (1978).
  28. Ability and sex differences in spatial thinking: What does the mental rotation test really measure. Psychonomic Bulletin & Review. 25, 1212-1219 (2018).">Hegarty, M. Ability and sex differences in spatial thinking: What does the mental rotation test really measure. Psychonomic Bulletin & Review. 25, 1212-1219 (2018).
  29. Training effect on sex-based differences in components of the Shepard and Metzler mental rotation task. Journal of Physiological Anthropology. 41, 39(2022).">Kozaki, T. Training effect on sex-based differences in components of the Shepard and Metzler mental rotation task. Journal of Physiological Anthropology. 41, 39(2022).
  30. Gender differences in spatial ability: a critical review. Educational Psychology Review. 35, 1-29 (2023).">Bartlett, K. A., Camba, J. D. Gender differences in spatial ability: a critical review. Educational Psychology Review. 35, 1-29 (2023).
  31. Mental rotation performance in primary school age children: Are there gender differences in chronometric tests. Cognitive Development. 28, 51-62 (2013).">Jansen, P., Schmelter, A., Quaiser-Pohl, C. M., Neuburger, S., Heil, M. Mental rotation performance in primary school age children: Are there gender differences in chronometric tests. Cognitive Development. 28, 51-62 (2013).
  32. Spatial abilities and aging: a meta-analysis. Experimental Aging Research. 40, 395-425 (2014).">Techentin, C., Voyer, D., Voyer, S. D. Spatial abilities and aging: a meta-analysis. Experimental Aging Research. 40, 395-425 (2014).
  33. Relationship between spatial abilities, mental rotation and functional anatomy learning. Advances in Health Sciences Education. 12, 491-507 (2007).">Guillot, A., Champely, S., Batier, C., Thiriet, P., Collet, C. Relationship between spatial abilities, mental rotation and functional anatomy learning. Advances in Health Sciences Education. 12, 491-507 (2007).
  34. Motor expertise and performance in spatial tasks: A meta-analysis. Human Movement Science. 54, 110-124 (2017).">Voyer, D., Jansen, P. Motor expertise and performance in spatial tasks: A meta-analysis. Human Movement Science. 54, 110-124 (2017).
  35. A redrawn Vandenberg and Kuse mental rotations test: different versions and factors that affect performance. Brain and Cognition. 28, 39-58 (1995).">Peters, M., et al. A redrawn Vandenberg and Kuse mental rotations test: different versions and factors that affect performance. Brain and Cognition. 28, 39-58 (1995).
  36. Applications of mental rotation figures of the Shepard and Metzler type and description of a mental rotation stimulus library. Brain and Cognition. 66, 260-264 (2008).">Peters, M., Battista, C. Applications of mental rotation figures of the Shepard and Metzler type and description of a mental rotation stimulus library. Brain and Cognition. 66, 260-264 (2008).
  37. Manual training of mental rotation. European Journal of Cognitive Psychology. 19, 17-36 (2007).">Wiedenbauer, G., Schmid, J., Jansen-Osmann, P. Manual training of mental rotation. European Journal of Cognitive Psychology. 19, 17-36 (2007).
  38. A novel approach to analyzing all trials in chronometric mental rotation and description of a flexible extended library of stimuli. Spatial Cognition & Computation. 20 (3), 234-256 (2020).">Jost, L., Jansen, P. A novel approach to analyzing all trials in chronometric mental rotation and description of a flexible extended library of stimuli. Spatial Cognition & Computation. 20 (3), 234-256 (2020).
  39. Embodied spatial transformations:" body analogy" for the mental rotation of objects. Journal of Experimental Psychology: General. 135 (3), 327(2006).">Amorim, M. A., Isableu, B., Jarraya, M. Embodied spatial transformations:" body analogy" for the mental rotation of objects. Journal of Experimental Psychology: General. 135 (3), 327(2006).
  40. Pupillometry as a measure of cognitive load in mental rotation tasks with abstract and embodied figures. Psychological Research. 86, 1382-1396 (2022).">Bauer, R., Jost, L., Günther, B., Jansen, P. Pupillometry as a measure of cognitive load in mental rotation tasks with abstract and embodied figures. Psychological Research. 86, 1382-1396 (2022).
  41. Sex differences in mental rotation with polygons of different complexity: Do men utilize holistic processes whereas women prefer piecemeal ones. The Quarterly Journal of Experimental Psychology. 61 (5), 683-689 (2008).">Heil, M., Jansen-Osmann, P. Sex differences in mental rotation with polygons of different complexity: Do men utilize holistic processes whereas women prefer piecemeal ones. The Quarterly Journal of Experimental Psychology. 61 (5), 683-689 (2008).
  42. Deconstructing mental rotation. Journal of Experimental Psychology: Human Perception and Performance. 40 (3), 1072-1091 (2014).">Larsen, A. Deconstructing mental rotation. Journal of Experimental Psychology: Human Perception and Performance. 40 (3), 1072-1091 (2014).
  43. The role of spatial ability in mixed reality learning with the HoloLens. Anatomic Sciences Education. 15, 1074-1085 (2022).">Ho, S., Liu, P., Palombo, D. J., Handy, T. C., Krebs, C. The role of spatial ability in mixed reality learning with the HoloLens. Anatomic Sciences Education. 15, 1074-1085 (2022).
  44. Recognizing novel three-dimensional objects by summing signals from parts and views. Procedures of the Royal Society London B. 269, 1939-1947 (2002).">Foster, D. H., Gilson, S. J. Recognizing novel three-dimensional objects by summing signals from parts and views. Procedures of the Royal Society London B. 269, 1939-1947 (2002).
  45. Operational constraints on the mental rotation of STEM representations. Journal of Educational Psychology. 110 (8), 1160-1174 (2018).">Stieff, M., Origenes, A., DeSutter, D., Lira, M. Operational constraints on the mental rotation of STEM representations. Journal of Educational Psychology. 110 (8), 1160-1174 (2018).
  46. Strengthening spatial reasoning: elucidating the attentional and neural mechanisms associated with mental rotation skill development. Cognitive Research: Principles and Implications. 5, 20(2020).">Moen, K. C., et al. Strengthening spatial reasoning: elucidating the attentional and neural mechanisms associated with mental rotation skill development. Cognitive Research: Principles and Implications. 5, 20(2020).
  47. Purdue Research Foundation. , West Lafayette, IN. (1976).">Guay, R. B. Purdue spatial visualization test: Rotations. Purdue Research Foundation. , West Lafayette, IN. (1976).
  48. The Purdue Visualization of Rotations Test. The Chemical Educator. 2 (4), 1-17 (1997).">Bodner, G. M., Guay, R. B. The Purdue Visualization of Rotations Test. The Chemical Educator. 2 (4), 1-17 (1997).
  49. Psychometric properties of the Revised PSVT:R for measuring First Year engineering students' spatial ability. International Journal of Engineering Education. 29, 763-776 (2013).">Maeda, Y., Yoon, S. Y., Kim-Kang, K., Imbrie, P. K. Psychometric properties of the Revised PSVT:R for measuring First Year engineering students' spatial ability. International Journal of Engineering Education. 29, 763-776 (2013).
  50. Does spatial skills instruction improve STEM outcomes? The answer is 'yes'. Learning and Individual Differences. 67, 209-222 (2018).">Sorby, S., Veurink, N., Streiner, S. Does spatial skills instruction improve STEM outcomes? The answer is 'yes'. Learning and Individual Differences. 67, 209-222 (2018).
  51. Representations of shape during mental rotation. AAAI Spring Symposium: Cognitive Shape Processing. , 15-20 (2010).">Khooshabeh, P., Hegarty, M. Representations of shape during mental rotation. AAAI Spring Symposium: Cognitive Shape Processing. , 15-20 (2010).
  52. Spatial cognition XI. Spatial cognition 2018. Lecture Notes in Computer Science. Creem-Regehr, S., Schoning, J., Klippel, A. 11034, Springer. Cham. 167-179 (2018).">Wetzel, S., Bertel, S. Spatial cognition XI. Spatial cognition 2018. Lecture Notes in Computer Science. Creem-Regehr, S., Schoning, J., Klippel, A. 11034, Springer. Cham. 167-179 (2018).
  53. Manual training of mental rotation performance: Visual representation of rotating figures is the main driver for improvements. Quarterly Journal of Experimental Psychology. 75 (4), 695-711 (2022).">Jost, L., Jansen, P. Manual training of mental rotation performance: Visual representation of rotating figures is the main driver for improvements. Quarterly Journal of Experimental Psychology. 75 (4), 695-711 (2022).
  54. Mental rotation is suppressed during saccadic eye movements. Psychonomic Bulletin & Review. 7 (4), 654-661 (2000).">Irwin, D. E., Brockmole, J. R. Mental rotation is suppressed during saccadic eye movements. Psychonomic Bulletin & Review. 7 (4), 654-661 (2000).
  55. The role of motor processes in three-dimensional mental rotation: Shaping cognitive processing via sensorimotor experience. Learning and Individual Differences. 22, 354-359 (2021).">Moreau, D. The role of motor processes in three-dimensional mental rotation: Shaping cognitive processing via sensorimotor experience. Learning and Individual Differences. 22, 354-359 (2021).
  56. Neural foundations of imagery. Nature Reviews Neuroscience. 2, 635-642 (2001).">Kosslyn, S. M., Ganis, G., Thmpson, W. L. Neural foundations of imagery. Nature Reviews Neuroscience. 2, 635-642 (2001).
  57. Reciprocal facilitation between mental and visuomotor rotations. Scientific Reports. 13, 825(2023).">Guo, J., Song, J. H. Reciprocal facilitation between mental and visuomotor rotations. Scientific Reports. 13, 825(2023).
  58. Strategy selection versus flexibility: Using eye-trackers to investigate strategy use during mental rotation. Journal of Experimental Psychology: Learning, Memory, and Cognition. 45 (2), 232-245 (2019).">Nazareth, A., Killick, R., Dick, A. S., Pruden, S. M. Strategy selection versus flexibility: Using eye-trackers to investigate strategy use during mental rotation. Journal of Experimental Psychology: Learning, Memory, and Cognition. 45 (2), 232-245 (2019).
  59. Exploration vs. limitation - An investigation of instructional design techniques for spatial ability training on mobile devices. Computers in Human Behavior. 118, 106678(2021).">Montag, M., Bertel, S., Koning, B. B., Zander, S. Exploration vs. limitation - An investigation of instructional design techniques for spatial ability training on mobile devices. Computers in Human Behavior. 118, 106678(2021).
  60. Eye movement characteristics in a mental rotation task presented in virtual reality. Frontiers in Neuroscience. 17, 1143006(2023).">Tang, Z., et al. Eye movement characteristics in a mental rotation task presented in virtual reality. Frontiers in Neuroscience. 17, 1143006(2023).
  61. Facilitating recognition of spatial structures through animation and the role of mental rotation ability. Learning and Individual Differences. 38, 76-82 (2015).">Münzer, S. Facilitating recognition of spatial structures through animation and the role of mental rotation ability. Learning and Individual Differences. 38, 76-82 (2015).
  62. Cognitive strategies in the mental rotation task revealed by EEG spectral power. Brain and Cognition. 118, 1-18 (2017).">Gardony, A. L., Eddy, M. D., Brunyé, T. T., Taylor, H. A. Cognitive strategies in the mental rotation task revealed by EEG spectral power. Brain and Cognition. 118, 1-18 (2017).
  63. Manual and virtual rotation of three-dimensional object. Journal of Experimental Psychology: Applied. 7 (4), 286-296 (2001).">Ruddle, R. A., Jones, D. M. Manual and virtual rotation of three-dimensional object. Journal of Experimental Psychology: Applied. 7 (4), 286-296 (2001).
  64. A Systematic review of visualization techniques and analysis tools for eye-tracking in 3D environments. Frontiers in Neuroergonomics. 3, 910019(2022).">Sundstedt, V., Garro, V. A Systematic review of visualization techniques and analysis tools for eye-tracking in 3D environments. Frontiers in Neuroergonomics. 3, 910019(2022).
  65. Rotational-symmetry in a 3D scene and its 2D image. Journal of Mathematical Psychology. 87, 108-125 (2018).">Sawada, T., Zaidi, Q. Rotational-symmetry in a 3D scene and its 2D image. Journal of Mathematical Psychology. 87, 108-125 (2018).
  66. Uncovering the cognitive processes underlying mental rotation: an eye-movement study. Scientific Reports. 7, 10076(2017).">Xue, J., et al. Uncovering the cognitive processes underlying mental rotation: an eye-movement study. Scientific Reports. 7, 10076(2017).
  67. Thumb's rule tested: Visual angle of thumb's width is about 2 deg. Perception. 20, 415-418 (1991).">O'Shea, R. P. Thumb's rule tested: Visual angle of thumb's width is about 2 deg. Perception. 20, 415-418 (1991).
  68. Capacity limit of visual short-term memory in human posterior parietal cortex. Nature. 428, 751-754 (2004).">Todd, J., Marois, R. Capacity limit of visual short-term memory in human posterior parietal cortex. Nature. 428, 751-754 (2004).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Eye Tracking3D Virtual ObjectsRotation TrajectoryMental RotationInteractive Rotation TaskHuman Computer InteractionGaze Data AnalysisCognitive ProcessesReal Time RecordingRotational Mapping

Related Articles