Method Article

Trójwymiarowe mapowanie obrotu interaktywnych obiektów wirtualnych za pomocą danych śledzenia wzroku

DOI:

10.3791/65977

⸱

October 18th, 2024

 ,  ,  ,  , 
1Graduate Program in Chemistry, University of São Paulo, Institute of Chemistry, 2Graduate Program in Applied Mathematics, University of São Paulo, Institute of Mathematics and Statistics, 3Graduate Program in Neuroscience and Cognition, Federal University of ABC, Center of Mathematics, Computing and Cognition, 4School of Biomedical Engineering, Science and Health Systems, Drexel University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Opracowaliśmy prostą, konfigurowalną i efektywną metodę rejestrowania ilościowych danych procesowych z interaktywnych zadań przestrzennych i mapowania tych danych rotacji za pomocą danych śledzenia wzroku.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Prezentujemy metodę rejestrowania interakcji człowieka z trójwymiarowymi (3D) wirtualnymi obiektami w czasie rzeczywistym. Podejście to polega na powiązaniu danych o rotacji manipulowanego obiektu z pomiarami behawioralnymi, takimi jak śledzenie ruchu gałek ocznych, w celu uzyskania lepszych wniosków na temat leżących u podstaw procesów poznawczych.

Zadanie polega na wyświetleniu dwóch identycznych modeli tego samego obiektu 3D (cząsteczki), prezentowanych na ekranie komputera: obracającego się, interaktywnego obiektu (iObj) i statycznego, docelowego obiektu (tObj). Uczestnicy muszą obracać iObj za pomocą myszy, dopóki nie uznają, że jego orientacja jest identyczna z tObj. Komputer śledzi wszystkie dane dotyczące interakcji w czasie rzeczywistym. Dane dotyczące spojrzenia uczestnika są również rejestrowane za pomocą urządzenia do śledzenia ruchu gałek ocznych. Częstotliwość pomiaru wynosi 10 Hz na komputerze i 60 Hz na monitorze ruchu gałek ocznych.

Dane dotyczące orientacji iObj względem tObj są zapisywane w kwaternionach rotacji. Dane spojrzenia są synchronizowane z orientacją iObj i przywoływane za pomocą tego samego systemu. Metoda ta pozwala na uzyskanie następujących wizualizacji procesu interakcji człowieka z iObj i tObj: (1) rozbieżność kątowa zsynchronizowana z innymi danymi zależnymi od czasu; (2) Trajektoria rotacji 3D wewnątrz tego, co zdecydowaliśmy się nazwać "kulą obrotów"; (3) Mapa cieplna fiksacji 3D. Wszystkie kroki protokołu korzystały z wolnego oprogramowania, takiego jak GNU Octave i Jmol, a wszystkie skrypty są dostępne jako materiał dodatkowy.

Dzięki takiemu podejściu, możemy przeprowadzić szczegółowe badania ilościowe procesu rozwiązywania zadań obejmującego rotacje mentalne lub fizyczne, a nie tylko osiągnięty wynik. Możliwe jest dokładne zmierzenie, jak ważna jest każda część modeli 3D dla uczestnika w rozwiązywaniu zadań, a tym samym odniesienie modeli do odpowiednich zmiennych, takich jak charakterystyka obiektów, zdolności poznawcze osób oraz charakterystyka interfejsu człowiek-maszyna.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Rotacja mentalna (MR) to zdolność poznawcza, która umożliwia jednostkom mentalne manipulowanie i obracanie obiektów, ułatwiając lepsze zrozumienie ich cech i relacji przestrzennych. Jest to jedna ze zdolności wzrokowo-przestrzennych, podstawowa grupa poznawcza, która była badana już w 1890 roku1. Zdolności wzrokowo-przestrzenne są ważnym składnikiem repertuaru poznawczego jednostki, na który wpływają zarówno czynniki dziedziczone, jak i środowiskowe2,3,4,5. Zainteresowanie zdolnościami wzrokowo-przestrzennymi wzrosło w XX wieku ze względu na coraz liczniejsze dowody na ich znaczenie w kluczowych dziedzinach, takich jak starzenie się6 i rozwój7, wyniki w naukach ścisłych, technologii, inżynierii i matematyce (STEM)8,9, creativity10 oraz cechy ewolucyjne11.

Współczesna idea MR wywodzi się z pionierskiej pracy opublikowanej przez Sheparda i Metzlera (SM) w 1971 roku12. Opracowali oni metodę chronometryczną wykorzystującą serię "takich samych lub różnych" zadań, prezentując dwie projekcje abstrakcyjnych obiektów 3D wyświetlanych obok siebie. Uczestnicy musieli w myślach obrócić obiekty wokół jakiejś osi i zdecydować, czy te projekcje przedstawiały ten sam obiekt obrócony inaczej, czy też odrębne obiekty. Badanie wykazało dodatnią korelację liniową między czasem odpowiedzi (RT) a rozbieżnością kątową (AD) między reprezentacjami tego samego obiektu. Ta korelacja jest znana jako efekt rozbieżności kątów (ADE). ADE jest uważane za behawioralną manifestację MR i stało się wszechobecne w kilku wpływowych późniejszych badaniach w tej dziedzinie13,14,15,16,17,18,19,20,21, 22,23,24,25. Obiekty 3D wykorzystane w badaniu SM składały się z 10 sąsiadujących ze sobą sześcianów wygenerowanych przez pioniera grafów komputerowych Michaela Nolla z Bell Laboratories26. Są one określane jako figury SM i są szeroko stosowane w badaniach MR.

Dwa postępy były bardzo ważne w przełomowej pracy Sheparda i Metzlera; po pierwsze, biorąc pod uwagę wkład w dziedzinie oceny MR. W 1978 roku Vanderberg i Kuze27 opracowali psychometryczny 20-punktowy test ołówkiem i papierem oparty na "tych samych lub różnych" figurach SM, który stał się znany jako test rotacji mentalnej (VKMRT). Każdy element testowy przedstawia bodziec docelowy. Uczestnicy muszą wybrać spośród czterech bodźców, które reprezentują ten sam obiekt przedstawiony w bodźcu docelowym, a które nie. VKMRT został wykorzystany do zbadania korelacji między zdolnością MR a różnymi innymi czynnikami, takimi jak różnice związane z płcią6,21,24,28,29,30, starzenie się i development6,31,32, wyniki w nauce8,33, oraz umiejętności muzyczne i sportowe34. W 1995 roku Peters i in. opublikowali badanie z przerysowanymi rysunkami dla klasy VKMRT35,36. Podobnie, zgodnie z "tym samym lub innym" projektem zadania, wykorzystano wiele innych bibliotek bodźców generowanych komputerowo do badania procesów MR i oceny zdolności MR (wersje 3D oryginalnych bodźców SM 19,22,23,37,38, ludzkie ciało naśladujące postacie SM25,39,40, płaskie wielokąty do obrotu 2D41,42, anatomia i narządy43, kształty organiczne44, molekuły45,46, między innymi21). Test Wizualizacji Przestrzennej Purdue (PSVT) zaproponowany przez Guaya w 1976 roku47 jest również istotny. Pociąga to za sobą szereg testów, w tym MR (PSVT:R). Wykorzystując inne bodźce niż te w VKMRT, PSVT:R wymaga od uczestników zidentyfikowania operacji rotacji w bodźcu modelowym i mentalnego zastosowania jej do innego. PSVT:R jest również szeroko stosowany, szczególnie w badaniach badających rolę MR w osiągnięciach STEM48,49,50.

Drugim ważnym osiągnięciem w przełomowej pracy Sheparda i Metzlera jest wkład w zrozumienie procesu MR, w szczególności za pomocą urządzeń śledzących ruch gałek ocznych. W 1976 roku Just i Carpenter14 użyli analogowego sprzętu do śledzenia ruchu gałek ocznych opartego na wideo, aby przeprowadzić badanie oparte na eksperymencie ADE Sheparda i Metzlera. Na podstawie wyników badań nad sakkadowymi ruchami gałek ocznych i RT zaproponowali model procesów MR składający się z trzech faz: 1) fazy poszukiwania, w której rozpoznawane są podobne części figur; 2) faza transformacji i porównania, w której jedna ze zidentyfikowanych części zostaje mentalnie obrócona; 3) faza potwierdzenia, w której podejmuje się decyzję, czy liczby są takie same, czy nie. Fazy są powtarzane rekurencyjnie, aż będzie można podjąć decyzję. Każdy krok odpowiada specyficznym sakkadowym i fiksacyjnym wzorcom ruchu gałek ocznych w ścisłym związku z obserwowanymi ADE. W ten sposób, korelując aktywność oczu z danymi chronometrycznymi, Just i Carpenter dostarczyli sygnaturę kognitywną do badania procesów MR. Do tej pory model ten, choć z adaptacjami, został przyjęty w kilku badaniach15,42,46,51,52,53.

Podążając tą ścieżką, kilka kolejnych badań monitorujących zachowanie18,19,22,23,25,34,40,54,55 i aktywność mózgu20,22,56,57 funkcji podczas rotacji bodźców. Ich odkrycia wskazują na kooperatywną rolę między rezonansem magnetycznym a procesami motorycznymi. Co więcej, rośnie zainteresowanie badaniem strategii rozwiązywania problemów z udziałem MR w odniesieniu do różnic indywidualnych 15,41,46,51,58.

Ogólnie rzecz biorąc, można uznać, że projekt badań mających na celu zrozumienie procesów MR opiera się na przedstawieniu zadania za pomocą bodźców wizualnych, które wymagają od uczestników wykonania operacji MR, która z kolei pociąga za sobą reakcję motoryczną. Jeśli ta reakcja pozwala na rotację bodźców, często nazywa się to rotacją fizyczną (PR). W zależności od szczegółowych celów każdego badania, do pozyskiwania i analizy danych MR i PR zastosowano różne strategie i urządzenia. Na etapie prezentacji bodźca zadaniowego możliwa jest zmiana rodzajów bodźców (tj. wcześniej przytoczonych przykładów); Projekcja (obrazy generowane komputerowo na tradycyjnych wyświetlaczach22,23,25,29,40,41,59, a także w stereoscopes19 i virtual60 i mixed43 środowiska rzeczywistości); oraz interaktywność bodźców (obrazy statyczne12,27,36, animacje61, oraz interaktywne obiekty wirtualne19,22,23,43,53,59).

MR jest zwykle wnioskowane na podstawie pomiarów RTs (ADE), a także aktywności oczu i mózgu25,46,62. Aktywność oka jest mierzona za pomocą danych śledzenia wzroku składających się z ruchów sakkadowych i fiksacji14,15,42,51,52,54,58,60, a także pupillometry40. Dane RT zazwyczaj pochodzą z danych reakcji silnika zarejestrowanych podczas obsługi różnych urządzeń, takich jak dźwignie13, przyciski i przełączniki14,53, pedals53, pokrętła19, joysticks37, keyboard61 i mouse29,58,60, koła napędowe53, czujniki bezwładnościowe22,23, ekrany dotykowe52,59, oraz mikrofony22. Aby zmierzyć PR, oprócz RT, projekt badania będzie również obejmował rejestrowanie ręcznych rotacji interaktywnych bodźców podczas wykonywania przez uczestników zadania MR 22,23,52,53.

W 1998 roku Wohlschläger i Wohlschläger19 używali "tych samych lub różnych" zadań z interaktywnymi wirtualnymi bodźcami SM manipulowanymi za pomocą pokrętła, z obrotami ograniczonymi do jednej osi na zadanie. Zmierzyli RT i skumulowany zapis fizycznych rotacji wykonanych podczas zadań. Porównując sytuacje z rzeczywistą rotacją interaktywnych bodźców i bez niej, doszli do wniosku, że MR i PR mają wspólny proces zarówno dla wyobrażonych, jak i faktycznie wykonywanych rotacji.

W 2014 roku przeprowadzono dwa badania wykorzystujące ten sam typ zadań z wirtualnymi interaktywnymi bodźcami22,23. Obiektami manipulowano jednak za pomocą czujników inercyjnych, które rejestrowały ruch w przestrzeni 3D. W obu przypadkach, oprócz RT, zarejestrowano trajektorie rotacji – ewolucję różnic rotacyjnych między bodźcami referencyjnymi a interaktywnymi podczas zadań. Z tych trajektorii możliwe było wydobycie zarówno informacji skumulowanych (tj. całkowitej liczby obrotów w jednostkach czwartorzędowych), jak i szczegółowych informacji o strategiach rozwiązań. Adams i wsp.23 badali efekt współpracy między MR i PR. Oprócz RT wykorzystali całkę trajektorii rotacji jako parametr dokładności i obiektywności rozdzielczości. Profile krzywych zostały zinterpretowane zgodnie z trzyetapowym modelem63 (planowanie, główny obrót, dokładna regulacja). Wyniki wskazują, że MR i PR niekoniecznie mają jeden, wspólny czynnik. Gardony et al.22 zebrali dane na temat RT, dokładności i rotacji w czasie rzeczywistym. Oprócz potwierdzenia związku między MR i PR, analiza trajektorii rotacji ujawniła, że uczestnicy manipulowali liczbami, dopóki nie byli w stanie określić, czy są one różne, czy nie. Jeśli były takie same, uczestnicy obracali je, aż wyglądały tak samo.

Kontynuując tę strategię, w 2018 roku Wetzel i Bertel52 również wykorzystali interaktywne figurki SM w "tych samych lub różnych" zadaniach, używając tabletów z ekranem dotykowym jako interfejsu. Ponadto wykorzystali urządzenie śledzące ruch gałek ocznych, aby uzyskać skumulowane dane na temat czasu fiksacji i amplitudy sakkady jako parametrów obciążenia poznawczego związanego z rozwiązywaniem zadań MR. Autorzy potwierdzili wcześniejsze badania omówione powyżej dotyczące relacji między MR i PR a procesami rozwiązywania zadań. Jednak w tym badaniu nie wykorzystali mapowania fiksacji i danych sakkad dla bodźców.

Metodologiczne podejścia do mapowania danych śledzenia wzroku na wirtualnych obiektach 3D zostały zaproponowane i stale ulepszane, zwykle przez badaczy zainteresowanych badaniem czynników związanych z uwagą wzrokową w środowiskach wirtualnych64. Chociaż są one przystępne cenowo i wykorzystują podobne urządzenia do śledzenia ruchu gałek ocznych, najwyraźniej metody te nie zostały skutecznie zintegrowane z repertuarem eksperymentalnym stosowanym w badaniach rotacji umysłowej z interaktywnymi obiektami 3D, takimi jak te wcześniej wspomniane. Z drugiej strony, nie znaleźliśmy żadnych badań w literaturze opisujących mapowanie w czasie rzeczywistym danych dotyczących ruchu fiksacji i sakad na interaktywnych obiektach 3D. Wydaje się, że nie ma wygodnej metody łatwej integracji danych o aktywności oczu z trajektoriami rotacji. W tym badaniu staramy się przyczynić do wypełnienia tej luki. Procedura jest szczegółowo przedstawiona, od akwizycji danych do graficznego generowania danych wyjściowych.

W tym artykule szczegółowo opisujemy metodę badania procesów rotacji mentalnej za pomocą wirtualnych interaktywnych obiektów 3D. Podkreślono następujące postępy. Po pierwsze, integruje ilościowy silnik behawioralny (ręczne obracanie obiektów za pomocą interfejsu komputerowego) i gromadzenie danych ocznych (śledzenie oczu) podczas sesji interakcji z wirtualnymi modelami 3D. Po drugie, wymaga jedynie konwencjonalnego sprzętu komputerowego i urządzeń śledzących ruch gałek ocznych do wizualnego projektowania zadań, akwizycji, nagrywania i przetwarzania danych. Po trzecie, z łatwością generuje dane graficzne, aby ułatwić analizę danych - rozbieżności kątowych, rotacji fizycznej, trajektorii rotacji czwartorzędowej i mapowania trafień danych śledzenia wzroku nad wirtualnymi obiektami 3D. Wreszcie, metoda wymaga tylko wolnego oprogramowania. Cały opracowany kod i skrypty są dostępne bezpłatnie (https://github.com/rodrigocnstest/rodrigocnstest.github.io).

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Przygotowanie narzędzi do zbierania danych

  1. Konfigurowanie zbierania danych online (opcjonalnie).
    UWAGA: W tym kroku opisano, jak skonfigurować konfigurowalny klon kodu projektu i działającej strony internetowej (patrz Plik uzupełniający 1). Ten krok został zaadaptowany z samouczków dostępnych na stronach https://pages.github.com/ i https://github.com/jamiewilson/form-to-google-sheets. Jeśli użytkownicy są zainteresowani tylko metodą przetwarzania danych, a nie rejestracją danych, mogą skorzystać ze strony internetowej https://rodrigocnstest.github.io/iRT_JoVE.html wraz z tabelą uzupełniającą S1 i plikami repozytorium pod adresem https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave, pomijając kroki 1.1, 1.2 i ich podkroki.
    1. Zaloguj się w usłudze GitHub (https://github.com/).
    2. Utwórz publiczny klon oryginalnego repozytorium stron GitHub.
      1. Kliknij Importuj repozytorium z https://github.com będąc zalogowanym na konto.
      2. W polu Adres URL klonowania starego repozytorium wklej https://github.com/rodrigocns/rodrigocns_JoVE adresu URL w polu Nazwa repozytorium, wpisz username.github.io, gdzie nazwa użytkownika jest nazwą użytkownika używaną na koncie, i upewnij się, że opcja Publiczny jest włączona. Następnie kliknij zielony przycisk Rozpocznij import.
        UWAGA: Repozytorium zawiera teraz większość plików potrzebnych do pozostałej części tej konfiguracji, a wszelkie zmiany wprowadzone w repozytorium zostaną zaktualizowane na stronie internetowej po kilku minutach. Na przykład użytkownik o nazwie rodrigocnstest uzyska dostęp do własnej strony w https://rodrigocnstest.github.io i repozytorium GitHub pod adresem https://github.com/rodrigocnstest/rodrigocnstest.github.io.
    3. Skonfiguruj arkusz kalkulacyjny w chmurze, aby przechowywać dane eksperymentu online.
      1. Zarejestruj się lub zaloguj na konto Google.
      2. Po zalogowaniu się na konto przejdź do czystego pliku arkuszy kalkulacyjnych iRT dostępnego pod adresem https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
        Ops1wZrXI/edit?usp=udostępnianie.
      3. W tym arkuszu kalkulacyjnym kliknij Plik | Zrób kopię. Pojawi się małe okno potwierdzenia.
      4. W małym oknie nadaj plikowi nazwę i kliknij przycisk Utwórz kopię.
    4. Skonfiguruj skrypt Google Apps Script, aby zautomatyzować przechowywanie danych w utworzonym arkuszu kalkulacyjnym.
      1. W pliku arkusza kalkulacyjnego kliknij opcję Rozszerzenie | Apps Script.
        UWAGA: Ten skrypt musi zostać utworzony lub dostępny z poziomu arkusza kalkulacyjnego, aby był z nim powiązany. Próba utworzenia skryptu zewnętrznie może nie zadziałać.
      2. Kliknij przycisk Uruchom, aby uruchomić skrypt po raz pierwszy.
      3. Kliknij przycisk Przejrzyj uprawnienia. Pojawi się nowe okno. Kliknij to samo konto, które zostało użyte podczas tworzenia arkusza kalkulacyjnego.
        UWAGA: Jeśli wykonujesz ten krok po raz pierwszy, może pojawić się alert bezpieczeństwa ostrzegający użytkownika o tym, że aplikacja prosi o dostęp do informacji z konta. Jest bezpieczny, ponieważ aplikacja próbuje dotrzeć do zawartości arkusza kalkulacyjnego i prosi o pozwolenie na wypełnienie go danymi. Jeśli nie pojawią się żadne ostrzeżenia, krok 1.1.4.4 można pominąć.
      4. Kliknij Zaawansowane | Przejdź do opcji Z iRT do arkuszy (niebezpieczne) | Zezwalaj przycisk.
        UWAGA: Po wykonaniu w dzienniku wykonywania powinien pojawić się komunikat informujący, że wykonanie zostało zakończone.
      5. W lewym panelu przesuwanym kliknij przycisk Wyzwalacze (czwarta ikona od góry do dołu) | + Dodaj przycisk Wyzwalacz.
      6. W obszarze Wybierz funkcję do uruchomienia wybierz pozycję doPost, w obszarze Wybierz źródło zdarzenia wybierz pozycję Z arkusza kalkulacyjnego, a w obszarze Wybierz typ zdarzenia wybierz pozycję Po przesłaniu formularza. Następnie kliknij Zapisz. Jeśli pojawią się jakiekolwiek wyskakujące okienka uprawnień, wykonaj kroki 1.1.4.3-1.1.4.4. Jeśli przeglądarka zablokuje wyskakujące okienko, odblokuj je.
      7. Kliknij przycisk rozwijany Wdróż | Nowe wdrożenie.
      8. Najedź myszą na ikonę koła zębatego i upewnij się, że wybrana jest opcja Web App.
      9. Wpisz opis w polu Nowy opis, na przykład Wdrożenie 1; w polu Kto ma dostęp wybierz opcję Każdy, a następnie kliknij przycisk Wdróż.
        UWAGA: Celem pola Nowy opis jest uporządkowanie wdrożeń skryptów. Można go nazwać według własnego uznania, na przykład Pierwsze wdrożenie. Pole Wykonaj jako powinno być już wyświetlane jako Ja(e-mail), gdzie adres e-mail jest adresem e-mail używanym do tej pory.
      10. Wewnątrz nowego wyskakującego okienka skopiuj adres URL aplikacji internetowej skryptu deployment.
        UWAGA: Jeśli z jakiegoś powodu utracisz skopiowany adres URL aplikacji internetowej, odzyskaj go, klikając menu rozwijane Wdróż | Zarządzanie wdrożeniami. Powinien tam znajdować się adres URL aplikacji internetowej.
      11. Przejdź do strony pod adresem https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js, gdzie rodrigocnstest jest nazwą użytkownika używaną w usłudze GitHub. Zastąp istniejący adres URL w wierszu 5 dla skopiowanego adresu URL aplikacji internetowej w kroku 1.1.4.10, a następnie kliknij zielony przycisk Zatwierdź zmiany....
        UWAGA: Skopiowana wartość adresu URL powinna pozostać w pojedynczym cudzysłowie ' ' lub podwójnym " " ". Upewnij się, że skopiowany adres URL jest właściwym adresem URL z aplikacji internetowej.
      12. Na koniec kliknij przycisk Potwierdzenie zatwierdź zmiany na środku ekranu.
    5. Upewnij się, że proces został zakończony poprawnie, a strona działa.
      1. Przejdź do repozytorium w https://github.com/username/username.github.io/, gdzie username jest nazwą użytkownika używaną w usłudze GitHub, i sprawdź, czy wdrożenie zostało zaktualizowane po zmianach wprowadzonych w kroku 1.4.14.
      2. Przejdź do strony internetowej pod adresem https://username.github.io/iRT_JoVE, zmień nazwę użytkownika na nazwę użytkownika używaną w usłudze GitHub, a następnie kliknij przycisk Dalej.
      3. Kliknij przycisk Przejdź, wykonaj dowolną interakcję, klikając i przeciągając myszką obiekt po prawej stronie, a następnie kliknij przycisk GOTOWE!.
      4. Wróć do pliku arkusza kalkulacyjnego skonfigurowanego w krokach 1.1.3 i 1.1.4 i sprawdź, czy istnieje nowo dodany wiersz danych przy każdym naciśnięciu przycisku GOTOWE.
  2. Skonfiguruj pobieranie danych w trybie offline (opcjonalnie).
    UWAGA: Metoda przeznaczona do uruchamiania i pobierania danych zadania interaktywnej rotacji (iRT) jest dostępna w trybie online za pośrednictwem usług w chmurze skonfigurowanych w krokach opisanych powyżej. W razie potrzeby (ponieważ połączenie internetowe może stanowić problem lub aby mieć alternatywny sposób na jego uruchomienie), możliwe jest również uruchomienie testu lokalnie z połączeniem internetowym lub bez niego w miejscu, w którym test zostanie wykonany. Poniższe kroki są opcjonalną alternatywą i opisują, jak to osiągnąć. W przeciwnym razie przejdź do kroku 1.3.
    1. Uzyskaj dostęp do repozytorium GitHub pod linkiem: https://github.com/rodrigocnstest/rodrigocnstest.github.io. Kliknij zielony przycisk < > Kod | Pobierz plik ZIP, a następnie rozpakuj pobrane pliki.
      UWAGA: Zmiany wprowadzone w plikach przechowywanych lokalnie nie powodują zmian w plikach w repozytorium i na odwrót. Wszelkie zmiany przeznaczone dla obu wersji powinny zostać zastosowane do obu lokalizacji, ręcznie kopiując zaktualizowane pliki lub korzystając z git/GitHub desktop.
    2. Pobierz najnowszą wersję przeglądarki Mozilla Firefox, korzystając z linku: https://www.mozilla.org/en-US/firefox/new/.
    3. Otwórz przeglądarkę Mozilla Firefox, wpisz "about:config" w polu adresu URL, wpisz "security.fileuri.strict_origin_policy" w polu wyszukiwania i zmień jego wartość na false. UWAGA: Teraz Mozilla Firefox w systemie operacyjnym Windows powinna być w stanie uzyskać lokalny dostęp do pobranych plików stron internetowych na twoim komputerze. Inne przeglądarki i systemy operacyjne można skonfigurować do pracy lokalnej, a każda z nich ma swoją konfigurację opisaną pod linkiem http://wiki.jmol.org/index.php/Troubleshooting/Local_Files.
  3. Skonfiguruj narzędzie do przetwarzania danych.
    1. Pobierz i zainstaluj najnowszą wersję GNU Octave na https://octave.org/download.
  4. Skonfiguruj urządzenie śledzące ruch gałek ocznych.
    1. Upewnij się, że na laptopie jest zainstalowane oprogramowanie systemu nagrywania.
    2. Upewnij się, że pokój badawczy jest czysty i dobrze zorganizowany, aby uniknąć rozpraszania uwagi.
    3. Używaj sztucznego oświetlenia w pomieszczeniu, aby utrzymać stałe oświetlenie przez cały dzień.
    4. Zainstaluj komputer na stole i upewnij się, że uczestnik może wygodnie poruszać myszą.
    5. Zapewnij uczestnikowi wygodne krzesło, najlepiej stałe krzesło, aby zminimalizować ruch podczas testu.
    6. Podłącz jeden USB do zasilania oświetlenia w podczerwieni, a drugi USB między laptopem/komputerem a eye-trackerem aparatu.
    7. Umieść urządzenie śledzące ruch gałek ocznych pod ekranem.

2. Zbieranie danych

  1. Zainicjuj oprogramowanie do zbierania danych.
    1. Uruchom oprogramowanie do śledzenia ruchu gałek ocznych na komputerze, aby odbierać dane z urządzenia do śledzenia ruchu gałek ocznych.
    2. Wybierz opcję Zrzut ekranu w głównym oknie oprogramowania, aby uchwycić spojrzenie podczas eksperymentu (możliwe jest również użycie tego oprogramowania do wizualizacji mapy cieplnej i eksportu surowych danych).
    3. Kliknij Nowy projekt, aby utworzyć nowy projekt i folder projektu, w którym mają zostać zapisane dane.
    4. Otwórz stronę testową pod https://rodrigocnstest.github.io/iRT_JoVE.html w przypadku korzystania ze strony podanej jako przykład lub strony utworzonej w kroku 1.1. Możesz też otworzyć plik iRT_JoVE.html lokalnie z przeglądarki skonfigurowanej wcześniej w kroku 1.2.
    5. W razie potrzeby wypełnij pola imienia i nazwiska oraz adresu e-mail, aby ułatwić identyfikację danych, a następnie zaznacz pole wyboru, aby pobrać kopię zapasową utworzonych danych.
      UWAGA: W przypadku korzystania z metody offline (krok 1.2) zaleca się pobranie kopii zapasowych.
    6. Spróbuj uruchomić eksperyment raz, aby upewnić się, że przeglądarka poprawnie załaduje elementy i nie ma problemów z prezentowanymi zadaniami lub pozyskiwaniem danych.
  2. Uruchom eksperyment.
    1. Wyjaśnij uczestnikowi cel eksperymentu, zastosowaną technologię oraz kryteria włączenia/wykluczenia. Upewnij się, że uczestnik wszystko zrozumiał. Poproś uczestnika o wypełnienie formularza zgody.
    2. Poproś uczestnika, aby usiadł przed systemem śledzenia ruchu gałek ocznych i ułożył się tak wygodnie, jak to możliwe.
    3. Przesuń krzesło, aby zapewnić optymalną odległość między uczestnikiem a kamerą (idealna długość to 65 cm od eye-trackera do oczu uczestnika).
    4. Poproś uczestnika, aby podczas eksperymentu pozostał tak nieruchomo, jak to możliwe. Dostosuj wysokość kamery, aby prawidłowo uchwycić źrenice uczestnika (niektóre programy podświetlają źrenicę, aby pokazać odbicie rogówki).
    5. Kliknij opcję Włącz automatyczne wzmocnienie, aby zoptymalizować śledzenie źrenic, zmieniając wzmocnienie kamery, aż źrenice zostaną znalezione (niektóre programy nie mają tej opcji).
    6. Poproś uczestnika, aby spojrzał na serię kropek na ekranie i śledził ruch kropki bez poruszania głową.
    7. Kliknij Kalibruj, aby rozpocząć kalibrację (zapewni to, że eye-tracker będzie mógł śledzić, gdzie uczestnik patrzy na ekranie).
      UWAGA: Ekran zgaśnie, a znacznik kalibracji (kropka) przesunie się przez pięć pozycji na ekranie.
    8. Po kalibracji na ekranie zostanie narysowane wizualne oszacowanie punktu widzenia w celu sprawdzenia dokładności kalibracji. Poproś uczestnika, aby spojrzał na konkretny punkt na wyświetlaczu, aby sprawdzić, czy spojrzenie będzie wyświetlane poprawnie.
    9. Jeśli kalibracja jest niezadowalająca, wyreguluj aparat i spróbuj ponownie przeprowadzić kalibrację, aż system będzie prawidłowo śledził wzrok.
    10. Kliknij przycisk Zbieraj dane po prawej stronie oprogramowania do śledzenia ruchu gałek ocznych (menu główne), aby aktywować tryb zbierania danych. Wyświetlanie przechwyconego ekranu w czasie rzeczywistym zostanie przedstawione z danymi spojrzenia wyświetlanymi w głównym oknie wyświetlacza.
    11. Kliknij przycisk Wideo Spojrzenie w menu głównym, aby wyświetlić twarz użytkownika przechwyconą przez urządzenie śledzące ruch gałek ocznych. Następnie kliknij Rozpocznij nagrywanie, aby rozpocząć eksperyment.
      UWAGA: Podczas eksperymentu źrenica uczestnika jest podświetlona, a jego oko jest wyświetlane jako kropka poruszająca się po ekranie laptopa. Upewnij się, że eye tracker śledzi źrenicę i oko na ekranie.
    12. Jeśli kropka znika lub często migocze, przerwij eksperyment i spróbuj ponownie skalibrować.
    13. Otwórz poprzednio otwarte okno iRT i powiedz uczestnikowi, aby kliknął przycisk Dalej.
    14. Przekaż uczestnikowi następujące instrukcje: "W tej części wykonasz trzy zadania rotacyjne. Po kliknięciu przycisku GO! dwa obiekty pojawią się po przeciwnych stronach ekranu. Twoim celem jest obrócenie obiektu po prawej stronie, aż będzie on jak najlepiej pasował do obiektu po lewej stronie. Aby obrócić obiekt, kliknij i przeciągnij nad nim myszą. Po zakończeniu każdego z trzech zadań kliknij przycisk GOTOWE! przycisk, aby zakończyć."
      UWAGA: W przypadku każdego zadania wszelkie dane iRT po upływie 5 minut (dokładnie 327sekund) mogą zostać utracone. W miarę dalszego rozwoju metody limit ten powinien być rozszerzany.
    15. Pod koniec eksperymentu upewnij się, że eyetracker jest wyłączony z przedłużacza i załóż osłonę obiektywu z powrotem na aparat.
  3. Wyodrębnij dane.
    1. Po zakończeniu zbierania danych za pomocą eye-trackera kliknij Analizuj dane, aby uzyskać dostęp do zebranych danych.
    2. Eksportuj plik .csv ze wszystkimi danymi zapisanymi dla użytkownika.
      UWAGA: Pierwsza kolumna danych urządzenia do śledzenia ruchu gałek ocznych musi być epoką danych w systemie UNIX, ponieważ jest to jedyny sposób na prawidłowe dopasowanie różnych zestawów danych w czasie. Jeśli plik go nie zawiera, należy go przekonwertować z innego użytego standardu czasowego. Plik może być w formacie ".csv" lub ".xlsx".
    3. Jeśli korzystasz z wersji online interaktywnej strony z zadaniami obracania (krok 1.1), otwórz plik Arkuszy Google używany do odbierania danych online (utworzony w kroku 1.1.3) i pobierz go, klikając Plik | Pliki do pobrania | Microsoft Excel (.xlsx).
      UWAGA: Dane te są spakowane w celu ułatwienia przesyłania danych (każde zadanie odpowiada jednemu wierszowi wypełnionemu danymi). Aby przetworzyć znajdujące się w nim dane, każdy wiersz spakowanych danych musi zostać najpierw "rozpakowany".

3. Przetwarzanie i analiza danych

  1. Rozpakuj, scal i przetwórz dane.
    UWAGA: Poniższe kroki opisują sposób przetwarzania danych przy użyciu dostarczonych skryptów (patrz Plik uzupełniający 2). Skrypty GNU Octave będą pytać użytkownika o informacje o jego plikach. Jeśli dane wejściowe są wysyłane jako puste, zamiast nich zostaną użyte wartości domyślne, odwołujące się do podanych przykładowych danych, jeśli żadne dane użytkownika ich nie zastąpiły. Po zakończeniu działania skryptu można go zamknąć.
    1. Pobierz i rozpakuj używane repozytorium (własne użytkownika lub oryginalne w https://github.com/rodrigocns/rodrigocns_JoVE), jeśli nie zostało jeszcze pobrane.
    2. Upewnij się, że skrypty 1.unpacking_sheets.m, 2.data_merge_and_process.m, 3.3D trajektoria rotacyjna.m, a modele folderów znajdują się w pobranym repozytorium w folderze Octave, a następnie przenieś pliki danych pobrane z kroków 2.3.2 i 2.3.3 do tego samego folderu, w którym znajdują się skrypty oktawy.
      UWAGA: Wszystkie istniejące pliki znajdujące się już w folderze o takich samych nazwach jak nowo zapisane pliki mogą zostać nadpisane. Zmień odpowiednio nazwę plików lub przenieś je do innego folderu.
    3. Otwórz skrypt 1.unpacking_sheets.m za pomocą GNU Octave Launcher. W zakładce Edytor uruchom skrypt, klikając zielony przycisk Zapisz plik i uruchom, aby rozpakować dane do bardziej czytelnej struktury.
      UWAGA: Jeśli którykolwiek z żądanych plików danych jest otwarty lokalnie, pamiętaj, aby zamknąć je przed uruchomieniem skryptu. Wszystkie pliki skryptów .m zostały uruchomione przy użyciu GNU Octave Launcher.
    4. Pojawią się dwa monity, jeden po drugim. Wprowadź nazwę pobranego pliku w pierwszym monicie i nazwę rozpakowanego pliku w drugim polu. Alternatywnie pozostaw oba pola monitu puste, aby użyć domyślnych nazw przeznaczonych dla dołączonych plików przykładowych. Poczekaj kilka minut (w zależności od ilości danych) na wyskakujące okienko informujące użytkownika, że proces został zakończony i nowy plik został zapisany.
    5. Otwórz i uruchom skrypt 2.data_merge_and_process.m, aby scalić dane zarówno z eye trackera, jak i iRT.
      UWAGA: Chociaż ten skrypt jest złożony i obejmuje setki wierszy kodu, jest podzielony na trzy główne sekcje: ustawienia, funkcje i skrypty. Wszystkie są dokładnie komentowane i wyjaśniane, co w razie potrzeby ułatwia późniejsze modyfikacje.
    6. Pojawią się cztery monity. Wprowadź wartość sessionID, wartość taskID (obie z tabeli danych iRT), nazwę niespakowanego pliku danych iRT (zapisaną w kroku 3.1.5) i nazwę pliku danych eye tracker (wyeksportowaną w kroku 2.3.2) lub pozostaw wszystkie puste pola, aby użyć wartości domyślnych.
      UWAGA: Po kilku minutach pojawi się wyskakujące okienko pomocy z informacją, że skrypt zakończył obliczenia oraz nazwami użytych i utworzonych plików. Podczas procesu tworzenia skryptu pojawią się trzy przykładowe wykresy rozbieżności kątowej: wykres prosty, wykres z danymi kolorowego spojrzenia i wykres z danymi o średnicy źrenicy. Dwa utworzone pliki to wyjście merge X Y.xlsx i wyjście jmol console X Y.xlsx, gdzie X jest wartością sessionID, a Y jest wartością taskID, oba zapisane na początku kroku 3.1.6.
  2. Renderuj obrazy trajektorii obrotu 3D.
    1. Otwórz i uruchom skrypt 3.3D trajektorię rotacji.m.
    2. Pojawią się trzy monity. Wprowadź wartość sessionID, wartość taskID i nazwę niespakowanego pliku danych iRT lub pozostaw je puste, aby użyć wartości domyślnych.
      UWAGA: Pojawi się wykres 3D. Renderowany wykres to trajektoria obrotu 3D określonej sesji i zadania.
  3. Odtwórz ponownie animacje.
    1. Aby odtworzyć interakcję uczestnika z zadaniem, najpierw przejdź do interaktywnej strony internetowej zadania, rozpocznij test (pokazujący oba modele 3D), przesuń wskaźnik myszy w prawym górnym rogu ekranu, aż ikona myszy zmieni się w tekst, jak pokazano w pliku uzupełniającym 2, a następnie kliknij niewidoczny tekst debugowania, włączając tryb debugowania.
    2. Z przycisków, które pojawiają się między modelami, kliknij przycisk timerStop, aby przerwać zadanie, a następnie kliknij przycisk konsoli, aby otworzyć konsolę JSmol modelu po prawej stronie. Jeśli zadanie z interakcji będącej przedmiotem zainteresowania nie było pierwszym, kliknij ponumerowane przyciski w górnym obszarze debugowania, aby zmienić zadanie wyświetlane na ekranie.
      UWAGA: JSmol to oprogramowanie do modelowania molekularnego używane na stronie internetowej.
    3. Otwórz plik wyjściowy jmol console.xlsx i skopiuj całą stronę poleceń Jmol.
      UWAGA: Każda strona zawiera polecenia dotyczące innej sceny lub animacji.
    4. Wewnątrz konsoli JSmol wklej listę skopiowanych poleceń i kliknij przycisk Uruchom lub naciśnij Enter na klawiaturze, aby go wykonać.
    5. W razie potrzeby wygeneruj animację .gif. Napisz polecenie capture "filename" SCRIPT "output" w konsoli JSmol, gdzie filename to nazwa pliku .gif do utworzenia, a wyjście to cała lista poleceń skopiowanych w kroku 3.3.3, zachowując oba w podwójnym cudzysłowie.
      UWAGA: Im bardziej skomplikowane stają się polecenia, z większymi modelami lub większą liczbą zmian w czasie, a także im mniej zaawansowane są specyfikacje używanego komputera, tym wolniejsza staje się animacja. Jmol koncentruje się na wizualizacji związków chemicznych i reakcji, a rodzaj animacji powstałych w wyniku naszych badań przesuwa granice możliwości renderowania Jmol. Punkty te należy wziąć pod uwagę i uwzględnić przy wykonywaniu jakichkolwiek pomiarów ilościowych z tą animacją.

4. Personalizacja zadań

UWAGA: Cała ta sekcja jest opcjonalna i zalecana tylko dla tych, którzy lubią eksperymentować lub rozumieją, jak kodować. Poniżej znajdziesz niektóre z wielu dostępnych opcji, które można dostosować, a więcej opcji stanie się dostępnych w miarę dalszego rozwoju metod.

  1. Konfigurowanie nowych lub istniejących zadań.
    1. Określ, ile interaktywnych zadań zostanie wykonanych przez uczestnika i nazwij każde z nich w pliku object_configs.js wewnątrz tablicy task_list zastępując istniejące nazwy elementów lub dodając kolejne. Upewnij się, że każda nazwa jest unikatowa, ponieważ są one później używane jako identyfikatory.
    2. Wybierz pliki współrzędnych 3D zgodne z JSmol, aby wykonać zadania interaktywne (http://wiki.jmol.org/index.php/File_formats). Skopiuj te pliki do folderu models.
      UWAGA: Skrypty zawarte w tym artykule są zoptymalizowane pod kątem modeli asymetrycznych korzystających z formatu pliku .xyz. Wybierając pliki współrzędnych, unikaj symetrii obrotu, ponieważ mają one niejednoznaczne rozwiązania65.
    3. Zdefiniuj ustawienia renderowania dla obiektów 3D w funkcji prepMolecule(num).
      UWAGA: Wszystkie zmiany od jednego zadania do drugiego wykonywane przez JSmol trafiają tutaj: zmiana wzorca kolorów, zmiana rozmiaru lub sposobu renderowania elementów graficznych, orientacja, translacja, ukrywanie części obiektu, wczytywanie nowych modeli 3D itp. (więcej przykładów w https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm). Każde zadanie nazwane w task_list odpowiada sprawie. Każde polecenie do wykonania przez JSmol ma strukturę: Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 "); gdzie jsmol_obj odnosi się do zmienianego obiektu (jsmol_ref i jsmol_obj są domyślne dla obiektów docelowych i interaktywnych), po którym następuje jedno lub więcej poleceń oddzielonych znakiem "; ".
  2. Tworzenie nowych modeli.
    1. Użyj dowolnego modelu .xyz pobranego online lub zbudowanego przez edytorów molekularnych, takich jak Avogadro (https://avogadro.cc/).

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ewolucja rozbieżności kątowej i innych zmiennych
Jak pokazano w kroku 3.3.1 w pliku uzupełniającym 2, na ekranie monitora wideo prezentowane są uczestnikowi dwa płótna, na których wyświetlane są kopie tego samego wirtualnego obiektu 3D w różnych orientacjach. Na lewym płótnie obiekt docelowy (tObj) pozostaje statyczny i służy jako pozycja docelowa lub pozycja tObj. Na prawym płótnie interaktywny obiekt (iObj) jest pokazany w innej pozycji i pozwala uczestnikowi przesuwać go w czasie wokół ustalonego środka obrotu za pomocą myszy (tylko obroty; translacje są wyłączone). Zadanie polega na dostosowaniu iObj tak, aby ściśle odpowiadał tObj w oparciu o ocenę uczestnika. Trzy użyte obiekty 3D można zobaczyć w Rysunek 1. Proces rozwiązywania, choć złożony, może być skrupulatnie rejestrowany w celu późniejszej analizy. To nagranie wykracza poza zwykły materiał wideo, ponieważ każda pozycja w czasie jest rejestrowana w stałych odstępach 0,1 s jako kwaternion, tworząc szereg czasowy, który umożliwia pełną rekonstrukcję całego procesu. W każdej pozycji występuje unikalny obrót wokół określonej osi, w zakresie od 0° do 180°, który bezpośrednio przekształca pozycję tObj w pozycję iObj. Chociaż ta rotacja jest abstrakcyjna i niezwiązana z PR uczestnika podczas zadania, dokładnie wskazuje dokładną pozycję iObj względem tObj. AD jest kątem tego obrotu i może być obliczony z odpowiedniego kwaternionu. Gdy pozycja iObj zbliża się do pozycji tObj, wartość ta zbliża się do zera.

Po kroku 3.1.6 sekcji Przetwarzanie i analiza danych, zostały utworzone dwa pliki: output merge X Y.xlsx i output jmol console X Y.xlsx, gdzie X to wartość sessionID, a Y to wartość taskID. W przypadku korzystania z wartości domyślnych przez pozostawienie pustych pól wejściowych pliki powinny mieć nazwy wyjściowe scalanie 1682707472090 bolaBastao_c.xlsx i wyjściowe jmol console 1682707472090 bolaBastao_c.xlsx. Wyjściowe scalanie plików X Y.xlsx zawiera wybrane dane śledzenia ruchu gałek ocznych scalone z danymi iRT, wyrównane według czasu epoki UNIX, podobnie jak Rysunek 2A, jeśli wszystko przebiegło poprawnie, lub Rysunek 2B, jeśli wystąpił jakiś problem.

Wyjściowe pliki konsoli jmol X Y.xlsx zawierają do pięciu zakładek wypełnionych poleceniami konsoli Jmol, które po wklejeniu do konsoli Jmol odtworzą ruchy uczestnika podczas rozwiązywania zadania: powtórka obrotu odtwarza obroty iObj wykonane przez uczestnika; gaze replay int odtwarza obroty iObj z dodaną mapą termiczną fiksacji na obiekcie w czasie przy użyciu skali przezroczystości/nieprzezroczystości; powtórka spojrzenia tgt pokazuje tylko mapę cieplną fiksacji 3D tObj podczas zadania; ramka spojrzenia INT i ramka spojrzenia TGT pokazują ogólne mapowanie fiksacji całego procesu zarówno dla iObj, jak i tObj. Wszystkie z nich są zilustrowane w Rysunek 3A-F. Jmol i JSmol są zasadniczo identyczne, Jmol jest wtyczką opartą na języku programowania Java, a JSmol w języku programowania JavaScript, oba mają te same funkcje i są używane zamiennie.

Rysunek 4 ilustruje ewolucję rozbieżności kątowej w funkcji czasu dla sześciu różnych scenariuszy z udziałem dwóch uczestników i trzech obiektów. Czas trwania procesu może się znacznie różnić w zależności od wyników uczestnika z interaktywnym obiektem zadania. W każdym zadaniu wykonanym poprawnie przez uczestnika, AD dąży do zera na końcu. Jeśli ten sam wykres nie pokazuje tego zachowania, oznacza to, że uczestnik nie był w stanie ukończyć zadania, ponieważ zrezygnował lub osiągnął limit czasu na zadanie (około 5 minut), albo wystąpił błąd w przetwarzaniu danych.

Połączone wyniki rekordów PR iObj i dane uzyskane z pomiarów eye-trackingowych są pokazane w Rysunek 5. Zmienność rozbieżności kątowej między obiektami docelowymi a inercyjnymi w funkcji czasu wskazuje na trzy odrębne etapy w procesie rozwiązywania zadanego zadania: wstępna obserwacja modeli; rotacja balistyczna modelu interaktywnego; Dostrajanie obrotu modelu interaktywnego. Rysunek 5A pokazuje wzrok na przemian między modelami w początkowej fazie, a dokładniej w fazie dostrajania. Rysunek 5B pokazuje, że źrenica pozostaje bardziej rozszerzona w początkowej fazie i dostrajaniu. W fazie dostrajania długi okres fiksacji na modelu interaktywnym (40-47 s w Rysunek 5A) odpowiada plateau średnicy źrenicy (40-47 s, Rysunek 5B).

Te wyniki sugerują, że dane uzyskane za pomocą proponowanej tutaj metody są zgodne z modelem rozwiązywania problemów rotacji mentalnej zaproponowanym na podstawie danych o koncentracji wzroku dla modeli statycznych14,66 i dla modeli interaktywnych23. Taki model obejmowałby trzy etapy: wyszukiwanie, przekształcanie i porównywanie oraz potwierdzanie zgodności lub niezgodności między modelami. Ponadto naprzemienność fiksacji między modelem docelowym a interaktywnym na etapach porównania obserwowana w Rysunek 5A jest zgodna z wynikami uzyskanymi w testach typu Sheppard i Metzler, które wykorzystują obrazy statyczne42,66. Jednak w przypadku modeli interaktywnych jest prawdopodobne, że te etapy wyszukiwania, transformacji, porównywania i potwierdzania następują kolejno poprzez interakcję i repozycjonowanie interaktywnego modelu.

Trajektorie rotacji 3D
Każdy obrót w przestrzeni 3D od 0° do 180° może być przesunięty na punkt wewnątrz kuli (który jest rozumiany jako objętość wewnątrz kuli) o promieniu równym 180°. Rysunek 6 pokazuje tę zgodność z trzema przykładowymi obrotami. Odległość punktu do środka piłki to rozbieżność kąta iObj od pozycji tObj, a wektor wskazujący od środka piłki do punktu to kierunek obrotu, przy czym obrót jest wykonywany w sensie zgodnym z ruchem wskazówek zegara, patrząc ze środka. To przełożenie obrotów na punkty w piłce pozwala komuś bezpośrednio zwizualizować, na jednym rysunku 3D, całą trajektorię obrotów wykonanych przez uczestnika w zadaniu. Nazywamy to rysowaniem trajektorii obrotu 3D.

Analogicznie do miary AD, dla każdego zadania poprawnie wykonanego przez uczestnika, trajektoria powinna zbliżać się, w końcu, do środka piłki. Jeśli trajektoria osiągnie granicę kuli przy obrocie o 180°, owinie się wokół punktu antypodalnego na kuli. Rysunek 7 ilustruje trajektorię obrotu obraną przez dwóch wcześniej wymienionych uczestników wykonujących trzecie zadanie (C1 i C2 w Rysunek 4), oglądaną zarówno w perspektywie, jak i w rzutach na trzy płaszczyzny współrzędnych. Z rysunku jasno wynika, że pomimo stosunkowo niewielkiego początkowego AD bliskiego 45°, uczestnik 1 początkowo zboczył z pozycji docelowej, zanim znalazł ostateczną drogę do rozwiązania, w przeciwieństwie do uczestnika 2, który wykonał zadanie szybciej.

Mapa termiczna 3D Fixation
Podczas procesu rozwiązywania problemów uczestnik naprzemiennie przenosi wzrok między tObj i iObj podczas interakcji z iObj. Dzięki danym ze śledzenia wzroku możemy wyodrębnić pozycję wzroku uczestnika i stworzyć mapę cieplną regionów ekranu, które przyciągnęły najwięcej i najmniej uwagi uczestnika w danym interwale. Idąc dalej, dzięki zsynchronizowanym danym kwaternionów zarówno ze śledzenia ruchu gałek ocznych, jak i kwaternionów iRT, możemy jednocześnie mapować w przestrzeni 3D i w czasie, ile uwagi poświęca się każdemu z wierzchołków obiektu, nawet w przypadku obiektów obracanych w czasie.

W Rysunek 3, uwaga poświęcona obiektowi jest reprezentowana przez poziom krycia każdego wierzchołka. Im bliżej jest wzroku uczestnika i im dłużej pozostaje w pobliżu, tym więcej uwagi otrzymuje, co skutkuje większą nieprzezroczystością w tym obszarze obiektu. Przestrzenny spadek uwagi jest modelowany za pomocą dwuwymiarowej jednorodnej funkcji Gaussa dla pozycji spojrzenia i prostej jednorodnej funkcji Gaussa zastosowanej dla czasu, który upłynął. Odchylenie standardowe tych Gaussianów zostało wybrane przy założeniu kąta widzenia 2 stopnie67 oraz krótkotrwałej pamięci wizualnej 10 s68. Aby zapobiec wszelkim artefaktom wizualnym za pomocą tej metody, dane o bliskości spojrzenia są ustawiane na zero, gdy spojrzenie znajduje się poza płótnem obiektu (iObj nie otrzymuje żadnej szczątkowej uwagi, gdy spojrzenie znajduje się wewnątrz płótna tObj lub na zewnątrz obu). Rysunek 3 pokazuje pojedynczą klatkę z każdego obiektu z całej animacji odtwarzania i te same klatki z mapą termiczną fiksacji 3D. Możliwe porównanie tObj i iObj przez uczestnika podczas procesu rozwiązywania można zobaczyć (Rysunek 3C,D), gdy zadanie zbliża się do końca (czas = 6,3 s). Cały proces można zobaczyć w formie filmu w filmie uzupełniającym S1. Relacjonujemy wyniki komputerowego obracania modeli 3D przedstawionych uczestnikom jako zadanie wykonane w normalnych warunkach.

figure-results-1
Rysunek 1: Użyte obiekty docelowe. Obraz modeli 3D używanych w zadaniach na stronie internetowej. (A) Cząsteczka z reprezentacją kuli i patyka; (B) Ta sama cząsteczka z wypełnionymi wielokątami, bez wodoru i reprezentowana tylko przez pałeczki; (C) wielosześcian podobny do jednej z figur Sheparda i Metzlera13, pochodzący z biblioteki bodźców Petersa i Battisty36. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-2
Rysunek 2: Porównanie arkuszy. (A,B) Obrazy pochodzą z 1682707472090 bolaBastao_c.xlsx scalania arkusza kalkulacyjnego. Kolumny od A do G zawierają wartości danych iRT, natomiast kolumny od H do N zawierają wartości danych śledzenia ruchu gałek ocznych. W (A) wszystko się zgadza, natomiast w (B) w kolumnach eye trackera wszystkie wartości są stałe i nie zgadzają się z wartościami czasu systemowego iRT. Jeśli wystąpi jakikolwiek problem z procesem synchronizacji danych, ten błąd prawdopodobnie wystąpi. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-3
Rysunek 3: Mapa termiczna utrwalenia 3D. Mapa termiczna fiksacji na obiekcie 3D przy użyciu skali krycia, gdzie większa nieprzezroczystość koreluje z dłuższym czasem spędzonym w pobliżu wzroku uczestnika. (A,B) obrazy tObj i iObj przedstawiające zadanie rozwiązywane przez uczestnika po upływie 6,3 s. (C,D) Te same obrazy co (A,B) w tym samym momencie z dodaną skalą krycia mapy cieplnej. (E,F) Obrazy mapy cieplnej fiksacji uwzględniające cały okres, w którym uczestnik mógł zobaczyć obiekty. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-4
Rysunek 4: Siatka AD. Narysuj siatkę rozbieżności kątowej między dwoma uczestnikami i trzema zadaniami. Kolumny reprezentują uczestników 1 i 2, a wiersze reprezentują zadania rozwiązane przez uczestników za pomocą trzech obiektów zilustrowanych na Rysunek 3. Należy pamiętać, że chociaż AD waha się od 0° do 180°, zakres czasu nie jest stały i zmienia się w zależności od wyników uczestnika i jego własnej decyzji o zatrzymaniu procesu. Gdy uczestnik obraca iObj, AD między tObj i iObj zmienia się w miarę upływu czasu, aż w końcu uczestnik wybiera bieżącą orientację iObj jako najbliższą tObj. Wpierwszym i drugim zadaniu obaj uczestnicy wydawali się robić postępy w podobny sposób, ale uczestnik 1 zajmował o połowę mniej czasu niż uczestnik 2. A wtrzecim zadaniu, chociaż uczestnik 2 potrzebował mniej czasu na wykonanie zadania, uczestnik 1 rozwiązał zadanie przed upływem 20 sekund i dokonywał drobnych korekt, aby lepiej dopasować iObj do tObj. Skrót: AD = rozbieżność kątowa. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-5
Rysunek 5: AD z danymi śledzenia wzroku. Ewolucja rozbieżności kątowej w połączeniu z danymi z eye-trackerów. (A) Rozbieżność kątowa i pozycja spojrzenia, ewolucja rozbieżności kątowej między tObj i iObj, w połączeniu z danymi dotyczącymi fiksacji regionalnej dla każdego modelu. Wykres pokazuje, w jakim regionie znajduje się wzrok uczestnika: czerwony, gdy znajduje się na płótnie iObj, niebieski, gdy znajduje się na płótnie tObj i szary, gdy znajduje się na zewnątrz obu, patrząc na inny element na ekranie lub odwracając od niego wzrok. (B) Rozbieżność kątowa i średnica źrenicy. Rozbieżność kątowa, w kolorze niebieskim, w połączeniu z danymi o średnicy źrenicy, w kolorze pomarańczowym. Średnica źrenicy to średnia wartość lewej i prawej źrenicy w każdym momencie. Skrót: AD = rozbieżność kątowa. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-6
Rysunek 6: Kula obrotów. Rysunek ten ilustruje, w jaki sposób każda możliwa pozycja obrotu obiektu z pozycji odniesienia może być przedstawiona jako punkt w kuli o promieniu 180°, co pozwala na pełne odwzorowanie pozycji obrotu obiektu we wszystkich trzech osiach. Tutaj kula jest rozumiana jako objętość ograniczona kulą. (A) Obiekt użyty jako przykład to asymetryczny związek siedmiu sześcianów, przedstawiony na górze, po lewej stronie. Trzy proste obroty ponumerowane I, II i III są stosowane do tego obiektu, jak pokazano po prawej. Wynoszą one odpowiednio +90° na osi x, -60° na osi z i 180° na osi między +x a -y, w odległości 45° od obu osi. (B) Kula obrotu jest pokazana z punktami odpowiadającymi obrotom I, II i III. Odległość od środka piłki to różnica kątów. Ponieważ III osiąga maksymalny kąt obrotu (180°), jest również reprezentowany w swoim antypodalnym punkcie, ponieważ są one zasadniczo takie same. Obrót II, będący przeciwny do ruchu wskazówek zegara w stosunku do dodatniego kierunku osi z, pojawia się po stronie ujemnej. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-7
Rysunek 7: Trajektoria obrotu 3D. Trajektoria obrotu wewnątrz kuli obrotów wykonywanych przez dwóch uczestników trzeciego zadania, oglądana zarówno w perspektywie (A), jak i w rzutach na płaszczyzny współrzędnych (B-D). Grubość linii zmniejsza się z czasem. Każda kolumna odpowiada uczestnikowi (v1 i v2). Gdy trajektorie zbliżają się do środka piłki, uczestnicy są bliżej rozwiązania zadania. Wartość "0" oznacza początkową pozycję zadania. Kolejne liczby wskazują punkty, w których trajektoria dociera do krawędzi piłki i przechodzi przez punkt antypodalny po przeciwnej stronie (1 do 2, 2 do 3, 3 do 4 itd.). Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Tabela uzupełniająca S1: Nagłówki arkuszy. Lista nagłówków w sklonowanym pliku arkusza. Każdy nagłówek odpowiada nazwie zmiennej i będzie otrzymywał dane z tej zmiennej tworzącej kolumnę wartości używanych w przetwarzaniu i analizie naszych danych. Kliknij tutaj, aby pobrać ten plik.

Plik uzupełniający 1: Przewodnik po kroku 1 protokołu. Lista zrzutów ekranu prowadzących przez kolejne kroki metody protokołu "1. Przygotowanie narzędzi do zbierania danych". Kliknij tutaj, aby pobrać ten plik.

Plik uzupełniający 2: Przewodnik po kroku 3 protokołu. Lista zrzutów ekranu prowadzących przez kolejne kroki metody protokołu "3. Przetwarzanie i analiza danych". Kliknij tutaj, aby pobrać ten plik.

Dodatkowe wideo 1: Powtórka mapowania fiksacji. Przykład animowanych powtórek czasowego mapowania uwagi w 3D z iObj i tObj jednocześnie. Nagrane przy użyciu OBS Studios i renderowane za pomocą edytora wideo OpenShot. Kliknij tutaj, aby pobrać ten plik.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Jak wspomniano wcześniej, niniejszy artykuł ma na celu przedstawienie szczegółowej procedury mapowania w czasie rzeczywistym danych ruchu fiksacji i sakad na interaktywnych obiektach 3D, która jest łatwo konfigurowalna i wykorzystuje tylko oprogramowanie dostępne za darmo, dostarczając instrukcje krok po kroku, aby wszystko działało.

Chociaż ta eksperymentalna konfiguracja obejmowała wysoce interaktywne zadanie, takie jak przesuwanie obiektu 3D w celu dopasowania orientacji innego obiektu do PR w dwóch z trzech możliwych osi, zadbaliśmy o dokładną dokumentację naszych skryptów poprzez odpowiednie komentarze, aby ułatwić wszelkie dostosowania. Można zaprojektować różne inne rodzaje eksperymentów, przy czym urządzenie śledzące ruch gałek ocznych jest tylko jednym z wielu innych możliwych urządzeń używanych do pozyskiwania danych czasowych.

Nagłówki w skopiowanym pliku z kroku 1.1.3.3 definiują zawartość i miejsce, w którym dane będą zbierane online. Tabela uzupełniająca S1 zawiera listę nazw zmiennych (we wszystkich rozróżniana jest wielkość liter) i ich znaczenie. Te zmienne odzwierciedlają zmienne znajdujące się w plikach JavaScript w repozytorium GitHub. Rodzaj i różnorodność danych oraz nazw zmiennych, zarówno z tego arkusza, jak i plików JavaScript, powinny być zmieniane zgodnie z zakresem i wymaganiami badania.

Zapis danych rotacyjnych w kwaternionach pozwala badaczowi odtworzyć te same ruchy wykonywane przez uczestników podczas zadań, ułatwiając analizę procesu i znacznie efektywniej wykorzystując przestrzeń dyskową w porównaniu ze zrzutem ekranu. Bardziej szczegółowa analiza, taka jak trajektoria obrotu 3D, pokazana na rysunku 7 przy użyciu kuli obrotów, jest możliwa tylko dzięki wewnętrznym danym kwaternionowym interaktywnych obiektów. Ten nowy typ wykresu, rozwijający się z wykresu AD w czasie przez Gardony22 i Adams23, dostarcza bardziej szczegółowych informacji, z rzeczywistymi współrzędnymi obrotu 3D w czasie.

Kolejną zaletą jest użycie standardowej miary czasu do synchronizacji wszystkich źródeł danych. Łączenie z tym różnych warstw informacji zależnych od czasu staje się znacznie łatwiejsze, na przykład nakładanie wykresów z wieloma źródłami danych, jak na rysunku 5B z pomiarem rozszerzenia źrenicy lub na rysunku 5A z kolorowymi pionowymi pasami, oznaczającymi możliwe wzorce w procesie rozwiązywania przez uczestników, nawet jeśli w iObj prawie nie zachodził obrót. Mapa cieplna fiksacji 3D pokazana na rysunku 3 jest możliwa tylko na podstawie danych kwaternionów i synchronizacji danych.

Bardzo ważne jest, aby korzystać z synchronizacji za pomocą standardowej miary czasu, aby zapewnić jakąkolwiek integrację danych czasowych. Standardem czasowym wybranym dla naszego projektu była epoka UNIX, która jest używana w JavaScript i większości innych języków programowania. Dla każdego zestawu danych musi być używany pewien typ znanego standardu czasu, nawet jeśli inny standard, który może być później przekonwertowany na epokę systemu UNIX. Dane czasowe, które nie korzystają z żadnych standardów, z całą pewnością nie będą w stanie się zsynchronizować i stracą swoją użyteczność.

Kolejnym ograniczeniem jest stosunkowo niska częstotliwość 10 Hz stosowana w testach iRT w stosunku do częstotliwości śledzenia ruchu gałek ocznych wynoszącej 60 Hz. Dzieje się tak częściowo z powodu ograniczeń w przetwarzaniu i przesyłaniu danych w przeglądarce, ponieważ każda wyższa częstotliwość proporcjonalnie skróciłaby maksymalny limit czasu każdego zadania, który obecnie wynosi 327 s. Dodatkowo, płynne renderowanie złożonych animacji w Jmol przy tej liczbie klatek na sekundę już stanowiło wyzwanie. Dodatkowe wideo S1 to nagranie wideo, na którym Jmol renderuje powtórkę ze zmianą krycia w czasie, odwzorowując stopień skupienia otrzymanego przez każdy wierzchołek. Podczas gdy czas trwania filmu wynosi prawie 2 minuty, rzeczywiste zadanie zostało wykonane w 63 s. Przyszłe prace nad oprogramowaniem, które skupiałyby się specjalnie na takich funkcjach, zamiast dostosowywać istniejące, mogłyby wyeliminować te ograniczenia i zwiększyć możliwości gromadzenia i analizy danych.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy nie mają do ujawnienia żadnych konfliktów interesów.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy są wdzięczni Koordynacji na rzecz Doskonalenia Kadr Szkolnictwa Wyższego (CAPES) - Kod Finansowy 001 oraz Uniwersytetowi Federalnemu ABC (UFABC). João R. Sato otrzymał wsparcie finansowe od Fundacji Badawczej São Paulo (FAPESP, granty nr 2018/21934-5, 2018/04654-9 i 2023/02538-0).

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
FirefoxMozilla Foundation (Open Source)Każda zaktualizowana nowoczesna przeglądarka, która jest kompatybilna z WebGL (https://caniuse.com/webgl), a z kolei z Jmol, może być używana
GNU OctaveOpen Sourcehttps://octave.org/
Google Apps ScriptGoogle LLCscript.google.com
Arkusze GoogleLLChttps://www.google.com/sheets/about/
LaptopDowolny komputer, na którym można uruchomić oprogramowanie systemu śledzenia ruchu gałek ocznych.
Pakiet oprogramowania Mangold Mangold Interfejs oprogramowania używany w urządzeniu śledzącym ruch gałek ocznych. Można użyć dowolnego oprogramowania, które wyprowadza dane z wartościami czasu systemowego.
MyszKażda mysz zdolna do klikania i przeciągania prostymi ruchami powinna być kompatybilna. Interfejsy człowieka analogiczne do myszy o tych samych możliwościach, takie jak ekran dotykowy lub wskaźnik, powinny być kompatybilne, ale mogą zachowywać się inaczej.
Vt3minicyfrowe EyeTech60 Hz. Każde działające urządzenie do śledzenia ruchu gałek ocznych powinno być kompatybilne.
Systemy

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. 34;General intelligence," objectively determined and measured. The American Journal of Psychology. 15, 201-292 (1904).">Spearman, C. 34;General intelligence," objectively determined and measured. The American Journal of Psychology. 15, 201-292 (1904).
  2. Human spatial abilities: psychometric studies and environmental, genetic, hormonal, and neurological influences. Psychological bulletin. 86 (5), 889-918 (1979).">McGee, M. G. Human spatial abilities: psychometric studies and environmental, genetic, hormonal, and neurological influences. Psychological bulletin. 86 (5), 889-918 (1979).
  3. The structure of human intelligence: It is verbal, perceptual, and image rotation (VPR), not fluid and crystallized. Intelligence. 33 (4), 393-416 (2005).">Johnson, W., Bouchard, T. J. The structure of human intelligence: It is verbal, perceptual, and image rotation (VPR), not fluid and crystallized. Intelligence. 33 (4), 393-416 (2005).
  4. Components of spatial intelligence. Psychology of Learning and Motivation. 52, 265-297 (2010).">Hegarty, M. Components of spatial intelligence. Psychology of Learning and Motivation. 52, 265-297 (2010).
  5. The malleability of spatial skills: a meta-analysis of training studies. Psychological Bulletin. 139 (2), 352-402 (2013).">Uttal, D. H., et al. The malleability of spatial skills: a meta-analysis of training studies. Psychological Bulletin. 139 (2), 352-402 (2013).
  6. Emergence and characterization of sex differences in spatial ability: a meta-analysis. Child Development. 56 (6), 1479-1498 (1985).">Linn, M. C., Petersen, A. C. Emergence and characterization of sex differences in spatial ability: a meta-analysis. Child Development. 56 (6), 1479-1498 (1985).
  7. Spatial thinking in infancy: Origins and development of mental rotation between 3 and 10 months of age. Cognitive Research: Principles and Implications. 5, 10(2020).">Johnson, S. P., Moore, D. S. Spatial thinking in infancy: Origins and development of mental rotation between 3 and 10 months of age. Cognitive Research: Principles and Implications. 5, 10(2020).
  8. Spatial ability for STEM domains: aligning over 50 years of cumulative psychological knowledge solidifies its importance. Journal of Educational Psychology. 101 (4), 817-835 (2009).">Wai, J., Lubinski, D., Benbow, C. P. Spatial ability for STEM domains: aligning over 50 years of cumulative psychological knowledge solidifies its importance. Journal of Educational Psychology. 101 (4), 817-835 (2009).
  9. Six myths about spatial thinking. International Journal of Science Education. 34, 955-971 (2012).">Newcombe, N. S., Stieff, M. Six myths about spatial thinking. International Journal of Science Education. 34, 955-971 (2012).
  10. Creativity and technical innovation: spatial ability's unique role. Psychological Science. 24 (9), 1831-1836 (2013).">Kell, H. J., Lubinski, D., Benbow, C. P., Steiger, J. H. Creativity and technical innovation: spatial ability's unique role. Psychological Science. 24 (9), 1831-1836 (2013).
  11. Spatial ability as a distinct domain of human cognition: An evolutionary perspective. Intelligence. 101616, (2022).">Geary, D. C. Spatial ability as a distinct domain of human cognition: An evolutionary perspective. Intelligence. 101616, (2022).
  12. Mental rotation of three-dimensional objects. Science. 171, 701-703 (1971).">Shepard, R., Metzler, J. Mental rotation of three-dimensional objects. Science. 171, 701-703 (1971).
  13. Perceptual illusion of rotation of three-dimensional objects. Science. 191, 952-954 (1973).">Shepard, R., Judd, S. Perceptual illusion of rotation of three-dimensional objects. Science. 191, 952-954 (1973).
  14. Eye fixations and cognitive processes. Cognitive Psychology. 8, 441-480 (1976).">Just, M. A., Carpenter, P. A. Eye fixations and cognitive processes. Cognitive Psychology. 8, 441-480 (1976).
  15. Cognitive coordinate systems: accounts of mental rotation and individual differences in spatial ability. Psychological Review. 92 (2), 137-172 (1985).">Just, M. A., Carpenter, P. A. Cognitive coordinate systems: accounts of mental rotation and individual differences in spatial ability. Psychological Review. 92 (2), 137-172 (1985).
  16. Mental rotation: effects of dimensionality of objects and type of task. Journal of Experimental Psychology: Human Perception and Performance. 14 (1), 3-11 (1988).">Shepard, S., Metzler, D. Mental rotation: effects of dimensionality of objects and type of task. Journal of Experimental Psychology: Human Perception and Performance. 14 (1), 3-11 (1988).
  17. Size invariance in visual object priming. Journal of Experimental Psychology: Human Perception and Performance. 18, 121-133 (1992).">Biederman, I., Cooper, E. Size invariance in visual object priming. Journal of Experimental Psychology: Human Perception and Performance. 18, 121-133 (1992).
  18. Motor processes in mental rotation. Cognition. 68 (1), 77-94 (1998).">Wexler, M., Kosslyn, S. M., Berthoz, A. Motor processes in mental rotation. Cognition. 68 (1), 77-94 (1998).
  19. Mental and manual rotation. Journal of Experimental Psychology: Human Perception and Performance. 24 (2), 397-412 (1998).">Wohlschläger, A., Wohlschläger, A. Mental and manual rotation. Journal of Experimental Psychology: Human Perception and Performance. 24 (2), 397-412 (1998).
  20. Women and men exhibit different cortical activation patterns during mental rotation tasks. Neuropsychologia. 40, 2397-2408 (2002).">Jordan, K., W, T., Heinze, H., Peters, M., Jäncke, L. Women and men exhibit different cortical activation patterns during mental rotation tasks. Neuropsychologia. 40, 2397-2408 (2002).
  21. Suitable stimuli to obtain (no) gender differences in the speed of cognitive processes involved in mental rotation. Brain and Cognition. 64, 217-227 (2007).">Jansen-Osmann, P., Heil, M. Suitable stimuli to obtain (no) gender differences in the speed of cognitive processes involved in mental rotation. Brain and Cognition. 64, 217-227 (2007).
  22. What does physical rotation reveal about mental rotation. Psychological Science. 25 (2), 605-612 (2014).">Gardony, A. L., Taylor, H. A., Brunyé, T. T. What does physical rotation reveal about mental rotation. Psychological Science. 25 (2), 605-612 (2014).
  23. Effects of mental and manual rotation training on mental and manual rotation performance. Spatial Cognition & Computation. 14 (3), 169-198 (2014).">Adams, D. M., Stull, A. T., Hegarty, M. Effects of mental and manual rotation training on mental and manual rotation performance. Spatial Cognition & Computation. 14 (3), 169-198 (2014).
  24. Mental rotation of sequentially presented 3D figures: sex and sex hormones related differences in behavioural and ERP measures. Scientific Reports. 9, 18843(2019).">Griksiene, R., Arnatkeviciute, A., Monciunskaite, R., Koenig, T., Ruksenas, O. Mental rotation of sequentially presented 3D figures: sex and sex hormones related differences in behavioural and ERP measures. Scientific Reports. 9, 18843(2019).
  25. Mental rotation with abstract and embodied objects as stimuli: evidence from event-related potential (ERP). Experimental Brain Research. 238, 525-535 (2020).">Jansen, P., Render, A., Scheer, C., Siebertz, M. Mental rotation with abstract and embodied objects as stimuli: evidence from event-related potential (ERP). Experimental Brain Research. 238, 525-535 (2020).
  26. Early digital computer art at Bell Telephone Laboratories, Incorporated. Leonardo. 49 (1), 55-65 (2016).">Noll, M. Early digital computer art at Bell Telephone Laboratories, Incorporated. Leonardo. 49 (1), 55-65 (2016).
  27. Mental rotations, a group of three-dimensional spatial visualization. Perceptual and Motor Skills. 47, 599-604 (1978).">Vandenberg, S. G., Kuse, A. R. Mental rotations, a group of three-dimensional spatial visualization. Perceptual and Motor Skills. 47, 599-604 (1978).
  28. Ability and sex differences in spatial thinking: What does the mental rotation test really measure. Psychonomic Bulletin & Review. 25, 1212-1219 (2018).">Hegarty, M. Ability and sex differences in spatial thinking: What does the mental rotation test really measure. Psychonomic Bulletin & Review. 25, 1212-1219 (2018).
  29. Training effect on sex-based differences in components of the Shepard and Metzler mental rotation task. Journal of Physiological Anthropology. 41, 39(2022).">Kozaki, T. Training effect on sex-based differences in components of the Shepard and Metzler mental rotation task. Journal of Physiological Anthropology. 41, 39(2022).
  30. Gender differences in spatial ability: a critical review. Educational Psychology Review. 35, 1-29 (2023).">Bartlett, K. A., Camba, J. D. Gender differences in spatial ability: a critical review. Educational Psychology Review. 35, 1-29 (2023).
  31. Mental rotation performance in primary school age children: Are there gender differences in chronometric tests. Cognitive Development. 28, 51-62 (2013).">Jansen, P., Schmelter, A., Quaiser-Pohl, C. M., Neuburger, S., Heil, M. Mental rotation performance in primary school age children: Are there gender differences in chronometric tests. Cognitive Development. 28, 51-62 (2013).
  32. Spatial abilities and aging: a meta-analysis. Experimental Aging Research. 40, 395-425 (2014).">Techentin, C., Voyer, D., Voyer, S. D. Spatial abilities and aging: a meta-analysis. Experimental Aging Research. 40, 395-425 (2014).
  33. Relationship between spatial abilities, mental rotation and functional anatomy learning. Advances in Health Sciences Education. 12, 491-507 (2007).">Guillot, A., Champely, S., Batier, C., Thiriet, P., Collet, C. Relationship between spatial abilities, mental rotation and functional anatomy learning. Advances in Health Sciences Education. 12, 491-507 (2007).
  34. Motor expertise and performance in spatial tasks: A meta-analysis. Human Movement Science. 54, 110-124 (2017).">Voyer, D., Jansen, P. Motor expertise and performance in spatial tasks: A meta-analysis. Human Movement Science. 54, 110-124 (2017).
  35. A redrawn Vandenberg and Kuse mental rotations test: different versions and factors that affect performance. Brain and Cognition. 28, 39-58 (1995).">Peters, M., et al. A redrawn Vandenberg and Kuse mental rotations test: different versions and factors that affect performance. Brain and Cognition. 28, 39-58 (1995).
  36. Applications of mental rotation figures of the Shepard and Metzler type and description of a mental rotation stimulus library. Brain and Cognition. 66, 260-264 (2008).">Peters, M., Battista, C. Applications of mental rotation figures of the Shepard and Metzler type and description of a mental rotation stimulus library. Brain and Cognition. 66, 260-264 (2008).
  37. Manual training of mental rotation. European Journal of Cognitive Psychology. 19, 17-36 (2007).">Wiedenbauer, G., Schmid, J., Jansen-Osmann, P. Manual training of mental rotation. European Journal of Cognitive Psychology. 19, 17-36 (2007).
  38. A novel approach to analyzing all trials in chronometric mental rotation and description of a flexible extended library of stimuli. Spatial Cognition & Computation. 20 (3), 234-256 (2020).">Jost, L., Jansen, P. A novel approach to analyzing all trials in chronometric mental rotation and description of a flexible extended library of stimuli. Spatial Cognition & Computation. 20 (3), 234-256 (2020).
  39. Embodied spatial transformations:" body analogy" for the mental rotation of objects. Journal of Experimental Psychology: General. 135 (3), 327(2006).">Amorim, M. A., Isableu, B., Jarraya, M. Embodied spatial transformations:" body analogy" for the mental rotation of objects. Journal of Experimental Psychology: General. 135 (3), 327(2006).
  40. Pupillometry as a measure of cognitive load in mental rotation tasks with abstract and embodied figures. Psychological Research. 86, 1382-1396 (2022).">Bauer, R., Jost, L., Günther, B., Jansen, P. Pupillometry as a measure of cognitive load in mental rotation tasks with abstract and embodied figures. Psychological Research. 86, 1382-1396 (2022).
  41. Sex differences in mental rotation with polygons of different complexity: Do men utilize holistic processes whereas women prefer piecemeal ones. The Quarterly Journal of Experimental Psychology. 61 (5), 683-689 (2008).">Heil, M., Jansen-Osmann, P. Sex differences in mental rotation with polygons of different complexity: Do men utilize holistic processes whereas women prefer piecemeal ones. The Quarterly Journal of Experimental Psychology. 61 (5), 683-689 (2008).
  42. Deconstructing mental rotation. Journal of Experimental Psychology: Human Perception and Performance. 40 (3), 1072-1091 (2014).">Larsen, A. Deconstructing mental rotation. Journal of Experimental Psychology: Human Perception and Performance. 40 (3), 1072-1091 (2014).
  43. The role of spatial ability in mixed reality learning with the HoloLens. Anatomic Sciences Education. 15, 1074-1085 (2022).">Ho, S., Liu, P., Palombo, D. J., Handy, T. C., Krebs, C. The role of spatial ability in mixed reality learning with the HoloLens. Anatomic Sciences Education. 15, 1074-1085 (2022).
  44. Recognizing novel three-dimensional objects by summing signals from parts and views. Procedures of the Royal Society London B. 269, 1939-1947 (2002).">Foster, D. H., Gilson, S. J. Recognizing novel three-dimensional objects by summing signals from parts and views. Procedures of the Royal Society London B. 269, 1939-1947 (2002).
  45. Operational constraints on the mental rotation of STEM representations. Journal of Educational Psychology. 110 (8), 1160-1174 (2018).">Stieff, M., Origenes, A., DeSutter, D., Lira, M. Operational constraints on the mental rotation of STEM representations. Journal of Educational Psychology. 110 (8), 1160-1174 (2018).
  46. Strengthening spatial reasoning: elucidating the attentional and neural mechanisms associated with mental rotation skill development. Cognitive Research: Principles and Implications. 5, 20(2020).">Moen, K. C., et al. Strengthening spatial reasoning: elucidating the attentional and neural mechanisms associated with mental rotation skill development. Cognitive Research: Principles and Implications. 5, 20(2020).
  47. Purdue Research Foundation. , West Lafayette, IN. (1976).">Guay, R. B. Purdue spatial visualization test: Rotations. Purdue Research Foundation. , West Lafayette, IN. (1976).
  48. The Purdue Visualization of Rotations Test. The Chemical Educator. 2 (4), 1-17 (1997).">Bodner, G. M., Guay, R. B. The Purdue Visualization of Rotations Test. The Chemical Educator. 2 (4), 1-17 (1997).
  49. Psychometric properties of the Revised PSVT:R for measuring First Year engineering students' spatial ability. International Journal of Engineering Education. 29, 763-776 (2013).">Maeda, Y., Yoon, S. Y., Kim-Kang, K., Imbrie, P. K. Psychometric properties of the Revised PSVT:R for measuring First Year engineering students' spatial ability. International Journal of Engineering Education. 29, 763-776 (2013).
  50. Does spatial skills instruction improve STEM outcomes? The answer is 'yes'. Learning and Individual Differences. 67, 209-222 (2018).">Sorby, S., Veurink, N., Streiner, S. Does spatial skills instruction improve STEM outcomes? The answer is 'yes'. Learning and Individual Differences. 67, 209-222 (2018).
  51. Representations of shape during mental rotation. AAAI Spring Symposium: Cognitive Shape Processing. , 15-20 (2010).">Khooshabeh, P., Hegarty, M. Representations of shape during mental rotation. AAAI Spring Symposium: Cognitive Shape Processing. , 15-20 (2010).
  52. Spatial cognition XI. Spatial cognition 2018. Lecture Notes in Computer Science. Creem-Regehr, S., Schoning, J., Klippel, A. 11034, Springer. Cham. 167-179 (2018).">Wetzel, S., Bertel, S. Spatial cognition XI. Spatial cognition 2018. Lecture Notes in Computer Science. Creem-Regehr, S., Schoning, J., Klippel, A. 11034, Springer. Cham. 167-179 (2018).
  53. Manual training of mental rotation performance: Visual representation of rotating figures is the main driver for improvements. Quarterly Journal of Experimental Psychology. 75 (4), 695-711 (2022).">Jost, L., Jansen, P. Manual training of mental rotation performance: Visual representation of rotating figures is the main driver for improvements. Quarterly Journal of Experimental Psychology. 75 (4), 695-711 (2022).
  54. Mental rotation is suppressed during saccadic eye movements. Psychonomic Bulletin & Review. 7 (4), 654-661 (2000).">Irwin, D. E., Brockmole, J. R. Mental rotation is suppressed during saccadic eye movements. Psychonomic Bulletin & Review. 7 (4), 654-661 (2000).
  55. The role of motor processes in three-dimensional mental rotation: Shaping cognitive processing via sensorimotor experience. Learning and Individual Differences. 22, 354-359 (2021).">Moreau, D. The role of motor processes in three-dimensional mental rotation: Shaping cognitive processing via sensorimotor experience. Learning and Individual Differences. 22, 354-359 (2021).
  56. Neural foundations of imagery. Nature Reviews Neuroscience. 2, 635-642 (2001).">Kosslyn, S. M., Ganis, G., Thmpson, W. L. Neural foundations of imagery. Nature Reviews Neuroscience. 2, 635-642 (2001).
  57. Reciprocal facilitation between mental and visuomotor rotations. Scientific Reports. 13, 825(2023).">Guo, J., Song, J. H. Reciprocal facilitation between mental and visuomotor rotations. Scientific Reports. 13, 825(2023).
  58. Strategy selection versus flexibility: Using eye-trackers to investigate strategy use during mental rotation. Journal of Experimental Psychology: Learning, Memory, and Cognition. 45 (2), 232-245 (2019).">Nazareth, A., Killick, R., Dick, A. S., Pruden, S. M. Strategy selection versus flexibility: Using eye-trackers to investigate strategy use during mental rotation. Journal of Experimental Psychology: Learning, Memory, and Cognition. 45 (2), 232-245 (2019).
  59. Exploration vs. limitation - An investigation of instructional design techniques for spatial ability training on mobile devices. Computers in Human Behavior. 118, 106678(2021).">Montag, M., Bertel, S., Koning, B. B., Zander, S. Exploration vs. limitation - An investigation of instructional design techniques for spatial ability training on mobile devices. Computers in Human Behavior. 118, 106678(2021).
  60. Eye movement characteristics in a mental rotation task presented in virtual reality. Frontiers in Neuroscience. 17, 1143006(2023).">Tang, Z., et al. Eye movement characteristics in a mental rotation task presented in virtual reality. Frontiers in Neuroscience. 17, 1143006(2023).
  61. Facilitating recognition of spatial structures through animation and the role of mental rotation ability. Learning and Individual Differences. 38, 76-82 (2015).">Münzer, S. Facilitating recognition of spatial structures through animation and the role of mental rotation ability. Learning and Individual Differences. 38, 76-82 (2015).
  62. Cognitive strategies in the mental rotation task revealed by EEG spectral power. Brain and Cognition. 118, 1-18 (2017).">Gardony, A. L., Eddy, M. D., Brunyé, T. T., Taylor, H. A. Cognitive strategies in the mental rotation task revealed by EEG spectral power. Brain and Cognition. 118, 1-18 (2017).
  63. Manual and virtual rotation of three-dimensional object. Journal of Experimental Psychology: Applied. 7 (4), 286-296 (2001).">Ruddle, R. A., Jones, D. M. Manual and virtual rotation of three-dimensional object. Journal of Experimental Psychology: Applied. 7 (4), 286-296 (2001).
  64. A Systematic review of visualization techniques and analysis tools for eye-tracking in 3D environments. Frontiers in Neuroergonomics. 3, 910019(2022).">Sundstedt, V., Garro, V. A Systematic review of visualization techniques and analysis tools for eye-tracking in 3D environments. Frontiers in Neuroergonomics. 3, 910019(2022).
  65. Rotational-symmetry in a 3D scene and its 2D image. Journal of Mathematical Psychology. 87, 108-125 (2018).">Sawada, T., Zaidi, Q. Rotational-symmetry in a 3D scene and its 2D image. Journal of Mathematical Psychology. 87, 108-125 (2018).
  66. Uncovering the cognitive processes underlying mental rotation: an eye-movement study. Scientific Reports. 7, 10076(2017).">Xue, J., et al. Uncovering the cognitive processes underlying mental rotation: an eye-movement study. Scientific Reports. 7, 10076(2017).
  67. Thumb's rule tested: Visual angle of thumb's width is about 2 deg. Perception. 20, 415-418 (1991).">O'Shea, R. P. Thumb's rule tested: Visual angle of thumb's width is about 2 deg. Perception. 20, 415-418 (1991).
  68. Capacity limit of visual short-term memory in human posterior parietal cortex. Nature. 428, 751-754 (2004).">Todd, J., Marois, R. Capacity limit of visual short-term memory in human posterior parietal cortex. Nature. 428, 751-754 (2004).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Eye Tracking3D Virtual ObjectsRotation TrajectoryMental RotationInteractive Rotation TaskHuman Computer InteractionGaze Data AnalysisCognitive ProcessesReal Time RecordingRotational Mapping

Related Articles