Artykuł metodologiczny

Trójwymiarowe mapowanie obrotu interaktywnych obiektów wirtualnych za pomocą danych śledzenia wzroku

1.9K wyświetleń

⸱

DOI:

10.3791/65977

⸱

18 października 2024

 ,  ,  ,  , 
1Graduate Program in Chemistry, University of São Paulo, Institute of Chemistry, 2Graduate Program in Applied Mathematics, University of São Paulo, Institute of Mathematics and Statistics, 3Graduate Program in Neuroscience and Cognition, Federal University of ABC, Center of Mathematics, Computing and Cognition, 4School of Biomedical Engineering, Science and Health Systems, Drexel University

W tym artykule

Podsumowanie

Opracowaliśmy prostą, konfigurowalną i efektywną metodę rejestrowania ilościowych danych procesowych z interaktywnych zadań przestrzennych i mapowania tych danych rotacji za pomocą danych śledzenia wzroku.

Streszczenie

Prezentujemy metodę rejestrowania interakcji człowieka z trójwymiarowymi (3D) wirtualnymi obiektami w czasie rzeczywistym. Podejście to polega na powiązaniu danych o rotacji manipulowanego obiektu z pomiarami behawioralnymi, takimi jak śledzenie ruchu gałek ocznych, w celu uzyskania lepszych wniosków na temat leżących u podstaw procesów poznawczych.

Zadanie polega na wyświetleniu dwóch identycznych modeli tego samego obiektu 3D (cząsteczki), prezentowanych na ekranie komputera: obracającego się, interaktywnego obiektu (iObj) i statycznego, docelowego obiektu (tObj). Uczestnicy muszą obracać iObj za pomocą myszy, dopóki nie uznają, że jego orientacja jest identyczna z tObj. Komputer śledzi wszystkie dane dotyczące interakcji w czasie rzeczywistym. Dane dotyczące spojrzenia uczestnika są również rejestrowane za pomocą urządzenia do śledzenia ruchu gałek ocznych. Częstotliwość pomiaru wynosi 10 Hz na komputerze i 60 Hz na monitorze ruchu gałek ocznych.

Dane dotyczące orientacji iObj względem tObj są zapisywane w kwaternionach rotacji. Dane spojrzenia są synchronizowane z orientacją iObj i przywoływane za pomocą tego samego systemu. Metoda ta pozwala na uzyskanie następujących wizualizacji procesu interakcji człowieka z iObj i tObj: (1) rozbieżność kątowa zsynchronizowana z innymi danymi zależnymi od czasu; (2) Trajektoria rotacji 3D wewnątrz tego, co zdecydowaliśmy się nazwać "kulą obrotów"; (3) Mapa cieplna fiksacji 3D. Wszystkie kroki protokołu korzystały z wolnego oprogramowania, takiego jak GNU Octave i Jmol, a wszystkie skrypty są dostępne jako materiał dodatkowy.

Dzięki takiemu podejściu, możemy przeprowadzić szczegółowe badania ilościowe procesu rozwiązywania zadań obejmującego rotacje mentalne lub fizyczne, a nie tylko osiągnięty wynik. Możliwe jest dokładne zmierzenie, jak ważna jest każda część modeli 3D dla uczestnika w rozwiązywaniu zadań, a tym samym odniesienie modeli do odpowiednich zmiennych, takich jak charakterystyka obiektów, zdolności poznawcze osób oraz charakterystyka interfejsu człowiek-maszyna.

Wprowadzenie

Rotacja mentalna (MR) to zdolność poznawcza, która umożliwia jednostkom mentalne manipulowanie i obracanie obiektów, ułatwiając lepsze zrozumienie ich cech i relacji przestrzennych. Jest to jedna ze zdolności wzrokowo-przestrzennych, podstawowa grupa poznawcza, która była badana już w 1890 roku1. Zdolności wzrokowo-przestrzenne są ważnym składnikiem repertuaru poznawczego jednostki, na który wpływają zarówno czynniki dziedziczone, jak i środowiskowe2,3,4,5. Zainteresowanie zdolnościami wzrokowo-przestrzennymi wzrosło w XX wieku ze względu na coraz liczniejsze dowody na ich znaczenie w kluczowych dziedzinach, takich jak starzenie się6 i rozwój7, wyniki w naukach ścisłych, technologii, inżynierii i matematyce (STEM)8,9, creativity10 oraz cechy ewolucyjne11.

Współczesna idea MR wywodzi się z pionierskiej pracy opublikowanej przez Sheparda i Metzlera (SM) w 1971 roku12. Opracowali oni metodę chronometryczną wykorzystującą serię "takich samych lub różnych" zadań, prezentując dwie projekcje abstrakcyjnych obiektów 3D wyświetlanych obok siebie. Uczestnicy musieli w myślach obrócić obiekty wokół jakiejś osi i zdecydować, czy te projekcje przedstawiały ten sam obiekt obrócony inaczej, czy też odrębne obiekty. Badanie wykazało dodatnią korelację liniową między czasem odpowiedzi (RT) a rozbieżnością kątową (AD) między reprezentacjami tego samego obiektu. Ta korelacja jest znana jako efekt rozbieżności kątów (ADE). ADE jest uważane za behawioralną manifestację MR i stało się wszechobecne w kilku wpływowych późniejszych badaniach w tej dziedzinie13,14,15,16,17,18,19,20,21, 22,23,24,25. Obiekty 3D wykorzystane w badaniu SM składały się z 10 sąsiadujących ze sobą sześcianów wygenerowanych przez pioniera grafów komputerowych Michaela Nolla z Bell Laboratories26. Są one określane jako figury SM i są szeroko stosowane w badaniach MR.

Dwa postępy były bardzo ważne w przełomowej pracy Sheparda i Metzlera; po pierwsze, biorąc pod uwagę wkład w dziedzinie oceny MR. W 1978 roku Vanderberg i Kuze27 opracowali psychometryczny 20-punktowy test ołówkiem i papierem oparty na "tych samych lub różnych" figurach SM, który stał się znany jako test rotacji mentalnej (VKMRT). Każdy element testowy przedstawia bodziec docelowy. Uczestnicy muszą wybrać spośród czterech bodźców, które reprezentują ten sam obiekt przedstawiony w bodźcu docelowym, a które nie. VKMRT został wykorzystany do zbadania korelacji między zdolnością MR a różnymi innymi czynnikami, takimi jak różnice związane z płcią6,21,24,28,29,30, starzenie się i development6,31,32, wyniki w nauce8,33, oraz umiejętności muzyczne i sportowe34. W 1995 roku Peters i in. opublikowali badanie z przerysowanymi rysunkami dla klasy VKMRT35,36. Podobnie, zgodnie z "tym samym lub innym" projektem zadania, wykorzystano wiele innych bibliotek bodźców generowanych komputerowo do badania procesów MR i oceny zdolności MR (wersje 3D oryginalnych bodźców SM 19,22,23,37,38, ludzkie ciało naśladujące postacie SM25,39,40, płaskie wielokąty do obrotu 2D41,42, anatomia i narządy43, kształty organiczne44, molekuły45,46, między innymi21). Test Wizualizacji Przestrzennej Purdue (PSVT) zaproponowany przez Guaya w 1976 roku47 jest również istotny. Pociąga to za sobą szereg testów, w tym MR (PSVT:R). Wykorzystując inne bodźce niż te w VKMRT, PSVT:R wymaga od uczestników zidentyfikowania operacji rotacji w bodźcu modelowym i mentalnego zastosowania jej do innego. PSVT:R jest również szeroko stosowany, szczególnie w badaniach badających rolę MR w osiągnięciach STEM48,49,50.

Drugim ważnym osiągnięciem w przełomowej pracy Sheparda i Metzlera jest wkład w zrozumienie procesu MR, w szczególności za pomocą urządzeń śledzących ruch gałek ocznych. W 1976 roku Just i Carpenter14 użyli analogowego sprzętu do śledzenia ruchu gałek ocznych opartego na wideo, aby przeprowadzić badanie oparte na eksperymencie ADE Sheparda i Metzlera. Na podstawie wyników badań nad sakkadowymi ruchami gałek ocznych i RT zaproponowali model procesów MR składający się z trzech faz: 1) fazy poszukiwania, w której rozpoznawane są podobne części figur; 2) faza transformacji i porównania, w której jedna ze zidentyfikowanych części zostaje mentalnie obrócona; 3) faza potwierdzenia, w której podejmuje się decyzję, czy liczby są takie same, czy nie. Fazy są powtarzane rekurencyjnie, aż będzie można podjąć decyzję. Każdy krok odpowiada specyficznym sakkadowym i fiksacyjnym wzorcom ruchu gałek ocznych w ścisłym związku z obserwowanymi ADE. W ten sposób, korelując aktywność oczu z danymi chronometrycznymi, Just i Carpenter dostarczyli sygnaturę kognitywną do badania procesów MR. Do tej pory model ten, choć z adaptacjami, został przyjęty w kilku badaniach15,42,46,51,52,53.

Podążając tą ścieżką, kilka kolejnych badań monitorujących zachowanie18,19,22,23,25,34,40,54,55 i aktywność mózgu20,22,56,57 funkcji podczas rotacji bodźców. Ich odkrycia wskazują na kooperatywną rolę między rezonansem magnetycznym a procesami motorycznymi. Co więcej, rośnie zainteresowanie badaniem strategii rozwiązywania problemów z udziałem MR w odniesieniu do różnic indywidualnych 15,41,46,51,58.

Ogólnie rzecz biorąc, można uznać, że projekt badań mających na celu zrozumienie procesów MR opiera się na przedstawieniu zadania za pomocą bodźców wizualnych, które wymagają od uczestników wykonania operacji MR, która z kolei pociąga za sobą reakcję motoryczną. Jeśli ta reakcja pozwala na rotację bodźców, często nazywa się to rotacją fizyczną (PR). W zależności od szczegółowych celów każdego badania, do pozyskiwania i analizy danych MR i PR zastosowano różne strategie i urządzenia. Na etapie prezentacji bodźca zadaniowego możliwa jest zmiana rodzajów bodźców (tj. wcześniej przytoczonych przykładów); Projekcja (obrazy generowane komputerowo na tradycyjnych wyświetlaczach22,23,25,29,40,41,59, a także w stereoscopes19 i virtual60 i mixed43 środowiska rzeczywistości); oraz interaktywność bodźców (obrazy statyczne12,27,36, animacje61, oraz interaktywne obiekty wirtualne19,22,23,43,53,59).

MR jest zwykle wnioskowane na podstawie pomiarów RTs (ADE), a także aktywności oczu i mózgu25,46,62. Aktywność oka jest mierzona za pomocą danych śledzenia wzroku składających się z ruchów sakkadowych i fiksacji14,15,42,51,52,54,58,60, a także pupillometry40. Dane RT zazwyczaj pochodzą z danych reakcji silnika zarejestrowanych podczas obsługi różnych urządzeń, takich jak dźwignie13, przyciski i przełączniki14,53, pedals53, pokrętła19, joysticks37, keyboard61 i mouse29,58,60, koła napędowe53, czujniki bezwładnościowe22,23, ekrany dotykowe52,59, oraz mikrofony22. Aby zmierzyć PR, oprócz RT, projekt badania będzie również obejmował rejestrowanie ręcznych rotacji interaktywnych bodźców podczas wykonywania przez uczestników zadania MR 22,23,52,53.

W 1998 roku Wohlschläger i Wohlschläger19 używali "tych samych lub różnych" zadań z interaktywnymi wirtualnymi bodźcami SM manipulowanymi za pomocą pokrętła, z obrotami ograniczonymi do jednej osi na zadanie. Zmierzyli RT i skumulowany zapis fizycznych rotacji wykonanych podczas zadań. Porównując sytuacje z rzeczywistą rotacją interaktywnych bodźców i bez niej, doszli do wniosku, że MR i PR mają wspólny proces zarówno dla wyobrażonych, jak i faktycznie wykonywanych rotacji.

W 2014 roku przeprowadzono dwa badania wykorzystujące ten sam typ zadań z wirtualnymi interaktywnymi bodźcami22,23. Obiektami manipulowano jednak za pomocą czujników inercyjnych, które rejestrowały ruch w przestrzeni 3D. W obu przypadkach, oprócz RT, zarejestrowano trajektorie rotacji – ewolucję różnic rotacyjnych między bodźcami referencyjnymi a interaktywnymi podczas zadań. Z tych trajektorii możliwe było wydobycie zarówno informacji skumulowanych (tj. całkowitej liczby obrotów w jednostkach czwartorzędowych), jak i szczegółowych informacji o strategiach rozwiązań. Adams i wsp.23 badali efekt współpracy między MR i PR. Oprócz RT wykorzystali całkę trajektorii rotacji jako parametr dokładności i obiektywności rozdzielczości. Profile krzywych zostały zinterpretowane zgodnie z trzyetapowym modelem63 (planowanie, główny obrót, dokładna regulacja). Wyniki wskazują, że MR i PR niekoniecznie mają jeden, wspólny czynnik. Gardony et al.22 zebrali dane na temat RT, dokładności i rotacji w czasie rzeczywistym. Oprócz potwierdzenia związku między MR i PR, analiza trajektorii rotacji ujawniła, że uczestnicy manipulowali liczbami, dopóki nie byli w stanie określić, czy są one różne, czy nie. Jeśli były takie same, uczestnicy obracali je, aż wyglądały tak samo.

Kontynuując tę strategię, w 2018 roku Wetzel i Bertel52 również wykorzystali interaktywne figurki SM w "tych samych lub różnych" zadaniach, używając tabletów z ekranem dotykowym jako interfejsu. Ponadto wykorzystali urządzenie śledzące ruch gałek ocznych, aby uzyskać skumulowane dane na temat czasu fiksacji i amplitudy sakkady jako parametrów obciążenia poznawczego związanego z rozwiązywaniem zadań MR. Autorzy potwierdzili wcześniejsze badania omówione powyżej dotyczące relacji między MR i PR a procesami rozwiązywania zadań. Jednak w tym badaniu nie wykorzystali mapowania fiksacji i danych sakkad dla bodźców.

Metodologiczne podejścia do mapowania danych śledzenia wzroku na wirtualnych obiektach 3D zostały zaproponowane i stale ulepszane, zwykle przez badaczy zainteresowanych badaniem czynników związanych z uwagą wzrokową w środowiskach wirtualnych64. Chociaż są one przystępne cenowo i wykorzystują podobne urządzenia do śledzenia ruchu gałek ocznych, najwyraźniej metody te nie zostały skutecznie zintegrowane z repertuarem eksperymentalnym stosowanym w badaniach rotacji umysłowej z interaktywnymi obiektami 3D, takimi jak te wcześniej wspomniane. Z drugiej strony, nie znaleźliśmy żadnych badań w literaturze opisujących mapowanie w czasie rzeczywistym danych dotyczących ruchu fiksacji i sakad na interaktywnych obiektach 3D. Wydaje się, że nie ma wygodnej metody łatwej integracji danych o aktywności oczu z trajektoriami rotacji. W tym badaniu staramy się przyczynić do wypełnienia tej luki. Procedura jest szczegółowo przedstawiona, od akwizycji danych do graficznego generowania danych wyjściowych.

W tym artykule szczegółowo opisujemy metodę badania procesów rotacji mentalnej za pomocą wirtualnych interaktywnych obiektów 3D. Podkreślono następujące postępy. Po pierwsze, integruje ilościowy silnik behawioralny (ręczne obracanie obiektów za pomocą interfejsu komputerowego) i gromadzenie danych ocznych (śledzenie oczu) podczas sesji interakcji z wirtualnymi modelami 3D. Po drugie, wymaga jedynie konwencjonalnego sprzętu komputerowego i urządzeń śledzących ruch gałek ocznych do wizualnego projektowania zadań, akwizycji, nagrywania i przetwarzania danych. Po trzecie, z łatwością generuje dane graficzne, aby ułatwić analizę danych - rozbieżności kątowych, rotacji fizycznej, trajektorii rotacji czwartorzędowej i mapowania trafień danych śledzenia wzroku nad wirtualnymi obiektami 3D. Wreszcie, metoda wymaga tylko wolnego oprogramowania. Cały opracowany kod i skrypty są dostępne bezpłatnie (https://github.com/rodrigocnstest/rodrigocnstest.github.io).

Protokół

1. Przygotowanie narzędzi do zbierania danych

  1. Konfigurowanie zbierania danych online (opcjonalnie).
    UWAGA: W tym kroku opisano, jak skonfigurować konfigurowalny klon kodu projektu i działającej strony internetowej (patrz Plik uzupełniający 1). Ten krok został zaadaptowany z samouczków dostępnych na stronach https://pages.github.com/ i https://github.com/jamiewilson/form-to-google-sheets. Jeśli użytkownicy są zainteresowani tylko metodą przetwarzania danych, a nie rejestracją danych, mogą skorzystać ze strony internetowej https://rodrigocnstest.github.io/iRT_JoVE.html wraz z tabelą uzupełniającą S1 i plikami repozytorium pod adresem https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave, pomijając kroki 1.1, 1.2 i ich podkroki.
    1. Zaloguj się w usłudze GitHub (https://github.com/).
    2. Utwórz publiczny klon oryginalnego repozytorium stron GitHub.
      1. Kliknij Importuj repozytorium z https://github.com będąc zalogowanym na konto.
      2. W polu Adres URL klonowania starego repozytorium wklej https://github.com/rodrigocns/rodrigocns_JoVE adresu URL w polu Nazwa repozytorium, wpisz username.github.io, gdzie nazwa użytkownika jest nazwą użytkownika używaną na koncie, i upewnij się, że opcja Publiczny jest włączona. Następnie kliknij zielony przycisk Rozpocznij import.
        UWAGA: Repozytorium zawiera teraz większość plików potrzebnych do pozostałej części tej konfiguracji, a wszelkie zmiany wprowadzone w repozytorium zostaną zaktualizowane na stronie internetowej po kilku minutach. Na przykład użytkownik o nazwie rodrigocnstest uzyska dostęp do własnej strony w https://rodrigocnstest.github.io i repozytorium GitHub pod adresem https://github.com/rodrigocnstest/rodrigocnstest.github.io.
    3. Skonfiguruj arkusz kalkulacyjny w chmurze, aby przechowywać dane eksperymentu online.
      1. Zarejestruj się lub zaloguj na konto Google.
      2. Po zalogowaniu się na konto przejdź do czystego pliku arkuszy kalkulacyjnych iRT dostępnego pod adresem https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
        Ops1wZrXI/edit?usp=udostępnianie.
      3. W tym arkuszu kalkulacyjnym kliknij Plik | Zrób kopię. Pojawi się małe okno potwierdzenia.
      4. W małym oknie nadaj plikowi nazwę i kliknij przycisk Utwórz kopię.
    4. Skonfiguruj skrypt Google Apps Script, aby zautomatyzować przechowywanie danych w utworzonym arkuszu kalkulacyjnym.
      1. W pliku arkusza kalkulacyjnego kliknij opcję Rozszerzenie | Apps Script.
        UWAGA: Ten skrypt musi zostać utworzony lub dostępny z poziomu arkusza kalkulacyjnego, aby był z nim powiązany. Próba utworzenia skryptu zewnętrznie może nie zadziałać.
      2. Kliknij przycisk Uruchom, aby uruchomić skrypt po raz pierwszy.
      3. Kliknij przycisk Przejrzyj uprawnienia. Pojawi się nowe okno. Kliknij to samo konto, które zostało użyte podczas tworzenia arkusza kalkulacyjnego.
        UWAGA: Jeśli wykonujesz ten krok po raz pierwszy, może pojawić się alert bezpieczeństwa ostrzegający użytkownika o tym, że aplikacja prosi o dostęp do informacji z konta. Jest bezpieczny, ponieważ aplikacja próbuje dotrzeć do zawartości arkusza kalkulacyjnego i prosi o pozwolenie na wypełnienie go danymi. Jeśli nie pojawią się żadne ostrzeżenia, krok 1.1.4.4 można pominąć.
      4. Kliknij Zaawansowane | Przejdź do opcji Z iRT do arkuszy (niebezpieczne) | Zezwalaj przycisk.
        UWAGA: Po wykonaniu w dzienniku wykonywania powinien pojawić się komunikat informujący, że wykonanie zostało zakończone.
      5. W lewym panelu przesuwanym kliknij przycisk Wyzwalacze (czwarta ikona od góry do dołu) | + Dodaj przycisk Wyzwalacz.
      6. W obszarze Wybierz funkcję do uruchomienia wybierz pozycję doPost, w obszarze Wybierz źródło zdarzenia wybierz pozycję Z arkusza kalkulacyjnego, a w obszarze Wybierz typ zdarzenia wybierz pozycję Po przesłaniu formularza. Następnie kliknij Zapisz. Jeśli pojawią się jakiekolwiek wyskakujące okienka uprawnień, wykonaj kroki 1.1.4.3-1.1.4.4. Jeśli przeglądarka zablokuje wyskakujące okienko, odblokuj je.
      7. Kliknij przycisk rozwijany Wdróż | Nowe wdrożenie.
      8. Najedź myszą na ikonę koła zębatego i upewnij się, że wybrana jest opcja Web App.
      9. Wpisz opis w polu Nowy opis, na przykład Wdrożenie 1; w polu Kto ma dostęp wybierz opcję Każdy, a następnie kliknij przycisk Wdróż.
        UWAGA: Celem pola Nowy opis jest uporządkowanie wdrożeń skryptów. Można go nazwać według własnego uznania, na przykład Pierwsze wdrożenie. Pole Wykonaj jako powinno być już wyświetlane jako Ja(e-mail), gdzie adres e-mail jest adresem e-mail używanym do tej pory.
      10. Wewnątrz nowego wyskakującego okienka skopiuj adres URL aplikacji internetowej skryptu deployment.
        UWAGA: Jeśli z jakiegoś powodu utracisz skopiowany adres URL aplikacji internetowej, odzyskaj go, klikając menu rozwijane Wdróż | Zarządzanie wdrożeniami. Powinien tam znajdować się adres URL aplikacji internetowej.
      11. Przejdź do strony pod adresem https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js, gdzie rodrigocnstest jest nazwą użytkownika używaną w usłudze GitHub. Zastąp istniejący adres URL w wierszu 5 dla skopiowanego adresu URL aplikacji internetowej w kroku 1.1.4.10, a następnie kliknij zielony przycisk Zatwierdź zmiany....
        UWAGA: Skopiowana wartość adresu URL powinna pozostać w pojedynczym cudzysłowie ' ' lub podwójnym " " ". Upewnij się, że skopiowany adres URL jest właściwym adresem URL z aplikacji internetowej.
      12. Na koniec kliknij przycisk Potwierdzenie zatwierdź zmiany na środku ekranu.
    5. Upewnij się, że proces został zakończony poprawnie, a strona działa.
      1. Przejdź do repozytorium w https://github.com/username/username.github.io/, gdzie username jest nazwą użytkownika używaną w usłudze GitHub, i sprawdź, czy wdrożenie zostało zaktualizowane po zmianach wprowadzonych w kroku 1.4.14.
      2. Przejdź do strony internetowej pod adresem https://username.github.io/iRT_JoVE, zmień nazwę użytkownika na nazwę użytkownika używaną w usłudze GitHub, a następnie kliknij przycisk Dalej.
      3. Kliknij przycisk Przejdź, wykonaj dowolną interakcję, klikając i przeciągając myszką obiekt po prawej stronie, a następnie kliknij przycisk GOTOWE!.
      4. Wróć do pliku arkusza kalkulacyjnego skonfigurowanego w krokach 1.1.3 i 1.1.4 i sprawdź, czy istnieje nowo dodany wiersz danych przy każdym naciśnięciu przycisku GOTOWE.
  2. Skonfiguruj pobieranie danych w trybie offline (opcjonalnie).
    UWAGA: Metoda przeznaczona do uruchamiania i pobierania danych zadania interaktywnej rotacji (iRT) jest dostępna w trybie online za pośrednictwem usług w chmurze skonfigurowanych w krokach opisanych powyżej. W razie potrzeby (ponieważ połączenie internetowe może stanowić problem lub aby mieć alternatywny sposób na jego uruchomienie), możliwe jest również uruchomienie testu lokalnie z połączeniem internetowym lub bez niego w miejscu, w którym test zostanie wykonany. Poniższe kroki są opcjonalną alternatywą i opisują, jak to osiągnąć. W przeciwnym razie przejdź do kroku 1.3.
    1. Uzyskaj dostęp do repozytorium GitHub pod linkiem: https://github.com/rodrigocnstest/rodrigocnstest.github.io. Kliknij zielony przycisk < > Kod | Pobierz plik ZIP, a następnie rozpakuj pobrane pliki.
      UWAGA: Zmiany wprowadzone w plikach przechowywanych lokalnie nie powodują zmian w plikach w repozytorium i na odwrót. Wszelkie zmiany przeznaczone dla obu wersji powinny zostać zastosowane do obu lokalizacji, ręcznie kopiując zaktualizowane pliki lub korzystając z git/GitHub desktop.
    2. Pobierz najnowszą wersję przeglądarki Mozilla Firefox, korzystając z linku: https://www.mozilla.org/en-US/firefox/new/.
    3. Otwórz przeglądarkę Mozilla Firefox, wpisz "about:config" w polu adresu URL, wpisz "security.fileuri.strict_origin_policy" w polu wyszukiwania i zmień jego wartość na false. UWAGA: Teraz Mozilla Firefox w systemie operacyjnym Windows powinna być w stanie uzyskać lokalny dostęp do pobranych plików stron internetowych na twoim komputerze. Inne przeglądarki i systemy operacyjne można skonfigurować do pracy lokalnej, a każda z nich ma swoją konfigurację opisaną pod linkiem http://wiki.jmol.org/index.php/Troubleshooting/Local_Files.
  3. Skonfiguruj narzędzie do przetwarzania danych.
    1. Pobierz i zainstaluj najnowszą wersję GNU Octave na https://octave.org/download.
  4. Skonfiguruj urządzenie śledzące ruch gałek ocznych.
    1. Upewnij się, że na laptopie jest zainstalowane oprogramowanie systemu nagrywania.
    2. Upewnij się, że pokój badawczy jest czysty i dobrze zorganizowany, aby uniknąć rozpraszania uwagi.
    3. Używaj sztucznego oświetlenia w pomieszczeniu, aby utrzymać stałe oświetlenie przez cały dzień.
    4. Zainstaluj komputer na stole i upewnij się, że uczestnik może wygodnie poruszać myszą.
    5. Zapewnij uczestnikowi wygodne krzesło, najlepiej stałe krzesło, aby zminimalizować ruch podczas testu.
    6. Podłącz jeden USB do zasilania oświetlenia w podczerwieni, a drugi USB między laptopem/komputerem a eye-trackerem aparatu.
    7. Umieść urządzenie śledzące ruch gałek ocznych pod ekranem.

2. Zbieranie danych

  1. Zainicjuj oprogramowanie do zbierania danych.
    1. Uruchom oprogramowanie do śledzenia ruchu gałek ocznych na komputerze, aby odbierać dane z urządzenia do śledzenia ruchu gałek ocznych.
    2. Wybierz opcję Zrzut ekranu w głównym oknie oprogramowania, aby uchwycić spojrzenie podczas eksperymentu (możliwe jest również użycie tego oprogramowania do wizualizacji mapy cieplnej i eksportu surowych danych).
    3. Kliknij Nowy projekt, aby utworzyć nowy projekt i folder projektu, w którym mają zostać zapisane dane.
    4. Otwórz stronę testową pod https://rodrigocnstest.github.io/iRT_JoVE.html w przypadku korzystania ze strony podanej jako przykład lub strony utworzonej w kroku 1.1. Możesz też otworzyć plik iRT_JoVE.html lokalnie z przeglądarki skonfigurowanej wcześniej w kroku 1.2.
    5. W razie potrzeby wypełnij pola imienia i nazwiska oraz adresu e-mail, aby ułatwić identyfikację danych, a następnie zaznacz pole wyboru, aby pobrać kopię zapasową utworzonych danych.
      UWAGA: W przypadku korzystania z metody offline (krok 1.2) zaleca się pobranie kopii zapasowych.
    6. Spróbuj uruchomić eksperyment raz, aby upewnić się, że przeglądarka poprawnie załaduje elementy i nie ma problemów z prezentowanymi zadaniami lub pozyskiwaniem danych.
  2. Uruchom eksperyment.
    1. Wyjaśnij uczestnikowi cel eksperymentu, zastosowaną technologię oraz kryteria włączenia/wykluczenia. Upewnij się, że uczestnik wszystko zrozumiał. Poproś uczestnika o wypełnienie formularza zgody.
    2. Poproś uczestnika, aby usiadł przed systemem śledzenia ruchu gałek ocznych i ułożył się tak wygodnie, jak to możliwe.
    3. Przesuń krzesło, aby zapewnić optymalną odległość między uczestnikiem a kamerą (idealna długość to 65 cm od eye-trackera do oczu uczestnika).
    4. Poproś uczestnika, aby podczas eksperymentu pozostał tak nieruchomo, jak to możliwe. Dostosuj wysokość kamery, aby prawidłowo uchwycić źrenice uczestnika (niektóre programy podświetlają źrenicę, aby pokazać odbicie rogówki).
    5. Kliknij opcję Włącz automatyczne wzmocnienie, aby zoptymalizować śledzenie źrenic, zmieniając wzmocnienie kamery, aż źrenice zostaną znalezione (niektóre programy nie mają tej opcji).
    6. Poproś uczestnika, aby spojrzał na serię kropek na ekranie i śledził ruch kropki bez poruszania głową.
    7. Kliknij Kalibruj, aby rozpocząć kalibrację (zapewni to, że eye-tracker będzie mógł śledzić, gdzie uczestnik patrzy na ekranie).
      UWAGA: Ekran zgaśnie, a znacznik kalibracji (kropka) przesunie się przez pięć pozycji na ekranie.
    8. Po kalibracji na ekranie zostanie narysowane wizualne oszacowanie punktu widzenia w celu sprawdzenia dokładności kalibracji. Poproś uczestnika, aby spojrzał na konkretny punkt na wyświetlaczu, aby sprawdzić, czy spojrzenie będzie wyświetlane poprawnie.
    9. Jeśli kalibracja jest niezadowalająca, wyreguluj aparat i spróbuj ponownie przeprowadzić kalibrację, aż system będzie prawidłowo śledził wzrok.
    10. Kliknij przycisk Zbieraj dane po prawej stronie oprogramowania do śledzenia ruchu gałek ocznych (menu główne), aby aktywować tryb zbierania danych. Wyświetlanie przechwyconego ekranu w czasie rzeczywistym zostanie przedstawione z danymi spojrzenia wyświetlanymi w głównym oknie wyświetlacza.
    11. Kliknij przycisk Wideo Spojrzenie w menu głównym, aby wyświetlić twarz użytkownika przechwyconą przez urządzenie śledzące ruch gałek ocznych. Następnie kliknij Rozpocznij nagrywanie, aby rozpocząć eksperyment.
      UWAGA: Podczas eksperymentu źrenica uczestnika jest podświetlona, a jego oko jest wyświetlane jako kropka poruszająca się po ekranie laptopa. Upewnij się, że eye tracker śledzi źrenicę i oko na ekranie.
    12. Jeśli kropka znika lub często migocze, przerwij eksperyment i spróbuj ponownie skalibrować.
    13. Otwórz poprzednio otwarte okno iRT i powiedz uczestnikowi, aby kliknął przycisk Dalej.
    14. Przekaż uczestnikowi następujące instrukcje: "W tej części wykonasz trzy zadania rotacyjne. Po kliknięciu przycisku GO! dwa obiekty pojawią się po przeciwnych stronach ekranu. Twoim celem jest obrócenie obiektu po prawej stronie, aż będzie on jak najlepiej pasował do obiektu po lewej stronie. Aby obrócić obiekt, kliknij i przeciągnij nad nim myszą. Po zakończeniu każdego z trzech zadań kliknij przycisk GOTOWE! przycisk, aby zakończyć."
      UWAGA: W przypadku każdego zadania wszelkie dane iRT po upływie 5 minut (dokładnie 327sekund) mogą zostać utracone. W miarę dalszego rozwoju metody limit ten powinien być rozszerzany.
    15. Pod koniec eksperymentu upewnij się, że eyetracker jest wyłączony z przedłużacza i załóż osłonę obiektywu z powrotem na aparat.
  3. Wyodrębnij dane.
    1. Po zakończeniu zbierania danych za pomocą eye-trackera kliknij Analizuj dane, aby uzyskać dostęp do zebranych danych.
    2. Eksportuj plik .csv ze wszystkimi danymi zapisanymi dla użytkownika.
      UWAGA: Pierwsza kolumna danych urządzenia do śledzenia ruchu gałek ocznych musi być epoką danych w systemie UNIX, ponieważ jest to jedyny sposób na prawidłowe dopasowanie różnych zestawów danych w czasie. Jeśli plik go nie zawiera, należy go przekonwertować z innego użytego standardu czasowego. Plik może być w formacie ".csv" lub ".xlsx".
    3. Jeśli korzystasz z wersji online interaktywnej strony z zadaniami obracania (krok 1.1), otwórz plik Arkuszy Google używany do odbierania danych online (utworzony w kroku 1.1.3) i pobierz go, klikając Plik | Pliki do pobrania | Microsoft Excel (.xlsx).
      UWAGA: Dane te są spakowane w celu ułatwienia przesyłania danych (każde zadanie odpowiada jednemu wierszowi wypełnionemu danymi). Aby przetworzyć znajdujące się w nim dane, każdy wiersz spakowanych danych musi zostać najpierw "rozpakowany".

3. Przetwarzanie i analiza danych

  1. Rozpakuj, scal i przetwórz dane.
    UWAGA: Poniższe kroki opisują sposób przetwarzania danych przy użyciu dostarczonych skryptów (patrz Plik uzupełniający 2). Skrypty GNU Octave będą pytać użytkownika o informacje o jego plikach. Jeśli dane wejściowe są wysyłane jako puste, zamiast nich zostaną użyte wartości domyślne, odwołujące się do podanych przykładowych danych, jeśli żadne dane użytkownika ich nie zastąpiły. Po zakończeniu działania skryptu można go zamknąć.
    1. Pobierz i rozpakuj używane repozytorium (własne użytkownika lub oryginalne w https://github.com/rodrigocns/rodrigocns_JoVE), jeśli nie zostało jeszcze pobrane.
    2. Upewnij się, że skrypty 1.unpacking_sheets.m, 2.data_merge_and_process.m, 3.3D trajektoria rotacyjna.m, a modele folderów znajdują się w pobranym repozytorium w folderze Octave, a następnie przenieś pliki danych pobrane z kroków 2.3.2 i 2.3.3 do tego samego folderu, w którym znajdują się skrypty oktawy.
      UWAGA: Wszystkie istniejące pliki znajdujące się już w folderze o takich samych nazwach jak nowo zapisane pliki mogą zostać nadpisane. Zmień odpowiednio nazwę plików lub przenieś je do innego folderu.
    3. Otwórz skrypt 1.unpacking_sheets.m za pomocą GNU Octave Launcher. W zakładce Edytor uruchom skrypt, klikając zielony przycisk Zapisz plik i uruchom, aby rozpakować dane do bardziej czytelnej struktury.
      UWAGA: Jeśli którykolwiek z żądanych plików danych jest otwarty lokalnie, pamiętaj, aby zamknąć je przed uruchomieniem skryptu. Wszystkie pliki skryptów .m zostały uruchomione przy użyciu GNU Octave Launcher.
    4. Pojawią się dwa monity, jeden po drugim. Wprowadź nazwę pobranego pliku w pierwszym monicie i nazwę rozpakowanego pliku w drugim polu. Alternatywnie pozostaw oba pola monitu puste, aby użyć domyślnych nazw przeznaczonych dla dołączonych plików przykładowych. Poczekaj kilka minut (w zależności od ilości danych) na wyskakujące okienko informujące użytkownika, że proces został zakończony i nowy plik został zapisany.
    5. Otwórz i uruchom skrypt 2.data_merge_and_process.m, aby scalić dane zarówno z eye trackera, jak i iRT.
      UWAGA: Chociaż ten skrypt jest złożony i obejmuje setki wierszy kodu, jest podzielony na trzy główne sekcje: ustawienia, funkcje i skrypty. Wszystkie są dokładnie komentowane i wyjaśniane, co w razie potrzeby ułatwia późniejsze modyfikacje.
    6. Pojawią się cztery monity. Wprowadź wartość sessionID, wartość taskID (obie z tabeli danych iRT), nazwę niespakowanego pliku danych iRT (zapisaną w kroku 3.1.5) i nazwę pliku danych eye tracker (wyeksportowaną w kroku 2.3.2) lub pozostaw wszystkie puste pola, aby użyć wartości domyślnych.
      UWAGA: Po kilku minutach pojawi się wyskakujące okienko pomocy z informacją, że skrypt zakończył obliczenia oraz nazwami użytych i utworzonych plików. Podczas procesu tworzenia skryptu pojawią się trzy przykładowe wykresy rozbieżności kątowej: wykres prosty, wykres z danymi kolorowego spojrzenia i wykres z danymi o średnicy źrenicy. Dwa utworzone pliki to wyjście merge X Y.xlsx i wyjście jmol console X Y.xlsx, gdzie X jest wartością sessionID, a Y jest wartością taskID, oba zapisane na początku kroku 3.1.6.
  2. Renderuj obrazy trajektorii obrotu 3D.
    1. Otwórz i uruchom skrypt 3.3D trajektorię rotacji.m.
    2. Pojawią się trzy monity. Wprowadź wartość sessionID, wartość taskID i nazwę niespakowanego pliku danych iRT lub pozostaw je puste, aby użyć wartości domyślnych.
      UWAGA: Pojawi się wykres 3D. Renderowany wykres to trajektoria obrotu 3D określonej sesji i zadania.
  3. Odtwórz ponownie animacje.
    1. Aby odtworzyć interakcję uczestnika z zadaniem, najpierw przejdź do interaktywnej strony internetowej zadania, rozpocznij test (pokazujący oba modele 3D), przesuń wskaźnik myszy w prawym górnym rogu ekranu, aż ikona myszy zmieni się w tekst, jak pokazano w pliku uzupełniającym 2, a następnie kliknij niewidoczny tekst debugowania, włączając tryb debugowania.
    2. Z przycisków, które pojawiają się między modelami, kliknij przycisk timerStop, aby przerwać zadanie, a następnie kliknij przycisk konsoli, aby otworzyć konsolę JSmol modelu po prawej stronie. Jeśli zadanie z interakcji będącej przedmiotem zainteresowania nie było pierwszym, kliknij ponumerowane przyciski w górnym obszarze debugowania, aby zmienić zadanie wyświetlane na ekranie.
      UWAGA: JSmol to oprogramowanie do modelowania molekularnego używane na stronie internetowej.
    3. Otwórz plik wyjściowy jmol console.xlsx i skopiuj całą stronę poleceń Jmol.
      UWAGA: Każda strona zawiera polecenia dotyczące innej sceny lub animacji.
    4. Wewnątrz konsoli JSmol wklej listę skopiowanych poleceń i kliknij przycisk Uruchom lub naciśnij Enter na klawiaturze, aby go wykonać.
    5. W razie potrzeby wygeneruj animację .gif. Napisz polecenie capture "filename" SCRIPT "output" w konsoli JSmol, gdzie filename to nazwa pliku .gif do utworzenia, a wyjście to cała lista poleceń skopiowanych w kroku 3.3.3, zachowując oba w podwójnym cudzysłowie.
      UWAGA: Im bardziej skomplikowane stają się polecenia, z większymi modelami lub większą liczbą zmian w czasie, a także im mniej zaawansowane są specyfikacje używanego komputera, tym wolniejsza staje się animacja. Jmol koncentruje się na wizualizacji związków chemicznych i reakcji, a rodzaj animacji powstałych w wyniku naszych badań przesuwa granice możliwości renderowania Jmol. Punkty te należy wziąć pod uwagę i uwzględnić przy wykonywaniu jakichkolwiek pomiarów ilościowych z tą animacją.

4. Personalizacja zadań

UWAGA: Cała ta sekcja jest opcjonalna i zalecana tylko dla tych, którzy lubią eksperymentować lub rozumieją, jak kodować. Poniżej znajdziesz niektóre z wielu dostępnych opcji, które można dostosować, a więcej opcji stanie się dostępnych w miarę dalszego rozwoju metod.

  1. Konfigurowanie nowych lub istniejących zadań.
    1. Określ, ile interaktywnych zadań zostanie wykonanych przez uczestnika i nazwij każde z nich w pliku object_configs.js wewnątrz tablicy task_list zastępując istniejące nazwy elementów lub dodając kolejne. Upewnij się, że każda nazwa jest unikatowa, ponieważ są one później używane jako identyfikatory.
    2. Wybierz pliki współrzędnych 3D zgodne z JSmol, aby wykonać zadania interaktywne (http://wiki.jmol.org/index.php/File_formats). Skopiuj te pliki do folderu models.
      UWAGA: Skrypty zawarte w tym artykule są zoptymalizowane pod kątem modeli asymetrycznych korzystających z formatu pliku .xyz. Wybierając pliki współrzędnych, unikaj symetrii obrotu, ponieważ mają one niejednoznaczne rozwiązania65.
    3. Zdefiniuj ustawienia renderowania dla obiektów 3D w funkcji prepMolecule(num).
      UWAGA: Wszystkie zmiany od jednego zadania do drugiego wykonywane przez JSmol trafiają tutaj: zmiana wzorca kolorów, zmiana rozmiaru lub sposobu renderowania elementów graficznych, orientacja, translacja, ukrywanie części obiektu, wczytywanie nowych modeli 3D itp. (więcej przykładów w https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm). Każde zadanie nazwane w task_list odpowiada sprawie. Każde polecenie do wykonania przez JSmol ma strukturę: Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 "); gdzie jsmol_obj odnosi się do zmienianego obiektu (jsmol_ref i jsmol_obj są domyślne dla obiektów docelowych i interaktywnych), po którym następuje jedno lub więcej poleceń oddzielonych znakiem "; ".
  2. Tworzenie nowych modeli.
    1. Użyj dowolnego modelu .xyz pobranego online lub zbudowanego przez edytorów molekularnych, takich jak Avogadro (https://avogadro.cc/).

Wyniki

Ewolucja dysproporcji kątowej i innych zmiennych
Jak przedstawiono w kroku 3.3.1 w Supplemental File 2, na ekranie monitora wideo wyświetlane są dwa obszary robocze, przedstawiające kopie tego samego wirtualnego obiektu 3D w różnych orientacjach. Na lewym obszarze obiekt docelowy (tObj) pozostaje statyczny i służy jako pozycja docelowa lub pozycja tObj. Na prawym obszarze wyświetlany jest obiekt interaktywny (iObj) w innej pozycji, który uczestnik może przemieszczać w czasie wokół stałego środka obrotu za pomocą myszy (dozwolone są tylko rotacje; translacje są wyłączone). Zadanie polega na dostosowaniu iObj tak, aby jak najdokładniej odpowiadał tObj, w oparciu o ocenę uczestnika. Trzy wykorzystane obiekty 3D można zobaczyć na Rysunku 1. Proces rozwiązywania, choć złożony, może być skrupulatnie rejestrowany do późniejszej analizy. Rejestracja ta wykracza poza zwykłe nagranie wideo, ponieważ każda pozycja w czasie jest przechwytywana w stałych odstępach 0,1 s jako kwaternion, tworząc szereg czasowy, który umożliwia pełną rekonstrukcję całego procesu. Dla każdej pozycji istnieje unikalny obrót wokół określonej osi, w zakresie od 0° do 180°, który bezpośrednio przekształca pozycję tObj w pozycję iObj. Choć obrót ten jest abstrakcyjny i niezwiązany z PR uczestnika podczas wykonywania zadania, precyzyjnie wskazuje dokładną pozycję iObj względem tObj. AD to kąt tego obrotu, który można obliczyć z odpowiedniego kwaternionu. W miarę jak pozycja iObj zbliża się do pozycji tObj, wartość ta dąży do zera.

Po kroku 3.1.6 sekcji Przetwarzanie i analiza danych utworzone zostały dwa pliki: output merge X Y.xlsx oraz output jmol console X Y.xlsx, gdzie X to wartość sessionID, a Y to wartość taskID. W przypadku pozostawienia pustych pól wejściowych i użycia wartości domyślnych, pliki powinny nazywać się output merge 1682707472090 bolaBastao_c.xlsx oraz output jmol console 1682707472090 bolaBastao_c.xlsx. Pliki output merge X Y.xlsx zawierają wybrane dane z eyetrackera scalone z danymi iRT, wyrównane według czasu UNIX Epoch, podobnie jak na Rysunku 2A, jeśli wszystko przebiegło prawidłowo, lub na Rysunku 2B w przypadku wystąpienia problemów.

Pliki output jmol console X Y.xlsx zawierają do pięciu kart wypełnionych poleceniami konsoli Jmol, które po wklejeniu do konsoli Jmol odtworzą ruchy uczestnika podczas rozwiązywania zadania: rotation replay odtwarza rotacje iObj wykonane przez uczestnika; gaze replay int odtwarza rotacje iObj z dodatkową mapą ciepła fiksacji na obiekcie w czasie, z wykorzystaniem skali przezroczystości/nieprzezroczystości; gaze replay tgt pokazuje jedynie trójwymiarową mapę ciepła fiksacji tObj podczas zadania; gaze frame int oraz gaze frame tgt przedstawiają ogólne mapowanie fiksacji całego procesu dla iObj oraz tObj. Wszystkie one są zilustrowane na Rycynie 3A-F. Jmol i JSmol są w zasadzie identyczne; Jmol jest wtyczką opartą na języku programowania Java, a JSmol na języku JavaScript, oba posiadają te same funkcjonalności i mogą być stosowane zamiennie.

Rysunek 4 przedstawia ewolucję dysproporcji kątowej w funkcji czasu dla sześciu różnych scenariuszy z udziałem dwóch uczestników i trzech obiektów. Czas trwania procesu może znacznie się różnić w zależności od wyników uczestnika w interaktywnym zadaniu z obiektem. W każdym zadaniu wykonanym prawidłowo przez uczestnika, AD dąży do zera na końcu. Jeśli na danym wykresie nie występuje takie zachowanie, oznacza to, że uczestnik nie był w stanie ukończyć zadania z powodu rezygnacji lub przekroczenia limitu czasu na zadanie (około 5 min), albo wystąpił błąd w przetwarzaniu danych.

Połączone wyniki zapisów iObj PR oraz dane uzyskane z pomiarów okulograficznych przedstawiono na rycinie 5. Zmiana dysproporcji kątowej między obiektem docelowym a obiektami bezwładnymi w funkcji czasu wskazuje na trzy odrębne etapy procesu rozwiązywania danego zadania: wstępną obserwację modeli, balistyczny obrót modelu interaktywnego oraz precyzyjne dostrojenie obrotu modelu interaktywnego. Rycina 5A pokazuje naprzemienne kierowanie wzroku między modelami w fazie początkowej, a dokładniej, w fazie dostrajania. Rycina 5B wykazuje, że źrenica pozostaje bardziej rozszerzona w fazach początkowej i dostrajania. W fazie dostrajania długi okres fiksacji na modelu interaktywnym (40-47 s na rycinie 5A) odpowiada plateau średnicy źrenicy (40-47 s, rycina 5B).

Wyniki te sugerują, że dane uzyskane za pomocą zaproponowanej tutaj metody są zgodne z modelem rozwiązywania problemów rotacji mentalnej zaproponowanym na podstawie danych o fiksacjach wzroku dla modeli statycznych14,66 oraz dla modeli interaktywnych23. Taki model obejmowałby trzy etapy: poszukiwanie, transformację i porównanie oraz potwierdzenie zgodności lub niezgodności modeli. Ponadto naprzemienne fiksacje między modelem docelowym a interaktywnym na etapach porównania, zaobserwowane na Ryc. 5A, są zgodne z wynikami uzyskanymi w testach typu Shepparda i Metzlera z wykorzystaniem obrazów statycznych42,66. Jednak w przypadku modeli interaktywnych prawdopodobne jest, że etapy poszukiwania, transformacji, porównania i potwierdzenia następują sukcesywnie poprzez interakcję i zmiana położenia modelu interaktywnego.

Trajektorie rotacji 3D
Każdą rotację w przestrzeni 3D od 0° do 180° można przełożyć na punkt wewnątrz kuli (rozumianej jako objętość wewnątrz sfery) o promieniu równym 180°. Rysunek 6 przedstawia tę odpowiedniość na trzech przykładach rotacji. Odległość punktu od środka kuli stanowi różnicę kątową iObj względem pozycji tObj, a wektor prowadzący ze środka kuli do punktu określa kierunek rotacji, przy czym rotacja odbywa się zgodnie z ruchem wskazówek zegara, patrząc od środka. Taka translacja rotacji na punkty w kuli pozwala na bezpośrednią wizualizację całego przebiegu rotacji wykonanych przez uczestnika w zadaniu na jednym rysunku 3D. Rysunek ten nazywamy trajektorią rotacji 3D.

Analogicznie do pomiaru AD, w przypadku każdego zadania poprawnie wykonanego przez uczestnika, trajektoria powinna ostatecznie zbliżać się do środka kuli. Jeśli trajektoria osiągnie granicę sfery przy obrocie o 180°, zostanie ona przeniesiona na punkt antypodalny sfery. Rycina 7 przedstawia trajektorię obrotu dwóch wspomnianych wcześniej uczestników wykonujących trzecie zadanie (C1 i C2 na Rycini 4), widzianą zarówno w perspektywie, jak i w rzutach na trzy płaszczyzny współrzędnych. Z rysunku wynika wyraźnie, że mimo stosunkowo małego początkowego AD bliskiego 45°, uczestnik 1 początkowo odbiegał od pozycji docelowej, zanim znalazł definitywną drogę do rozwiązania, w przeciwieństwie do uczestnika 2, który wykonał zadanie szybciej.

Mapa ciepła fiksacji 3D
W procesie rozwiązywania problemu uczestnik przełącza wzrok między tObj a iObj, jednocześnie wchodząc w interakcję z iObj. Na podstawie danych z eyetrackingu możemy wyodrębnić pozycję spojrzenia uczestnika i stworzyć mapę ciepła obszarów ekranu, które w dowolnym przedziale czasowym przyciągnęły najwięcej i najmniej uwagi uczestnika. Idąc dalej, dzięki synchronizacji danych eyetrackingu oraz danych kwaternionowych iRT, możemy jednocześnie mapować w przestrzeni 3D i czasie, jak dużą uwagę otrzymują poszczególne wierzchołki obiektów, nawet w przypadku obiektów rotujących w czasie.

Na Rysunku 3 uwaga poświęcona obiektowi jest reprezentowana przez poziom przezroczystości każdego wierzchołka. Im bliżej znajduje się on punktu fiksacji wzroku uczestnika i im dłużej pozostaje w jego pobliżu, tym większą uwagę otrzymuje, co skutkuje wyższą nieprzezroczystością w tym regionie obiektu. Przestrzenny spadek uwagi jest modelowany za pomocą dwuwymiarowej jednorodnej funkcji Gaussa dla pozycji spojrzenia oraz prostej jednorodnej funkcji Gaussa zastosowanej dla upływu czasu. Odchylenie standardowe tych funkcji Gaussa wybrano przy założeniu kąta widzenia wynoszącego 2 stopnie67 oraz wizualnej pamięci krótkotrwałej wynoszącej 10 s68. Aby zapobiec powstawaniu artefaktów wizualnych przy tej metodzie, dane o bliskości spojrzenia są ustawiane na zero, gdy wzrok znajduje się poza obszarem obiektu (iObj nie otrzymuje uwagi rezydualnej, gdy spojrzenie znajduje się w obszarze tObj lub poza obydwoma). Rysunek 3 przedstawia pojedynczą klatkę z każdego obiektu z całej animacji odtworzenia oraz te same klatki z 3D mapą ciepła fiksacji. Możliwe porównanie tObj i iObj przez uczestnika podczas procesu rozwiązywania można zaobserwować (Rysunek 3C,D) w miarę zbliżania się zadania do końca (czas = 6,3 s). Cały proces można obejrzeć w formie wideo w Suplementarnym Wideo S1. Raportujemy wyniki komputerowo wspomaganej rotacji modeli 3D przedstawionych uczestnikom jako zadania wykonanego w zwykłych warunkach.

Diagram modelowania molekularnego z strukturami 3D i wiązaniami chemicznymi do analizy strukturalnej.
Rycina 1: Wykorzystane obiekty docelowe. Obraz modeli 3D użytych w zadaniach na stronie internetowej. (A) Cząsteczka w reprezentacji kulkowo-prętowej; (B) Ta sama cząsteczka z wypełnionymi wielokątami, bez wodorów i przedstawiona wyłącznie za pomocą prętów; (C) polikostka podobna do jednej z figur Shepard i Metzler13, pochodząca z biblioteki bodźców Peters i Battista36. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Porównanie danych o ruchach gałek ocznych, pokazujące problemy z formatem kolumny Unix Epoch; schemat analizy arkusza kalkulacyjnego.
Rycina 2: Porównanie arkuszy. (A,B) Obrazy pochodzą z arkusza kalkulacyjnego output merge 1682707472090 bolaBastao_c.xlsx. Kolumny A-G zawierają wartości danych iRT, natomiast kolumny H-N zawierają wartości danych z eyetrackera. W przypadku (A) wszystko jest poprawne, natomiast w (B), w kolumnach eyetrackera wszystkie wartości są stałe i nie zgadzają się z wartościami czasu systemu iRT. Jeżeli wystąpi jakikolwiek problem z procesem synchronizacji danych, prawdopodobnie pojawi się ten błąd. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Symulacja dynamiki molekularnej, zmiany konformacyjne wankomycyny, analiza trójwymiarowych struktur molekularnych.
Rysunek 3: Mapa ciepła fiksacji. Mapa ciepła fiksacji na obiekcie 3D z wykorzystaniem skali nieprzezroczystości, gdzie większa nieprzezroczystość koreluje z dłuższym czasem spędzonym w pobliżu punktu spojrzenia uczestnika. (A,B) Obrazy tObj i iObj zadania rozwiązywanego przez uczestnika w 6,3 s. (C,D) Te same obrazy co w (A,B) w tym samym momencie, z dodaną skalą nieprzezroczystości mapy ciepła. (E,F) Obrazy mapy ciepła fiksacji obejmujące cały okres, w którym uczestnik widział obiekty. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Wykresy dysparytetu kątowego dla zadań A, B i C; porównanie wyników dwóch uczestników.
Rysunek 4siatka AD Wykres siatki dysproporcji kątowej dla dwóch uczestników i trzech zadań. Kolumny reprezentują uczestników 1 i 2, a wiersze zadania rozwiązane przez uczestników przy użyciu trzech obiektów przedstawionych w Rysunek 3Należy zauważyć, że chociaż AD różni się pomiędzy 0° i 180°zakres czasu nie jest stały i zmienia się w zależności od wyników uczestnika oraz jego własnej decyzji o zakończeniu procesu. W miarę jak uczestnik obraca iObj, AD między tObj a iObj zmienia się wraz z upływem czasu, aż w końcu uczestnik uzna aktualną orientację iObj za najbliższą tObj. W 1Proszę podać tekst źródłowy, który należy przetłumaczyć. oraz 2nd zadania, obaj uczestnicy wydawali się robić postępy w podobny sposób, jednak uczestnik 1 potrzebował połowy czasu, który poświęcił uczestnik 2. A w 3Błąd przekazu / Błąd odczytu (w zależności od kontekstu technicznego) zadanie, mimo że uczestnik 2 poświęcił mniej czasu na jego wykonanie, uczestnik 1 rozwiązał zadanie już przed 20. sekundą i nadal wprowadzał niewielkie korekty, aby lepiej dopasować iObj do tObj. Skrót: AD = dysproporcja kątowa. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Wykresy dysproporcji kątowej; góra: pozycja spojrzenia względem czasu trwania zadania, dół: dane o źrenicy względem czasu trwania zadania.
Rysunek 5: AD z danymi eye-trackingowymi. Ewolucja dysproporcji kątowej połączona z danymi z eye-trackera. (A) Dysproporcja kątowa i pozycja spojrzenia, ewolucja dysproporcji kątowej między tObj a iObj, wraz z regionalnymi danymi o fiksacjach dla każdego modelu. Wykres pokazuje, w którym regionie znajduje się spojrzenie uczestnika: czerwony, gdy znajduje się w obszarze iObj, niebieski, gdy w obszarze tObj i szary, gdy znajduje się poza obydwoma, patrząc na inny element ekranu lub poza niego. (B) Dysproporcja kątowa i średnica źrenicy. Dysproporcja kątowa (kolor niebieski) wraz z danymi o średnicy źrenicy (kolor pomarańczowy). Średnica źrenicy to średnia wartość źrenicy lewej i prawej w każdym punkcie czasowym. Skrót: AD = angular disparity (dysproporcja kątowa). Proszę kliknąć tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Diagram rotacji 3D; kąty Eulera; transformacje osi; wizualizacja matematyczna.
Rysunek 6: Kula rotacji. Na tym rysunku przedstawiono, w jaki sposób każdą możliwą pozycję rotacyjną obiektu względem pozycji referencyjnej można reprezentować jako punkt w kuli o promieniu 180°, co pozwala na pełną reprezentację położenia rotacyjnego obiektu w trzech osiach. W tym kontekście kulę rozumie się jako objętość ograniczoną sferą. (A) Obiektem użytym jako przykład jest asymetryczna struktura złożona z siedmiu sześcianów, przedstawiona u góry po lewej stronie. Do obiektu tego zastosowano trzy proste rotacje oznaczone jako I, II i III, pokazane po prawej stronie. Są to odpowiednio: +90° wokół osi x, -60° wokół osi z oraz 180° wokół osi znajdującej się między +x a -y, pod kątem 45° względem obu tych osi. (B) Przedstawiono kulę rotacji z punktami odpowiadającymi rotacjom I, II i III. Odległość od środka kuli oznacza różnicę kątową. Ponieważ rotacja III osiąga maksymalny kąt obrotu (180°), jest ona reprezentowana również w punkcie antypodalnym, gdyż są one w zasadzie tożsame. Rotacja II, będąca obrotem przeciwnym do ruchu wskazówek zegara względem dodatniego kierunku osi z, znajduje się po stronie ujemnej. Aby wyświetlić powiększoną wersję tego rysunku, kliknij tutaj.

Wykres trajektorii 3D; analiza wizualna pól wektorowych i ścieżek ruchu; badanie porównawcze.
Rysunek 7: Trajektoria rotacji 3D. Trajektoria rotacji wewnątrz kuli rotacji wykonana przez dwóch uczestników w trzecim zadaniu, przedstawiona zarówno w perspektywie (A), jak i w rzutach na płaszczyzny współrzędnych (B-D). Grubość linii zmniejsza się w czasie. Każda kolumna odpowiada jednemu uczestnikowi (v1 i v2). W miarę jak trajektorie zbliżają się do środka kuli, uczestnicy są bliżsi rozwiązania zadania. „0” oznacza pozycję początkową zadania. Kolejne numery wskazują punkty, w których trajektoria osiąga krawędź kuli i kontynuuje ruch przez punkt antypodalny po przeciwnej stronie (od 1 do 2, od 2 do 3, od 3 do 4 itd.). Aby wyświetlić większą wersję tego rysunku, kliknij tutaj.

Tabela uzupełniająca S1: Nagłówki arkusza. Lista nagłówków w sklonowanym pliku arkusza. Każdy nagłówek odpowiada nazwie zmiennej i będzie zawierał dane z tej zmiennej, tworząc kolumnę wartości wykorzystywanych w przetwarzaniu i analizie naszych danych. Kliknij tutaj, aby pobrać ten plik.

Plik uzupełniający 1: Przewodnik po kroku 1 protokołu.Lista zrzutów ekranu prowadząca przez etapy metody protokołu „1. Przygotowanie narzędzi do zbierania danych”. Kliknij tutaj, aby pobrać ten plik.

Plik uzupełniający 2: Przewodnik po kroku 3 protokołu. Lista zrzutów ekranu prowadząca przez etapy metody protokołu „3. Przetwarzanie i analiza danych”. Aby pobrać ten plik, kliknij tutaj.

Film uzupełniający 1: Odtwarzanie mapowania fiksacji. Przykład animowanych powtórek mapowania uwagi czasowej w 3D z iObj i tObj jednocześnie. Nagrano przy użyciu OBS Studios i zmontowano w programie OpenShot Video Editor. Kliknij tutaj, aby pobrać ten plik.

Dyskusja

Jak wspomniano wcześniej, niniejszy artykuł ma na celu przedstawienie szczegółowej procedury mapowania w czasie rzeczywistym danych ruchu fiksacji i sakad na interaktywnych obiektach 3D, która jest łatwo konfigurowalna i wykorzystuje tylko oprogramowanie dostępne za darmo, dostarczając instrukcje krok po kroku, aby wszystko działało.

Chociaż ta eksperymentalna konfiguracja obejmowała wysoce interaktywne zadanie, takie jak przesuwanie obiektu 3D w celu dopasowania orientacji innego obiektu do PR w dwóch z trzech możliwych osi, zadbaliśmy o dokładną dokumentację naszych skryptów poprzez odpowiednie komentarze, aby ułatwić wszelkie dostosowania. Można zaprojektować różne inne rodzaje eksperymentów, przy czym urządzenie śledzące ruch gałek ocznych jest tylko jednym z wielu innych możliwych urządzeń używanych do pozyskiwania danych czasowych.

Nagłówki w skopiowanym pliku z kroku 1.1.3.3 definiują zawartość i miejsce, w którym dane będą zbierane online. Tabela uzupełniająca S1 zawiera listę nazw zmiennych (we wszystkich rozróżniana jest wielkość liter) i ich znaczenie. Te zmienne odzwierciedlają zmienne znajdujące się w plikach JavaScript w repozytorium GitHub. Rodzaj i różnorodność danych oraz nazw zmiennych, zarówno z tego arkusza, jak i plików JavaScript, powinny być zmieniane zgodnie z zakresem i wymaganiami badania.

Zapis danych rotacyjnych w kwaternionach pozwala badaczowi odtworzyć te same ruchy wykonywane przez uczestników podczas zadań, ułatwiając analizę procesu i znacznie efektywniej wykorzystując przestrzeń dyskową w porównaniu ze zrzutem ekranu. Bardziej szczegółowa analiza, taka jak trajektoria obrotu 3D, pokazana na rysunku 7 przy użyciu kuli obrotów, jest możliwa tylko dzięki wewnętrznym danym kwaternionowym interaktywnych obiektów. Ten nowy typ wykresu, rozwijający się z wykresu AD w czasie przez Gardony22 i Adams23, dostarcza bardziej szczegółowych informacji, z rzeczywistymi współrzędnymi obrotu 3D w czasie.

Kolejną zaletą jest użycie standardowej miary czasu do synchronizacji wszystkich źródeł danych. Łączenie z tym różnych warstw informacji zależnych od czasu staje się znacznie łatwiejsze, na przykład nakładanie wykresów z wieloma źródłami danych, jak na rysunku 5B z pomiarem rozszerzenia źrenicy lub na rysunku 5A z kolorowymi pionowymi pasami, oznaczającymi możliwe wzorce w procesie rozwiązywania przez uczestników, nawet jeśli w iObj prawie nie zachodził obrót. Mapa cieplna fiksacji 3D pokazana na rysunku 3 jest możliwa tylko na podstawie danych kwaternionów i synchronizacji danych.

Bardzo ważne jest, aby korzystać z synchronizacji za pomocą standardowej miary czasu, aby zapewnić jakąkolwiek integrację danych czasowych. Standardem czasowym wybranym dla naszego projektu była epoka UNIX, która jest używana w JavaScript i większości innych języków programowania. Dla każdego zestawu danych musi być używany pewien typ znanego standardu czasu, nawet jeśli inny standard, który może być później przekonwertowany na epokę systemu UNIX. Dane czasowe, które nie korzystają z żadnych standardów, z całą pewnością nie będą w stanie się zsynchronizować i stracą swoją użyteczność.

Kolejnym ograniczeniem jest stosunkowo niska częstotliwość 10 Hz stosowana w testach iRT w stosunku do częstotliwości śledzenia ruchu gałek ocznych wynoszącej 60 Hz. Dzieje się tak częściowo z powodu ograniczeń w przetwarzaniu i przesyłaniu danych w przeglądarce, ponieważ każda wyższa częstotliwość proporcjonalnie skróciłaby maksymalny limit czasu każdego zadania, który obecnie wynosi 327 s. Dodatkowo, płynne renderowanie złożonych animacji w Jmol przy tej liczbie klatek na sekundę już stanowiło wyzwanie. Dodatkowe wideo S1 to nagranie wideo, na którym Jmol renderuje powtórkę ze zmianą krycia w czasie, odwzorowując stopień skupienia otrzymanego przez każdy wierzchołek. Podczas gdy czas trwania filmu wynosi prawie 2 minuty, rzeczywiste zadanie zostało wykonane w 63 s. Przyszłe prace nad oprogramowaniem, które skupiałyby się specjalnie na takich funkcjach, zamiast dostosowywać istniejące, mogłyby wyeliminować te ograniczenia i zwiększyć możliwości gromadzenia i analizy danych.

Oświadczenia

Autorzy nie mają do ujawnienia żadnych konfliktów interesów.

Podziękowania

Autorzy są wdzięczni Koordynacji na rzecz Doskonalenia Kadr Szkolnictwa Wyższego (CAPES) - Kod Finansowy 001 oraz Uniwersytetowi Federalnemu ABC (UFABC). João R. Sato otrzymał wsparcie finansowe od Fundacji Badawczej São Paulo (FAPESP, granty nr 2018/21934-5, 2018/04654-9 i 2023/02538-0).

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
FirefoxMozilla Foundation (Open Source)Każda zaktualizowana nowoczesna przeglądarka, która jest kompatybilna z WebGL (https://caniuse.com/webgl), a z kolei z Jmol, może być używana
GNU OctaveOpen Sourcehttps://octave.org/
Google Apps ScriptGoogle LLCscript.google.com
Arkusze GoogleLLChttps://www.google.com/sheets/about/
LaptopDowolny komputer, na którym można uruchomić oprogramowanie systemu śledzenia ruchu gałek ocznych.
Pakiet oprogramowania Mangold Mangold Interfejs oprogramowania używany w urządzeniu śledzącym ruch gałek ocznych. Można użyć dowolnego oprogramowania, które wyprowadza dane z wartościami czasu systemowego.
MyszKażda mysz zdolna do klikania i przeciągania prostymi ruchami powinna być kompatybilna. Interfejsy człowieka analogiczne do myszy o tych samych możliwościach, takie jak ekran dotykowy lub wskaźnik, powinny być kompatybilne, ale mogą zachowywać się inaczej.
Vt3minicyfrowe EyeTech60 Hz. Każde działające urządzenie do śledzenia ruchu gałek ocznych powinno być kompatybilne.
Systemy

Bibliografia

  1. Spearman, C. 34;General intelligence," objectively determined and measured. The American Journal of Psychology. 15, 201-292 (1904).
  2. McGee, M. G. Human spatial abilities: psychometric studies and environmental, genetic, hormonal, and neurological influences. Psychological bulletin. 86 (5), 889-918 (1979).
  3. Johnson, W., Bouchard, T. J. The structure of human intelligence: It is verbal, perceptual, and image rotation (VPR), not fluid and crystallized. Intelligence. 33 (4), 393-416 (2005).
  4. Hegarty, M. Components of spatial intelligence. Psychology of Learning and Motivation. 52, 265-297 (2010).
  5. Uttal, D. H., et al. The malleability of spatial skills: a meta-analysis of training studies. Psychological Bulletin. 139 (2), 352-402 (2013).
  6. Linn, M. C., Petersen, A. C. Emergence and characterization of sex differences in spatial ability: a meta-analysis. Child Development. 56 (6), 1479-1498 (1985).
  7. Johnson, S. P., Moore, D. S. Spatial thinking in infancy: Origins and development of mental rotation between 3 and 10 months of age. Cognitive Research: Principles and Implications. 5, 10(2020).
  8. Wai, J., Lubinski, D., Benbow, C. P. Spatial ability for STEM domains: aligning over 50 years of cumulative psychological knowledge solidifies its importance. Journal of Educational Psychology. 101 (4), 817-835 (2009).
  9. Newcombe, N. S., Stieff, M. Six myths about spatial thinking. International Journal of Science Education. 34, 955-971 (2012).
  10. Kell, H. J., Lubinski, D., Benbow, C. P., Steiger, J. H. Creativity and technical innovation: spatial ability's unique role. Psychological Science. 24 (9), 1831-1836 (2013).
  11. Geary, D. C. Spatial ability as a distinct domain of human cognition: An evolutionary perspective. Intelligence. 101616, (2022).
  12. Shepard, R., Metzler, J. Mental rotation of three-dimensional objects. Science. 171, 701-703 (1971).
  13. Shepard, R., Judd, S. Perceptual illusion of rotation of three-dimensional objects. Science. 191, 952-954 (1973).
  14. Just, M. A., Carpenter, P. A. Eye fixations and cognitive processes. Cognitive Psychology. 8, 441-480 (1976).
  15. Just, M. A., Carpenter, P. A. Cognitive coordinate systems: accounts of mental rotation and individual differences in spatial ability. Psychological Review. 92 (2), 137-172 (1985).
  16. Shepard, S., Metzler, D. Mental rotation: effects of dimensionality of objects and type of task. Journal of Experimental Psychology: Human Perception and Performance. 14 (1), 3-11 (1988).
  17. Biederman, I., Cooper, E. Size invariance in visual object priming. Journal of Experimental Psychology: Human Perception and Performance. 18, 121-133 (1992).
  18. Wexler, M., Kosslyn, S. M., Berthoz, A. Motor processes in mental rotation. Cognition. 68 (1), 77-94 (1998).
  19. Wohlschläger, A., Wohlschläger, A. Mental and manual rotation. Journal of Experimental Psychology: Human Perception and Performance. 24 (2), 397-412 (1998).
  20. Jordan, K., W, T., Heinze, H., Peters, M., Jäncke, L. Women and men exhibit different cortical activation patterns during mental rotation tasks. Neuropsychologia. 40, 2397-2408 (2002).
  21. Jansen-Osmann, P., Heil, M. Suitable stimuli to obtain (no) gender differences in the speed of cognitive processes involved in mental rotation. Brain and Cognition. 64, 217-227 (2007).
  22. Gardony, A. L., Taylor, H. A., Brunyé, T. T. What does physical rotation reveal about mental rotation. Psychological Science. 25 (2), 605-612 (2014).
  23. Adams, D. M., Stull, A. T., Hegarty, M. Effects of mental and manual rotation training on mental and manual rotation performance. Spatial Cognition & Computation. 14 (3), 169-198 (2014).
  24. Griksiene, R., Arnatkeviciute, A., Monciunskaite, R., Koenig, T., Ruksenas, O. Mental rotation of sequentially presented 3D figures: sex and sex hormones related differences in behavioural and ERP measures. Scientific Reports. 9, 18843(2019).
  25. Jansen, P., Render, A., Scheer, C., Siebertz, M. Mental rotation with abstract and embodied objects as stimuli: evidence from event-related potential (ERP). Experimental Brain Research. 238, 525-535 (2020).
  26. Noll, M. Early digital computer art at Bell Telephone Laboratories, Incorporated. Leonardo. 49 (1), 55-65 (2016).
  27. Vandenberg, S. G., Kuse, A. R. Mental rotations, a group of three-dimensional spatial visualization. Perceptual and Motor Skills. 47, 599-604 (1978).
  28. Hegarty, M. Ability and sex differences in spatial thinking: What does the mental rotation test really measure. Psychonomic Bulletin & Review. 25, 1212-1219 (2018).
  29. Kozaki, T. Training effect on sex-based differences in components of the Shepard and Metzler mental rotation task. Journal of Physiological Anthropology. 41, 39(2022).
  30. Bartlett, K. A., Camba, J. D. Gender differences in spatial ability: a critical review. Educational Psychology Review. 35, 1-29 (2023).
  31. Jansen, P., Schmelter, A., Quaiser-Pohl, C. M., Neuburger, S., Heil, M. Mental rotation performance in primary school age children: Are there gender differences in chronometric tests. Cognitive Development. 28, 51-62 (2013).
  32. Techentin, C., Voyer, D., Voyer, S. D. Spatial abilities and aging: a meta-analysis. Experimental Aging Research. 40, 395-425 (2014).
  33. Guillot, A., Champely, S., Batier, C., Thiriet, P., Collet, C. Relationship between spatial abilities, mental rotation and functional anatomy learning. Advances in Health Sciences Education. 12, 491-507 (2007).
  34. Voyer, D., Jansen, P. Motor expertise and performance in spatial tasks: A meta-analysis. Human Movement Science. 54, 110-124 (2017).
  35. Peters, M., et al. A redrawn Vandenberg and Kuse mental rotations test: different versions and factors that affect performance. Brain and Cognition. 28, 39-58 (1995).
  36. Peters, M., Battista, C. Applications of mental rotation figures of the Shepard and Metzler type and description of a mental rotation stimulus library. Brain and Cognition. 66, 260-264 (2008).
  37. Wiedenbauer, G., Schmid, J., Jansen-Osmann, P. Manual training of mental rotation. European Journal of Cognitive Psychology. 19, 17-36 (2007).
  38. Jost, L., Jansen, P. A novel approach to analyzing all trials in chronometric mental rotation and description of a flexible extended library of stimuli. Spatial Cognition & Computation. 20 (3), 234-256 (2020).
  39. Amorim, M. A., Isableu, B., Jarraya, M. Embodied spatial transformations:" body analogy" for the mental rotation of objects. Journal of Experimental Psychology: General. 135 (3), 327(2006).
  40. Bauer, R., Jost, L., Günther, B., Jansen, P. Pupillometry as a measure of cognitive load in mental rotation tasks with abstract and embodied figures. Psychological Research. 86, 1382-1396 (2022).
  41. Heil, M., Jansen-Osmann, P. Sex differences in mental rotation with polygons of different complexity: Do men utilize holistic processes whereas women prefer piecemeal ones. The Quarterly Journal of Experimental Psychology. 61 (5), 683-689 (2008).
  42. Larsen, A. Deconstructing mental rotation. Journal of Experimental Psychology: Human Perception and Performance. 40 (3), 1072-1091 (2014).
  43. Ho, S., Liu, P., Palombo, D. J., Handy, T. C., Krebs, C. The role of spatial ability in mixed reality learning with the HoloLens. Anatomic Sciences Education. 15, 1074-1085 (2022).
  44. Foster, D. H., Gilson, S. J. Recognizing novel three-dimensional objects by summing signals from parts and views. Procedures of the Royal Society London B. 269, 1939-1947 (2002).
  45. Stieff, M., Origenes, A., DeSutter, D., Lira, M. Operational constraints on the mental rotation of STEM representations. Journal of Educational Psychology. 110 (8), 1160-1174 (2018).
  46. Moen, K. C., et al. Strengthening spatial reasoning: elucidating the attentional and neural mechanisms associated with mental rotation skill development. Cognitive Research: Principles and Implications. 5, 20(2020).
  47. Guay, R. B. Purdue spatial visualization test: Rotations. Purdue Research Foundation. , West Lafayette, IN. (1976).
  48. Bodner, G. M., Guay, R. B. The Purdue Visualization of Rotations Test. The Chemical Educator. 2 (4), 1-17 (1997).
  49. Maeda, Y., Yoon, S. Y., Kim-Kang, K., Imbrie, P. K. Psychometric properties of the Revised PSVT:R for measuring First Year engineering students' spatial ability. International Journal of Engineering Education. 29, 763-776 (2013).
  50. Sorby, S., Veurink, N., Streiner, S. Does spatial skills instruction improve STEM outcomes? The answer is 'yes'. Learning and Individual Differences. 67, 209-222 (2018).
  51. Khooshabeh, P., Hegarty, M. Representations of shape during mental rotation. AAAI Spring Symposium: Cognitive Shape Processing. , 15-20 (2010).
  52. Wetzel, S., Bertel, S. Spatial cognition XI. Spatial cognition 2018. Lecture Notes in Computer Science. Creem-Regehr, S., Schoning, J., Klippel, A. 11034, Springer. Cham. 167-179 (2018).
  53. Jost, L., Jansen, P. Manual training of mental rotation performance: Visual representation of rotating figures is the main driver for improvements. Quarterly Journal of Experimental Psychology. 75 (4), 695-711 (2022).
  54. Irwin, D. E., Brockmole, J. R. Mental rotation is suppressed during saccadic eye movements. Psychonomic Bulletin & Review. 7 (4), 654-661 (2000).
  55. Moreau, D. The role of motor processes in three-dimensional mental rotation: Shaping cognitive processing via sensorimotor experience. Learning and Individual Differences. 22, 354-359 (2021).
  56. Kosslyn, S. M., Ganis, G., Thmpson, W. L. Neural foundations of imagery. Nature Reviews Neuroscience. 2, 635-642 (2001).
  57. Guo, J., Song, J. H. Reciprocal facilitation between mental and visuomotor rotations. Scientific Reports. 13, 825(2023).
  58. Nazareth, A., Killick, R., Dick, A. S., Pruden, S. M. Strategy selection versus flexibility: Using eye-trackers to investigate strategy use during mental rotation. Journal of Experimental Psychology: Learning, Memory, and Cognition. 45 (2), 232-245 (2019).
  59. Montag, M., Bertel, S., Koning, B. B., Zander, S. Exploration vs. limitation - An investigation of instructional design techniques for spatial ability training on mobile devices. Computers in Human Behavior. 118, 106678(2021).
  60. Tang, Z., et al. Eye movement characteristics in a mental rotation task presented in virtual reality. Frontiers in Neuroscience. 17, 1143006(2023).
  61. Münzer, S. Facilitating recognition of spatial structures through animation and the role of mental rotation ability. Learning and Individual Differences. 38, 76-82 (2015).
  62. Gardony, A. L., Eddy, M. D., Brunyé, T. T., Taylor, H. A. Cognitive strategies in the mental rotation task revealed by EEG spectral power. Brain and Cognition. 118, 1-18 (2017).
  63. Ruddle, R. A., Jones, D. M. Manual and virtual rotation of three-dimensional object. Journal of Experimental Psychology: Applied. 7 (4), 286-296 (2001).
  64. Sundstedt, V., Garro, V. A Systematic review of visualization techniques and analysis tools for eye-tracking in 3D environments. Frontiers in Neuroergonomics. 3, 910019(2022).
  65. Sawada, T., Zaidi, Q. Rotational-symmetry in a 3D scene and its 2D image. Journal of Mathematical Psychology. 87, 108-125 (2018).
  66. Xue, J., et al. Uncovering the cognitive processes underlying mental rotation: an eye-movement study. Scientific Reports. 7, 10076(2017).
  67. O'Shea, R. P. Thumb's rule tested: Visual angle of thumb's width is about 2 deg. Perception. 20, 415-418 (1991).
  68. Todd, J., Marois, R. Capacity limit of visual short-term memory in human posterior parietal cortex. Nature. 428, 751-754 (2004).

Przedruki i uprawnienia

Tagi

trójwymiarowe obiekty wirtualnetrajektoria obroturotacja mentalnainteraktywne zadanie rotacyjneinterakcja człowiek-komputeranaliza danych o spojrzeniuprocesy poznawczerejestracja w czasie rzeczywistymmapowanie rotacyjne
Trójwymiarowe mapowanie obrotu interaktywnych obiektów wirtualnych za pomocą danych śledzenia wzroku
Skontaktuj się z nami
Poleć bibliotece

Prywatność

Warunki korzystania z usługi

Zasady

Prawa autorskie © 2026 MyJoVE Corporation. Wszelkie prawa zastrzeżone.