Subskrypcja JoVE jest wymagana do oglądania tego materiału. Zaloguj się lub rozpocznij bezpłatny okres próbny.

Artykuł metodologiczny

Trójwymiarowe mapowanie obrotu interaktywnych obiektów wirtualnych za pomocą danych śledzenia wzroku

1.9K wyświetleń

⸱

DOI:

10.3791/65977

⸱

18 października 2024

 ,  ,  ,  , 
1Graduate Program in Chemistry, University of São Paulo, Institute of Chemistry, 2Graduate Program in Applied Mathematics, University of São Paulo, Institute of Mathematics and Statistics, 3Graduate Program in Neuroscience and Cognition, Federal University of ABC, Center of Mathematics, Computing and Cognition, 4School of Biomedical Engineering, Science and Health Systems, Drexel University

W tym artykule

Podsumowanie

Opracowaliśmy prostą, konfigurowalną i efektywną metodę rejestrowania ilościowych danych procesowych z interaktywnych zadań przestrzennych i mapowania tych danych rotacji za pomocą danych śledzenia wzroku.

Streszczenie

Prezentujemy metodę rejestrowania interakcji człowieka z trójwymiarowymi (3D) wirtualnymi obiektami w czasie rzeczywistym. Podejście to polega na powiązaniu danych o rotacji manipulowanego obiektu z pomiarami behawioralnymi, takimi jak śledzenie ruchu gałek ocznych, w celu uzyskania lepszych wniosków na temat leżących u podstaw procesów poznawczych.

Zadanie polega na wyświetleniu dwóch identycznych modeli tego samego obiektu 3D (cząsteczki), prezentowanych na ekranie komputera: obracającego się, interaktywnego obiektu (iObj) i statycznego, docelowego obiektu (tObj). Uczestnicy muszą obracać iObj za pomocą myszy, dopóki nie uznają, że jego orientacja jest identyczna z tObj. Komputer śledzi wszystkie dane dotyczące interakcji w czasie rzeczywistym. Dane dotyczące spojrzenia uczestnika są również rejestrowane za pomocą urządzenia do śledzenia ruchu gałek ocznych. Częstotliwość pomiaru wynosi 10 Hz na komputerze i 60 Hz na monitorze ruchu gałek ocznych.

Dane dotyczące orientacji iObj względem tObj są zapisywane w kwaternionach rotacji. Dane spojrzenia są synchronizowane z orientacją iObj i przywoływane za pomocą tego samego systemu. Metoda ta pozwala na uzyskanie następujących wizualizacji procesu interakcji człowieka z iObj i tObj: (1) rozbieżność kątowa zsynchronizowana z innymi danymi zależnymi od czasu; (2) Trajektoria rotacji 3D wewnątrz tego, co zdecydowaliśmy się nazwać "kulą obrotów"; (3) Mapa cieplna fiksacji 3D. Wszystkie kroki protokołu korzystały z wolnego oprogramowania, takiego jak GNU Octave i Jmol, a wszystkie skrypty są dostępne jako materiał dodatkowy.

Dzięki takiemu podejściu, możemy przeprowadzić szczegółowe badania ilościowe procesu rozwiązywania zadań obejmującego rotacje mentalne lub fizyczne, a nie tylko osiągnięty wynik. Możliwe jest dokładne zmierzenie, jak ważna jest każda część modeli 3D dla uczestnika w rozwiązywaniu zadań, a tym samym odniesienie modeli do odpowiednich zmiennych, takich jak charakterystyka obiektów, zdolności poznawcze osób oraz charakterystyka interfejsu człowiek-maszyna.

Wprowadzenie

Rotacja mentalna (MR) to zdolność poznawcza, która umożliwia jednostkom mentalne manipulowanie i obracanie obiektów, ułatwiając lepsze zrozumienie ich cech i relacji przestrzennych. Jest to jedna ze zdolności wzrokowo-przestrzennych, podstawowa grupa poznawcza, która była badana już w 1890 roku1. Zdolności wzrokowo-przestrzenne są ważnym składnikiem repertuaru poznawczego jednostki, na który wpływają zarówno czynniki dziedziczone, jak i środowiskowe2,3,4,5. Zainteresowanie zdolnościami wzrokowo-przestrzennymi wzrosło w XX wieku ze względu na coraz liczniejsze dowody na ich znaczenie w kluczowych dziedzinach, takich jak starzenie się6 i rozwój7, wyniki w naukach ścisłych, technologii, inżynierii i matematyce (STEM)8,9, creativity10 oraz cechy ewolucyjne11.

Współczesna idea MR wywodzi się z pionierskiej pracy opublikowanej przez Sheparda i Metzlera (SM) w 1971 roku12. Opracowali oni metodę chronometryczną wykorzystującą serię "takich samych lub różnych" zadań, prezentując dwie projekcje abstrakcyjnych obiektów 3D wyświetlanych obok siebie. Uczestnicy musieli w myślach obrócić obiekty wokół jakiejś osi i zdecydować, czy te projekcje przedstawiały ten sam obiekt obrócony inaczej, czy też odrębne obiekty. Badanie wykazało dodatnią korelację liniową między czasem odpowiedzi (RT) a rozbieżnością kątową (AD) między reprezentacjami tego samego obiektu. Ta korelacja jest znana jako efekt rozbieżności kątów (ADE). ADE jest uważane za behawioralną manifestację MR i stało się wszechobecne w kilku wpływowych późniejszych badaniach w tej dziedzinie13,14,15,16,17,18,19,20,21, 22,23,24,25. Obiekty 3D wykorzystane w badaniu SM składały się z 10 sąsiadujących ze sobą sześcianów wygenerowanych przez pioniera grafów komputerowych Michaela Nolla z Bell Laboratories26. Są one określane jako figury SM i są szeroko stosowane w badaniach MR.

Dwa postępy były bardzo ważne w przełomowej pracy Sheparda i Metzlera; po pierwsze, biorąc pod uwagę wkład w dziedzinie oceny MR. W 1978 roku Vanderberg i Kuze27 opracowali psychometryczny 20-punktowy test ołówkiem i papierem oparty na "tych samych lub różnych" figurach SM, który stał się znany jako test rotacji mentalnej (VKMRT). Każdy element testowy przedstawia bodziec docelowy. Uczestnicy muszą wybrać spośród czterech bodźców, które reprezentują ten sam obiekt przedstawiony w bodźcu docelowym, a które nie. VKMRT został wykorzystany do zbadania korelacji między zdolnością MR a różnymi innymi czynnikami, takimi jak różnice związane z płcią6,21,24,28,29,30, starzenie się i development6,31,32, wyniki w nauce8,33, oraz umiejętności muzyczne i sportowe34. W 1995 roku Peters i in. opublikowali badanie z przerysowanymi rysunkami dla klasy VKMRT35,36. Podobnie, zgodnie z "tym samym lub innym" projektem zadania, wykorzystano wiele innych bibliotek bodźców generowanych komputerowo do badania procesów MR i oceny zdolności MR (wersje 3D oryginalnych bodźców SM 19,22,23,37,38, ludzkie ciało naśladujące postacie SM25,39,40, płaskie wielokąty do obrotu 2D41,42, anatomia i narządy43, kształty organiczne44, molekuły45,46, między innymi21). Test Wizualizacji Przestrzennej Purdue (PSVT) zaproponowany przez Guaya w 1976 roku47 jest również istotny. Pociąga to za sobą szereg testów, w tym MR (PSVT:R). Wykorzystując inne bodźce niż te w VKMRT, PSVT:R wymaga od uczestników zidentyfikowania operacji rotacji w bodźcu modelowym i mentalnego zastosowania jej do innego. PSVT:R jest również szeroko stosowany, szczególnie w badaniach badających rolę MR w osiągnięciach STEM48,49,50.

Drugim ważnym osiągnięciem w przełomowej pracy Sheparda i Metzlera jest wkład w zrozumienie procesu MR, w szczególności za pomocą urządzeń śledzących ruch gałek ocznych. W 1976 roku Just i Carpenter14 użyli analogowego sprzętu do śledzenia ruchu gałek ocznych opartego na wideo, aby przeprowadzić badanie oparte na eksperymencie ADE Sheparda i Metzlera. Na podstawie wyników badań nad sakkadowymi ruchami gałek ocznych i RT zaproponowali model procesów MR składający się z trzech faz: 1) fazy poszukiwania, w której rozpoznawane są podobne części figur; 2) faza transformacji i porównania, w której jedna ze zidentyfikowanych części zostaje mentalnie obrócona; 3) faza potwierdzenia, w której podejmuje się decyzję, czy liczby są takie same, czy nie. Fazy są powtarzane rekurencyjnie, aż będzie można podjąć decyzję. Każdy krok odpowiada specyficznym sakkadowym i fiksacyjnym wzorcom ruchu gałek ocznych w ścisłym związku z obserwowanymi ADE. W ten sposób, korelując aktywność oczu z danymi chronometrycznymi, Just i Carpenter dostarczyli sygnaturę kognitywną do badania procesów MR. Do tej pory model ten, choć z adaptacjami, został przyjęty w kilku badaniach15,42,46,51,52,53.

Podążając tą ścieżką, kilka kolejnych badań monitorujących zachowanie18,19,22,23,25,34,40,54,55 i aktywność mózgu20,22,56,57 funkcji podczas rotacji bodźców. Ich odkrycia wskazują na kooperatywną rolę między rezonansem magnetycznym a procesami motorycznymi. Co więcej, rośnie zainteresowanie badaniem strategii rozwiązywania problemów z udziałem MR w odniesieniu do różnic indywidualnych 15,41,46,51,58.

Ogólnie rzecz biorąc, można uznać, że projekt badań mających na celu zrozumienie procesów MR opiera się na przedstawieniu zadania za pomocą bodźców wizualnych, które wymagają od uczestników wykonania operacji MR, która z kolei pociąga za sobą reakcję motoryczną. Jeśli ta reakcja pozwala na rotację bodźców, często nazywa się to rotacją fizyczną (PR). W zależności od szczegółowych celów każdego badania, do pozyskiwania i analizy danych MR i PR zastosowano różne strategie i urządzenia. Na etapie prezentacji bodźca zadaniowego możliwa jest zmiana rodzajów bodźców (tj. wcześniej przytoczonych przykładów); Projekcja (obrazy generowane komputerowo na tradycyjnych wyświetlaczach22,23,25,29,40,41,59, a także w stereoscopes19 i virtual60 i mixed43 środowiska rzeczywistości); oraz interaktywność bodźców (obrazy statyczne12,27,36, animacje61, oraz interaktywne obiekty wirtualne19,22,23,43,53,59).

MR jest zwykle wnioskowane na podstawie pomiarów RTs (ADE), a także aktywności oczu i mózgu25,46,62. Aktywność oka jest mierzona za pomocą danych śledzenia wzroku składających się z ruchów sakkadowych i fiksacji14,15,42,51,52,54,58,60, a także pupillometry40. Dane RT zazwyczaj pochodzą z danych reakcji silnika zarejestrowanych podczas obsługi różnych urządzeń, takich jak dźwignie13, przyciski i przełączniki14,53, pedals53, pokrętła19, joysticks37, keyboard61 i mouse29,58,60, koła napędowe53, czujniki bezwładnościowe22,23, ekrany dotykowe52,59, oraz mikrofony22. Aby zmierzyć PR, oprócz RT, projekt badania będzie również obejmował rejestrowanie ręcznych rotacji interaktywnych bodźców podczas wykonywania przez uczestników zadania MR 22,23,52,53.

W 1998 roku Wohlschläger i Wohlschläger19 używali "tych samych lub różnych" zadań z interaktywnymi wirtualnymi bodźcami SM manipulowanymi za pomocą pokrętła, z obrotami ograniczonymi do jednej osi na zadanie. Zmierzyli RT i skumulowany zapis fizycznych rotacji wykonanych podczas zadań. Porównując sytuacje z rzeczywistą rotacją interaktywnych bodźców i bez niej, doszli do wniosku, że MR i PR mają wspólny proces zarówno dla wyobrażonych, jak i faktycznie wykonywanych rotacji.

W 2014 roku przeprowadzono dwa badania wykorzystujące ten sam typ zadań z wirtualnymi interaktywnymi bodźcami22,23. Obiektami manipulowano jednak za pomocą czujników inercyjnych, które rejestrowały ruch w przestrzeni 3D. W obu przypadkach, oprócz RT, zarejestrowano trajektorie rotacji – ewolucję różnic rotacyjnych między bodźcami referencyjnymi a interaktywnymi podczas zadań. Z tych trajektorii możliwe było wydobycie zarówno informacji skumulowanych (tj. całkowitej liczby obrotów w jednostkach czwartorzędowych), jak i szczegółowych informacji o strategiach rozwiązań. Adams i wsp.23 badali efekt współpracy między MR i PR. Oprócz RT wykorzystali całkę trajektorii rotacji jako parametr dokładności i obiektywności rozdzielczości. Profile krzywych zostały zinterpretowane zgodnie z trzyetapowym modelem63 (planowanie, główny obrót, dokładna regulacja). Wyniki wskazują, że MR i PR niekoniecznie mają jeden, wspólny czynnik. Gardony et al.22 zebrali dane na temat RT, dokładności i rotacji w czasie rzeczywistym. Oprócz potwierdzenia związku między MR i PR, analiza trajektorii rotacji ujawniła, że uczestnicy manipulowali liczbami, dopóki nie byli w stanie określić, czy są one różne, czy nie. Jeśli były takie same, uczestnicy obracali je, aż wyglądały tak samo.

Kontynuując tę strategię, w 2018 roku Wetzel i Bertel52 również wykorzystali interaktywne figurki SM w "tych samych lub różnych" zadaniach, używając tabletów z ekranem dotykowym jako interfejsu. Ponadto wykorzystali urządzenie śledzące ruch gałek ocznych, aby uzyskać skumulowane dane na temat czasu fiksacji i amplitudy sakkady jako parametrów obciążenia poznawczego związanego z rozwiązywaniem zadań MR. Autorzy potwierdzili wcześniejsze badania omówione powyżej dotyczące relacji między MR i PR a procesami rozwiązywania zadań. Jednak w tym badaniu nie wykorzystali mapowania fiksacji i danych sakkad dla bodźców.

Metodologiczne podejścia do mapowania danych śledzenia wzroku na wirtualnych obiektach 3D zostały zaproponowane i stale ulepszane, zwykle przez badaczy zainteresowanych badaniem czynników związanych z uwagą wzrokową w środowiskach wirtualnych64. Chociaż są one przystępne cenowo i wykorzystują podobne urządzenia do śledzenia ruchu gałek ocznych, najwyraźniej metody te nie zostały skutecznie zintegrowane z repertuarem eksperymentalnym stosowanym w badaniach rotacji umysłowej z interaktywnymi obiektami 3D, takimi jak te wcześniej wspomniane. Z drugiej strony, nie znaleźliśmy żadnych badań w literaturze opisujących mapowanie w czasie rzeczywistym danych dotyczących ruchu fiksacji i sakad na interaktywnych obiektach 3D. Wydaje się, że nie ma wygodnej metody łatwej integracji danych o aktywności oczu z trajektoriami rotacji. W tym badaniu staramy się przyczynić do wypełnienia tej luki. Procedura jest szczegółowo przedstawiona, od akwizycji danych do graficznego generowania danych wyjściowych.

W tym artykule szczegółowo opisujemy metodę badania procesów rotacji mentalnej za pomocą wirtualnych interaktywnych obiektów 3D. Podkreślono następujące postępy. Po pierwsze, integruje ilościowy silnik behawioralny (ręczne obracanie obiektów za pomocą interfejsu komputerowego) i gromadzenie danych ocznych (śledzenie oczu) podczas sesji interakcji z wirtualnymi modelami 3D. Po drugie, wymaga jedynie konwencjonalnego sprzętu komputerowego i urządzeń śledzących ruch gałek ocznych do wizualnego projektowania zadań, akwizycji, nagrywania i przetwarzania danych. Po trzecie, z łatwością generuje dane graficzne, aby ułatwić analizę danych - rozbieżności kątowych, rotacji fizycznej, trajektorii rotacji czwartorzędowej i mapowania trafień danych śledzenia wzroku nad wirtualnymi obiektami 3D. Wreszcie, metoda wymaga tylko wolnego oprogramowania. Cały opracowany kod i skrypty są dostępne bezpłatnie (https://github.com/rodrigocnstest/rodrigocnstest.github.io).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Protokół

1. Przygotowanie narzędzi do zbierania danych

  1. Konfigurowanie zbierania danych online (opcjonalnie).
    UWAGA: W tym kroku opisano, jak skonfigurować konfigurowalny klon kodu projektu i działającej strony internetowej (patrz Plik uzupełniający 1). Ten krok został zaadaptowany z samouczków dostępnych na stronach https://pages.github.com/ i https://github.com/jamiewilson/form-to-google-sheets. Jeśli użytkownicy są zainteresowani tylko metodą przetwarzania danych, a nie rejestracją danych, mogą skorzystać ze strony internetowej https://rodrigocnstest.github.io/iRT_JoVE.html wraz z tabelą uzupełniającą S1 i plikami repozytorium pod adresem https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave, pomijając kroki 1.1, 1.2 i ich podkroki.
    1. Zaloguj się w usłudze GitHub (https://github.com/).
    2. Utwórz publiczny klon oryginalnego repozytorium stron GitHub.
      1. Kliknij Importuj repozytorium z https://github.com będąc zalogowanym na konto.
      2. W polu Adres URL klonowania starego repozytorium wklej https://github.com/rodrigocns/rodrigocns_JoVE adresu URL w polu Nazwa repozytorium, wpisz username.github.io, gdzie nazwa użytkownika jest nazwą użytkownika używaną na koncie, i upewnij się, że opcja Publiczny jest włączona. Następnie kliknij zielony przycisk Rozpocznij import.
        UWAGA: Repozytorium zawiera teraz większość plików potrzebnych do pozostałej części tej konfiguracji, a wszelkie zmiany wprowadzone w repozytorium zostaną zaktualizowane na stronie internetowej po kilku minutach. Na przykład użytkownik o nazwie rodrigocnstest uzyska dostęp do własnej strony w https://rodrigocnstest.github.io i repozytorium GitHub pod adresem https://github.com/rodrigocnstest/rodrigocnstest.github.io.
    3. Skonfiguruj arkusz kalkulacyjny w chmurze, aby przechowywać dane eksperymentu online.
      1. Zarejestruj się lub zaloguj na konto Google.
      2. Po zalogowaniu się na konto przejdź do czystego pliku arkuszy kalkulacyjnych iRT dostępnego pod adresem https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
        Ops1wZrXI/edit?usp=udostępnianie.
      3. W tym arkuszu kalkulacyjnym kliknij Plik | Zrób kopię. Pojawi się małe okno potwierdzenia.
      4. W małym oknie nadaj plikowi nazwę i kliknij przycisk Utwórz kopię.
    4. Skonfiguruj skrypt Google Apps Script, aby zautomatyzować przechowywanie danych w utworzonym arkuszu kalkulacyjnym.
      1. W pliku arkusza kalkulacyjnego kliknij opcję Rozszerzenie | Apps Script.
        UWAGA: Ten skrypt musi zostać utworzony lub dostępny z poziomu arkusza kalkulacyjnego, aby był z nim powiązany. Próba utworzenia skryptu zewnętrznie może nie zadziałać.
      2. Kliknij przycisk Uruchom, aby uruchomić skrypt po raz pierwszy.
      3. Kliknij przycisk Przejrzyj uprawnienia. Pojawi się nowe okno. Kliknij to samo konto, które zostało użyte podczas tworzenia arkusza kalkulacyjnego.
        UWAGA: Jeśli wykonujesz ten krok po raz pierwszy, może pojawić się alert bezpieczeństwa ostrzegający użytkownika o tym, że aplikacja prosi o dostęp do informacji z konta. Jest bezpieczny, ponieważ aplikacja próbuje dotrzeć do zawartości arkusza kalkulacyjnego i prosi o pozwolenie na wypełnienie go danymi. Jeśli nie pojawią się żadne ostrzeżenia, krok 1.1.4.4 można pominąć.
      4. Kliknij Zaawansowane | Przejdź do opcji Z iRT do arkuszy (niebezpieczne) | Zezwalaj przycisk.
        UWAGA: Po wykonaniu w dzienniku wykonywania powinien pojawić się komunikat informujący, że wykonanie zostało zakończone.
      5. W lewym panelu przesuwanym kliknij przycisk Wyzwalacze (czwarta ikona od góry do dołu) | + Dodaj przycisk Wyzwalacz.
      6. W obszarze Wybierz funkcję do uruchomienia wybierz pozycję doPost, w obszarze Wybierz źródło zdarzenia wybierz pozycję Z arkusza kalkulacyjnego, a w obszarze Wybierz typ zdarzenia wybierz pozycję Po przesłaniu formularza. Następnie kliknij Zapisz. Jeśli pojawią się jakiekolwiek wyskakujące okienka uprawnień, wykonaj kroki 1.1.4.3-1.1.4.4. Jeśli przeglądarka zablokuje wyskakujące okienko, odblokuj je.
      7. Kliknij przycisk rozwijany Wdróż | Nowe wdrożenie.
      8. Najedź myszą na ikonę koła zębatego i upewnij się, że wybrana jest opcja Web App.
      9. Wpisz opis w polu Nowy opis, na przykład Wdrożenie 1; w polu Kto ma dostęp wybierz opcję Każdy, a następnie kliknij przycisk Wdróż.
        UWAGA: Celem pola Nowy opis jest uporządkowanie wdrożeń skryptów. Można go nazwać według własnego uznania, na przykład Pierwsze wdrożenie. Pole Wykonaj jako powinno być już wyświetlane jako Ja(e-mail), gdzie adres e-mail jest adresem e-mail używanym do tej pory.
      10. Wewnątrz nowego wyskakującego okienka skopiuj adres URL aplikacji internetowej skryptu deployment.
        UWAGA: Jeśli z jakiegoś powodu utracisz skopiowany adres URL aplikacji internetowej, odzyskaj go, klikając menu rozwijane Wdróż | Zarządzanie wdrożeniami. Powinien tam znajdować się adres URL aplikacji internetowej.
      11. Przejdź do strony pod adresem https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js, gdzie rodrigocnstest jest nazwą użytkownika używaną w usłudze GitHub. Zastąp istniejący adres URL w wierszu 5 dla skopiowanego adresu URL aplikacji internetowej w kroku 1.1.4.10, a następnie kliknij zielony przycisk Zatwierdź zmiany....
        UWAGA: Skopiowana wartość adresu URL powinna pozostać w pojedynczym cudzysłowie ' ' lub podwójnym " " ". Upewnij się, że skopiowany adres URL jest właściwym adresem URL z aplikacji internetowej.
      12. Na koniec kliknij przycisk Potwierdzenie zatwierdź zmiany na środku ekranu.
    5. Upewnij się, że proces został zakończony poprawnie, a strona działa.
      1. Przejdź do repozytorium w https://github.com/username/username.github.io/, gdzie username jest nazwą użytkownika używaną w usłudze GitHub, i sprawdź, czy wdrożenie zostało zaktualizowane po zmianach wprowadzonych w kroku 1.4.14.
      2. Przejdź do strony internetowej pod adresem https://username.github.io/iRT_JoVE, zmień nazwę użytkownika na nazwę użytkownika używaną w usłudze GitHub, a następnie kliknij przycisk Dalej.
      3. Kliknij przycisk Przejdź, wykonaj dowolną interakcję, klikając i przeciągając myszką obiekt po prawej stronie, a następnie kliknij przycisk GOTOWE!.
      4. Wróć do pliku arkusza kalkulacyjnego skonfigurowanego w krokach 1.1.3 i 1.1.4 i sprawdź, czy istnieje nowo dodany wiersz danych przy każdym naciśnięciu przycisku GOTOWE.
  2. Skonfiguruj pobieranie danych w trybie offline (opcjonalnie).
    UWAGA: Metoda przeznaczona do uruchamiania i pobierania danych zadania interaktywnej rotacji (iRT) jest dostępna w trybie online za pośrednictwem usług w chmurze skonfigurowanych w krokach opisanych powyżej. W razie potrzeby (ponieważ połączenie internetowe może stanowić problem lub aby mieć alternatywny sposób na jego uruchomienie), możliwe jest również uruchomienie testu lokalnie z połączeniem internetowym lub bez niego w miejscu, w którym test zostanie wykonany. Poniższe kroki są opcjonalną alternatywą i opisują, jak to osiągnąć. W przeciwnym razie przejdź do kroku 1.3.
    1. Uzyskaj dostęp do repozytorium GitHub pod linkiem: https://github.com/rodrigocnstest/rodrigocnstest.github.io. Kliknij zielony przycisk < > Kod | Pobierz plik ZIP, a następnie rozpakuj pobrane pliki.
      UWAGA: Zmiany wprowadzone w plikach przechowywanych lokalnie nie powodują zmian w plikach w repozytorium i na odwrót. Wszelkie zmiany przeznaczone dla obu wersji powinny zostać zastosowane do obu lokalizacji, ręcznie kopiując zaktualizowane pliki lub korzystając z git/GitHub desktop.
    2. Pobierz najnowszą wersję przeglądarki Mozilla Firefox, korzystając z linku: https://www.mozilla.org/en-US/firefox/new/.
    3. Otwórz przeglądarkę Mozilla Firefox, wpisz "about:config" w polu adresu URL, wpisz "security.fileuri.strict_origin_policy" w polu wyszukiwania i zmień jego wartość na false. UWAGA: Teraz Mozilla Firefox w systemie operacyjnym Windows powinna być w stanie uzyskać lokalny dostęp do pobranych plików stron internetowych na twoim komputerze. Inne przeglądarki i systemy operacyjne można skonfigurować do pracy lokalnej, a każda z nich ma swoją konfigurację opisaną pod linkiem http://wiki.jmol.org/index.php/Troubleshooting/Local_Files.
  3. Skonfiguruj narzędzie do przetwarzania danych.
    1. Pobierz i zainstaluj najnowszą wersję GNU Octave na https://octave.org/download.
  4. Skonfiguruj urządzenie śledzące ruch gałek ocznych.
    1. Upewnij się, że na laptopie jest zainstalowane oprogramowanie systemu nagrywania.
    2. Upewnij się, że pokój badawczy jest czysty i dobrze zorganizowany, aby uniknąć rozpraszania uwagi.
    3. Używaj sztucznego oświetlenia w pomieszczeniu, aby utrzymać stałe oświetlenie przez cały dzień.
    4. Zainstaluj komputer na stole i upewnij się, że uczestnik może wygodnie poruszać myszą.
    5. Zapewnij uczestnikowi wygodne krzesło, najlepiej stałe krzesło, aby zminimalizować ruch podczas testu.
    6. Podłącz jeden USB do zasilania oświetlenia w podczerwieni, a drugi USB między laptopem/komputerem a eye-trackerem aparatu.
    7. Umieść urządzenie śledzące ruch gałek ocznych pod ekranem.

2. Zbieranie danych

  1. Zainicjuj oprogramowanie do zbierania danych.
    1. Uruchom oprogramowanie do śledzenia ruchu gałek ocznych na komputerze, aby odbierać dane z urządzenia do śledzenia ruchu gałek ocznych.
    2. Wybierz opcję Zrzut ekranu w głównym oknie oprogramowania, aby uchwycić spojrzenie podczas eksperymentu (możliwe jest również użycie tego oprogramowania do wizualizacji mapy cieplnej i eksportu surowych danych).
    3. Kliknij Nowy projekt, aby utworzyć nowy projekt i folder projektu, w którym mają zostać zapisane dane.
    4. Otwórz stronę testową pod https://rodrigocnstest.github.io/iRT_JoVE.html w przypadku korzystania ze strony podanej jako przykład lub strony utworzonej w kroku 1.1. Możesz też otworzyć plik iRT_JoVE.html lokalnie z przeglądarki skonfigurowanej wcześniej w kroku 1.2.
    5. W razie potrzeby wypełnij pola imienia i nazwiska oraz adresu e-mail, aby ułatwić identyfikację danych, a następnie zaznacz pole wyboru, aby pobrać kopię zapasową utworzonych danych.
      UWAGA: W przypadku korzystania z metody offline (krok 1.2) zaleca się pobranie kopii zapasowych.
    6. Spróbuj uruchomić eksperyment raz, aby upewnić się, że przeglądarka poprawnie załaduje elementy i nie ma problemów z prezentowanymi zadaniami lub pozyskiwaniem danych.
  2. Uruchom eksperyment.
    1. Wyjaśnij uczestnikowi cel eksperymentu, zastosowaną technologię oraz kryteria włączenia/wykluczenia. Upewnij się, że uczestnik wszystko zrozumiał. Poproś uczestnika o wypełnienie formularza zgody.
    2. Poproś uczestnika, aby usiadł przed systemem śledzenia ruchu gałek ocznych i ułożył się tak wygodnie, jak to możliwe.
    3. Przesuń krzesło, aby zapewnić optymalną odległość między uczestnikiem a kamerą (idealna długość to 65 cm od eye-trackera do oczu uczestnika).
    4. Poproś uczestnika, aby podczas eksperymentu pozostał tak nieruchomo, jak to możliwe. Dostosuj wysokość kamery, aby prawidłowo uchwycić źrenice uczestnika (niektóre programy podświetlają źrenicę, aby pokazać odbicie rogówki).
    5. Kliknij opcję Włącz automatyczne wzmocnienie, aby zoptymalizować śledzenie źrenic, zmieniając wzmocnienie kamery, aż źrenice zostaną znalezione (niektóre programy nie mają tej opcji).
    6. Poproś uczestnika, aby spojrzał na serię kropek na ekranie i śledził ruch kropki bez poruszania głową.
    7. Kliknij Kalibruj, aby rozpocząć kalibrację (zapewni to, że eye-tracker będzie mógł śledzić, gdzie uczestnik patrzy na ekranie).
      UWAGA: Ekran zgaśnie, a znacznik kalibracji (kropka) przesunie się przez pięć pozycji na ekranie.
    8. Po kalibracji na ekranie zostanie narysowane wizualne oszacowanie punktu widzenia w celu sprawdzenia dokładności kalibracji. Poproś uczestnika, aby spojrzał na konkretny punkt na wyświetlaczu, aby sprawdzić, czy spojrzenie będzie wyświetlane poprawnie.
    9. Jeśli kalibracja jest niezadowalająca, wyreguluj aparat i spróbuj ponownie przeprowadzić kalibrację, aż system będzie prawidłowo śledził wzrok.
    10. Kliknij przycisk Zbieraj dane po prawej stronie oprogramowania do śledzenia ruchu gałek ocznych (menu główne), aby aktywować tryb zbierania danych. Wyświetlanie przechwyconego ekranu w czasie rzeczywistym zostanie przedstawione z danymi spojrzenia wyświetlanymi w głównym oknie wyświetlacza.
    11. Kliknij przycisk Wideo Spojrzenie w menu głównym, aby wyświetlić twarz użytkownika przechwyconą przez urządzenie śledzące ruch gałek ocznych. Następnie kliknij Rozpocznij nagrywanie, aby rozpocząć eksperyment.
      UWAGA: Podczas eksperymentu źrenica uczestnika jest podświetlona, a jego oko jest wyświetlane jako kropka poruszająca się po ekranie laptopa. Upewnij się, że eye tracker śledzi źrenicę i oko na ekranie.
    12. Jeśli kropka znika lub często migocze, przerwij eksperyment i spróbuj ponownie skalibrować.
    13. Otwórz poprzednio otwarte okno iRT i powiedz uczestnikowi, aby kliknął przycisk Dalej.
    14. Przekaż uczestnikowi następujące instrukcje: "W tej części wykonasz trzy zadania rotacyjne. Po kliknięciu przycisku GO! dwa obiekty pojawią się po przeciwnych stronach ekranu. Twoim celem jest obrócenie obiektu po prawej stronie, aż będzie on jak najlepiej pasował do obiektu po lewej stronie. Aby obrócić obiekt, kliknij i przeciągnij nad nim myszą. Po zakończeniu każdego z trzech zadań kliknij przycisk GOTOWE! przycisk, aby zakończyć."
      UWAGA: W przypadku każdego zadania wszelkie dane iRT po upływie 5 minut (dokładnie 327sekund) mogą zostać utracone. W miarę dalszego rozwoju metody limit ten powinien być rozszerzany.
    15. Pod koniec eksperymentu upewnij się, że eyetracker jest wyłączony z przedłużacza i załóż osłonę obiektywu z powrotem na aparat.
  3. Wyodrębnij dane.
    1. Po zakończeniu zbierania danych za pomocą eye-trackera kliknij Analizuj dane, aby uzyskać dostęp do zebranych danych.
    2. Eksportuj plik .csv ze wszystkimi danymi zapisanymi dla użytkownika.
      UWAGA: Pierwsza kolumna danych urządzenia do śledzenia ruchu gałek ocznych musi być epoką danych w systemie UNIX, ponieważ jest to jedyny sposób na prawidłowe dopasowanie różnych zestawów danych w czasie. Jeśli plik go nie zawiera, należy go przekonwertować z innego użytego standardu czasowego. Plik może być w formacie ".csv" lub ".xlsx".
    3. Jeśli korzystasz z wersji online interaktywnej strony z zadaniami obracania (krok 1.1), otwórz plik Arkuszy Google używany do odbierania danych online (utworzony w kroku 1.1.3) i pobierz go, klikając Plik | Pliki do pobrania | Microsoft Excel (.xlsx).
      UWAGA: Dane te są spakowane w celu ułatwienia przesyłania danych (każde zadanie odpowiada jednemu wierszowi wypełnionemu danymi). Aby przetworzyć znajdujące się w nim dane, każdy wiersz spakowanych danych musi zostać najpierw "rozpakowany".

3. Przetwarzanie i analiza danych

  1. Rozpakuj, scal i przetwórz dane.
    UWAGA: Poniższe kroki opisują sposób przetwarzania danych przy użyciu dostarczonych skryptów (patrz Plik uzupełniający 2). Skrypty GNU Octave będą pytać użytkownika o informacje o jego plikach. Jeśli dane wejściowe są wysyłane jako puste, zamiast nich zostaną użyte wartości domyślne, odwołujące się do podanych przykładowych danych, jeśli żadne dane użytkownika ich nie zastąpiły. Po zakończeniu działania skryptu można go zamknąć.
    1. Pobierz i rozpakuj używane repozytorium (własne użytkownika lub oryginalne w https://github.com/rodrigocns/rodrigocns_JoVE), jeśli nie zostało jeszcze pobrane.
    2. Upewnij się, że skrypty 1.unpacking_sheets.m, 2.data_merge_and_process.m, 3.3D trajektoria rotacyjna.m, a modele folderów znajdują się w pobranym repozytorium w folderze Octave, a następnie przenieś pliki danych pobrane z kroków 2.3.2 i 2.3.3 do tego samego folderu, w którym znajdują się skrypty oktawy.
      UWAGA: Wszystkie istniejące pliki znajdujące się już w folderze o takich samych nazwach jak nowo zapisane pliki mogą zostać nadpisane. Zmień odpowiednio nazwę plików lub przenieś je do innego folderu.
    3. Otwórz skrypt 1.unpacking_sheets.m za pomocą GNU Octave Launcher. W zakładce Edytor uruchom skrypt, klikając zielony przycisk Zapisz plik i uruchom, aby rozpakować dane do bardziej czytelnej struktury.
      UWAGA: Jeśli którykolwiek z żądanych plików danych jest otwarty lokalnie, pamiętaj, aby zamknąć je przed uruchomieniem skryptu. Wszystkie pliki skryptów .m zostały uruchomione przy użyciu GNU Octave Launcher.
    4. Pojawią się dwa monity, jeden po drugim. Wprowadź nazwę pobranego pliku w pierwszym monicie i nazwę rozpakowanego pliku w drugim polu. Alternatywnie pozostaw oba pola monitu puste, aby użyć domyślnych nazw przeznaczonych dla dołączonych plików przykładowych. Poczekaj kilka minut (w zależności od ilości danych) na wyskakujące okienko informujące użytkownika, że proces został zakończony i nowy plik został zapisany.
    5. Otwórz i uruchom skrypt 2.data_merge_and_process.m, aby scalić dane zarówno z eye trackera, jak i iRT.
      UWAGA: Chociaż ten skrypt jest złożony i obejmuje setki wierszy kodu, jest podzielony na trzy główne sekcje: ustawienia, funkcje i skrypty. Wszystkie są dokładnie komentowane i wyjaśniane, co w razie potrzeby ułatwia późniejsze modyfikacje.
    6. Pojawią się cztery monity. Wprowadź wartość sessionID, wartość taskID (obie z tabeli danych iRT), nazwę niespakowanego pliku danych iRT (zapisaną w kroku 3.1.5) i nazwę pliku danych eye tracker (wyeksportowaną w kroku 2.3.2) lub pozostaw wszystkie puste pola, aby użyć wartości domyślnych.
      UWAGA: Po kilku minutach pojawi się wyskakujące okienko pomocy z informacją, że skrypt zakończył obliczenia oraz nazwami użytych i utworzonych plików. Podczas procesu tworzenia skryptu pojawią się trzy przykładowe wykresy rozbieżności kątowej: wykres prosty, wykres z danymi kolorowego spojrzenia i wykres z danymi o średnicy źrenicy. Dwa utworzone pliki to wyjście merge X Y.xlsx i wyjście jmol console X Y.xlsx, gdzie X jest wartością sessionID, a Y jest wartością taskID, oba zapisane na początku kroku 3.1.6.
  2. Renderuj obrazy trajektorii obrotu 3D.
    1. Otwórz i uruchom skrypt 3.3D trajektorię rotacji.m.
    2. Pojawią się trzy monity. Wprowadź wartość sessionID, wartość taskID i nazwę niespakowanego pliku danych iRT lub pozostaw je puste, aby użyć wartości domyślnych.
      UWAGA: Pojawi się wykres 3D. Renderowany wykres to trajektoria obrotu 3D określonej sesji i zadania.
  3. Odtwórz ponownie animacje.
    1. Aby odtworzyć interakcję uczestnika z zadaniem, najpierw przejdź do interaktywnej strony internetowej zadania, rozpocznij test (pokazujący oba modele 3D), przesuń wskaźnik myszy w prawym górnym rogu ekranu, aż ikona myszy zmieni się w tekst, jak pokazano w pliku uzupełniającym 2, a następnie kliknij niewidoczny tekst debugowania, włączając tryb debugowania.
    2. Z przycisków, które pojawiają się między modelami, kliknij przycisk timerStop, aby przerwać zadanie, a następnie kliknij przycisk konsoli, aby otworzyć konsolę JSmol modelu po prawej stronie. Jeśli zadanie z interakcji będącej przedmiotem zainteresowania nie było pierwszym, kliknij ponumerowane przyciski w górnym obszarze debugowania, aby zmienić zadanie wyświetlane na ekranie.
      UWAGA: JSmol to oprogramowanie do modelowania molekularnego używane na stronie internetowej.
    3. Otwórz plik wyjściowy jmol console.xlsx i skopiuj całą stronę poleceń Jmol.
      UWAGA: Każda strona zawiera polecenia dotyczące innej sceny lub animacji.
    4. Wewnątrz konsoli JSmol wklej listę skopiowanych poleceń i kliknij przycisk Uruchom lub naciśnij Enter na klawiaturze, aby go wykonać.
    5. W razie potrzeby wygeneruj animację .gif. Napisz polecenie capture "filename" SCRIPT "output" w konsoli JSmol, gdzie filename to nazwa pliku .gif do utworzenia, a wyjście to cała lista poleceń skopiowanych w kroku 3.3.3, zachowując oba w podwójnym cudzysłowie.
      UWAGA: Im bardziej skomplikowane stają się polecenia, z większymi modelami lub większą liczbą zmian w czasie, a także im mniej zaawansowane są specyfikacje używanego komputera, tym wolniejsza staje się animacja. Jmol koncentruje się na wizualizacji związków chemicznych i reakcji, a rodzaj animacji powstałych w wyniku naszych badań przesuwa granice możliwości renderowania Jmol. Punkty te należy wziąć pod uwagę i uwzględnić przy wykonywaniu jakichkolwiek pomiarów ilościowych z tą animacją.

4. Personalizacja zadań

UWAGA: Cała ta sekcja jest opcjonalna i zalecana tylko dla tych, którzy lubią eksperymentować lub rozumieją, jak kodować. Poniżej znajdziesz niektóre z wielu dostępnych opcji, które można dostosować, a więcej opcji stanie się dostępnych w miarę dalszego rozwoju metod.

  1. Konfigurowanie nowych lub istniejących zadań.
    1. Określ, ile interaktywnych zadań zostanie wykonanych przez uczestnika i nazwij każde z nich w pliku object_configs.js wewnątrz tablicy task_list zastępując istniejące nazwy elementów lub dodając kolejne. Upewnij się, że każda nazwa jest unikatowa, ponieważ są one później używane jako identyfikatory.
    2. Wybierz pliki współrzędnych 3D zgodne z JSmol, aby wykonać zadania interaktywne (http://wiki.jmol.org/index.php/File_formats). Skopiuj te pliki do folderu models.
      UWAGA: Skrypty zawarte w tym artykule są zoptymalizowane pod kątem modeli asymetrycznych korzystających z formatu pliku .xyz. Wybierając pliki współrzędnych, unikaj symetrii obrotu, ponieważ mają one niejednoznaczne rozwiązania65.
    3. Zdefiniuj ustawienia renderowania dla obiektów 3D w funkcji prepMolecule(num).
      UWAGA: Wszystkie zmiany od jednego zadania do drugiego wykonywane przez JSmol trafiają tutaj: zmiana wzorca kolorów, zmiana rozmiaru lub sposobu renderowania elementów graficznych, orientacja, translacja, ukrywanie części obiektu, wczytywanie nowych modeli 3D itp. (więcej przykładów w https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm). Każde zadanie nazwane w task_list odpowiada sprawie. Każde polecenie do wykonania przez JSmol ma strukturę: Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 "); gdzie jsmol_obj odnosi się do zmienianego obiektu (jsmol_ref i jsmol_obj są domyślne dla obiektów docelowych i interaktywnych), po którym następuje jedno lub więcej poleceń oddzielonych znakiem "; ".
  2. Tworzenie nowych modeli.
    1. Użyj dowolnego modelu .xyz pobranego online lub zbudowanego przez edytorów molekularnych, takich jak Avogadro (https://avogadro.cc/).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Wyniki

Ewolucja dysproporcji kątowej i innych zmiennych
Jak przedstawiono w kroku 3.3.1 w Supplemental File 2, na ekranie monitora wideo wyświetlane są dwa obszary robocze, przedstawiające kopie tego samego wirtualnego obiektu 3D w różnych orientacjach. Na lewym obszarze obiekt docelowy (tObj) pozostaje statyczny i służy jako pozycja docelowa lub pozycja tObj. Na prawym obszarze wyświetlany jest obiekt interaktywny (iObj) w innej pozycji, który uczestnik może przemieszczać...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Dyskusja

Jak wspomniano wcześniej, niniejszy artykuł ma na celu przedstawienie szczegółowej procedury mapowania w czasie rzeczywistym danych ruchu fiksacji i sakad na interaktywnych obiektach 3D, która jest łatwo konfigurowalna i wykorzystuje tylko oprogramowanie dostępne za darmo, dostarczając instrukcje krok po kroku, aby wszystko działało.

Chociaż ta eksperymentalna konfiguracja obejmowała wysoce interaktywne zadanie, takie jak przesuwanie obiektu 3D w celu dopasowania orientacji innego obiektu do P...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Oświadczenia

Autorzy nie mają do ujawnienia żadnych konfliktów interesów.

Podziękowania

Autorzy są wdzięczni Koordynacji na rzecz Doskonalenia Kadr Szkolnictwa Wyższego (CAPES) - Kod Finansowy 001 oraz Uniwersytetowi Federalnemu ABC (UFABC). João R. Sato otrzymał wsparcie finansowe od Fundacji Badawczej São Paulo (FAPESP, granty nr 2018/21934-5, 2018/04654-9 i 2023/02538-0).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
FirefoxMozilla Foundation (Open Source)Każda zaktualizowana nowoczesna przeglądarka, która jest kompatybilna z WebGL (https://caniuse.com/webgl), a z kolei z Jmol, może być używana
GNU OctaveOpen Sourcehttps://octave.org/
Google Apps ScriptGoogle LLCscript.google.com
Arkusze GoogleLLChttps://www.google.com/sheets/about/
LaptopDowolny komputer, na którym można uruchomić oprogramowanie systemu śledzenia ruchu gałek ocznych.
Pakiet oprogramowania Mangold Mangold Interfejs oprogramowania używany w urządzeniu śledzącym ruch gałek ocznych. Można użyć dowolnego oprogramowania, które wyprowadza dane z wartościami czasu systemowego.
MyszKażda mysz zdolna do klikania i przeciągania prostymi ruchami powinna być kompatybilna. Interfejsy człowieka analogiczne do myszy o tych samych możliwościach, takie jak ekran dotykowy lub wskaźnik, powinny być kompatybilne, ale mogą zachowywać się inaczej.
Vt3minicyfrowe EyeTech60 Hz. Każde działające urządzenie do śledzenia ruchu gałek ocznych powinno być kompatybilne.
Systemy

Bibliografia

  1. Spearman, C. 34;General intelligence," objectively determined and measured. The American Journal of Psychology. 15, 201-292 (1904).
  2. McGee, M. G. Human spatial abilities: psychometric studies and environmental, genetic, hormonal, and neurological influences. Psychological bulletin. 86 (5), 889-918 (1979).
  3. Johnson, W., Bouchard, T. J. The structure of human intelligence: It is verbal, perceptual, and image rotation (VPR), not fluid and crystallized. Intelligence. 33 (4), 393-416 (2005).
  4. Hegarty, M. Components of spatial intelligence. Psychology of Learning and Motivation. 52, 265-297 (2010).
  5. Uttal, D. H., et al. The malleability of spatial skills: a meta-analysis of training studies. Psychological Bulletin. 139 (2), 352-402 (2013).
  6. Linn, M. C., Petersen, A. C. Emergence and characterization of sex differences in spatial ability: a meta-analysis. Child Development. 56 (6), 1479-1498 (1985).
  7. Johnson, S. P., Moore, D. S. Spatial thinking in infancy: Origins and development of mental rotation between 3 and 10 months of age. Cognitive Research: Principles and Implications. 5, 10(2020).
  8. Wai, J., Lubinski, D., Benbow, C. P. Spatial ability for STEM domains: aligning over 50 years of cumulative psychological knowledge solidifies its importance. Journal of Educational Psychology. 101 (4), 817-835 (2009).
  9. Newcombe, N. S., Stieff, M. Six myths about spatial thinking. International Journal of Science Education. 34, 955-971 (2012).
  10. Kell, H. J., Lubinski, D., Benbow, C. P., Steiger, J. H. Creativity and technical innovation: spatial ability's unique role. Psychological Science. 24 (9), 1831-1836 (2013).
  11. Geary, D. C. Spatial ability as a distinct domain of human cognition: An evolutionary perspective. Intelligence. 101616, (2022).
  12. Shepard, R., Metzler, J. Mental rotation of three-dimensional objects. Science. 171, 701-703 (1971).
  13. Shepard, R., Judd, S. Perceptual illusion of rotation of three-dimensional objects. Science. 191, 952-954 (1973).
  14. Just, M. A., Carpenter, P. A. Eye fixations and cognitive processes. Cognitive Psychology. 8, 441-480 (1976).
  15. Just, M. A., Carpenter, P. A. Cognitive coordinate systems: accounts of mental rotation and individual differences in spatial ability. Psychological Review. 92 (2), 137-172 (1985).
  16. Shepard, S., Metzler, D. Mental rotation: effects of dimensionality of objects and type of task. Journal of Experimental Psychology: Human Perception and Performance. 14 (1), 3-11 (1988).
  17. Biederman, I., Cooper, E. Size invariance in visual object priming. Journal of Experimental Psychology: Human Perception and Performance. 18, 121-133 (1992).
  18. Wexler, M., Kosslyn, S. M., Berthoz, A. Motor processes in mental rotation. Cognition. 68 (1), 77-94 (1998).
  19. Wohlschläger, A., Wohlschläger, A. Mental and manual rotation. Journal of Experimental Psychology: Human Perception and Performance. 24 (2), 397-412 (1998).
  20. Jordan, K., W, T., Heinze, H., Peters, M., Jäncke, L. Women and men exhibit different cortical activation patterns during mental rotation tasks. Neuropsychologia. 40, 2397-2408 (2002).
  21. Jansen-Osmann, P., Heil, M. Suitable stimuli to obtain (no) gender differences in the speed of cognitive processes involved in mental rotation. Brain and Cognition. 64, 217-227 (2007).
  22. Gardony, A. L., Taylor, H. A., Brunyé, T. T. What does physical rotation reveal about mental rotation. Psychological Science. 25 (2), 605-612 (2014).
  23. Adams, D. M., Stull, A. T., Hegarty, M. Effects of mental and manual rotation training on mental and manual rotation performance. Spatial Cognition & Computation. 14 (3), 169-198 (2014).
  24. Griksiene, R., Arnatkeviciute, A., Monciunskaite, R., Koenig, T., Ruksenas, O. Mental rotation of sequentially presented 3D figures: sex and sex hormones related differences in behavioural and ERP measures. Scientific Reports. 9, 18843(2019).
  25. Jansen, P., Render, A., Scheer, C., Siebertz, M. Mental rotation with abstract and embodied objects as stimuli: evidence from event-related potential (ERP). Experimental Brain Research. 238, 525-535 (2020).
  26. Noll, M. Early digital computer art at Bell Telephone Laboratories, Incorporated. Leonardo. 49 (1), 55-65 (2016).
  27. Vandenberg, S. G., Kuse, A. R. Mental rotations, a group of three-dimensional spatial visualization. Perceptual and Motor Skills. 47, 599-604 (1978).
  28. Hegarty, M. Ability and sex differences in spatial thinking: What does the mental rotation test really measure. Psychonomic Bulletin & Review. 25, 1212-1219 (2018).
  29. Kozaki, T. Training effect on sex-based differences in components of the Shepard and Metzler mental rotation task. Journal of Physiological Anthropology. 41, 39(2022).
  30. Bartlett, K. A., Camba, J. D. Gender differences in spatial ability: a critical review. Educational Psychology Review. 35, 1-29 (2023).
  31. Jansen, P., Schmelter, A., Quaiser-Pohl, C. M., Neuburger, S., Heil, M. Mental rotation performance in primary school age children: Are there gender differences in chronometric tests. Cognitive Development. 28, 51-62 (2013).
  32. Techentin, C., Voyer, D., Voyer, S. D. Spatial abilities and aging: a meta-analysis. Experimental Aging Research. 40, 395-425 (2014).
  33. Guillot, A., Champely, S., Batier, C., Thiriet, P., Collet, C. Relationship between spatial abilities, mental rotation and functional anatomy learning. Advances in Health Sciences Education. 12, 491-507 (2007).
  34. Voyer, D., Jansen, P. Motor expertise and performance in spatial tasks: A meta-analysis. Human Movement Science. 54, 110-124 (2017).
  35. Peters, M., et al. A redrawn Vandenberg and Kuse mental rotations test: different versions and factors that affect performance. Brain and Cognition. 28, 39-58 (1995).
  36. Peters, M., Battista, C. Applications of mental rotation figures of the Shepard and Metzler type and description of a mental rotation stimulus library. Brain and Cognition. 66, 260-264 (2008).
  37. Wiedenbauer, G., Schmid, J., Jansen-Osmann, P. Manual training of mental rotation. European Journal of Cognitive Psychology. 19, 17-36 (2007).
  38. Jost, L., Jansen, P. A novel approach to analyzing all trials in chronometric mental rotation and description of a flexible extended library of stimuli. Spatial Cognition & Computation. 20 (3), 234-256 (2020).
  39. Amorim, M. A., Isableu, B., Jarraya, M. Embodied spatial transformations:" body analogy" for the mental rotation of objects. Journal of Experimental Psychology: General. 135 (3), 327(2006).
  40. Bauer, R., Jost, L., Günther, B., Jansen, P. Pupillometry as a measure of cognitive load in mental rotation tasks with abstract and embodied figures. Psychological Research. 86, 1382-1396 (2022).
  41. Heil, M., Jansen-Osmann, P. Sex differences in mental rotation with polygons of different complexity: Do men utilize holistic processes whereas women prefer piecemeal ones. The Quarterly Journal of Experimental Psychology. 61 (5), 683-689 (2008).
  42. Larsen, A. Deconstructing mental rotation. Journal of Experimental Psychology: Human Perception and Performance. 40 (3), 1072-1091 (2014).
  43. Ho, S., Liu, P., Palombo, D. J., Handy, T. C., Krebs, C. The role of spatial ability in mixed reality learning with the HoloLens. Anatomic Sciences Education. 15, 1074-1085 (2022).
  44. Foster, D. H., Gilson, S. J. Recognizing novel three-dimensional objects by summing signals from parts and views. Procedures of the Royal Society London B. 269, 1939-1947 (2002).
  45. Stieff, M., Origenes, A., DeSutter, D., Lira, M. Operational constraints on the mental rotation of STEM representations. Journal of Educational Psychology. 110 (8), 1160-1174 (2018).
  46. Moen, K. C., et al. Strengthening spatial reasoning: elucidating the attentional and neural mechanisms associated with mental rotation skill development. Cognitive Research: Principles and Implications. 5, 20(2020).
  47. Guay, R. B. Purdue spatial visualization test: Rotations. Purdue Research Foundation. , West Lafayette, IN. (1976).
  48. Bodner, G. M., Guay, R. B. The Purdue Visualization of Rotations Test. The Chemical Educator. 2 (4), 1-17 (1997).
  49. Maeda, Y., Yoon, S. Y., Kim-Kang, K., Imbrie, P. K. Psychometric properties of the Revised PSVT:R for measuring First Year engineering students' spatial ability. International Journal of Engineering Education. 29, 763-776 (2013).
  50. Sorby, S., Veurink, N., Streiner, S. Does spatial skills instruction improve STEM outcomes? The answer is 'yes'. Learning and Individual Differences. 67, 209-222 (2018).
  51. Khooshabeh, P., Hegarty, M. Representations of shape during mental rotation. AAAI Spring Symposium: Cognitive Shape Processing. , 15-20 (2010).
  52. Wetzel, S., Bertel, S. Spatial cognition XI. Spatial cognition 2018. Lecture Notes in Computer Science. Creem-Regehr, S., Schoning, J., Klippel, A. 11034, Springer. Cham. 167-179 (2018).
  53. Jost, L., Jansen, P. Manual training of mental rotation performance: Visual representation of rotating figures is the main driver for improvements. Quarterly Journal of Experimental Psychology. 75 (4), 695-711 (2022).
  54. Irwin, D. E., Brockmole, J. R. Mental rotation is suppressed during saccadic eye movements. Psychonomic Bulletin & Review. 7 (4), 654-661 (2000).
  55. Moreau, D. The role of motor processes in three-dimensional mental rotation: Shaping cognitive processing via sensorimotor experience. Learning and Individual Differences. 22, 354-359 (2021).
  56. Kosslyn, S. M., Ganis, G., Thmpson, W. L. Neural foundations of imagery. Nature Reviews Neuroscience. 2, 635-642 (2001).
  57. Guo, J., Song, J. H. Reciprocal facilitation between mental and visuomotor rotations. Scientific Reports. 13, 825(2023).
  58. Nazareth, A., Killick, R., Dick, A. S., Pruden, S. M. Strategy selection versus flexibility: Using eye-trackers to investigate strategy use during mental rotation. Journal of Experimental Psychology: Learning, Memory, and Cognition. 45 (2), 232-245 (2019).
  59. Montag, M., Bertel, S., Koning, B. B., Zander, S. Exploration vs. limitation - An investigation of instructional design techniques for spatial ability training on mobile devices. Computers in Human Behavior. 118, 106678(2021).
  60. Tang, Z., et al. Eye movement characteristics in a mental rotation task presented in virtual reality. Frontiers in Neuroscience. 17, 1143006(2023).
  61. Münzer, S. Facilitating recognition of spatial structures through animation and the role of mental rotation ability. Learning and Individual Differences. 38, 76-82 (2015).
  62. Gardony, A. L., Eddy, M. D., Brunyé, T. T., Taylor, H. A. Cognitive strategies in the mental rotation task revealed by EEG spectral power. Brain and Cognition. 118, 1-18 (2017).
  63. Ruddle, R. A., Jones, D. M. Manual and virtual rotation of three-dimensional object. Journal of Experimental Psychology: Applied. 7 (4), 286-296 (2001).
  64. Sundstedt, V., Garro, V. A Systematic review of visualization techniques and analysis tools for eye-tracking in 3D environments. Frontiers in Neuroergonomics. 3, 910019(2022).
  65. Sawada, T., Zaidi, Q. Rotational-symmetry in a 3D scene and its 2D image. Journal of Mathematical Psychology. 87, 108-125 (2018).
  66. Xue, J., et al. Uncovering the cognitive processes underlying mental rotation: an eye-movement study. Scientific Reports. 7, 10076(2017).
  67. O'Shea, R. P. Thumb's rule tested: Visual angle of thumb's width is about 2 deg. Perception. 20, 415-418 (1991).
  68. Todd, J., Marois, R. Capacity limit of visual short-term memory in human posterior parietal cortex. Nature. 428, 751-754 (2004).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przedruki i uprawnienia

Przeglądaj więcej artykułów

trójwymiarowe obiekty wirtualnetrajektoria obroturotacja mentalnainteraktywne zadanie rotacyjneinterakcja człowiek-komputeranaliza danych o spojrzeniuprocesy poznawczerejestracja w czasie rzeczywistymmapowanie rotacyjne
Trójwymiarowe mapowanie obrotu interaktywnych obiektów wirtualnych za pomocą danych śledzenia wzroku
Skontaktuj się z nami
Poleć bibliotece

Prywatność

Warunki korzystania z usługi

Zasady

Prawa autorskie © 2026 MyJoVE Corporation. Wszelkie prawa zastrzeżone.