Name: Trójwymiarowe mapowanie obrotu interaktywnych obiektów wirtualnych za pomocą danych śledzenia wzroku (Wideo) | JoVE Journal
Uploaded: 2024-10-18T12:30:00.000+00:00
Duration: 6 min 36 s
Description: Poznaj metodę trójwymiarowego mapowania obrotu obiektów wirtualnych z wykorzystaniem śledzenia wzroku w czasie rzeczywistym. Technika ta pozwala badać procesy poznawcze podczas zadań przestrzennych i analizować indywidualne różnice w rotacji mentalnej.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Autorzy są wdzięczni Koordynacji na rzecz Doskonalenia Kadr Szkolnictwa Wyższego (CAPES) - Kod Finansowy 001 oraz Uniwersytetowi Federalnemu ABC (UFABC). João R. Sato otrzymał wsparcie finansowe od Fundacji Badawczej São Paulo (FAPESP, granty nr 2018/21934-5, 2018/04654-9 i 2023/02538-0).

Real-Time Recording and Mapping of Human Interaction with 3D Virtual Objects

Autorzy nie mają do ujawnienia żadnych konfliktów interesów.

Jak wspomniano wcześniej, niniejszy artykuł ma na celu przedstawienie szczegółowej procedury mapowania w czasie rzeczywistym danych ruchu fiksacji i sakad na interaktywnych obiektach 3D, która jest łatwo konfigurowalna i wykorzystuje tylko oprogramowanie dostępne za darmo, dostarczając instrukcje krok po kroku, aby wszystko działało.
Chociaż ta eksperymentalna konfiguracja obejmowała wysoce interaktywne zadanie, takie jak przesuwanie obiektu 3D w celu dopasowania orientacji innego obiektu do PR w dwóch z trzech możliwych osi, zadbaliśmy o dokładną dokumentację naszych skryptów poprzez odpowiednie komentarze, aby ułatwić wszelkie dostosowania. Można zaprojektować różne inne rodzaje eksperymentów, przy czym urządzenie śledzące ruch gałek ocznych jest tylko jednym z wielu innych możliwych urządzeń używanych do pozyskiwania danych czasowych.
Nagłówki w skopiowanym pliku z kroku 1.1.3.3 definiują zawartość i miejsce, w którym dane będą zbierane online. Tabela uzupełniająca S1 zawiera listę nazw zmiennych (we wszystkich rozróżniana jest wielkość liter) i ich znaczenie. Te zmienne odzwierciedlają zmienne znajdujące się w plikach JavaScript w repozytorium GitHub. Rodzaj i różnorodność danych oraz nazw zmiennych, zarówno z tego arkusza, jak i plików JavaScript, powinny być zmieniane zgodnie z zakresem i wymaganiami badania.
Zapis danych rotacyjnych w kwaternionach pozwala badaczowi odtworzyć te same ruchy wykonywane przez uczestników podczas zadań, ułatwiając analizę procesu i znacznie efektywniej wykorzystując przestrzeń dyskową w porównaniu ze zrzutem ekranu. Bardziej szczegółowa analiza, taka jak trajektoria obrotu 3D, pokazana na rysunku 7 przy użyciu kuli obrotów, jest możliwa tylko dzięki wewnętrznym danym kwaternionowym interaktywnych obiektów. Ten nowy typ wykresu, rozwijający się z wykresu AD w czasie przez Gardony22 i Adams23, dostarcza bardziej szczegółowych informacji, z rzeczywistymi współrzędnymi obrotu 3D w czasie.
Kolejną zaletą jest użycie standardowej miary czasu do synchronizacji wszystkich źródeł danych. Łączenie z tym różnych warstw informacji zależnych od czasu staje się znacznie łatwiejsze, na przykład nakładanie wykresów z wieloma źródłami danych, jak na rysunku 5B z pomiarem rozszerzenia źrenicy lub na rysunku 5A z kolorowymi pionowymi pasami, oznaczającymi możliwe wzorce w procesie rozwiązywania przez uczestników, nawet jeśli w iObj prawie nie zachodził obrót. Mapa cieplna fiksacji 3D pokazana na rysunku 3 jest możliwa tylko na podstawie danych kwaternionów i synchronizacji danych.
Bardzo ważne jest, aby korzystać z synchronizacji za pomocą standardowej miary czasu, aby zapewnić jakąkolwiek integrację danych czasowych. Standardem czasowym wybranym dla naszego projektu była epoka UNIX, która jest używana w JavaScript i większości innych języków programowania. Dla każdego zestawu danych musi być używany pewien typ znanego standardu czasu, nawet jeśli inny standard, który może być później przekonwertowany na epokę systemu UNIX. Dane czasowe, które nie korzystają z żadnych standardów, z całą pewnością nie będą w stanie się zsynchronizować i stracą swoją użyteczność.
Kolejnym ograniczeniem jest stosunkowo niska częstotliwość 10 Hz stosowana w testach iRT w stosunku do częstotliwości śledzenia ruchu gałek ocznych wynoszącej 60 Hz. Dzieje się tak częściowo z powodu ograniczeń w przetwarzaniu i przesyłaniu danych w przeglądarce, ponieważ każda wyższa częstotliwość proporcjonalnie skróciłaby maksymalny limit czasu każdego zadania, który obecnie wynosi 327 s. Dodatkowo, płynne renderowanie złożonych animacji w Jmol przy tej liczbie klatek na sekundę już stanowiło wyzwanie. Dodatkowe wideo S1 to nagranie wideo, na którym Jmol renderuje powtórkę ze zmianą krycia w czasie, odwzorowując stopień skupienia otrzymanego przez każdy wierzchołek. Podczas gdy czas trwania filmu wynosi prawie 2 minuty, rzeczywiste zadanie zostało wykonane w 63 s. Przyszłe prace nad oprogramowaniem, które skupiałyby się specjalnie na takich funkcjach, zamiast dostosowywać istniejące, mogłyby wyeliminować te ograniczenia i zwiększyć możliwości gromadzenia i analizy danych.

Rotacja mentalna (MR) to zdolność poznawcza, która umożliwia jednostkom mentalne manipulowanie i obracanie obiektów, ułatwiając lepsze zrozumienie ich cech i relacji przestrzennych. Jest to jedna ze zdolności wzrokowo-przestrzennych, podstawowa grupa poznawcza, która była badana już w 1890 roku1. Zdolności wzrokowo-przestrzenne są ważnym składnikiem repertuaru poznawczego jednostki, na który wpływają zarówno czynniki dziedziczone, jak i środowiskowe2,3,4,5. Zainteresowanie zdolnościami wzrokowo-przestrzennymi wzrosło w XX wieku ze względu na coraz liczniejsze dowody na ich znaczenie w kluczowych dziedzinach, takich jak starzenie się6 i rozwój7, wyniki w naukach ścisłych, technologii, inżynierii i matematyce (STEM)8,9, creativity10 oraz cechy ewolucyjne11.
Współczesna idea MR wywodzi się z pionierskiej pracy opublikowanej przez Sheparda i Metzlera (SM) w 1971 roku12. Opracowali oni metodę chronometryczną wykorzystującą serię "takich samych lub różnych" zadań, prezentując dwie projekcje abstrakcyjnych obiektów 3D wyświetlanych obok siebie. Uczestnicy musieli w myślach obrócić obiekty wokół jakiejś osi i zdecydować, czy te projekcje przedstawiały ten sam obiekt obrócony inaczej, czy też odrębne obiekty. Badanie wykazało dodatnią korelację liniową między czasem odpowiedzi (RT) a rozbieżnością kątową (AD) między reprezentacjami tego samego obiektu. Ta korelacja jest znana jako efekt rozbieżności kątów (ADE). ADE jest uważane za behawioralną manifestację MR i stało się wszechobecne w kilku wpływowych późniejszych badaniach w tej dziedzinie13,14,15,16,17,18,19,20,21, 22,23,24,25. Obiekty 3D wykorzystane w badaniu SM składały się z 10 sąsiadujących ze sobą sześcianów wygenerowanych przez pioniera grafów komputerowych Michaela Nolla z Bell Laboratories26. Są one określane jako figury SM i są szeroko stosowane w badaniach MR.
Dwa postępy były bardzo ważne w przełomowej pracy Sheparda i Metzlera; po pierwsze, biorąc pod uwagę wkład w dziedzinie oceny MR. W 1978 roku Vanderberg i Kuze27 opracowali psychometryczny 20-punktowy test ołówkiem i papierem oparty na "tych samych lub różnych" figurach SM, który stał się znany jako test rotacji mentalnej (VKMRT). Każdy element testowy przedstawia bodziec docelowy. Uczestnicy muszą wybrać spośród czterech bodźców, które reprezentują ten sam obiekt przedstawiony w bodźcu docelowym, a które nie. VKMRT został wykorzystany do zbadania korelacji między zdolnością MR a różnymi innymi czynnikami, takimi jak różnice związane z płcią6,21,24,28,29,30, starzenie się i development6,31,32, wyniki w nauce8,33, oraz umiejętności muzyczne i sportowe34. W 1995 roku Peters i in. opublikowali badanie z przerysowanymi rysunkami dla klasy VKMRT<sup="xref">35,36. Podobnie, zgodnie z "tym samym lub innym" projektem zadania, wykorzystano wiele innych bibliotek bodźców generowanych komputerowo do badania procesów MR i oceny zdolności MR (wersje 3D oryginalnych bodźców SM 19,22,23,37,38, ludzkie ciało naśladujące postacie SM25,39,40, płaskie wielokąty do obrotu 2D41,42, anatomia i narządy43, kształty organiczne44, molekuły45,46, między innymi21). Test Wizualizacji Przestrzennej Purdue (PSVT) zaproponowany przez Guaya w 1976 roku47 jest również istotny. Pociąga to za sobą szereg testów, w tym MR (PSVT:R). Wykorzystując inne bodźce niż te w VKMRT, PSVT:R wymaga od uczestników zidentyfikowania operacji rotacji w bodźcu modelowym i mentalnego zastosowania jej do innego. PSVT:R jest również szeroko stosowany, szczególnie w badaniach badających rolę MR w osiągnięciach STEM48,49,50.
Drugim ważnym osiągnięciem w przełomowej pracy Sheparda i Metzlera jest wkład w zrozumienie procesu MR, w szczególności za pomocą urządzeń śledzących ruch gałek ocznych. W 1976 roku Just i Carpenter14 użyli analogowego sprzętu do śledzenia ruchu gałek ocznych opartego na wideo, aby przeprowadzić badanie oparte na eksperymencie ADE Sheparda i Metzlera. Na podstawie wyników badań nad sakkadowymi ruchami gałek ocznych i RT zaproponowali model procesów MR składający się z trzech faz: 1) fazy poszukiwania, w której rozpoznawane są podobne części figur; 2) faza transformacji i porównania, w której jedna ze zidentyfikowanych części zostaje mentalnie obrócona; 3) faza potwierdzenia, w której podejmuje się decyzję, czy liczby są takie same, czy nie. Fazy są powtarzane rekurencyjnie, aż będzie można podjąć decyzję. Każdy krok odpowiada specyficznym sakkadowym i fiksacyjnym wzorcom ruchu gałek ocznych w ścisłym związku z obserwowanymi ADE. W ten sposób, korelując aktywność oczu z danymi chronometrycznymi, Just i Carpenter dostarczyli sygnaturę kognitywną do badania procesów MR. Do tej pory model ten, choć z adaptacjami, został przyjęty w kilku badaniach15,42,46,51,52,53.
Podążając tą ścieżką, kilka kolejnych badań monitorujących zachowanie18,19,22,23,25,34,40,54,55 i aktywność mózgu20,22,56,57 funkcji podczas rotacji bodźców. Ich odkrycia wskazują na kooperatywną rolę między rezonansem magnetycznym a procesami motorycznymi. Co więcej, rośnie zainteresowanie badaniem strategii rozwiązywania problemów z udziałem MR w odniesieniu do różnic indywidualnych 15,41,46,51,58.
Ogólnie rzecz biorąc, można uznać, że projekt badań mających na celu zrozumienie procesów MR opiera się na przedstawieniu zadania za pomocą bodźców wizualnych, które wymagają od uczestników wykonania operacji MR, która z kolei pociąga za sobą reakcję motoryczną. Jeśli ta reakcja pozwala na rotację bodźców, często nazywa się to rotacją fizyczną (PR). W zależności od szczegółowych celów każdego badania, do pozyskiwania i analizy danych MR i PR zastosowano różne strategie i urządzenia. Na etapie prezentacji bodźca zadaniowego możliwa jest zmiana rodzajów bodźców (tj. wcześniej przytoczonych przykładów); Projekcja (obrazy generowane komputerowo na tradycyjnych wyświetlaczach22,23,25,29,40,41,59, a także w stereoscopes19 i virtual60 i mixed43 środowiska rzeczywistości); oraz interaktywność bodźców (obrazy statyczne12,27,36, animacje61, oraz interaktywne obiekty wirtualne19,22,23,43,53,59).
MR jest zwykle wnioskowane na podstawie pomiarów RTs (ADE), a także aktywności oczu i mózgu25,46,62. Aktywność oka jest mierzona za pomocą danych śledzenia wzroku składających się z ruchów sakkadowych i fiksacji14,15,42,51,52,54,58,60, a także pupillometry40. Dane RT zazwyczaj pochodzą z danych reakcji silnika zarejestrowanych podczas obsługi różnych urządzeń, takich jak dźwignie13, przyciski i przełączniki14,53, pedals53, pokrętła19, joysticks37, keyboard61 i mouse29,58,60, koła napędowe53, czujniki bezwładnościowe22,23, ekrany dotykowe52,59, oraz mikrofony22. Aby zmierzyć PR, oprócz RT, projekt badania będzie również obejmował rejestrowanie ręcznych rotacji interaktywnych bodźców podczas wykonywania przez uczestników zadania MR 22,23,52,53.
W 1998 roku Wohlschläger i Wohlschläger19 używali "tych samych lub różnych" zadań z interaktywnymi wirtualnymi bodźcami SM manipulowanymi za pomocą pokrętła, z obrotami ograniczonymi do jednej osi na zadanie. Zmierzyli RT i skumulowany zapis fizycznych rotacji wykonanych podczas zadań. Porównując sytuacje z rzeczywistą rotacją interaktywnych bodźców i bez niej, doszli do wniosku, że MR i PR mają wspólny proces zarówno dla wyobrażonych, jak i faktycznie wykonywanych rotacji.
W 2014 roku przeprowadzono dwa badania wykorzystujące ten sam typ zadań z wirtualnymi interaktywnymi bodźcami22,23. Obiektami manipulowano jednak za pomocą czujników inercyjnych, które rejestrowały ruch w przestrzeni 3D. W obu przypadkach, oprócz RT, zarejestrowano trajektorie rotacji – ewolucję różnic rotacyjnych między bodźcami referencyjnymi a interaktywnymi podczas zadań. Z tych trajektorii możliwe było wydobycie zarówno informacji skumulowanych (tj. całkowitej liczby obrotów w jednostkach czwartorzędowych), jak i szczegółowych informacji o strategiach rozwiązań. Adams i wsp.23 badali efekt współpracy między MR i PR. Oprócz RT wykorzystali całkę trajektorii rotacji jako parametr dokładności i obiektywności rozdzielczości. Profile krzywych zostały zinterpretowane zgodnie z trzyetapowym modelem63 (planowanie, główny obrót, dokładna regulacja). Wyniki wskazują, że MR i PR niekoniecznie mają jeden, wspólny czynnik. Gardony et al.22 zebrali dane na temat RT, dokładności i rotacji w czasie rzeczywistym. Oprócz potwierdzenia związku między MR i PR, analiza trajektorii rotacji ujawniła, że uczestnicy manipulowali liczbami, dopóki nie byli w stanie określić, czy są one różne, czy nie. Jeśli były takie same, uczestnicy obracali je, aż wyglądały tak samo.
Kontynuując tę strategię, w 2018 roku Wetzel i Bertel52 również wykorzystali interaktywne figurki SM w "tych samych lub różnych" zadaniach, używając tabletów z ekranem dotykowym jako interfejsu. Ponadto wykorzystali urządzenie śledzące ruch gałek ocznych, aby uzyskać skumulowane dane na temat czasu fiksacji i amplitudy sakkady jako parametrów obciążenia poznawczego związanego z rozwiązywaniem zadań MR. Autorzy potwierdzili wcześniejsze badania omówione powyżej dotyczące relacji między MR i PR a procesami rozwiązywania zadań. Jednak w tym badaniu nie wykorzystali mapowania fiksacji i danych sakkad dla bodźców.
Metodologiczne podejścia do mapowania danych śledzenia wzroku na wirtualnych obiektach 3D zostały zaproponowane i stale ulepszane, zwykle przez badaczy zainteresowanych badaniem czynników związanych z uwagą wzrokową w środowiskach wirtualnych64. Chociaż są one przystępne cenowo i wykorzystują podobne urządzenia do śledzenia ruchu gałek ocznych, najwyraźniej metody te nie zostały skutecznie zintegrowane z repertuarem eksperymentalnym stosowanym w badaniach rotacji umysłowej z interaktywnymi obiektami 3D, takimi jak te wcześniej wspomniane. Z drugiej strony, nie znaleźliśmy żadnych badań w literaturze opisujących mapowanie w czasie rzeczywistym danych dotyczących ruchu fiksacji i sakad na interaktywnych obiektach 3D. Wydaje się, że nie ma wygodnej metody łatwej integracji danych o aktywności oczu z trajektoriami rotacji. W tym badaniu staramy się przyczynić do wypełnienia tej luki. Procedura jest szczegółowo przedstawiona, od akwizycji danych do graficznego generowania danych wyjściowych.
W tym artykule szczegółowo opisujemy metodę badania procesów rotacji mentalnej za pomocą wirtualnych interaktywnych obiektów 3D. Podkreślono następujące postępy. Po pierwsze, integruje ilościowy silnik behawioralny (ręczne obracanie obiektów za pomocą interfejsu komputerowego) i gromadzenie danych ocznych (śledzenie oczu) podczas sesji interakcji z wirtualnymi modelami 3D. Po drugie, wymaga jedynie konwencjonalnego sprzętu komputerowego i urządzeń śledzących ruch gałek ocznych do wizualnego projektowania zadań, akwizycji, nagrywania i przetwarzania danych. Po trzecie, z łatwością generuje dane graficzne, aby ułatwić analizę danych - rozbieżności kątowych, rotacji fizycznej, trajektorii rotacji czwartorzędowej i mapowania trafień danych śledzenia wzroku nad wirtualnymi obiektami 3D. Wreszcie, metoda wymaga tylko wolnego oprogramowania. Cały opracowany kod i skrypty są dostępne bezpłatnie (https://github.com/rodrigocnstest/rodrigocnstest.github.io).

<table><tbody><tr><td>Firefox</td><td>Mozilla Foundation (Open Source)</td><td></td><td>Każda zaktualizowana nowoczesna przeglądarka, która jest kompatybilna z WebGL (https://caniuse.com/webgl), a z kolei z Jmol, może być używana</td></tr><tr><td>GNU Octave</td><td>Open Source</td><td></td><td>https://octave.org/</td></tr> <tr><td>Google Apps Script</td><td>Google LLC</td><td></td><td>script.google.com</td></tr><tr><td>Arkusze Google</td><td>LLC</td><td></td><td>https://www.google.com/sheets/about/</td></tr> <tr><td>Laptop</td><td></td><td></td><td>Dowolny komputer, na którym można uruchomić oprogramowanie systemu śledzenia ruchu gałek ocznych.</td></tr><tr><td>Pakiet oprogramowania Mangold Mangold</td><td>&nbsp;</td><td></td><td>Interfejs oprogramowania używany w urządzeniu śledzącym ruch gałek ocznych. Można użyć dowolnego oprogramowania, które wyprowadza dane z wartościami czasu systemowego.</td></tr><tr><td>Mysz</td><td></td><td></td><td>Każda mysz zdolna do klikania i przeciągania prostymi ruchami powinna być kompatybilna. Interfejsy człowieka analogiczne do myszy o tych samych możliwościach, takie jak ekran dotykowy lub wskaźnik, powinny być kompatybilne, ale mogą zachowywać się inaczej.</td></tr><tr><td>Vt3mini</td> Systemy <td></td><td>cyfrowe EyeTech</td><td>60 Hz. Każde działające urządzenie do śledzenia ruchu gałek ocznych powinno być kompatybilne.</td></tr></tbody></table>

trójwymiarowe mapowanie obrotu interaktywnych obiektów wirtualnych za pomocą danych śledzenia wzroku

Three-Dimensional Mapping of the Rotation of Interactive Virtual Objects with Eye-Tracking Data

Prezentujemy metodę rejestrowania interakcji człowieka z trójwymiarowymi (3D) wirtualnymi obiektami w czasie rzeczywistym. Podejście to polega na powiązaniu danych o rotacji manipulowanego obiektu z pomiarami behawioralnymi, takimi jak śledzenie ruchu gałek ocznych, w celu uzyskania lepszych wniosków na temat leżących u podstaw procesów poznawczych.
Zadanie polega na wyświetleniu dwóch identycznych modeli tego samego obiektu 3D (cząsteczki), prezentowanych na ekranie komputera: obracającego się, interaktywnego obiektu (iObj) i statycznego, docelowego obiektu (tObj). Uczestnicy muszą obracać iObj za pomocą myszy, dopóki nie uznają, że jego orientacja jest identyczna z tObj. Komputer śledzi wszystkie dane dotyczące interakcji w czasie rzeczywistym. Dane dotyczące spojrzenia uczestnika są również rejestrowane za pomocą urządzenia do śledzenia ruchu gałek ocznych. Częstotliwość pomiaru wynosi 10 Hz na komputerze i 60 Hz na monitorze ruchu gałek ocznych.
Dane dotyczące orientacji iObj względem tObj są zapisywane w kwaternionach rotacji. Dane spojrzenia są synchronizowane z orientacją iObj i przywoływane za pomocą tego samego systemu. Metoda ta pozwala na uzyskanie następujących wizualizacji procesu interakcji człowieka z iObj i tObj: (1) rozbieżność kątowa zsynchronizowana z innymi danymi zależnymi od czasu; (2) Trajektoria rotacji 3D wewnątrz tego, co zdecydowaliśmy się nazwać "kulą obrotów"; (3) Mapa cieplna fiksacji 3D. Wszystkie kroki protokołu korzystały z wolnego oprogramowania, takiego jak GNU Octave i Jmol, a wszystkie skrypty są dostępne jako materiał dodatkowy.
Dzięki takiemu podejściu, możemy przeprowadzić szczegółowe badania ilościowe procesu rozwiązywania zadań obejmującego rotacje mentalne lub fizyczne, a nie tylko osiągnięty wynik. Możliwe jest dokładne zmierzenie, jak ważna jest każda część modeli 3D dla uczestnika w rozwiązywaniu zadań, a tym samym odniesienie modeli do odpowiednich zmiennych, takich jak charakterystyka obiektów, zdolności poznawcze osób oraz charakterystyka interfejsu człowiek-maszyna.

Opracowaliśmy prostą, konfigurowalną i efektywną metodę rejestrowania ilościowych danych procesowych z interaktywnych zadań przestrzennych i mapowania tych danych rotacji za pomocą danych śledzenia wzroku.

Trójwymiarowe mapowanie obrotu interaktywnych obiektów wirtualnych za pomocą danych śledzenia wzroku

We present a method for real-time recording of human interaction with three-dimensional (3D) virtual objects. The approach consists of associating ...

Opracowaliśmy metodę rejestrowania interakcji człowieka z wirtualnymi obiektami 3D w czasie rzeczywistym. Nasze podejście polega na łączeniu danych o rotacji dla manipulowanych obiektów miar zachowania, takich jak śledzenie wzroku. Pozwoliło nam to uzyskać głębszy wgląd w proces poznawczy stojący za zadaniem, a nie tylko w końcowy wynik.Rozważane są następujące tematy. Związek między rotacją umysłową a ruchami gałek ocznych, różnice indywidualne, zastosowania i implikacje praktyczne, postęp metodologiczny, modele i teorie poznawcze, perspektywy rozwojowe i kliniczne oraz mechanizmy neurokognitywne. Prace te wnoszą wkład na froncie metodologicznym.Wydaje się, że nie ma prostego podejścia do integracji danych o aktywności oka z trajektoriami rotacji. W tym badaniu staramy się przyczynić do wypełnienia tej luki. Opracowano prostą i ekonomiczną konfigurację eksperymentalną do mapowania konwencjonalnych danych Eye-Tracking na modelach 3D za pomocą testów rotacyjnych.Nasze przyszłe badania będą koncentrować się na rozwoju naszej metody badania indywidualnych różnic w interpretacji i interakcji z wirtualnymi i fizycznymi obiektami trójwymiarowymi. Na przykład przyjrzymy się przypadkom studentów i ekspertów w dziedzinie chemii. Aby rozpocząć, uruchom oprogramowanie Eye-Tracking na komputerze.Otwórz stronę internetową iRT, wpisz pole Imię i nazwisko oraz Adres e-mail, a następnie naciśnij przycisk Dalej. Posadź uczestnika w wygodnej pozycji przed systemem Eye-Tracking. Przesuń krzesło, aby zapewnić optymalną odległość między uczestnikiem a kamerą.Teraz dostosuj wysokość kamery, aby poprawnie uchwycić źrenice uczestnika. Naciśnij przycisk Kalibruj, aby rozpocząć kalibrację. Poproś uczestnika, aby spojrzał na serię kropek na ekranie i śledził ruch kropek bez poruszania głową.Po procesie kalibracji w głównym oknie wyświetlacza można zobaczyć wyświetlanie w czasie rzeczywistym przechwyconego ekranu z danymi spojrzenia. Kliknij ikonę Gaze Video w menu głównym, aby wyświetlić twarz użytkownika przechwyconą przez eye tracker, a następnie kliknij Rozpocznij nagrywanie, aby rozpocząć eksperyment. Otwórz poprzednio otwarte okno iRT i poproś uczestników o kliknięcie przycisku Go, po czym będą musieli obrócić obiekt po prawej stronie, aż będzie on ściśle pasował do tego po lewej.Kliknij przycisk Gotowe, aby zakończyć obracanie i powtarzać ten proces aż do zakończenia wszystkich zadań. Po zakończeniu zbierania danych z urządzenia do śledzenia ruchu gałek ocznych kliknij opcję Analizuj dane, a następnie wyeksportuj plik CSV ze wszystkimi danymi zarejestrowanymi dla użytkownika. Jeśli używana jest strona interaktywnego zadania obracania online, otwórz plik Arkuszy Google używany do odbierania danych online, a następnie kliknij Plik, a następnie pobierz i xlsx.Następnie pobierz i rozpakuj repozytorium, które było używane. Upewnij się, że skrypty 1.unpacking_sheets. m, 2.data_merge_and_process.m, 3.3D trajektorii obrotowej. m, a modele folderów znajdują się w pobranym repozytorium w folderze Octave. Przenieś pliki danych do folderu Octave.Otwórz skrypt, 1.unpacking_sheets m, za pomocą programu uruchamiającego GNU Octave. W zakładce Edytor kliknij zieloną ikonę Zapisz plik i Uruchom, aby uruchomić skrypt.Gdy pojawią się dwa monity po kolei, wprowadź nazwę pobranego pliku w pierwszym monicie oraz nazwę rozpakowanego pliku w drugim polu. Za kilka minut pojawi się pop-up informujący użytkownika o zakończeniu procesu. Otwórz i uruchom skrypt 2.data_merge_and_process.m, aby scalić dane zarówno z eyetrackera, jak i iRT. Teraz wprowadź wartość sessionID, wartość taskID, z arkusza danych zapisu. Następnie wprowadź nazwę pliku danych iRT po rozpakowaniu i nazwę pliku eyetracker-data.Uruchom i uruchom trajektorię rotacyjną 3.3D. m skrypt. Gdy pojawią się trzy monity, wprowadź wartość sessionID, wartość taskID i nazwę niespakowanego pliku danych iRT lub pozostaw je puste.Aby odtworzyć interakcję uczestnika z zadaniem, najpierw przejdź do strony internetowej zadania interaktywnego, rozpocznij test, a następnie przesuń wskaźnik myszy. Następnie kliknij niewidoczny tekst debugowania, aby włączyć tryb debugowania. Naciśnij ikonę timerStop, aby przerwać zadanie i kliknij konsolę, aby otworzyć konsolę JSmol modelu.Teraz otwórz plik, wyświetl console. xlsx jmol i skopiuj całą stronę poleceń jmol. Wklej listę poleceń skopiowanych do konsoli JSmol i kliknij przycisk Uruchom, aby ją wykonać.Aby wygenerować animację gif, napisz polecenie, przechwyć dane wyjściowe SCRIPT nazwy pliku w konsoli JSmol, gdzie nazwa pliku to nazwa pliku gif, który ma zostać utworzony, a wyjście to cała lista skopiowanych poleceń. Źrenica uczestnika pozostała bardziej rozszerzona w początkowej i precyzyjnej fazie. Długi okres fiksacji w precyzyjnym dostrajaniu odpowiadał plateu średnicy źrenicy.Analiza trajektorii rotacji wykazała, że uczestnik pierwszy początkowo zboczył z pozycji docelowej, zanim znalazł ostateczną ścieżkę do rozwiązania.

three-dimensional-mapping-rotation-interactive-virtual-objects-with

Research

JoVE Journal

Neuroscience

Neuronauka

Opisano metodę pomiaru trójwymiarowych odruchów przedsionkowo-ocznych (3D VOR) u ludzi z wykorzystaniem symulatora ruchu o sześciu stopniach swobody (6DF). Wzmocnienie oraz błąd ustawienia kątowego 3D VOR stanowią bezpośrednią miarę jakości funkcji przedsionkowej. Przedstawiono reprezentatywne dane uzyskane od zdrowych osób...

Trójwymiarowe badanie odruchu przedsionkowo-okulistycznego z wykorzystaniem platformy ruchowej o sześciu stopniach swobody

W tym badaniu, autorzy po raz pierwszy opisują nowatorską neuronawigację 3D-Immersive &amp; Interactive (3D-IIN) poprzez wpływ spontanicznego ataku migrenowego bólu głowy na układ μ-opioidowy mózgu pacjenta in vivo.

Neuronawigacja 3D in vivo przez mózg pacjenta podczas spontanicznego migrenowego bólu głowy

Paradygmat świata wizualnego monitoruje ruchy gałek ocznych uczestników w przestrzeni wizualnej, gdy słuchają lub mówią w języku mówionym. Paradygmat ten może być wykorzystany do zbadania przetwarzania online szerokiego zakresu pytań psycholingwistycznych, w tym stwierdzeń semantycznie złożonych, takich jak zdania rozłączne.

Wykorzystanie ruchów gałek ocznych zarejestrowanych w paradygmacie świata wizualnego do zbadania przetwarzania języka mówionego online

Korzystanie z czujników multimodalnych jest obiecującym sposobem na zrozumienie roli interakcji społecznych w środowisku edukacyjnym. W artykule opisano metodologię przechwytywania wspólnej uwagi wzrokowej z kolokowanych diad za pomocą mobilnych urządzeń śledzących ruch gałek ocznych.

Metodologia przechwytywania wspólnej uwagi wzrokowej za pomocą mobilnych urządzeń śledzących ruch gałek ocznych

Kontrolowany fizyczny obrót ludzkiego obserwatora jest pożądany dla pewnych eksperymentalnych, rekreacyjnych i edukacyjnych zastosowań. W tym artykule przedstawiono metodę przekształcania biurowego krzesła obrotowego w medium do kontrolowanego obrotu fizycznego w środowisku rzeczywistości wirtualnej.

Kontrolowana rotacja ludzkich obserwatorów w środowisku wirtualnej rzeczywistości

Metodologia badała wkład wzrokowy i przedsionkowy w stabilizację spojrzenia podczas rotacji optokinetycznej i całego ciała. Stymulacje przeprowadzono poprzez badania wzrokowe, przedsionkowe i wizuo-przedwostykowe. Wzmocnienie ruchu oczu skrętne i częstotliwości oczopląsów służyły jako wskaźniki podkorowego przekazywania informacji o ruchu specyficznym dla sensorycznych do odruchowej odpowiedzi pnia mózgu w każdym badaniu.

Wykorzystanie śledzenia oczu do oceny względnego znaczenia bodźców wzrokowych i przedsionkowych dla przetwarzania ruchu podkorowego w płaszczyźnie przechylania

Stosujemy magnetoencefalografię (MEG) oraz elektroencefalografię (EEG) w celu zmapowania obszarów mózgu zaangażowanych w przetwarzanie prostych bodźców sensorycznych.

Mapowanie funkcjonalne z jednoczesną rejestracją MEG i EEG

Przedstawiono sposób na uzyskanie nowego wglądu w złożoność reakcji zapalnej mózgu. Opisujemy protokoły oparte na immunofluorescencji, po których następuje trójwymiarowa analiza konfokalna w celu zbadania wzorca koekspresji markerów fenotypu mikrogleju / makrofagów w mysim modelu ogniskowego niedokrwienia.

Trójwymiarowa analiza konfokalna markerów polaryzacji mikrogleju/makrofagów w eksperymentalnym uszkodzeniu mózgu

Astrocyty w OUN zmieniają swoje właściwości funkcjonalne i strukturalne w odpowiedzi na szkodliwe bodźce. W artykule przedstawiono protokół oceny trójwymiarowej morfologii astrocytów w stanach chorobowych lub po interwencjach terapeutycznych.

Protokół trójwymiarowej konfokalnej analizy morfometrycznej astrocytów

Ten protokół wykorzystuje trójwymiarowe (3D) techniki obrazowania i analizy do wizualizacji i ilościowego określenia mitochondriów specyficznych dla nerwów. Techniki te mają zastosowanie w innych sytuacjach, w których jeden sygnał fluorescencyjny jest używany do odizolowania podzbioru danych od innego sygnału fluorescencyjnego.

Trójwymiarowe obrazowanie i analiza mitochondriów w obrębie śródnaskórkowych włókien nerwowych człowieka

Poznaj metodę trójwymiarowego mapowania obrotu obiektów wirtualnych z wykorzystaniem śledzenia wzroku w czasie rzeczywistym. Technika ta pozwala badać procesy poznawcze podczas zadań przestrzennych i analizować indywidualne różnice w rotacji mentalnej.

Trójwymiarowe mapowanie obrotu interaktywnych obiektów wirtualnych za pomocą danych śledzenia wzroku

Przeglądaj więcej filmów