Trójwymiarowe mapowanie obrotu interaktywnych obiektów wirtualnych za pomocą danych śledzenia wzroku
18 października 2024
Opracowaliśmy prostą, konfigurowalną i efektywną metodę rejestrowania ilościowych danych procesowych z interaktywnych zadań przestrzennych i mapowania tych danych rotacji za pomocą danych śledzenia wzroku.
Opracowaliśmy metodę rejestrowania interakcji człowieka z wirtualnymi obiektami 3D w czasie rzeczywistym. Nasze podejście polega na łączeniu danych o rotacji dla manipulowanych obiektów miar zachowania, takich jak śledzenie wzroku. Pozwoliło nam to uzyskać głębszy wgląd w proces poznawczy stojący za zadaniem, a nie tylko w końcowy wynik.
Rozważane są następujące tematy. Związek między rotacją umysłową a ruchami gałek ocznych, różnice indywidualne, zastosowania i implikacje praktyczne, postęp metodologiczny, modele i teorie poznawcze, perspektywy rozwojowe i kliniczne oraz mechanizmy neurokognitywne. Prace te wnoszą wkład na froncie metodologicznym.
Wydaje się, że nie ma prostego podejścia do integracji danych o aktywności oka z trajektoriami rotacji. W tym badaniu staramy się przyczynić do wypełnienia tej luki. Opracowano prostą i ekonomiczną konfigurację eksperymentalną do mapowania konwencjonalnych danych Eye-Tracking na modelach 3D za pomocą testów rotacyjnych.
Nasze przyszłe badania będą koncentrować się na rozwoju naszej metody badania indywidualnych różnic w interpretacji i interakcji z wirtualnymi i fizycznymi obiektami trójwymiarowymi. Na przykład przyjrzymy się przypadkom studentów i ekspertów w dziedzinie chemii. Aby rozpocząć, uruchom oprogramowanie Eye-Tracking na komputerze.
Otwórz stronę internetową iRT, wpisz pole Imię i nazwisko oraz Adres e-mail, a następnie naciśnij przycisk Dalej. Posadź uczestnika w wygodnej pozycji przed systemem Eye-Tracking. Przesuń krzesło, aby zapewnić optymalną odległość między uczestnikiem a kamerą.
Teraz dostosuj wysokość kamery, aby poprawnie uchwycić źrenice uczestnika. Naciśnij przycisk Kalibruj, aby rozpocząć kalibrację. Poproś uczestnika, aby spojrzał na serię kropek na ekranie i śledził ruch kropek bez poruszania głową.
Po procesie kalibracji w głównym oknie wyświetlacza można zobaczyć wyświetlanie w czasie rzeczywistym przechwyconego ekranu z danymi spojrzenia. Kliknij ikonę Gaze Video w menu głównym, aby wyświetlić twarz użytkownika przechwyconą przez eye tracker, a następnie kliknij Rozpocznij nagrywanie, aby rozpocząć eksperyment. Otwórz poprzednio otwarte okno iRT i poproś uczestników o kliknięcie przycisku Go, po czym będą musieli obrócić obiekt po prawej stronie, aż będzie on ściśle pasował do tego po lewej.
Kliknij przycisk Gotowe, aby zakończyć obracanie i powtarzać ten proces aż do zakończenia wszystkich zadań. Po zakończeniu zbierania danych z urządzenia do śledzenia ruchu gałek ocznych kliknij opcję Analizuj dane, a następnie wyeksportuj plik CSV ze wszystkimi danymi zarejestrowanymi dla użytkownika. Jeśli używana jest strona interaktywnego zadania obracania online, otwórz plik Arkuszy Google używany do odbierania danych online, a następnie kliknij Plik, a następnie pobierz i xlsx.
Następnie pobierz i rozpakuj repozytorium, które było używane. Upewnij się, że skrypty 1.unpacking_sheets. m, 2.data_merge_and_process.
m, 3.3D trajektorii obrotowej. m, a modele folderów znajdują się w pobranym repozytorium w folderze Octave. Przenieś pliki danych do folderu Octave.
Otwórz skrypt, 1.unpacking_sheets m, za pomocą programu uruchamiającego GNU Octave. W zakładce Edytor kliknij zieloną ikonę Zapisz plik i Uruchom, aby uruchomić skrypt.
Gdy pojawią się dwa monity po kolei, wprowadź nazwę pobranego pliku w pierwszym monicie oraz nazwę rozpakowanego pliku w drugim polu. Za kilka minut pojawi się pop-up informujący użytkownika o zakończeniu procesu. Otwórz i uruchom skrypt 2.data_merge_and_process.
m, aby scalić dane zarówno z eyetrackera, jak i iRT. Teraz wprowadź wartość sessionID, wartość taskID, z arkusza danych zapisu. Następnie wprowadź nazwę pliku danych iRT po rozpakowaniu i nazwę pliku eyetracker-data.
Uruchom i uruchom trajektorię rotacyjną 3.3D. m skrypt. Gdy pojawią się trzy monity, wprowadź wartość sessionID, wartość taskID i nazwę niespakowanego pliku danych iRT lub pozostaw je puste.
Aby odtworzyć interakcję uczestnika z zadaniem, najpierw przejdź do strony internetowej zadania interaktywnego, rozpocznij test, a następnie przesuń wskaźnik myszy. Następnie kliknij niewidoczny tekst debugowania, aby włączyć tryb debugowania. Naciśnij ikonę timerStop, aby przerwać zadanie i kliknij konsolę, aby otworzyć konsolę JSmol modelu.
Teraz otwórz plik, wyświetl console. xlsx jmol i skopiuj całą stronę poleceń jmol. Wklej listę poleceń skopiowanych do konsoli JSmol i kliknij przycisk Uruchom, aby ją wykonać.
Aby wygenerować animację gif, napisz polecenie, przechwyć dane wyjściowe SCRIPT nazwy pliku w konsoli JSmol, gdzie nazwa pliku to nazwa pliku gif, który ma zostać utworzony, a wyjście to cała lista skopiowanych poleceń. Źrenica uczestnika pozostała bardziej rozszerzona w początkowej i precyzyjnej fazie. Długi okres fiksacji w precyzyjnym dostrajaniu odpowiadał plateu średnicy źrenicy.
Analiza trajektorii rotacji wykazała, że uczestnik pierwszy początkowo zboczył z pozycji docelowej, zanim znalazł ostateczną ścieżkę do rozwiązania.
Przegląd
Niniejsza praca prezentuje nową metodę rejestracji w czasie rzeczywistym interakcji człowieka z trójwymiarowymi obiektami wirtualnymi, integrującą dane z eye-trackingu z metrykami rotacji. Podejście to ma na celu pogłębienie zrozumienia procesów poznawczych zaangażowanych w zadania przestrzenne wykraczające poza ostateczne wyniki.
Kluczowe Elementy Badania
Obszar Nauki
- Psychologia Poznawcza
- Interakcja Człowiek-Komputer
- Technologia Eye-Trackingu
Tło
- Badanie rotacji mentalnej i jej związku z ruchami oczu.
- Skupienie się na indywidualnych różnicach i praktycznych implikacjach procesów poznawczych.
- Rozwój metodologicznych podejść do integracji danych aktywności oczu z danymi przestrzennymi.
- Zastosowanie wyników w środowiskach akademickich i klinicznych, w tym edukacji chemicznej.
Cel Badania
- Opracowanie konfiguracji eksperymentalnej do zbierania danych w czasie rzeczywistym ruchów oczu i rotacji obiektów.
- Wypełnienie luki między danymi z eye-trackingu a danymi manipulacji przestrzennymi.
- Ułatwienie przyszłych badań nad indywidualnymi interpretacjami modeli 3D.
Wykorzystane Metody
- Badanie wykorzystuje oprogramowanie do eye-trackingu wraz z dostosowanym zadaniem interaktywnej rotacji.
- Uczestnicy wchodzą w interakcję z obiektami 3D, a dane są gromadzone w czasie rzeczywistym do analizy.
- Kluczowe kroki metodologiczne obejmują kalibrację sprzętu do eye-trackingu i strukturalne wykonywanie zadań z rotacją obiektów.
- Analiza danych obejmuje eksport danych do dalszego przetwarzania w skryptach.
Główne Wyniki
- Metoda ujawniła indywidualne różnice w poznaniu przestrzennym, szczególnie w początkowych i fazach dostrajania zaangażowania w zadanie.
- Analiza trajektorii rotacji wykazała, że uczestnicy często odbiegali od pozycji docelowych przed osiągnięciem poprawnej orientacji.
- Dodatkowe odkrycia obejmowały wydłużone rozszerzenie źrenicy korelujące z zaangażowaniem poznawczym.
Wnioski
- Badanie to ustanawia wiarygodną metodę eksploracji mechanizmów poznawczych zaangażowanych w zadania przestrzenne.
- Integracja eye-trackingu z interakcjami 3D oferuje wgląd w procesy poznawcze człowieka.
- Implikacje rozciągają się na konteksty edukacyjne i zrozumienie indywidualnych różnic w rozumowaniu przestrzennym.
Często Zadawane Pytania
Executive Industry Relevance
Quantitative mapping of human interaction with 3D virtual objects, synchronized with eye-tracking data, enables biopharma R&D teams to dissect cognitive and behavioral processes underlying spatial reasoning tasks. This capability supports the development and validation of digital assays and interactive training modules, enhancing predictive confidence in translational research and human-machine interface optimization. Integrating real-time behavioral and gaze metrics informs early discovery and workflow design, reducing ambiguity in user-driven digital environments.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables precise behavioral mapping for hypothesis testing in digital cognitive assays.
- Supports functional validation of user interaction models relevant to neurocognitive endpoints.
- Facilitates mechanistic de-risking by correlating gaze patterns with task-solving strategies.
Screening & Assay Development
- Provides standardized, reproducible digital environments for evaluating cognitive and behavioral responses.
- Generates quantitative outputs such as angular disparity and fixation heatmaps for assay development.
- Enables scalable screening of user interactions across diverse participant cohorts.
Translational & Preclinical Research
- Aligns digital behavioral metrics with translational biomarkers in neurocognitive research.
- Supports continuity from early digital phenotyping to preclinical model validation.
- Informs risk-adjusted advancement of digital endpoints in translational studies.
Pipeline & Workflow Integration
This method integrates into the discovery-to-preclinical continuum by providing real-time, quantitative behavioral and gaze data for digital assay development and validation.
- Discovery Biology: Enables hypothesis-driven interrogation of cognitive processes during 3D object manipulation.
- Screening: Delivers reproducible, quantitative outputs for cross-condition comparison and assay readiness.
- Analytics: Supports synchronized analysis of rotation trajectories and gaze metrics for robust statistical evaluation.
- Translational Research: Bridges digital behavioral outputs with preclinical and clinical biomarker strategies.
- Enterprise Reuse: Offers a reusable digital framework for diverse cognitive and behavioral R&D applications.
Operational & Enterprise Impact
- Scientific Value: Enhances predictive confidence and reduces mechanistic ambiguity in digital cognitive assays.
- Operational Value: Standardizes data collection and analysis across digital behavioral studies.
- Strategic Value: Informs go/no-go decisions for digital endpoint development and portfolio prioritization.
- Portfolio Impact: Supports risk-adjusted advancement of digital and behavioral R&D assets.
Implementation Considerations
- Requires expertise in eye-tracking technology and digital behavioral analytics.
- Depends on access to synchronized data acquisition and analysis infrastructure.
- Necessitates cross-team standardization of digital assay protocols and data formats.
- Adaptable to various 3D model systems and user interface designs.
- Practical limitations include calibration accuracy and interpretation of individual behavioral variability.
