Trójwymiarowe mapowanie obrotu interaktywnych obiektów wirtualnych za pomocą danych śledzenia wzroku
18 października 2024
Opracowaliśmy prostą, konfigurowalną i efektywną metodę rejestrowania ilościowych danych procesowych z interaktywnych zadań przestrzennych i mapowania tych danych rotacji za pomocą danych śledzenia wzroku.
Opracowaliśmy metodę rejestrowania interakcji człowieka z wirtualnymi obiektami 3D w czasie rzeczywistym. Nasze podejście polega na łączeniu danych o rotacji dla manipulowanych obiektów miar zachowania, takich jak śledzenie wzroku. Pozwoliło nam to uzyskać głębszy wgląd w proces poznawczy stojący za zadaniem, a nie tylko w końcowy wynik.
Rozważane są następujące tematy. Związek między rotacją umysłową a ruchami gałek ocznych, różnice indywidualne, zastosowania i implikacje praktyczne, postęp metodologiczny, modele i teorie poznawcze, perspektywy rozwojowe i kliniczne oraz mechanizmy neurokognitywne. Prace te wnoszą wkład na froncie metodologicznym.
Wydaje się, że nie ma prostego podejścia do integracji danych o aktywności oka z trajektoriami rotacji. W tym badaniu staramy się przyczynić do wypełnienia tej luki. Opracowano prostą i ekonomiczną konfigurację eksperymentalną do mapowania konwencjonalnych danych Eye-Tracking na modelach 3D za pomocą testów rotacyjnych.
Nasze przyszłe badania będą koncentrować się na rozwoju naszej metody badania indywidualnych różnic w interpretacji i interakcji z wirtualnymi i fizycznymi obiektami trójwymiarowymi. Na przykład przyjrzymy się przypadkom studentów i ekspertów w dziedzinie chemii. Aby rozpocząć, uruchom oprogramowanie Eye-Tracking na komputerze.
Otwórz stronę internetową iRT, wpisz pole Imię i nazwisko oraz Adres e-mail, a następnie naciśnij przycisk Dalej. Posadź uczestnika w wygodnej pozycji przed systemem Eye-Tracking. Przesuń krzesło, aby zapewnić optymalną odległość między uczestnikiem a kamerą.
Teraz dostosuj wysokość kamery, aby poprawnie uchwycić źrenice uczestnika. Naciśnij przycisk Kalibruj, aby rozpocząć kalibrację. Poproś uczestnika, aby spojrzał na serię kropek na ekranie i śledził ruch kropek bez poruszania głową.
Po procesie kalibracji w głównym oknie wyświetlacza można zobaczyć wyświetlanie w czasie rzeczywistym przechwyconego ekranu z danymi spojrzenia. Kliknij ikonę Gaze Video w menu głównym, aby wyświetlić twarz użytkownika przechwyconą przez eye tracker, a następnie kliknij Rozpocznij nagrywanie, aby rozpocząć eksperyment. Otwórz poprzednio otwarte okno iRT i poproś uczestników o kliknięcie przycisku Go, po czym będą musieli obrócić obiekt po prawej stronie, aż będzie on ściśle pasował do tego po lewej.
Kliknij przycisk Gotowe, aby zakończyć obracanie i powtarzać ten proces aż do zakończenia wszystkich zadań. Po zakończeniu zbierania danych z urządzenia do śledzenia ruchu gałek ocznych kliknij opcję Analizuj dane, a następnie wyeksportuj plik CSV ze wszystkimi danymi zarejestrowanymi dla użytkownika. Jeśli używana jest strona interaktywnego zadania obracania online, otwórz plik Arkuszy Google używany do odbierania danych online, a następnie kliknij Plik, a następnie pobierz i xlsx.
Następnie pobierz i rozpakuj repozytorium, które było używane. Upewnij się, że skrypty 1.unpacking_sheets. m, 2.data_merge_and_process.
m, 3.3D trajektorii obrotowej. m, a modele folderów znajdują się w pobranym repozytorium w folderze Octave. Przenieś pliki danych do folderu Octave.
Otwórz skrypt, 1.unpacking_sheets m, za pomocą programu uruchamiającego GNU Octave. W zakładce Edytor kliknij zieloną ikonę Zapisz plik i Uruchom, aby uruchomić skrypt.
Gdy pojawią się dwa monity po kolei, wprowadź nazwę pobranego pliku w pierwszym monicie oraz nazwę rozpakowanego pliku w drugim polu. Za kilka minut pojawi się pop-up informujący użytkownika o zakończeniu procesu. Otwórz i uruchom skrypt 2.data_merge_and_process.
m, aby scalić dane zarówno z eyetrackera, jak i iRT. Teraz wprowadź wartość sessionID, wartość taskID, z arkusza danych zapisu. Następnie wprowadź nazwę pliku danych iRT po rozpakowaniu i nazwę pliku eyetracker-data.
Uruchom i uruchom trajektorię rotacyjną 3.3D. m skrypt. Gdy pojawią się trzy monity, wprowadź wartość sessionID, wartość taskID i nazwę niespakowanego pliku danych iRT lub pozostaw je puste.
Aby odtworzyć interakcję uczestnika z zadaniem, najpierw przejdź do strony internetowej zadania interaktywnego, rozpocznij test, a następnie przesuń wskaźnik myszy. Następnie kliknij niewidoczny tekst debugowania, aby włączyć tryb debugowania. Naciśnij ikonę timerStop, aby przerwać zadanie i kliknij konsolę, aby otworzyć konsolę JSmol modelu.
Teraz otwórz plik, wyświetl console. xlsx jmol i skopiuj całą stronę poleceń jmol. Wklej listę poleceń skopiowanych do konsoli JSmol i kliknij przycisk Uruchom, aby ją wykonać.
Aby wygenerować animację gif, napisz polecenie, przechwyć dane wyjściowe SCRIPT nazwy pliku w konsoli JSmol, gdzie nazwa pliku to nazwa pliku gif, który ma zostać utworzony, a wyjście to cała lista skopiowanych poleceń. Źrenica uczestnika pozostała bardziej rozszerzona w początkowej i precyzyjnej fazie. Długi okres fiksacji w precyzyjnym dostrajaniu odpowiadał plateu średnicy źrenicy.
Analiza trajektorii rotacji wykazała, że uczestnik pierwszy początkowo zboczył z pozycji docelowej, zanim znalazł ostateczną ścieżkę do rozwiązania.
Przegląd
Niniejsze badanie przedstawia nową metodę rejestracji w czasie rzeczywistym interakcji ludzi z wirtualnymi obiektami 3D, integrującą dane z okulografii z metrykami rotacji. Podejście to ma na celu pogłębienie zrozumienia procesów poznawczych zaangażowanych w zadania przestrzenne, wykraczając poza analizę samych wyników końcowych.
Kluczowe elementy badania
Dziedzina nauki
- Psychologia poznawcza
- Interakcja człowiek-komputer
- Technologia eyetrackingowa
Wstęp
- Badanie rotacji mentalnej i jej związku z ruchami gałek ocznych.
- Koncentracja na różnicach indywidualnych oraz praktycznych implikacjach procesów poznawczych.
- Doskonalenie podejść metodologicznych w celu integracji danych o aktywności oczu z danymi przestrzennymi.
- Zastosowanie wyników w środowiskach akademickich i klinicznych, w tym w edukacji chemicznej.
Cel badania
- Opracowanie układu eksperymentalnego do zbierania danych w czasie rzeczywistym dotyczących ruchów gałek ocznych oraz rotacji obiektów.
- Rozwiązanie problemu rozbieżności między danymi z eyetrackingu a danymi dotyczącymi manipulacji przestrzennych.
- Umożliwienie przyszłych badań nad indywidualną interpretacją modeli 3D.
Zastosowane metody
- W badaniu wykorzystano oprogramowanie do okulografii (eye-tracking) wraz z dostosowanym Interaktywnym Zadaniem Rotacyjnym.
- Uczestnicy wchodzą w interakcję z obiektami 3D, a dane są rejestrowane w czasie rzeczywistym w celu przeprowadzenia analizy.
- Kluczowe kroki metodologiczne obejmują kalibrację urządzenia do śledzenia wzroku oraz ustrukturyzowaną realizację zadania polegającego na rotacji obiektów.
- Analiza danych obejmuje eksport danych do dalszego przetwarzania za pomocą skryptów.
Główne wyniki
- Metoda ta ujawniła różnice indywidualne w poznaniu przestrzennym, szczególnie w początkowej fazie oraz w fazie dostrajania podczas wykonywania zadania.
- Analiza trajektorii rotacji wykazała, że uczestnicy często odbiegali od pozycji docelowych przed osiągnięciem prawidłowej orientacji.
- Dodatkowe wyniki obejmowały przedłużone rozszerzenie źrenic korelujące z zaangażowaniem poznawczym.
Wnioski
- Niniejsze badanie ustanawia niezawodną metodę badania mechanizmów poznawczych zaangażowanych w zadania przestrzenne.
- Integracja okulografii z interakcjami 3D dostarcza wglądu w ludzkie procesy poznawcze.
- Wnioski z badania znajdują zastosowanie w kontekstach edukacyjnych oraz w zrozumieniu indywidualnych różnic w rozumowaniu przestrzennym.
Najczęściej zadawane pytania
Znaczenie dla przemysłu
Ilościowe mapowanie interakcji człowieka z wirtualnymi obiektami 3D, zsynchronizowane z danymi z okulografii, umożliwia badania w sektorze biofarmaceutycznym (biopharma R)&Zespoły do analizy procesów poznawczych i behawioralnych leżących u podstaw zadań z zakresu rozumowania przestrzennego. Możliwość ta wspiera opracowanie i walidację cyfrowych testów oraz interaktywnych modułów szkoleniowych, zwiększając pewność prognostyczną w badaniach translacyjnych i optymalizacji interfejsów człowiek-maszyna. Integracja w czasie rzeczywistym metryk behawioralnych i wskaźników śledzenia wzroku wspomaga wczesną fazę odkryć oraz projektowanie procesów roboczych, redukując niejednoznaczność w cyfrowych środowiskach sterowanych przez użytkownika.
Strategiczne zastosowania w badaniach biofarmaceutycznych&D
Wczesne odkrywanie i walidacja celu
- Umożliwia precyzyjne mapowanie behawioralne w celu weryfikacji hipotez w cyfrowych badaniach poznawczych.
- Wspiera funkcjonalną walidację modeli interakcji użytkownika w odniesieniu do neuropoznawczych punktów końcowych.
- Ułatwia mechanistyczną minimalizację ryzyka poprzez korelację wzorców spojrzenia ze strategiami rozwiązywania zadań.
Przesiewanie i opracowywanie testów
- Zapewnia standaryzowane, powtarzalne środowiska cyfrowe do oceny reakcji poznawczych i behawioralnych.
- Generuje wyniki ilościowe, takie jak dysproporcja kątowa i mapy ciepła fiksacji, niezbędne do opracowywania testów.
- Umożliwia skalowalne badanie interakcji użytkowników w zróżnicowanych grupach uczestników.
Badania translacyjne i przedkliniczne
- Koreluje cyfrowe wskaźniki behawioralne z biomarkerami translacyjnymi w badaniach neurokognitywnych.
- Wspiera ciągłość procesu od wczesnego fenotypowania cyfrowego po walidację modeli przedklinicznych.
- Uzasadnia dostosowany do ryzyka postęp w wdrażaniu punktów końcowych typu digital w badaniach translacyjnych.
Integracja potoku i przepływu pracy
Metoda ta integruje się z kontinuum od odkrycia do fazy przedklinicznej, dostarczając w czasie rzeczywistym ilościowych danych behawioralnych oraz danych dotyczących kierunku spojrzenia w celu opracowania i walidacji cyfrowych testów.
- Biologia odkrywcza: Umożliwia weryfikację hipotez dotyczących procesów poznawczych podczas manipulowania obiektami 3D.
- Przesiewanie: Zapewnia powtarzalne, ilościowe wyniki do porównań między różnymi warunkami oraz do oceny gotowości testów.
- Analityka: Wspiera zsynchronizowaną analizę trajektorii rotacji i parametrów spojrzenia w celu przeprowadzenia rzetelnej oceny statystycznej.
- Badania translacyjne: Łączy cyfrowe wyniki behawioralne ze strategiami biomarkerów przedklinicznych i klinicznych.
- Wykorzystanie w przedsiębiorstwie: Oferuje wielokrotnego użytku cyfrowy model dla różnorodnych zastosowań w obszarze badań i rozwoju (R&D) nad procesami poznawczymi i behawioralnymi.
Wpływ operacyjny i przedsiębiorczy
- Wartość naukowa: Zwiększa pewność prognostyczną i zmniejsza niejednoznaczność mechanistyczną w cyfrowych testach poznawczych.
- Wartość operacyjna: Standaryzuje zbieranie i analizę danych w cyfrowych badaniach behawioralnych.
- Wartość strategiczna: Stanowi podstawę do podejmowania decyzji go/no-go w zakresie rozwoju cyfrowych punktów końcowych oraz priorytetyzacji portfela.
- Wpływ na portfel: Wspiera dostosowany do ryzyka rozwój cyfrowych i behawioralnych zasobów B&R.
Uwagi dotyczące wdrożenia
- Wymaga wiedzy specjalistycznej w zakresie technologii eye-trackingu oraz cyfrowej analityki behawioralnej.
- Zależy od dostępu do zsynchronizowanej infrastruktury akwizycji i analizy danych.
- Wymaga międzyzespołowej standaryzacji protokołów cyfrowych testów oraz formatów danych.
- Można dostosować do różnych systemów modeli 3D oraz projektów interfejsu użytkownika.
- Ograniczenia praktyczne obejmują dokładność kalibracji oraz interpretację indywidualnej zmienności behawioralnej.
