Name: Metodologia przechwytywania wspólnej uwagi wzrokowej za pomocą mobilnych urządzeń śledzących ruch gałek ocznych (Wideo) | JoVE Journal
Uploaded: 2020-01-18T14:00:00.000+00:00
Duration: 12 min 39 s
Description: Poznaj metodologię przechwytywania wspólnej uwagi wzrokowej za pomocą mobilnych urządzeń śledzących ruch gałek ocznych. Technika ta pozwala na ilościową analizę interakcji społecznych w kontekście edukacyjnym.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Rozwój tej metodologii był wspierany przez National Science Foundation (NSF #0835854), Leading House Technologies for Vocational Education, finansowane przez Szwajcarski Sekretariat Stanu ds. Edukacji, Badań i Innowacji oraz Harvard School of Education's Dean Venture Fund.

1. Selekcja uczestników
<ol>
	<li>Upewnij się, że zrekrutowani są uczestnicy z normalnym lub skorygowanym do normalnego widzeniem. Ponieważ uczestnicy zostaną poproszeni o noszenie mobilnego eye-trackera, mogą nosić soczewki kontaktowe, ale nie zwykłe okulary.</li>
</ol>
2. Przygotowanie do eksperymentu
<ol>
	<li>Urządzenia śledzące ruch gałek ocznych
	<ol>
		<li>Korzystaj z dowolnego mobilnego urządzenia śledzącego ruch gałek ocznych, które jest w stanie uchwycić ruch gałek ocznych w rzeczywistych warunkach. 
		UWAGA: Zastosowane tutaj mobilne urządzenia śledzące ruch gałek ocznych to dwa okulary Tobii Pro Glasses 2 (patrz Tabela materiałów). Oprócz specjalistycznych kamer, które mogą śledzić ruchy gałek ocznych, okulary są również wyposażone w kamerę sceniczną HD oraz mikrofon, dzięki czemu spojrzenie może być wizualizowane w kontekście pola widzenia użytkownika. Okulary te rejestrują dane dotyczące spojrzenia 50 razy na sekundę. Inni badacze używali ASL Mobile Eye5, SMI6 lub Pupil-labs7, z których wszystkie zapewniają strumienie wideo z kamery sceny i współrzędne śledzenia wzroku przy różnych częstotliwościach próbkowania (30–120 Hz). Poniższa procedura może się nieznacznie różnić w przypadku innych urządzeń śledzących ruch gałek ocznych.</li>
	</ol>
	</li>
	<li>Znaczniki referencyjne
	<ol>
		<li>Dwa poniższe kroki (tj. wyrównanie czasowe i przestrzenne) wymagają użycia znaczników odniesienia. Istnieje kilka bibliotek przetwarzania obrazów, które zapewniają badaczom te markery i algorytmy do wykrywania ich na obrazie lub źródle wideo. Opisany protokół korzysta z biblioteki Chilitag8.</li>
	</ol>
	</li>
	<li>Wyrównanie czasowe
	<ol>
		<li>Ponieważ dane śledzenia ruchu gałek ocznych są rejestrowane na dwóch oddzielnych jednostkach, upewnij się, że dane są prawidłowo zsynchronizowane (Rysunek 1). Można zastosować dwie główne metody. Ten manuskrypt obejmuje tylko pierwszą metodę, ponieważ synchronizacja serwerów działa inaczej w przypadku każdej marki mobilnego eye-trackera.
		<ol>
			<li>Na krótko pokaż znacznik odniesienia na ekranie komputera, aby zaznaczyć początek i koniec sesji. Jest to podobne do wizualnego "klaskania w dłonie" (<silna klasa="xfig">Rysunek 2).</li>
			<li>Alternatywnie można użyć serwera do zsynchronizowania zegarów dwóch jednostek zbierania danych. Ta metoda jest nieco dokładniejsza i zalecana, jeśli wymagana jest wyższa dokładność czasowa.</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>Wyrównanie przestrzenne
	<ol>
		<li>Aby dowiedzieć się, czy dwóch uczestników patrzy na to samo miejsce w tym samym czasie, zmapuj ich spojrzenia na wspólną płaszczyznę. Płaszczyzna ta może być obrazem ustawienia eksperymentalnego (patrz lewa strona Rysunek 3). Starannie zaprojektuj ten obraz przed eksperymentem.</li>
		<li>Rozmiar znaczników odniesienia: Ogólny rozmiar znaczników odniesienia zależy od algorytmu użytego do ich wykrycia na podstawie nagrania wideo ze śledzenia ruchu gałek ocznych. Powierzchnie znajdujące się blisko uczestników mogą mieć mniejsze znaczniki odniesienia, natomiast powierzchnie znajdujące się dalej od nich muszą być większe, aby wyglądały podobnie z perspektywy uczestników. Wypróbuj wcześniej różne rozmiary, aby upewnić się, że można je wykryć na filmie ze śledzeniem ruchu gałek ocznych.</li>
		<li>Liczba znaczników odniesienia: Aby proces mapowania punktów spojrzenia na wspólną płaszczyznę zakończył się sukcesem, upewnij się, że w danym momencie jest widocznych z punktu widzenia uczestników kilka znaczników odniesienia.</li>
		<li>Lokalizacja znaczników odniesienia: Obramuj odpowiednie obszary zainteresowania paskami znaczników odniesienia (np. patrz ekran laptopa na Rysunek 3).</li>
	</ol>
	</li>
	<li>Na koniec uruchom pilotaże, aby przetestować procedurę synchronizacji i określić optymalną lokalizację, rozmiar i liczbę znaczników odniesienia. Filmy ze śledzenia ruchu gałek ocznych mogą być przetwarzane przez algorytm widzenia komputerowego, aby sprawdzić, czy markery odniesienia są niezawodnie wykrywane.</li>
</ol>
3. Przeprowadzanie eksperymentu
<ol>
	<li>Instrukcje
	<ol>
		<li>Poinstruuj uczestników, aby założyli okulary śledzące ruch gałek ocznych tak, jak normalną parę okularów. Opierając się na charakterystycznych rysach twarzy uczestników, może być konieczne użycie kawałków nosa o różnej wysokości, aby zachować jakość danych.</li>
		<li>Po włączeniu eye-trackera poproś uczestników, aby przypięli jednostkę nagrywającą do siebie, aby umożliwić naturalny ruch ciała.</li>
	</ol>
	</li>
	<li>wzorcowanie
	<ol>
		<li>Poinstruuj uczestników, aby spojrzeli na środek znacznika kalibracyjnego dostarczonego przez Tobii, gdy funkcja kalibracji oprogramowania jest włączona. Po zakończeniu kalibracji można rozpocząć nagrywanie z poziomu oprogramowania.</li>
		<li>Poinstruuj uczestników, aby nie poruszali mobilnymi urządzeniami śledzącymi ruch gałek ocznych po kalibracji. Jeśli tak się stanie, dane prawdopodobnie będą niedokładne i konieczne będzie ponowne przeprowadzenie procedury kalibracji.</li>
	</ol>
	</li>
	<li>Monitorowanie danych
	<ol>
		<li>Monitoruj proces gromadzenia danych podczas badania i upewnij się, że dane z ruchu gałek ocznych są zbierane prawidłowo. Większość mobilnych eye-trackerów może w tym celu zapewnić transmisję na żywo na osobnym urządzeniu (np. tablecie).</li>
	</ol>
	</li>
	<li>Eksport danych
	<ol>
		<li>Po zakończeniu sesji nagraniowej poinstruuj uczestnika, aby zdjął okulary śledzące ruch gałek ocznych i jednostkę do zbierania danych. Wyłącz urządzenie.</li>
		<li>Wyodrębnij dane za pomocą innego oprogramowania, Tobii Pro Lab, wyjmując kartę SD z jednostki zbierającej dane importujące dane sesji. Tobii Pro Lab może być używany do odtwarzania wideo, tworzenia wizualizacji i eksportowania danych śledzenia wzroku jako plików rozdzielanych przecinkami (.csv) lub tabulatorami (.tsv).</li>
	</ol>
	</li>
</ol>
4. Wstępne przetwarzanie danych z podwójnego śledzenia ruchu gałek ocznych
<ol>
	<li>Sprawdzanie poczytalności danych ze śledzenia wzroku
	<ol>
		<li>Sprawdź wizualnie dane śledzenia wzroku po zebraniu danych. Nierzadko zdarza się, że niektórzy uczestnicy mają brakujące dane. Na przykład pewna szczególna fizjologia oka może stwarzać problemy dla algorytmów śledzenia ruchu gałek ocznych, okulary mogą się przesuwać podczas eksperymentu, oprogramowanie do zbierania danych może ulec awarii itp.</li>
		<li>Korzystaj ze statystyk opisowych, aby sprawdzić, ile danych zostało utraconych podczas każdej sesji, i wykluczyć sesje, w których brakuje znacznej ilości danych lub są one zaszumione.</li>
	</ol>
	</li>
	<li>Wyrównanie czasowe
	<ol>
		<li>Przytnij dane z każdego mobilnego urządzenia do śledzenia ruchu gałek ocznych, aby uwzględnić tylko interakcje między uczestnikami. Można to osiągnąć za pomocą metody opisanej powyżej (tj. prezentowania uczestnikom dwóch specjalnych znaczników odniesienia na początku i na końcu sesji). Te znaczniki odniesienia można następnie wykryć na filmie ze śledzeniem ruchu gałek ocznych w celu przycięcia zestawów danych.</li>
	</ol>
	</li>
	<li>Wyrównanie przestrzenne 
	UWAGA: Aby wykryć, czy dwóch uczestników patrzy na to samo miejsce w tym samym czasie, konieczne jest ponowne odwzorowanie wzroku uczestników na wspólnej płaszczyźnie (tj. obrazie otoczenia eksperymentalnego). Metodą obliczeniową pozwalającą osiągnąć ten cel jest homografia (tj. transformacja perspektywiczna płaszczyzny). Z technicznego punktu widzenia dwa obrazy tej samej płaskiej powierzchni w przestrzeni są powiązane macierzą homografii. Na podstawie wspólnego zestawu punktów macierz ta może być używana do wnioskowania o położeniu dodatkowych punktów między dwiema płaszczyznami. W Rysunek 3, na przykład, jeśli algorytm widzenia komputerowego wie, gdzie znajdują się znaczniki referencyjne na materiałach, może przekierować wzrok uczestnika na wspólną płaszczyznę po lewej stronie. Białe linie łączą dwa zestawy punktów współdzielonych przez obraz wideo każdego uczestnika i scenę, które są następnie wykorzystywane do budowania homografii w celu ponownego odwzorowania zielonych i niebieskich kropek po lewej stronie.
	<ol>
		<li>Użyj wersji OpenCV w Pythonie, np. do obliczenia macierzy homografii na podstawie znaczników odniesienia, a następnie do ponownego przypisania danych śledzenia ruchu gałek ocznych do sceny eksperymentalnego ustawienia (lub dowolnej innej odpowiedniej biblioteki w wybranym języku). OpenCV udostępnia dwie użyteczne funkcje: findHomography(), aby uzyskać macierz homografii, oraz perspectiveTransform() do przekształcenia punktu z jednej perspektywy na drugą.</li>
		<li>Aby użyć findHomography(), uruchom z dwoma argumentami: współrzędnymi X,Y punktów źródłowych (tj. znaczników odniesienia wykrytych na wideo uczestników ze sceny, pokazanych po prawej stronie w Rysunek 3) i odpowiadających im punktów docelowych (tj. tych samych znaczników odniesienia wykrytych na obrazie sceny, pokazanych po lewej stronie w Rysunek 3).</li>
		<li>Wprowadź wynikową macierz homografii do funkcji perspectiveTransform() wraz z nowym punktem, który musi zostać odwzorowany z obrazu źródłowego na obraz docelowy (np. dane śledzenia ruchu gałek ocznych pokazane jako niebiesko-zielona kropka po prawej stronie Rysunek 3). Funkcja perspectiveTransform zwraca nową współrzędną tego samego punktu na obrazie sceny (tj. niebieskie/zielone kropki pokazane po lewej stronie Rysunek 3). 
		UWAGA: Aby uzyskać więcej informacji, oficjalna dokumentacja OpenCV zawiera przykładowy kod i przykłady implementacji homografii: docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html.</li>
	</ol>
	</li>
	<li>Sprawdzanie poczytalności homografii
	<ol>
		<li>Wypełnij sekcję 4.3 dla całej sesji i wykonaj homografię na każdej klatce filmu z ruchomym śledzeniem ruchu gałek ocznych, aby sprawdzić jakość homografii. Chociaż nie ma zautomatyzowanych sposobów szacowania dokładności uzyskanych danych śledzenia wzroku, filmy takie jak ten pokazany na Rysunek 4 powinny być używane do ręcznego sprawdzania poprawności podczas każdej sesji.</li>
		<li>Jeśli jakość jest niższa niż oczekiwano, rozważ dodatkowe parametry, aby poprawić wyniki homografii:
		<ol>
			<li>Liczba wykrytych markerów odniesienia: Homografię należy wykonywać tylko wtedy, gdy w strumieniu wideo można wykryć wystarczającą liczbę znaczników odniesienia. Liczbę tę można określić, analizując film wyprodukowany powyżej.</li>
			<li>Lokalizacja znaczników odniesienia: Jeśli różne markery znajdują się na różnych głębokościach i orientacjach, jakość homografii zwykle wzrasta, gdy wybierane są znaczniki znajdujące się najbliżej współrzędnych patrzenia, biorąc pod uwagę, że jest wystarczająco dużo znaczników, aby zbudować solidną homografię.</li>
			<li>Orientacja znaczników odniesienia: Łączenie znaczników odniesienia, które mają różne orientacje (np. poziomą i pionową), spowoduje powstanie niedokładnych homografii. Zaleca się, aby najpierw wykryć, na którą płaszczyznę lub obszary zainteresowań (AOI) patrzy uczestnik (np. ekran komputera, ściągawka, tabela, patrz <silna klasa="xfig">Rysunek 3), a następnie użyć znaczników odniesienia na tej płaszczyźnie do homografii.</li>
			<li>Jakość strumienia wideo: Nagłe ruchy głowy mogą spowodować rozmycie klatek wideo i sprawić, że dane staną się bezużyteczne, ponieważ znaczniki odniesienia nie mogą być niezawodnie wykryte (<silna klasa="xfig">Rysunek 4). Metodologia tego artykułu nie jest odpowiednia dla eksperymentów, które obejmują wiele nagłych ruchów głowy.</li>
		</ol>
		</li>
	</ol>
	</li>
</ol>
5. Analiza danych z podwójnego śledzenia ruchu gałek ocznych
<ol>
	<li>Brakujące dane
	<ol>
		<li>Aby upewnić się, że dane zostały prawidłowo odwzorowane na obraz referencyjny, utwórz wykresy wizualizacji (np. Rysunek 5, <silna klasa="xfig">Rysunek 6) oraz statystyki opisowe, aby sprawdzić, ile danych brakuje.</li>
	</ol>
	</li>
	<li>Wykresy cyklu krzyżowego
	<ol>
		<li>Użyj wykresów powtarzalności krzyżowej9, aby przedstawić wizualną synchronizację między dwoma uczestnikami (Rysunek 6), gdzie oś X reprezentuje czas dla pierwszego uczestnika, a oś Y reprezentuje czas dla drugiego uczestnika. Czarne kwadraty wskazują, że uczestnicy patrzą na ten sam obszar, ukośna linia opisuje dwie osoby patrzące na tę samą rzecz dokładnie w tym samym czasie, a czarne kwadraty poza ukośną linią opisują, kiedy dwie osoby patrzą na tę samą rzecz z opóźnieniem czasowym. Wreszcie, rozróżnienie między brakującymi danymi (biały kwadrat) a istniejącymi danymi bez JVA (szare kwadraty) pomaga zidentyfikować problematyczne sesje. Zapewnia to badaczom wizualną kontrolę poczytalności.</li>
	</ol>
	</li>
	<li>Informatyka JVA
	<ol>
		<li>Po przefiltrowaniu pod kątem brakujących danych oblicz metrykę dla JVA, zliczając, ile razy spojrzenia uczestników znajdują się w tym samym promieniu w scenie (zdefiniowanej poniżej) w oknie czasowym -2/+2 s. Podziel tę liczbę przez liczbę prawidłowych punktów danych, których można użyć do obliczenia JVA. Wynik dzielenia reprezentuje procent czasu, w którym dwie osoby badane wspólnie patrzyły na to samo miejsce. Ten ostatni krok jest konieczny, aby uniknąć zawyżania wyników grup z większą ilością danych po homografii. 
		UWAGA: Przed obliczeniem JVA należy ustawić dwa parametry, minimalną odległość między dwoma punktami spojrzenia oraz okno czasowe między nimi (Rysunek 7): 1) Okno czasowe: Wczesne badanie podstawowe10 używało pojedynczego eye-trackera do pomiaru JVA między słuchaczem a mówcą. Naukowcy poprosili pierwszą grupę uczestników ("prelegentów") o opowiedzenie o programie telewizyjnym, którego postacie były wyświetlane przed nimi. Druga grupa uczestników ("słuchaczy") oglądała następnie ten sam program, słuchając nagrań audio prelegentów. Ruchy gałek ocznych mówców i słuchaczy zostały porównane i stwierdzono, że ruchy gałek ocznych słuchacza ściśle odpowiadały ruchom gałek ocznych mówcy z opóźnieniem wynoszącym 2 s. W kolejnych pracach11 badacze przeanalizowali dialogi na żywo i odkryli, że opóźnienie wynoszące 3 s najlepiej uchwyciło momenty JVA. Ponieważ każde zadanie jest unikalne i może wykazywać różne opóźnienia czasowe, sugeruje się również, aby zbadać, jak różne opóźnienia wpływają na wyniki danego eksperymentu. Ogólnie rzecz biorąc, często szuka się JVA w oknie czasowym ± 2/3 s, w zależności od zadania eksperymentalnego, a następnie bada, jak różne opóźnienia czasowe mogą zmienić wyniki. 2) Odległość między spojrzeniami: nie ma empirycznie zdefiniowanej odległości między dwoma spojrzeniami, aby można je było zaliczyć do JVA. Dystans ten jest uzależniony od zdefiniowanych przez badaczy pytań badawczych. Pytania badawcze powinny informować o wielkości celów zainteresowania. W przykładzie pokazanym w Rysunek 7, do analizy wybrano promień 100 pikseli na obrazie sceny (niebieskie/zielone kółka), ponieważ jest on wystarczający do uchwycenia, kiedy uczestnicy patrzą na robota w labiryncie, a także na podobne elementy interfejsu użytkownika na ekranie komputera, które są dwoma głównymi obszarami zainteresowania tego eksperymentalnego zadania.</li>
	</ol>
	</li>
</ol>

<ol><li>Tomasello, M. Joint attention as social cognition. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aTomasello%2C+M+%22Joint+attention%3A+Its+origins+and+role+in+development%22">Joint attention: Its origins and role in development</a>. Moore, C., Dunham, P. J. , Lawrence Erlbaum Associates, Inc. Hillsdale, NJ, England. 103-130 (1995).</li>
<li>Mundy, P., Sigman, M., Kasari, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+longitudinal+study+of+joint+attention+and+language+development+in+autistic+children%5BTitle%5D)+AND+%22Journal+of+Autism+and+Developmental+Disorders%22%5BJournal%5D)">A longitudinal study of joint attention and language development in autistic children.</a> Journal of Autism and Developmental Disorders. 20, 115-128 (1990).</li>
<li>Clark, H. H., Brennan, S. E. Grounding in communication. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aClark%2C+HH+%22Perspectives+on+socially+shared+cognition%22">Perspectives on socially shared cognition</a>. Resnick, L. B., Levine, J. M., Teasley, S. D. , American Psychological Association. Washington, DC, US. 127-149 (1991).</li>
<li>Siposova, B., Carpenter, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+look+at+joint+attention+and+common+knowledge%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">A new look at joint attention and common knowledge.</a> Cognition. 189, 260-274 (2019).</li>
<li>Gergle, D., Clark, A. T. See What I'm Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGergle%2C+D+%22Proceedings+of+the+ACM+2011+Conference+on+Computer+Supported+Cooperative+Work%22">Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work</a>. , ACM. New York, NY, USA. 435-444 (2011).</li>
<li>Renner, P., Pfeiffer, T., Wachsmuth, I. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aRenner%2C+P+%22Spatial+Cognition+IX%22">Spatial Cognition IX</a>. Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. , Springer International Publishing. 121-136 (2014).</li>
<li>Shvarts, A. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+detection+of+gaze+convergence+in+multimodal+collaboration%3A+a+dual+eye-tracking+technology%5BTitle%5D)+AND+%22The+Russian+Journal+of+Cognitive+Science%22%5BJournal%5D)">Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology.</a> The Russian Journal of Cognitive Science. 5, 4(2018).</li>
<li>Bonnard, Q., et al. Chilitags: Robust Fiducial Markers for Augmented Reality [software]. , Available from: 
 <a target="_blank" href="https://github.com/chili-epfl/qml-chilitags">https://github.com/chili-epfl/qml-chilitags</a> (2013).</li>
<li>Jermann, P., Mullins, D., Nüssli, M. -A., Dillenbourg, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Collaborative+Gaze+Footprints%3A+Correlates+of+Interaction+Quality.+Connecting+Computer-Supported+Collaborative+Learning+to+Policy+and+Practice%5BTitle%5D)+AND+%22CSCL2011+Conference+Proceedings.%2C+Volume+I+-+Long+Papers%22%5BJournal%5D)">Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice.</a> CSCL2011 Conference Proceedings., Volume I - Long Papers. , 184-191 (2011).</li>
<li>Richardson, D. C., Dale, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Looking+To+Understand%3A+The+Coupling+Between+Speakers%27+and+Listeners%27+Eye+Movements+and+Its+Relationship+to+Discourse+Comprehension%5BTitle%5D)+AND+%22Trends+in+Cognitive+Sciences%22%5BJournal%5D)">Looking To Understand: The Coupling Between Speakers' and Listeners' Eye Movements and Its Relationship to Discourse Comprehension.</a> Trends in Cognitive Sciences. 29, 1045-1060 (2005).</li>
<li>Richardson, D. C., Dale, R., Kirkham, N. Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+Art+of+Conversation+Is+Coordination+Common+Ground+and+the+Coupling+of+Eye+Movements+During+Dialogue%5BTitle%5D)+AND+%22Psychological+Science%22%5BJournal%5D)">The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue.</a> Psychological Science. 18, 407-413 (2007).</li>
<li>Schneider, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+Mobile+Eye-Trackers+to+Unpack+the+Perceptual+Benefits+of+a+Tangible+User+Interface+for+Collaborative+Learning%5BTitle%5D)+AND+%22ACM+Transactions+on+Computer-Human+Interaction%22%5BJournal%5D)">Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning.</a> ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).</li>
<li>Meier, A., Spada, H., Rummel, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+rating+scheme+for+assessing+the+quality+of+computer-supported+collaboration+processes%5BTitle%5D)+AND+%22Int.+J.+Comput.-Support.+Collab.+Learn%22%5BJournal%5D)">A rating scheme for assessing the quality of computer-supported collaboration processes.</a> Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).</li>
<li>Schneider, B., Pea, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+mutual+gaze+perception+enhances+collaborative+learning+and+collaboration+quality%5BTitle%5D)+AND+%22Journal+of+Computer-Supported+Collaborative+Learning%22%5BJournal%5D)">Real-time mutual gaze perception enhances collaborative learning and collaboration quality.</a> Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).</li>
</ol>

Autorzy oświadczają, że nie mają konkurencyjnych interesów finansowych.

Metodologia opisana w tym artykule zapewnia rygorystyczny sposób uchwycenia JVA w kolokowanych diadach. Wraz z pojawieniem się przystępnej cenowo technologii wykrywania i ulepszonych algorytmów widzenia komputerowego, możliwe jest teraz badanie interakcji opartych na współpracy z dokładnością, która wcześniej była niedostępna. Metodologia ta wykorzystuje markery referencyjne rozpowszechniane w środowisku i wykorzystuje homografie jako sposób na ponowne odwzorowanie spojrzeń uczestników na wspólnej płaszczyźnie. Dzięki te...

JVA było intensywnie badane w ciągu ostatniego stulecia, szczególnie przez psychologów rozwojowych zajmujących się akwizycją języka. Szybko ustalono, że wspólna uwaga to coś więcej niż tylko sposób na naukę słów, ale raczej prekursor dziecięcych teorii umysłu1. Tym samym odgrywa znaczącą rolę w wielu procesach społecznych, takich jak komunikowanie się z innymi, współpraca i rozwijanie empatii. Na przykład dzieci autystyczne nie są w stanie skoordynować swojej uwagi wzrokowej z opiekunami, co wiąże się ze znacznymi upośledzeniami społecznymi2. Ludzie potrzebują wspólnej uwagi, aby stać się funkcjonalnymi członkami społeczeństwa, koordynować swoje działania i uczyć się od innych. Od dzieci uczących się pierwszych słów, nastolatków uczących się od nauczycieli, uczniów współpracujących nad projektami, po grupy dorosłych pracujących nad wspólnymi celami, wspólna uwaga jest podstawowym mechanizmem ustanawiania wspólnej płaszczyzny między jednostkami3. W niniejszym artykule skupiam się na badaniu JVA w badaniach edukacyjnych. Zrozumienie, w jaki sposób wspólna uwaga rozwija się w czasie, ma zasadnicze znaczenie dla badania procesów uczenia się opartego na współpracy. W związku z tym odgrywa dominującą rolę w środowiskach socjokonstruktywistycznych.
Dokładna definicja wspólnej uwagi jest nadal dyskutowana4. Niniejszy artykuł dotyczy podkonstrukcji wspólnej uwagi (JA), a mianowicie JVA. JVA ma miejsce, gdy dwie osoby patrzą na to samo miejsce w tym samym czasie. Należy zauważyć, że JVA nie dostarcza żadnych informacji na temat innych ważnych konstruktów zainteresowania w badaniu JA, takich jak monitorowanie wspólnej, wzajemnej i współdzielonej uwagi lub, bardziej ogólnie, świadomości poznania innego członka grupy. Niniejszy artykuł operacjonalizuje i upraszcza JVA poprzez połączenie danych ze śledzenia wzroku od dwóch uczestników i analizę częstotliwości, z jaką ustawiają oni swoje spojrzenia. W celu bardziej wyczerpującej dyskusji, zainteresowany czytelnik może dowiedzieć się więcej na temat badania konstruktu JA w Siposovaet al.4.
W ciągu ostatniej dekady, postęp technologiczny radykalnie zmienił badania nad JVA. Główną zmianą paradygmatu było użycie wielu urządzeń śledzących ruch gałek ocznych w celu uzyskania ilościowych pomiarów dopasowania uwagi, w przeciwieństwie do jakościowej analizy nagrań wideo w warunkach laboratoryjnych lub ekologicznych. Rozwój ten pozwolił naukowcom na zebranie precyzyjnych, szczegółowych informacji na temat koordynacji wzrokowej diad. Ponadto eye-trackery stają się coraz bardziej przystępne cenowo: do niedawna ich użycie było zarezerwowane dla środowisk akademickich lub dużych korporacji. Obecnie można kupić niedrogie urządzenia do śledzenia ruchu gałek ocznych, które generują wiarygodne zestawy danych. Wreszcie, stopniowe włączanie funkcji śledzenia wzroku do istniejących urządzeń, takich jak wysokiej klasy laptopy oraz zestawy słuchawkowe do wirtualnej i rozszerzonej rzeczywistości, sugeruje, że śledzenie wzroku wkrótce stanie się wszechobecne.
Ze względu na popularyzację urządzeń śledzących ruch gałek ocznych, ważne jest, aby zrozumieć, co mogą, a czego nie mogą nam powiedzieć o interakcjach społecznych. Metodologia przedstawiona w niniejszym artykule stanowi pierwszy krok w tym kierunku. Zajmuję się dwoma wyzwaniami związanymi z rejestracją JVA z wielu urządzeń śledzących ruch gałek ocznych: synchronizacją danych w 1) skali czasowej i 2) w skali przestrzennej. Mówiąc dokładniej, protokół ten wykorzystuje znaczniki odniesienia umieszczone w rzeczywistych środowiskach do informowania algorytmów widzenia komputerowego, w których uczestnicy orientują swój wzrok. Ten nowy rodzaj metodologii toruje drogę do rygorystycznej analizy ludzkich zachowań w małych grupach.
Ten protokół badawczy jest zgodny z wytycznymi komisji etyki badań na ludziach Uniwersytetu Harvarda.

<table><tbody><tr><td>Tobii Okulary 2</td><td>Tobii</td><td>N/A</td><td><a href="https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/" target="_blank">https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/</a>Markery</td></tr> <tr><td>Fiducial</td><td>Chili lab &ndash; EPFL, Szwajcaria</td><td>N/A</td><td><a href="https://github.com/chili-epfl/chilitags" target="_blank">https://github.com/chili-epfl/chilitags</a></td></tr></tbody></table>

metodologia przechwytywania wspólnej uwagi wzrokowej za pomocą mobilnych urządzeń śledzących ruch gałek ocznych

A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers

Wraz z pojawieniem się nowych osiągnięć technologicznych, możliwe jest badanie interakcji społecznych na mikropoziomie z niespotykaną dotąd dokładnością. Czujniki wysokiej częstotliwości, takie jak urządzenia śledzące ruch gałek ocznych, opaski elektrodermalne, opaski EEG i czujniki ruchu, zapewniają obserwacje na poziomie milisekund. Ten poziom precyzji pozwala naukowcom na gromadzenie dużych zbiorów danych na temat interakcji społecznych. W tym artykule omawiam, w jaki sposób wiele urządzeń śledzących ruch gałek ocznych może uchwycić podstawowy konstrukt w interakcjach społecznych, wspólną uwagę wzrokową (JVA). JVA była badana przez psychologów rozwojowych, aby zrozumieć, w jaki sposób dzieci przyswajają język, naukowców zajmujących się nauką, aby zrozumieć, jak małe grupy uczniów współpracują ze sobą, oraz socjologów, aby zrozumieć interakcje w małych zespołach. W tym artykule opisano metodologię rejestrowania JVA w kolokowanych warunkach za pomocą mobilnych urządzeń śledzących ruch gałek ocznych. Przedstawiono w nim niektóre wyniki badań empirycznych i omówiono implikacje prowadzenia mikroobserwacji w celu zrozumienia interakcji społecznych.

Przedstawiona powyżej metodologia została wykorzystana do badania studentów uczestniczących w programie kształcenia zawodowego w zakresie logistyki (n = 54)12. W tym eksperymencie pary studentów wchodziły w interakcję z namacalnym interfejsem użytkownika (TUI), który symulował magazyn w małej skali. Markery fiducyjne umieszczone na TUI pozwoliły zespołowi badawczemu na zmapowanie spojrzeń studentów na wspólną płaszczyznę i obliczenie poziomów JVA. Wyniki wskazały, że grupy o wyższych poziomach JVA...

Korzystanie z czujników multimodalnych jest obiecującym sposobem na zrozumienie roli interakcji społecznych w środowisku edukacyjnym. W artykule opisano metodologię przechwytywania wspólnej uwagi wzrokowej z kolokowanych diad za pomocą mobilnych urządzeń śledzących ruch gałek ocznych.

Metodologia przechwytywania wspólnej uwagi wzrokowej za pomocą mobilnych urządzeń śledzących ruch gałek ocznych

With the advent of new technological advances, it is possible to study social interactions at a microlevel with unprecedented accuracy. High frequency ...

Cześć, nazywam się Bertrand Schneider i jestem adiunktem w Harvard Graduate School of Education. W tym filmie pokażę wam, w jaki sposób możemy wykorzystać mobilne urządzenia do śledzenia ruchu gałek ocznych do uchwycenia głównego konstruktu nauk społecznych, jaką jest wspólna uwaga wzrokowa. Wspólna uwaga wzrokowa została szeroko przebadana przez psychologów i stwierdzono, że jest ściśle skorelowana z jakością interakcji między członkami grupy.Okazuje się, że kiedy ludzie budują wspólną płaszczyznę i tworzą wspólne zrozumienie zadania, często patrzą na to samo miejsce w tym samym czasie. Tradycyjnie, naukowcy badali jakościowo wspólną uwagę wzrokową poprzez ręczne kodowanie filmów. Pokażę wam, w jaki sposób możemy wykorzystać mobilne urządzenia do śledzenia ruchu gałek ocznych, aby uzyskać ilościową miarę tego konstruktu w miejscach znajdujących się w tym samym miejscu.W tym filmie będziemy używać okularów Tobii Pro Glasses Two. Te okulary to urządzenia śledzące ruch gałek ocznych do noszenia, które mogą rejestrować ruch gałek ocznych w rzeczywistych warunkach. Oprócz specjalistycznych kamer na ramie do śledzenia ruchów gałek ocznych, urządzenie jest również wyposażone w kamerę sceniczną Full HD i mikrofon, dzięki czemu zachowanie wzroku można wizualizować w kontekście pola widzenia użytkownika.W przypadku tych okularów spojrzenie jest rejestrowane 50 razy na sekundę, a obraz wideo na żywo z okularów może być przesyłany strumieniowo do komputera bezprzewodowo lub za pośrednictwem Ethernet. Okulary mają jednak jedno ograniczenie, ponieważ nie będą działać na zwykłych okularach. Procedura konfiguracji eye-trackera jest stosunkowo prosta.Po pierwsze, uczestnicy zostaną poproszeni o założenie okularów śledzących ruch gałek ocznych tak, jak normalnej pary okularów. Na podstawie różnych rysów twarzy uczestników może być konieczne użycie kawałków nosa o różnej wysokości, aby zachować jakość danych. Po włączeniu eye-trackera uczestnicy powinni przypiąć moduł zbierający dane do swoich osób, aby umożliwić nieokiełznane ruchy ciała.Kontroler okularów Tobii Pro powinien być otwarty, a uczestnicy powinni zostać poinstruowani, aby spojrzeli na środek znacznika kalibracyjnego dostarczonego przez Tobii, podczas gdy funkcja kalibracji oprogramowania jest włączona. Po zakończeniu kalibracji można rozpocząć nagrywanie z poziomu oprogramowania. Po zakończeniu sesji nagraniowej zakończ nagrywanie w oprogramowaniu Tobii, zanim poinstruujesz uczestnika, aby zdjął okulary śledzące ruch gałek ocznych i jednostkę zbierającą dane.A następnie wyłącz urządzenie. Dane można wyodrębnić za pomocą innego oprogramowania, Tobii Pro Lab, wyjmując kartę SD z jednostki zbierającej dane i wkładając kartę do komputera. Tobii Pro Lab jest w stanie zaimportować wszystkie sesje nagraniowe zapisane na karcie SD w tym samym czasie.Pliki mogą być następnie przetwarzane w Tobii Pro Lab w celu generowania filmów, różnych wizualizacji lub wyprowadzania jako wartości rozdzielane tabulatorami lub pliki TSV do dalszej analizy. Tutaj możesz zobaczyć surowe dane dotyczące śledzenia ruchu gałek ocznych z badania, które niedawno przeprowadziliśmy, w którym dwóch uczestników uczyło się programować robota. Z każdej strony można zobaczyć strumień wideo generowany przez każdy eye-tracker z lokalizacją wzroku uczestnika.Jak widać, nie da się stwierdzić, czy patrzą na to samo miejsce w tym samym czasie, ponieważ punkt widzenia każdego uczestnika jest inny. Ponadto rejestracja danych może rozpocząć się o różnych porach. Oznacza to, że dane muszą być zsynchronizowane czasowo i przestrzennie.W tym filmie pokażę, jak rozwiązać te dwa problemy. Najpierw opiszę procedurę tymczasowej synchronizacji danych. Dla pierwszego uczestnika masz określoną liczbę klatek wideo.Niektóre z nich są przed lub po rzeczywistym zadaniu eksperymentalnym. Tak jak w pierwszej klatce, w której eksperymentator kalibruje eye-tracker. Podobnie w przypadku innych uczestników masz ten sam rodzaj danych.Nie jest to tutaj pokazane, ale każda klatka filmu jest również powiązana ze współrzędnymi x i y, które reprezentują spojrzenie każdego uczestnika. Aby zsynchronizować dane, na krótko pokazujemy znacznik odniesienia na ekranie komputera przed i po zadaniu eksperymentalnym. Korzystając z algorytmu widzenia komputerowego, możemy wykryć, kiedy ten znacznik jest prezentowany każdemu uczestnikowi, co pozwala nam przyciąć i wyrównać dane.Jest to więc jeden ze sposobów radzenia sobie z problemami z synchronizacją danych. W kolejnych częściach zajmiemy się drugą kwestią:Jak zsynchronizować dane przestrzennie. Jak wspomniano wcześniej, dane pochodzą z każdego urządzenia śledzącego ruch gałek ocznych w postaci kanału wideo powiązanego z lokalizacją wzroku każdego uczestnika, tutaj w kolorze niebieskim i zielonym.Chociaż współrzędne x i y mogą być takie same dla obu uczestników, nie oznacza to, że patrzą na to samo miejsce, ponieważ patrzą na ekran z dwóch różnych perspektyw. Jednym ze sposobów rozwiązania tego problemu jest zbudowanie obrazu konfiguracji eksperymentalnej, który posłuży jako odniesienie i w którym zamierzamy ponownie odwzorować lokalizację przypadku każdego uczestnika. Dzięki temu możemy wykryć dla każdej klatki filmu śledzącego ruch gałek ocznych, czy uczestnicy patrzą w to samo miejsce w tym samym czasie.Ale jak odwzorować te współrzędne na obrazie po lewej stronie? Zamierzamy użyć tego samego algorytmu kooperatywnego widzenia, który pozwolił nam wcześniej zsynchronizować dane. Nakładając go na każdą klatkę nagrań wideo, możemy teraz wykryć lokalizację znaczników odniesienia z perspektywy uczestników.Dzięki temu możemy połączyć te same znaczniki na obrazie referencyjnym po lewej stronie. Znając współrzędne tego wspólnego zestawu punktów, możemy wywnioskować położenie wzroku każdej osoby za pomocą operacji matematycznej znanej jako homografia. Stosując tę procedurę na każdej klatce, możemy wygenerować wideo, aby upewnić się, że homografia zadziałała.Po prawej stronie znajduje się nagranie wideo każdego uczestnika z lokalizacją jego spojrzenia w kolorze niebieskim i zielonym. Te same znaczniki odniesienia są połączone białą linią między obrazem po lewej stronie a punktem widzenia uczestnika po prawej stronie. Ponownie zmapowane spojrzenia są pokazane po lewej stronie i zmieniają kolor na czerwony, gdy pojawia się wspólna uwaga wzrokowa.Wygenerowanie tego filmu jest ważnym krokiem w kierunku upewnienia się, że dane są czyste, a homografia została wykonana poprawnie. Ponadto istnieją dwie inne wizualizacje, które można utworzyć, aby sprawdzić poprawność danych. Pierwsza wizualizacja to mapa cieplna.Dla każdego uczestnika możemy nanieść każdy punkt spojrzenia na obraz eksperymentalnego zestawu. Gwarantuje to, że homografia zadziałała poprawnie i pozwala nam kategoryzować te przypadki w różnych obszarach zainteresowań. Tutaj na przykład widzimy, że większość czasu spędziliśmy na patrzeniu na ekran komputera, a bardzo mało czasu na patrzenie na ściągawki.Druga wizualizacja jest nazywana wykresem cyklu krzyżowego. Wykresy nawrotów krzyżowych pozwalają nam na wizualizację danych eye-trackingowych dla pary uczestników. Czas dla pierwszego uczestnika jest wyświetlany na osi x, czas dla drugiego uczestnika jest wyświetlany na osi y.Czarne kwadraty oznaczają, że obaj uczestnicy patrzą na to samo miejsce, biały kwadrat reprezentuje brakujące dane, a szary kwadrat oznacza, gdy uczestnicy patrzą na różne lokalizacje. Czarne kwadraty po przekątnej oznaczają, że patrzą w to samo miejsce w tym samym czasie. Czarne kwadraty po przekątnej oznaczają, że uczestnicy patrzą w to samo miejsce, ale w różnym czasie.Po lewej stronie widać diadę z wysokim poziomem wspólnej uwagi wzrokowej. W środku diada z niskim poziomem wspólnej uwagi wzrokowej. Po prawej stronie grupa z dużą ilością brakujących danych.Wykonując te testy poprawności, możesz upewnić się, że poprawnie zsynchronizowałeś i ponownie zamapowałeś dane do wspólnego obrazu konfiguracji eksperymentalnej. Kroki te mają kluczowe znaczenie i należy je wykonać przed przeprowadzeniem jakiejkolwiek analizy. Wreszcie, istnieją dwa parametry, które należy wybrać przed obliczeniem miary wspólnej uwagi wzrokowej.Pierwszym parametrem jest okno czasowe, w którym uczestnicy mogą spojrzeć na tę samą lokalizację. Wcześniejsze prace Richardsona i Dale'a wykazały, że uczestnicy mogą potrzebować do dwóch sekund, aby oderwać się od tego, co robią, aby zwrócić uwagę na to, co robi ich partner. W ten sposób ustaliliśmy, że istnieje wspólna uwaga wzrokowa, jeśli dwóch uczestników spojrzało na to samo miejsce w ciągu dwóch sekund plus i minus.Drugi parametr to minimalna odległość między dwoma punktami spojrzenia, aby kwalifikowały się one jako wspólna uwaga wzrokowa. Dystans ten jest zależny od kontekstu i musi być zdefiniowany przez badaczy w zależności od wykonywanego zadania i ich pytań badawczych. W przypadku niektórych zadań odległość może być niewielka.Tutaj na przykład użyliśmy 100 pikseli. W przypadku innych zadań odległość ta może być większa. Następnie przedstawię kilka wyników uzyskanych przy użyciu tej metodologii.Po uzyskaniu oszacowania ilości wspólnej uwagi wzrokowej w grupie można skorelować tę miarę z innymi interesującymi zmiennymi. Na przykład w pracy, w której skorelowaliśmy tę miarę ze schematem oceniania opracowanym w naukach ścisłych, który ujmuje jakość współpracy w grupie. Każdej grupie przypisaliśmy punktację na dziewiątkach prezentowanych tu wymiarów.Na przykład, jak dobrze ludzie utrzymują wzajemne zrozumienie lub jak łatwo osiągają konsensus. Wyniki te muszą uzyskać akceptowalną wiarygodność między innymi limitami. Na koniec możemy również zagregować te wyniki w jedną ogólną metrykę, która przybliża jakość współpracy dla każdej grupy.Wynikiem, który został znaleziony w naszej pracy, a także w innych badaniach, jest to, że wspólna uwaga wzrokowa jest istotnie skorelowana z jakością współpracy, mierzoną za pomocą przedstawionego wcześniej schematu ocen. Grupy, które są wysoko oceniane przy użyciu tego schematu kodowania, mają zwykle większą wspólną uwagę wzrokową niż grupy, które otrzymały niskie wyniki. Pokazuje to, że produktywne interakcje często wiążą się z większą wspólną uwagą wzrokową.Na następnym slajdzie pokażę wam kolejny wynik, który opiera się na tym odkryciu. Tak więc jedną z zalet posiadania dokładnych danych ze śledzenia ruchu gałek ocznych jest to, że możemy wyodrębnić inne miary wspólnej uwagi wzrokowej. Na przykład możemy obliczyć, kto zainicjował i zareagował na ofertę wspólnej uwagi wzrokowej.W szczególności na osi x tego wykresu wynik zero oznacza równy rozkład tych zachowań, a wynik jeden oznacza, że jedna osoba zawsze reagowała lub inicjowała momenty wspólnej uwagi wzrokowej. W tym badaniu znaleźliśmy odwrotną korelację z korzyściami w uczeniu się pokazanymi na osi y, mierzonymi za pomocą testów wstępnych i końcowych. Grupy, w których ta sama osoba konsekwentnie inicjowała lub reagowała na momenty wspólnej uwagi wzrokowej, były mniej skłonne do uczenia się, a grupy, w których ta odpowiedzialność była równo podzielona, były bardziej skłonne do uzyskania wyższych wyników w testach końcowych podczas kontrolowania wyników w teście wstępnym.W tym filmie przedstawiłem metodologię, która pomaga naukowcom synchronizować dane z mobilnego śledzenia ruchu gałek ocznych zarówno w czasie, jak i przestrzennie. Wyniki sugerują, że dane z podwójnego śledzenia ruchu gałek ocznych mogą dostarczyć wskaźników współpracy poprzez obliczanie miar wspólnej uwagi wzrokowej. Dodatkowo przedstawiłem wyniki pokazujące, że możemy wyjść poza proste pomiary wspólnej uwagi, na przykład patrząc na to, kto zainicjował lub zareagował na epizod wspólnej uwagi wzrokowej.Odkryliśmy, że ta miara była powiązana z innymi miarami wyników, takimi jak korzyści z uczenia się. Obliczenie tego rodzaju miary nie byłoby możliwe bez danych ze śledzenia wzroku. Podsumowując, stwierdziliśmy, że metodologia przedstawiona w tym filmie może pomóc naukowcom w uzyskaniu nowych informacji na temat procesów współpracy.Bardzo dziękuję za obejrzenie tego filmu i zachęcamy do zapoznania się z artykułem, aby uzyskać więcej informacji.

a-methodology-for-capturing-joint-visual-attention-using-mobile-eye

Research

JoVE Journal

Behavior

Zachowanie

Aby odtworzyć ustawienia laboratoryjne, metody zbierania danych online do zadań wizualnych wymagają ścisłej kontroli nad prezentacją bodźców. Przedstawiamy metody wykorzystania aplikacji internetowej do zbierania danych o wydajności w dwóch testach uwagi wzrokowej.

Metody testowania uwagi wzrokowej online

Niedawno zaproponowaliśmy metodę, która pozwala na jednoczesne prezentowanie bodźców wizualnych i obuoczne śledzenie gałek ocznych1. Kluczem jest połączenie urządzenia śledzącego ruch gałek ocznych na podczerwień i odpowiednich luster przezroczystych w podczerwieni. Ten manuskrypt zawiera szczegółowy protokół wstępnej konfiguracji i codziennej obsługi.

Jak zbudować system prezentacji dichoptycznej, który zawiera Eye Tracker

Niniejszy artykuł omawia metodologię śledzenia wzroku w badaniach nad rozumieniem języka. Aby uzyskać wiarygodne dane, należy postępować zgodnie z kluczowymi krokami protokołu. Należą do nich m.in. prawidłowa konfiguracja eye trackera (np. zapewniająca dobrą jakość obrazów oka i głowy) oraz dokładna kalibracja.

Śledzenie ruchu gałek ocznych podczas wizualnego rozumienia języka: elastyczność i ograniczenia w odkrywaniu wizualnych efektów kontekstowych

Paradygmat świata wizualnego monitoruje ruchy gałek ocznych uczestników w przestrzeni wizualnej, gdy słuchają lub mówią w języku mówionym. Paradygmat ten może być wykorzystany do zbadania przetwarzania online szerokiego zakresu pytań psycholingwistycznych, w tym stwierdzeń semantycznie złożonych, takich jak zdania rozłączne.

Wykorzystanie ruchów gałek ocznych zarejestrowanych w paradygmacie świata wizualnego do zbadania przetwarzania języka mówionego online

Celem protokołu jest szczegółowe opisanie, jak zbierać dane wideo do wykorzystania w laboratorium; jak rejestrować dane śledzenia ruchu gałek ocznych uczestników oglądających dane i jak efektywnie analizować zawartość filmów, które oglądali, używając techniki uczenia maszynowego.

Łączenie danych ze śledzenia ruchu gałek ocznych z analizą treści wideo z bezpłatnego oglądania filmu ze spaceru w parku miejskim

Małe dzieci nie obserwują świata biernie, ale raczej aktywnie eksplorują i angażują się w swoje otoczenie. Protokół ten zawiera zasady przewodnie i praktyczne zalecenia dotyczące korzystania z urządzeń śledzących ruch gałek ocznych montowanych na głowie do rejestrowania dynamicznego środowiska wzrokowego niemowląt i małych dzieci oraz uwagi wzrokowej w kontekście naturalnego zachowania.

Spojrzenie w akcji: śledzenie dynamicznej uwagi wzrokowej dzieci na głowie podczas zachowań naturalistycznych

Ten eksperymentalny protokół łączył śledzenie ruchu gałek ocznych i ocenę preakkadowej wrażliwości wzrokowej w paradygmacie podwójnego zadania, składającego się z zadania sakad wolnego wyboru i zadania dyskryminacji wizualnej, aby zbadać rozmieszczenie wizualnej uwagi przestrzennej przed zarówno dokładnymi, jak i uśredniającymi sakkadami.

Badanie rozmieszczenia uwagi wzrokowej przed dokładnymi i uśredniającymi sakkadami poprzez śledzenie ruchu gałek ocznych i ocenę wrażliwości wzrokowej

Śledzenie ruchu gałek ocznych to nieinwazyjna metoda badania przetwarzania informacji. W tym artykule opisano, w jaki sposób śledzenie wzroku może być wykorzystane do badania zachowania wzroku podczas zadania awaryjnego symulacji lotu u pilotów o niskim czasie lotu (tj. &lt;350 godzin lotu).

Śledzenie ruchu gałek ocznych podczas złożonego zadania lotniczego w celu uzyskania wglądu w przetwarzanie informacji

Metodologia badała wkład wzrokowy i przedsionkowy w stabilizację spojrzenia podczas rotacji optokinetycznej i całego ciała. Stymulacje przeprowadzono poprzez badania wzrokowe, przedsionkowe i wizuo-przedwostykowe. Wzmocnienie ruchu oczu skrętne i częstotliwości oczopląsów służyły jako wskaźniki podkorowego przekazywania informacji o ruchu specyficznym dla sensorycznych do odruchowej odpowiedzi pnia mózgu w każdym badaniu.

Wykorzystanie śledzenia oczu do oceny względnego znaczenia bodźców wzrokowych i przedsionkowych dla przetwarzania ruchu podkorowego w płaszczyźnie przechylania

Opisujemy protokoły szkolenia szczurów do przewlekłych zapisów elektrofizjologicznych w pełni zautomatyzowanych zadaniach poznawczych w labiryncie projekcji podłogowej.

Zautomatyzowane wizualne zadania poznawcze do rejestrowania aktywności neuronalnej za pomocą labiryntu projekcji podłogowej

Poznaj metodologię przechwytywania wspólnej uwagi wzrokowej za pomocą mobilnych urządzeń śledzących ruch gałek ocznych. Technika ta pozwala na ilościową analizę interakcji społecznych w kontekście edukacyjnym.

Metodologia przechwytywania wspólnej uwagi wzrokowej za pomocą mobilnych urządzeń śledzących ruch gałek ocznych

Przeglądaj więcej filmów