Śledzenie ruchu gałek ocznych podczas wizualnego rozumienia języka: elastyczność i ograniczenia w odkrywaniu wizualnych efektów kontekstowych

Metoda ta może pomóc odpowiedzieć na kluczowe pytania badawcze w psycholingwistyce dotyczące procesów psychicznych związanych ze zrozumieniem języka. Zaletą tej techniki jest to, że zapewnia ona wskaźnik uwagi wzrokowej o wysokiej rozdzielczości czasowej, nastawiony na badanie relacji między światem wizualnym a przetwarzaniem języka. Osoby, które są nowe w tej metodzie, mogą mieć trudności, ponieważ protokół musi być wykonywany z dużą precyzją.

Wizualna demonstracja tej metody ma kluczowe znaczenie, ponieważ prawidłowa implementacja metody często wymaga doraźnego rozwiązywania problemów. Aby określić dominację oka, poproś uczestnika o wyciągnięcie jednej ręki i wyrównanie kciuka z odległym obiektem przy otwartych obu oczach. Poproś uczestnika, aby na zmianę zamykał każde oko.

Oko dominujące to oko, w którym kciuk pozostaje wyrównany z obiektem, gdy to oko jest otwarte. Następnie poproś uczestnika, aby usiadł przy stole z brodą opartą o podbródek i czołem opartym o zagłówek. Następnie kliknij obraz, aby wyświetlić komputer. Powinien pojawić się jeden duży i dwa mniejsze obrazy oczu uczestnika.

Użyj strzałek na klawiaturze, aby wybrać jeden z mniejszych dominujących obrazów oka i naciśnij A, aby wyśrodkować pole limitów wyszukiwania na pozycji źrenicy. Wokół oka powinien pojawić się czerwony kwadrat z turkusowym okręgiem w pobliżu dolnej części źrenicy. Sama źrenica powinna być niebieska.

Potwierdź obecność dwóch krzyżyków na ekranie, jednego na środku źrenicy i jednego w środku odbicia rogówki. Dostosowanie wielkości odbicia rogówki ma kluczowe znaczenie. To podstawa dobrej kalibracji eye trackera.

Ręcznie obróć obiektyw ostrości, aby w razie potrzeby wyregulować aparat, uważając, aby nie dotknąć przedniej części obiektywu, dopóki odbicie rogówki nie będzie tak małe, jak to możliwe. Następnie naciśnij A, aby automatycznie ustawić próg źrenicy i rogówki na komputerze hosta, tak aby cała źrenica i tylko źrenica była niebieska. Aby skalibrować urządzenie śledzące ruch gałek ocznych, poproś uczestnika, aby patrzył na cztery rogi ekranu pojedynczo z widocznym oknem ustawień kamery, uważnie szukając wszelkich nieregularnych odbić, które zakłócają odbicie w rogówce, gdy wzrok uczestnika jest skierowany na róg.

Jeśli czerwona ramka wokół oka lub którykolwiek z krzyżyków nie jest widoczny w żadnym momencie, poproś uczestnika, aby najpierw spojrzał na środek ekranu, a następnie na problematyczny róg, aby określić źródło problemu. Dostosuj pozycję głowy uczestnika, aby sprawdzić, czy przynosi to jakąkolwiek poprawę. Następnie poinformuj uczestnika, że eye tracker zostanie skalibrowany i że mają skupić się na małej szarej kropce w większym czarnym okręgu, gdy okrąg przesuwa się do różnych części ekranu.

Gdy uczestnik będzie gotowy, kliknij przycisk kalibruj, aby rozpocząć proces kalibracji dziewięciopunktowej, naciskając Enter po dokładnym skupieniu się uczestnika na pierwszej kropce na środku ekranu w celu automatycznej kalibracji. Pod koniec procesu kalibracji na ekranie eksperymentatora powinien być widoczny prawie prostokątny wzór, który reprezentuje wzorce wzroku uczestnika. Wyniki dobrej kalibracji zostaną podświetlone na zielono.

Aby potwierdzić wyniki, poproś uczestnika, aby powtórzył procedurę, przypominając uczestnikowi, aby spojrzał na kropkę i pozostał nieruchomy. Kliknij przycisk zatwierdź i wprowadź, aby zaakceptować każdą fiksację. Wyniki pojawią się na monitorze komputera hosta.

Zwróć uwagę na błędy średnie i maksymalne. Dane te reprezentują stopień, w jakim śledzony obraz odbiega od rzeczywistej pozycji wzroku uczestnika. Jeśli średni błąd wynosi powyżej 0,5 stopnia i/lub błąd maksymalny przekracza jeden stopień, poproś uczestnika o ponowne ustawienie pozycji głowy i wznowienie procedury kalibracji.

Utrzymanie maksymalnego poziomu błędu poniżej jednego stopnia ma kluczowe znaczenie dla gromadzenia danych o wysokiej jakości. Należy pamiętać, że są to progi śledzenia wzroku na stosunkowo dużych obiektach podczas rozumienia języka mówionego. Progi śledzenia ruchu gałek ocznych podczas czytania są jeszcze niższe.

Po pomyślnym zakończeniu procesu kalibracji kliknij opcję Rekord wyjściowy, aby rozpocząć eksperyment. Jako jeden z przykładów śledzenia ruchów gałek ocznych podczas czytania usytuowanego, najpierw wyświetl dwie karty do gry, które zbliżają się do siebie lub oddalają od siebie. Następnie poproś uczestnika, aby przeczytał zdanie o dwóch pojęciach, które są reprezentowane jako podobne lub niepodobne do siebie, aby ocenić, czy odległość między kartami może modulować rozumienie podobieństwa w języku.

Jednym z przykładów rejestrowania ruchów gałek ocznych podczas słuchowego rozumienia języka jest najpierw pokazanie uczestnikowi filmu z interesującego go wydarzenia. Następnie pokaż uczestnikowi scenę docelową zawierającą obrazy agenta i obiektów z filmu oraz agenta płci przeciwnej oraz obraz innego obiektu. Jednocześnie odtwórz zdanie opisujące zdarzenie, które pasuje lub nie pasuje do poprzedniego filmu, aby ocenić, w jakim stopniu płeć rąk agenta przedstawionych w poprzednich wydarzeniach może wpływać na to, którą twarz ze sceny docelowej uczestnik będzie przewidywał podczas mówienia ze zrozumieniem.

W tym reprezentatywnym eksperymencie śledzenia ruchu gałek ocznych średni czas czytania przymiotników podobieństwa przy pierwszym przejściu był krótszy dla zdań podobieństwa po zaobserwowaniu dwóch kart do gry zbliżających się do siebie w porównaniu z sytuacją, gdy karty były odsunięte od siebie. W tym przypadku analiza średnich wskaźników spojrzenia logarytmicznego w regionie czasownika w teście rozumienia słuchowego wykazała, że uczestnicy byli bardziej skłonni do sprawdzenia zdjęcia agenta, którego płeć pasowała do zdarzeń we wcześniej pokazanym filmie, gdy przedmiot i czasownik wymienione w następnym zdaniu były zgodne z filmem i stereotypowo pasowały do tego agenta, niż gdy nie pasowały do tych dwóch wymiarów. Wykonując tę procedurę, należy pamiętać, że precyzja w wykonaniu każdego kroku jest kluczowa dla wysokiej jakości zbierania danych.

W ten sposób możemy uzyskać wgląd w stopień, w jakim konteksty obrazkowe stopniowo modulują rozumienie języka w czasie rzeczywistym. Miary po zdaniu lub po eksperymencie, takie jak czas odpowiedzi i dokładność, lub dane z innych testów offline mogą wzbogacić informacje, które można uzyskać dzięki miarom fiksacji online. Technika ta umożliwiła psycholingwistom badanie reprezentacji mentalnych i procesów czasu rzeczywistego związanych ze zrozumieniem języka.