Śledzenie ruchu gałek ocznych podczas wizualnego rozumienia języka: elastyczność i ograniczenia w odkrywaniu wizualnych efektów kontekstowych

Camilo Rodriguez Ronderos; Katja Münster; Ernesto Guerra; Helene Kreysa; Alba Rodríguez; Julia Kröger; Thomas Kluth; Michele Burigo; Dato Abashidze; Eva Nunnemann; Pia Knoeferle

doi:10.3791/57694

Artykuł metodologiczny

Śledzenie ruchu gałek ocznych podczas wizualnego rozumienia języka: elastyczność i ograniczenia w odkrywaniu wizualnych efektów kontekstowych

16.9K wyświetleń

⸱

DOI:

10.3791/57694

⸱

30 listopada 2018

Camilo Rodriguez Ronderos¹ , Katja Münster¹ , Ernesto Guerra² , Helene Kreysa³ , Alba Rodríguez¹^,⁴ , Julia Kröger⁴ , Thomas Kluth⁴ , Michele Burigo⁴ , Dato Abashidze⁵ , Eva Nunnemann⁴ , Pia Knoeferle¹^,⁶^,⁷

¹Institute of German Studies and Linguistics, Humboldt-Universität zu Berlin, ²Center for Advanced Research in Education – CIAE, Universidad de Chile, ³Institute of Psychology, Friedrich Schiller University Jena, ⁴Cognitive Interaction Technology Excellence Cluster (CITEC), Faculty of Linguistics and Literature, Bielefeld University, ⁵Department of Education, Concordia University, ⁶Berlin School of Mind and Brain, ⁷Einstein Center for Neurosciences Berlin

W tym artykule

Podsumowanie

Niniejszy artykuł omawia metodologię śledzenia wzroku w badaniach nad rozumieniem języka. Aby uzyskać wiarygodne dane, należy postępować zgodnie z kluczowymi krokami protokołu. Należą do nich m.in. prawidłowa konfiguracja eye trackera (np. zapewniająca dobrą jakość obrazów oka i głowy) oraz dokładna kalibracja.

Streszczenie

Niniejsza praca jest opisem i oceną metodologii zaprojektowanej do ilościowego określenia różnych aspektów interakcji między przetwarzaniem języka a percepcją świata wizualnego. Rejestrowanie wzorców wzrokowych dostarczyło dobrych dowodów na wkład zarówno kontekstu wizualnego, jak i wiedzy językowej/światowej w rozumieniu języka. Wstępne badania oceniały efekty obiektowo-kontekstowe w celu przetestowania teorii modularności w przetwarzaniu języka. We wstępie opisujemy, w jaki sposób kolejne badania przyjęły rolę szerszego kontekstu wizualnego w przetwarzaniu języka jako samodzielnego tematu badawczego, zadając pytania, takie jak to, w jaki sposób nasza wizualna percepcja wydarzeń i mówców przyczynia się do rozumienia opartego na doświadczeniu osób rozumiejących. Wśród badanych aspektów kontekstu wizualnego znajdują się działania, zdarzenia, spojrzenie mówiącego i emocjonalna mimika twarzy, a także konfiguracje obiektów przestrzennych. Po zapoznaniu się z metodą śledzenia ruchu gałek ocznych i jej różnymi zastosowaniami, wymieniamy kluczowe etapy tej metodologii w protokole, ilustrując, jak skutecznie wykorzystać ją do badania rozumienia języka usytuowanego wizualnie. W ostatniej części przedstawiono trzy zestawy reprezentatywnych wyników i zilustrowano korzyści i ograniczenia śledzenia ruchu gałek ocznych w celu zbadania zależności między percepcją świata wizualnego a rozumieniem języka.

Wprowadzenie

Badania psycholingwistyczne podkreśliły znaczenie analiz ruchów gałek ocznych w zrozumieniu procesów związanych ze zrozumieniem języka. Istotą wnioskowania o procesach rozumienia na podstawie zapisu spojrzenia jest hipoteza, która łączy poznanie z ruchami gałek ocznych⁵. Istnieją trzy główne rodzaje ruchów gałek ocznych: sakkady, ruchy przedsionkowo-gałkowe i płynne ruchy pościgowe. Sakkady to szybkie i balistyczne ruchy, które zachodzą głównie nieświadomie i są niezawodnie powiązane ze zmianami uwagi⁶. Uważa się, że momenty względnej stabilności wzroku między sakkadami, znane jako fiksacje, indeksują aktualną uwagę wzrokową. Pomiar miejsca fiksacji i czasu ich trwania w odniesieniu do procesów poznawczych jest znany jako "metoda śledzenia ruchu gałek ocznych". Wczesne implementacje tej metody służyły do badania czytania ze zrozumieniem w kontekstach ściśle lingwistycznych (zobacz Rayner⁷ w celu zapoznania się z recenzją). W tym podejściu czas sprawdzania obszaru słowa lub zdania jest związany z trudnościami w przetwarzaniu. Śledzenie ruchu gałek ocznych zostało jednak również zastosowane do badania rozumienia języka mówionego podczas inspekcji obiektów w świecie (lub na ekranie komputera²). W tej wersji śledzenia wzroku w "świecie wizualnym" inspekcja obiektów odbywa się za pomocą języka. Na przykład, kiedy rozumiejący słyszą zebrę, ich oględziny zebry na ekranie są brane pod uwagę, że myślą o zwierzęciu. W tak zwanym paradygmacie świata wizualnego wzrok osoby rozumiejącej jest brany pod uwagę w celu odzwierciedlenia rozumienia języka mówionego i aktywacji związanej z nim wiedzy (np. słuchacze obserwują również zebrę, gdy słyszą wypas, wskazując na czynność wykonaną przez zebrę)². Takie badania sugerują systematyczny związek między relacjami język-świat a ruchami gałek ocznych². Powszechnym sposobem ilościowego określenia tego powiązania jest obliczenie proporcji spojrzeń do różnych, z góry określonych regionów na ekranie. Pozwala to naukowcom na bezpośrednie porównanie (w różnych warunkach, przez uczestników i pozycje) ilości uwagi poświęconej różnym obiektom w danym momencie i jak te wartości zmieniają się w rozdzielczości milisekundowej.

Badania w psycholingwistyce wykorzystały śledzenie ruchu gałek ocznych w światach wizualnych, aby rozdzielić konkurencyjne hipotezy teoretyczne dotyczące architektury umysłu¹. Fiksacja wzroku na przedstawionych obiektach ujawniła ponadto, że osoby rozumiejące mogą – zakładając wystarczająco restrykcyjny kontekst językowy – dokonywać przyrostowej interpretacji semantycznej⁸, a nawet rozwijać oczekiwania co do nadchodzących postaci⁹. Takie dane dotyczące spojrzenia w oczy rzuciły również światło na szereg dalszych procesów rozumienia, takich jak leksykalna niejednoznaczność resolution¹⁰^,¹¹, pronoun resolution¹², ujednoznacznienie strukturalnego i tematycznego przypisywania ról za pomocą informacji w kontekście wizualnym¹³^,¹⁴^,¹⁶ oraz procesy pragmatyczne¹⁵, wśród wielu innych⁴. Oczywiste jest, że ruchy gałek ocznych w kierunku obiektów podczas rozumienia języka mogą być źródłem informacji o związanych z tym procesach.

Metoda śledzenia ruchu gałek ocznych jest nieinwazyjna i może być stosowana u niemowląt, młodych i starszych użytkowników języka. Kluczową zaletą jest to, że w przeciwieństwie do punktowych odpowiedzi na sondy lub naciśnięć przycisku odpowiedzi w zadaniach weryfikacyjnych, zapewnia wgląd w czasie w rozdzielczości milisekundowej na to, w jaki sposób język kieruje uwagą i jak kontekst wizualny (w postaci obiektów, działań, zdarzeń, spojrzenia mówcy i emocjonalnej mimiki twarzy, a także konfiguracji obiektów przestrzennych) przyczynia się do przetwarzania języka. Ciągłość pomiaru podczas rozumienia zdań dobrze uzupełnia się z innymi miarami po zdaniu i po eksperymencie, takimi jak jawna weryfikacja zdań obrazkowych/wideo, pytania ze zrozumieniem i zadania przypominania pamięci. Jawne odpowiedzi w tych zadaniach mogą wzbogacić interpretację zapisu spojrzenia, zapewniając wgląd w wynik procesu rozumienia, pamięci i uczenia się². Połączenie śledzenia ruchu gałek ocznych z tymi innymi zadaniami pozwoliło odkryć, w jakim stopniu różne aspekty kontekstu wizualnego modulują uwagę wzrokową i (natychmiastowe, jak również opóźnione) zrozumienie przez całe życie.

Prezentacja języka (mówionego lub pisanego) i scen może być symultaniczna lub sekwencyjna. Na przykład Knoeferle i współpracownicy¹⁷ przedstawili scenę 1000 ms przed wypowiadanym zdaniem i pozostała ona obecna podczas rozumienia. Przedstawili dowody na to, że clipartowe przedstawienia zdarzeń akcji przyczyniają się do rozwiązania lokalnej niejednoznaczności strukturalnej w niemieckich zdaniach podmiot-orzeczenie-dopełnienie (SVO) w porównaniu ze zdaniami dopełnienie-orzeczenie-podmiot (OVS). Knoeferle i Crocker¹⁸ zaprezentowali scenę clipart przed napisanym zdaniem i przetestowali przyrostową integrację zdarzeń clipart podczas rozumienia zdań. Zaobserwowali przyrostowe efekty kongruencji, co oznacza, że czas czytania przez uczestników składników zdania był dłuższy, gdy nie pasowały one (vs. pasowały) do zdarzenia przedstawionego w poprzedniej scenie. W innym wariancie prezentacji bodźca uczestnicy najpierw przeczytali zdanie opisujące relację przestrzenną, a następnie zobaczyli scenę określonego układu przestrzennego obejmującego rysunki linii obiektów¹⁹. W badaniu tym oceniono przewidywania obliczeniowych modeli języka przestrzennego, prosząc uczestników o ocenę dopasowania zdania wydanego do sceny, przy czym ruchy gałek ocznych były rejestrowane podczas przesłuchania w scenie. Wzorce spojrzenia uczestników były modulowane przez kształt obiektu, z którym zostali skonfrontowani – częściowo potwierdzając przewidywania modelu i dostarczając danych do udoskonalenia modelu.

Chociaż w wielu badaniach wykorzystano obrazy clipartów¹⁷^,¹⁸^,¹⁹^,²⁰^,²¹^,²²^,²³, możliwe jest również łączenie rzeczywistych obiektów, filmów przedstawiających te obiekty lub statycznych zdjęć z językiem mówionym¹^,²¹^,²⁴^,²⁵^,²⁶^,⁴⁶. Knoeferle i jego koledzy wykorzystali rzeczywiste ustawienia²⁴, a Abashidze i koledzy użyli formatu prezentacji nagranej na wideo do badania zdarzeń akcji i efektów czasu²⁵. Możliwe jest różnicowanie dokładnej zawartości scen (np. przedstawiających akcje lub nie)²²^,²⁷^,³⁸ jest możliwe i może również ujawniać efekty kontekstu wizualnego. Podobne badanie przeprowadzone przez Rodrígueza i współpracowników²⁶ miało na celu zbadanie wpływu nagranych na wideo wizualnych wskazówek dotyczących płci na rozumienie następnie prezentowanych zdań mówionych. Uczestnicy oglądali filmy, na których widać męskie lub żeńskie dłonie wykonujące stereotypowo związane z płcią czynność. Następnie usłyszeli zdanie o stereotypowo męskim lub kobiecym wydarzeniu akcji, jednocześnie oglądając wystawę przedstawiającą dwie fotografie obok siebie, jedną przedstawiającą mężczyznę, a drugą kobietę. To bogate środowisko wizualne i językowe pozwoliło autorom oddzielić wpływ stereotypowej wiedzy za pośrednictwem języka na rozumienie od efektów wizualnie przedstawionych (ręcznych) wskazówek dotyczących płci.

Dalsze zastosowanie tego paradygmatu ma na celu zmiany rozwojowe w przetwarzaniu języka. Ruchy gałek ocznych na obiektach podczas rozumienia języka mówionego ujawniły efekty przedstawionych wydarzeń u dzieci w wieku 4 - 5 lat²⁷^,²⁸ oraz u osób starszych²⁹ w czasie rzeczywistym, ale nieco opóźnione w porównaniu z młodymi dorosłymi. Kröger i współpracownicy²² zbadali wpływ wskazówek prozodycznych i oznaczania przypadków w eksperymencie i porównali je w eksperymentach u dorosłych i dzieci. Uczestnicy przyjrzeli się niejednoznacznej scenie akcji-zdarzenia, słuchając powiązanego, jednoznacznie oznaczonego przypadkiem niemieckiego zdania. Ruchy gałek ocznych ujawniły, że wyraźne wzorce prozodyczne nie pomogły ani dorosłym, ani 4- lub 5-latkom w ujednoznacznieniu, kto komu co robi. Zaznaczanie przypadków w początkowym zdaniu wpływało jednak na ruchy gałek ocznych dorosłych, ale nie u dzieci. Sugeruje to, że rozumienie przypadków przez 5-latków nie jest wystarczająco solidne, aby umożliwić przypisanie ról tematycznych (patrz badanie przeprowadzone przez Özge i współpracowników³⁰), przynajmniej nie wtedy, gdy zdarzenia związane z akcją nie ujednoznaczniały relacji ról tematycznych. Wyniki te są interesujące, biorąc pod uwagę, że kontrastują z poprzednimi wynikami efektów prozodycznych na przypisywanie ról tematycznych³¹. Kröger i współpracownicy²² zasugerowali, że (mniej lub bardziej wspierający) kontekst wizualny jest odpowiedzialny za kontrastujące wyniki. W zakresie, w jakim te interpretacje są prawdziwe, podkreślają one rolę kontekstu w rozumieniu języka przez całe życie.

Metoda śledzenia wzroku dobrze łączy się z pomiarami z zadań weryfikacji zdań obrazkowych (lub wideo)zdań¹⁸^,²⁰^,²⁶, zadania weryfikacyjne obrazka³², badania korpusowe²⁴, zadania oceniające¹⁹, lub posteksperymentalne zadania przypominania²⁵^,³³. Abashidze i współpracownicy³⁴ oraz Kreysa i współpracownicy³³ zbadali wzajemne oddziaływanie spojrzenia mówcy i filmów akcji w świecie rzeczywistym³⁴ oraz spojrzenia mówcy i przedstawień akcji³³, odpowiednio, jako wskazówki dotyczące nadchodzącej treści zdań. Łącząc śledzenie wzroku w scenie podczas rozumienia języka z posteksperymentalnym zadaniem pamięciowym, naukowcy lepiej zrozumieli, w jaki sposób percepcja spojrzenia mówcy przez słuchaczy i przedstawione działania oddziałują na siebie i wpływają zarówno na natychmiastowe przetwarzanie języka, jak i przywoływanie wspomnień. Wyniki ujawniły wyraźny wpływ działań i wzroku mówcy na zrozumienie w czasie rzeczywistym w porównaniu z procesami przypominania pamięci po eksperymencie.

Chociaż metoda śledzenia ruchu gałek ocznych może być stosowana z dużą elastycznością, pewne standardy są kluczowe. Poniższy protokół podsumowuje uogólnioną procedurę, którą można dostosować do różnych typów pytań badawczych zgodnie z konkretnymi potrzebami badaczy. Protokół ten jest ustandaryzowaną procedurą stosowaną w Laboratorium Psycholingwistyki na Uniwersytecie Humboldta w Berlinie, a także w dawnym Laboratorium Języka i Poznania w Klastrze Doskonałości Technologii Interakcji Kognitywnej (CITEC) na Uniwersytecie w Bielefeld. Protokół opisuje pulpit i konfigurację zdalną. Ten ostatni jest zalecany do stosowania w badaniach z udziałem dzieci lub osób starszych. We wszystkich eksperymentach wymienionych w Reprezentatywnych Wynikach wykorzystuje się urządzenie śledzące ruch gałek ocznych, które ma częstotliwość próbkowania 1000 Hz i jest używane razem ze stabilizatorem głowy, komputerem PC do testowania uczestników (Display PC) oraz komputerem PC do monitorowania eksperymentu i ruchów gałek ocznych uczestników (Host PC). Główną różnicą tego urządzenia w stosunku do poprzednika jest to, że pozwala na obuoczne śledzenie oczu. Protokół ma być wystarczająco ogólny, aby można go było używać z innymi urządzeniami śledzącymi ruch gałek ocznych, które zawierają stabilizator głowy i wykorzystują konfigurację z dwoma komputerami (Host + Wyświetlacz). Należy jednak pamiętać, że inne konfiguracje prawdopodobnie będą miały różne metody radzenia sobie z problemami, takimi jak niepowodzenia kalibracji lub utrata ścieżki, w takim przypadku eksperymentator powinien zapoznać się z instrukcją obsługi swojego konkretnego urządzenia.

Protokół

Ten protokół jest zgodny z wytycznymi etycznymi instytucji, w której dane zostały zebrane, tj. Klastra Doskonałości Technologii Interakcji Kognitywnej (CITEC) Uniwersytetu w Bielefeld i Humboldt-Universität zu Berlin. Eksperymenty przeprowadzone na Uniwersytecie w Bielefeld zostały zatwierdzone indywidualnie przez komisję etyczną Uniwersytetu w Bielefeld. Laboratorium psycholingwistyki na Uniwersytecie Humboldta w Berlinie posiada laboratoryjny protokół etyczny, który został zatwierdzony przez komisję etyczną Deutsche Gesellschaft für Sprachwissenschaft, Niemieckiego Towarzystwa Językoznawczego (DGfS).

1. Konfiguracja pulpitu

UWAGA: Poniżej znajdują się kluczowe kroki w eksperymencie ze śledzeniem ruchu gałek ocznych.

Przygotowanie instrumentu
1. Włącz kamerę śledzącą ruch gałek ocznych i komputer hosta (patrz Rysunek 1 dla ilustracji zbierania danych w laboratorium i konfiguracji wstępnego przetwarzania).
2. Uruchom oprogramowanie do śledzenia ruchu gałek ocznych.
3. Włącz komputer z wyświetlaczem. Otwórz folder zawierający eksperymenty.
4. Uruchom "wdrożoną" wersję z rozszerzeniem .exe, klikając je dwukrotnie.
5. W zależności od konfiguracji może pojawić się monit o wybranie listy eksperymentalnej, która zazwyczaj jest plikiem .csv/.txt rozdzielanym tabulatorami, zawierającym warunki, nazwy plików dźwiękowych, napisane zdania i/lub obrazy, na które uczestnik będzie narażony. Wybierz listę, a program się uruchomi. Nazwij plik wyjściowy, w którym będą przechowywane wyniki.
  UWAGA: Plik wyjściowy jest zapisywany na komputerze wyświetlającym, a kopia zapasowa jest zapisywana na komputerze hosta.
6. Pozostaw otwarty pierwszy ekran eksperymentu (ekran wprowadzający lub powitalny).
7. Zdejmij osłonę ochronną z kamery śledzącej ruch gałek ocznych.
8. Ze względów higienicznych umieść chusteczkę na uchwycie podbródka.
9. Opcjonalnie: Przygotuj konsolę odpowiedzi i/lub klawiaturę zgodnie z wymaganiami eksperymentu.
10. Opcjonalnie: Jeśli prezentujesz bodźce słuchowe, dostosuj głośność głośników i przetestuj je przed rozpoczęciem eksperymentu. Alternatywnie przetestuj funkcjonalność słuchawek, z których będzie korzystał uczestnik.
11. Przygotuj niezbędne formularze do podpisania przez uczestnika.
12. Dostosuj natężenie światła w laboratorium, aby pomieszczenie było słabo oświetlone i miało stałą luminancję przez cały czas trwania procesu zbierania danych.
Przygotowanie dla uczestników
1. Po przybyciu uczestników przedstaw się.
2. Umieść znak "Nie przeszkadzać" na drzwiach laboratorium.
3. Poproś uczestnika, aby usiadł.
4. Przeprowadź uczestnika przez arkusz informacyjny oraz niezbędne formularze zgody i dane demograficzne.
5. Pozwól uczestnikowi przeczytać i podpisać formularz zgody.
6. Wyjaśnij pokrótce ogólne aspekty eksperymentu i czas jego trwania. Nie podawaj zbyt wielu informacji przed eksperymentem, ponieważ może to wpłynąć na zachowanie wzroku uczestnika i uzyskane dane.
7. Przekaż pisemne instrukcje i daj uczestnikowi możliwość zadawania pytań.
8. Krótko wyjaśnij działanie urządzenia śledzącego ruch gałek ocznych.
9. W razie potrzeby wyjaśnij zadanie i wskaż wszelkie przyciski/, które będą musiały zostać naciśnięte podczas eksperymentu.
10. Wyjaśnij, w jaki sposób podpórka podbródka ma na celu zminimalizowanie ruchów głowy podczas eksperymentu. Wspomnij, że urządzenie działa najlepiej, jeśli uczestnik unika jakichkolwiek ruchów.
Konfiguracja urządzenia do śledzenia ruchu gałek ocznych
1. Przygotuj uczestnika do eksperymentu: poproś go, aby usiadł przy stole i położył brodę na podbródku. Poproś go, aby oparł czoło o zagłówek.
2. Poproś uczestnika, aby w razie potrzeby wyregulował wysokość i pozycję krzesła: uczestnik powinien czuć się komfortowo, opierając brodę na podbródku, a czoło na zagłówku.
3. Wyjaśnij, że podczas eksperymentu często zdarza się przypadkowe poruszenie głową i że należy tego unikać. Wyjaśnij, że podczas eksperymentu może zaistnieć potrzeba skorygowania ułożenia głowy.
4. Jeśli eksperyment wymaga naciśnięcia przycisku (np. za pomocą podkładki odpowiedzi), poinstruuj uczestnika, aby pozostawił palce spoczywające na przyciskach, które mają zostać naciśnięte i unikał patrzenia w dół na podkładkę odpowiedzi podczas naciskania przycisku.
5. Poproś uczestnika, aby przeczytał ekran powitalny/wprowadzający.
6. Usiądź przed komputerem hosta. Jeśli na ekranie nie ma jeszcze ustawień kamery, kliknij Ustawienia kamery, aby przejść do prawego ekranu. Jeśli osłona ochronna została zdjęta z obiektywu kamery, a uczestnik jest prawidłowo umieszczony na podbródku, na ekranie powinny pojawić się trzy obrazy oczu uczestnika: większy obraz u góry i dwa mniejsze na dole po lewej i prawej stronie. Te mniejsze obrazy pokazują po jednym oku, odpowiadającym lewemu i prawemu oku.
7. Wybierz oko, które ma być śledzone. Zwyczajowo śledzi się dominujące oko uczestnika. Jeśli uczestnik nie wie, które oko jest dominujące, przeprowadź test dominacji oka (krok 1.3.8).
8. Określ dominację oka. Poproś uczestnika, aby wyciągnął jedną rękę i wyrównał kciuk z odległym obiektem z otwartymi oczami. Poproś uczestnika, aby na przemian zamykał lewe lub prawe oko. Oko dominujące to takie, w którym kciuk pozostaje wyrównany z obiektem, gdy oko jest otwarte³⁵^,³⁶.
9. Kliknij na Obrazek | Wyświetl komputer (lub naciśnij Enter), a obrazy opisane w kroku 1.3.6 również pojawią się na ekranie wyświetlacza uczestnika, ale tylko pojedynczo.
10. Naciśnij strzałkę w lewo/w prawo na klawiaturze komputera eksperymentatora lub uczestnika, aby przełączać się między mniejszym i większym obrazem oka. Skoncentruj się na mniejszym obrazie (oku).
11. Naciśnij A (Wyrównaj okno oka) na dowolnej klawiaturze, aby wyśrodkować pole limitów wyszukiwania na pozycji źrenicy. Następnie powinien pojawić się czerwony kwadrat wokół oka z turkusowym okręgiem ['odbicie rogówki', (cr)] w pobliżu dolnej części źrenicy. Sama źrenica powinna być niebieska.
12. Upewnij się, że na ekranie pojawiają się dwa krzyżyki ("krzyżyki") — jeden na środku źrenicy, a drugi na środku odbicia rogówki. Czerwona ramka i dwa krzyżyki oznaczają, że eye tracker wykrywa źrenicę i cr.
  UWAGA: Jeśli czerwona ramka lub krzyżyki są nieobecne, oko nie jest śledzone - jeśli tak się stanie, na komputerze eksperymentatora pojawi się brak źrenicy.
13. Dostosuj ostrość aparatu, ręcznie obracając obiektyw ostrości. Uważaj, aby nie dotknąć przedniej części obiektywu. Obracaj obiektyw, aż zostanie osiągnięty najlepszy punkt ostrości.
  UWAGA: Najlepszy punkt ostrości jest osiągany, gdy turkusowy okrąg (odbicie rogówki) jest tak mały, jak to możliwe (tj. gdy ten okrąg jest ostry).
14. Ustaw próg źrenicy. Upewnij się, że tylko obraz źrenicy jest niebieski (np. rzęsy nie powinny być niebieskie) na komputerze hosta. Upewnij się również, że cała źrenica (nie tylko jej środkowa część) jest niebieska. Martw się tylko o to, co znajduje się w czerwonym kwadracie.
15. Naciśnij A. Spowoduje to automatyczne ustawienie progu źrenicy. Jeśli źrenica nie jest dokładnie wyświetlana na niebiesko, wyreguluj próg ręcznie, używając W GÓRĘ, aby zwiększyć, i W DÓŁ, aby zmniejszyć ilość niebieskiej części powierzchni obrazu.
  UWAGA: Tusz do rzęs (który zwykle jest, podobnie jak źrenica) może przeszkadzać w ustawieniu progu - eye tracker może wziąć ciemne rzęsy za źrenicę. W takim przypadku poproś uczestnika o usunięcie makijażu, dostarczając mu chusteczki do demakijażu.
16. Ustaw próg cr. Jeśli A został naciśnięty w kroku 1.3.15, próg cr powinien zostać ustawiony automatycznie.
  UWAGA: Wartości liczbowe dla wszystkich ustawień progowych powinny być widoczne. Jeśli w którymś z nich pojawi się znak zapytania, oznacza to, że wystąpił problem w jednym z poprzednich kroków i progi należy ustawić ręcznie.
Kalibracja urządzenia do śledzenia ruchu gałek ocznych
UWAGA: Sprawdź, czy eye tracker może konsekwentnie identyfikować pozycję oka, gdy uczestnik patrzy na inne części ekranu.
1. Poproś uczestnika, aby spojrzał na cztery rogi ekranu pojedynczo, gdy okno ustawień kamery jest widoczne. Uważnie poszukaj wszelkich nieregularnych odbić (pojawią się one jako turkusowe "plamy" na ekranie), które zakłócają odbicie rogówki, gdy wzrok jest skierowany na róg.
2. Poproś uczestnika, aby spojrzał na środek ekranu, a następnie skierował swój wzrok na problematyczny róg, jeśli czerwona ramka wokół oka i jeden z krzyżyków nie są widoczne w żadnym momencie kroku 1.4.1. Pomoże to określić źródło problemu.
3. Ponownie dostosuj pozycję głowy uczestnika i sprawdź, czy przynosi to jakąkolwiek poprawę. W razie potrzeby powtórz ten krok. Jeśli po kilku próbach urządzenie nadal nie jest w stanie dokładnie śledzić wzroku uczestnika, przerwij eksperyment.
4. Poinformuj uczestnika, że eye tracker zostanie skalibrowany i że zobaczy czarne kółko (z małą szarą kropką) poruszające się w różnych częściach ekranu. Poinstruuj uczestnika, aby unieruchomił okrąg, dopóki nie przesunie się w nowe miejsce. Poinstruuj uczestnika, aby nie męczył oczu i skupił się na małej szarej kropce wewnątrz czarnego kółka, aby uzyskać optymalne rezultaty.
5. Powiedz uczestnikowi, że ważne jest, aby pozostać nieruchomo i nie próbować przewidzieć położenia następnego okręgu podczas kalibracji. Poinstruuj ich, aby podążali za kręgami oczami, a nie głową. Kliknij Kalibruj, aby rozpocząć proces kalibracji. Zwykle stosuje się procedurę kalibracji 9-punktowej, w której czarne kółko przesuwa się do dziewięciu miejsc w sposób szeregowy.
6. Aby przeprowadzić automatyczną kalibrację, naciśnij ENTER po dokładnym ustaleniu przez uczestnika pierwszej kropki na środku ekranu. W przypadku ręcznej kalibracji (np. gdy występują problemy ze śledzeniem oka uczestnika lub gdy mamy do czynienia ze specjalnymi grupami uczestników, takimi jak dzieci), zaakceptuj każdą fiksację, naciskając ENTER (lub klikając przycisk Zaakceptuj fiksację/naciskając spację).
  UWAGA: Pod koniec procesu kalibracji na ekranie eksperymentatora powinien być widoczny prawie prostokątny wzór. Reprezentuje to wzorce wzroku uczestnika. Dodatkowo wyniki dobrej kalibracji powinny być podświetlone na zielono. Jeśli tak nie jest, powtórz procedurę kalibracji (tj. kliknij Kalibracja).
7. Sprawdź poprawność wyników. Powiedz uczestnikowi, aby przeszedł przez tę samą procedurę (patrząc na kropki) w celu walidacji wyników procesu kalibracji. Przypomnij im, aby patrzyli na kropkę i byli spokojni.
  UWAGA: Proces walidacji jest podobny do procesu kalibracji i oba wyniki są porównywane przez oprogramowanie do śledzenia ruchu gałek ocznych, aby upewnić się, że oko jest dokładnie śledzone.
8. Kliknij przycisk Weryfikuj.
9. Zaakceptuj każdą fiksację, naciskając ENTER (lub klikając przycisk Zaakceptuj fiksację/naciskając spację).
10. Po walidacji wyniki pojawią się na ekranie eksperymentatora. Zwróć szczególną uwagę na dwie miary błędu: błąd średni (np. 0,23°) i błąd maksymalny (np. 0,70°). Reprezentują one stopień, w jakim śledzony obraz odbiega od rzeczywistej pozycji wzroku uczestnika.
11. Korzystając z paradygmatu świata wizualnego, utrzymuj średni błąd (pierwsza liczba) poniżej 0,5°, a maksymalny błąd (druga liczba) poniżej 1°.
12. Jeśli wartości błędów przekraczają próg, poproś uczestnika o ponowne ustawienie głowy i ponowne rozpoczęcie procedury kalibracji. Jeśli nie zaobserwuje się poprawy, przerwij eksperyment.
  UWAGA: Często obserwuje się duże błędy kalibracji, gdy uczestnik nosi soczewki kontaktowe. Uczestnika należy wcześniej poprosić o zabranie ze sobą okularów korekcyjnych zamiast soczewek kontaktowych.
13. Po pomyślnym zakończeniu procesu kalibracji kliknij przycisk Wyjście/Nagrywanie, aby rozpocząć eksperyment. Poinformuj uczestnika, że eksperyment się teraz rozpocznie.
Podczas eksperymentu
UWAGA: Podczas eksperymentu (w zależności od tego, jak zaprogramowany jest dany eksperyment, ale zazwyczaj przed każdą próbą eksperymentalną), na ekranie kontroli dryfu lub prawidła dryfu pojawi się kropka na środku ekranu. Jego celem jest raportowanie obliczonego błędu fiksacji dla bieżącej próby i, w zależności od modelu śledzenia wzroku, jego automatyczne dostosowanie.
1. Podczas fazy instruktażowej uczestnik został poinstruowany, aby unieruchomić środkową kropkę za każdym razem, gdy się pojawi. Upewnij się, że podczas każdej fazy sprawdzania driftu/prawidłowego driftu, uczestnicy ponownie ustalają kropkę. Można to zrobić, podążając za wzrokiem uczestnika na komputerze hosta, gdzie wzrok uczestnika jest wyświetlany jako poruszający się zielony okrąg.
2. Po zakończeniu sprawdzania/prawidłowego dryfu naciśnij ENTER (lub spację), aby kropka zniknęła i wyświetliła następną próbę.
3. Określ, jak postępować w przypadku nieprzejścia fazy kontroli dryftu zgodnie z modelem zastosowanego urządzenia śledzącego ruch gałek ocznych. W zależności od modelu, urządzenie śledzące ruch gałek ocznych albo wykona automatyczną korekcję dryfu, dostosowując współrzędne spojrzenia do współrzędnych centralnej kropki, albo wyda sygnał dźwiękowy, aby skłonić eksperymentatora do ponownej kalibracji przed kontynuowaniem eksperymentu (kontrola dryfu).
4. W przypadku korzystania z automatycznej korekcji dryftu należy pamiętać, że zbyt wiele poprawek dryftu w kolejnych próbach i/lub zbyt duży stopień korekcji dryftu zniekształci wyniki i będzie wymagało ponownej kalibracji urządzenia.
Ponowna kalibracja podczas eksperymentu
1. Możliwa jest ponowna kalibracja w dowolnym momencie eksperymentu. Podczas prezentacji ekranu korekcji dryfu/sprawdzania dryfu kliknij na Ustawienia kamery, a następnie kliknij na Kalibruj. Przejdź przez procesy kalibracji i walidacji, aż do osiągnięcia zadowalającej wartości, a następnie kliknij Wyjście/rekord. Eksperyment zostanie wznowiony od punktu wyjścia w sekwencji próbnej.
Po eksperymencie
1. Dostarcz uczestnikowi kwestionariusz, aby ocenić, czy był w stanie odgadnąć kluczowe manipulacje eksperymentalne. W tym miejscu ważne jest również, aby zapytać o potencjalne strategie, które można było opracować w trakcie eksperymentu.
2. Poinformuj uczestnika o celu eksperymentu. Podziękuj im za udział i zapewnij niezbędną rekompensatę pieniężną lub przypisz punkty za kurs, jeśli ma to zastosowanie.

2. Konfiguracja zdalna: Dostosowywanie ustawień do nauki z dziećmi i osobami starszymi

UWAGA: Ta sekcja opisuje tylko różnice między konfiguracją zdalną a konfiguracją pulpitu, jak opisano w kroku 1. Należy przyjąć, że punkty, które nie zostały tutaj wyraźnie wymienione, są identyczne z procedurą opisaną w kroku 1.

Wymień standardowy obiektyw kamery śledzącej ruch gałek ocznych 35 mm na obiektyw 16 mm.
Podłącz cały niezbędny sprzęt (komputer hosta, głośniki, eye tracker i laptop, jeśli używany jest laptop).
Umieść laptopa na podstawce pod laptopa, a eyetracker przed nim (uczestnik powinien być w stanie zobaczyć górne 75% ekranu).
Umieść "naklejkę docelową" (dostępną u producenta trackera) na czole uczestnika (nad brwią prawego oka lub na prawym policzku, jeśli czoło jest zbyt małe (np. w przypadku niemowląt); ta naklejka zastępuje podbródek w zestawie biurkowym i pozwala urządzeniu śledzącemu dokładnie określić pozycję głowy uczestnika.
Upewnij się, że uczestnik siedzi w odległości 550 - 600 mm od kamery (odległość naklejki z celem od kamery).
Upewnij się, że słowa "duży kąt" lub "bliskie oko" nie pojawiają się na komputerze hosta. Jeśli tak, oznacza to, że położenie naklejki docelowej nie jest idealne. W takim przypadku ponownie dostosuj naklejkę docelową. Może to również oznaczać, że czoło uczestnika jest szczególnie małe. W takim przypadku umieść naklejkę na policzku uczestnika.
UWAGA: Jeśli naklejka zostanie umieszczona zbyt blisko ucha, prawdopodobnie pojawi się komunikat "duży kąt" i naklejka musi zostać ponownie położona.
Przed rozpoczęciem procesu kalibracji opisanego w kroku 1.4 upewnij się, że uczestnik siedzi wygodnie. Poproś ich, aby utrzymywali tę samą pozycję przez cały eksperyment i wyjaśnij, że eye tracker jest bardzo wrażliwy na ruchy ciała. Nalegaj, aby trzymali głowę nieruchomo. Jeśli uczestnik poruszy się zbyt mocno, urządzenie wyemituje brzęczący dźwięk.
UWAGA: Jeśli konfiguracja zdalnego śledzenia wzroku jest używana do testowania wrażliwych populacji, takich jak dzieci lub osoby starsze, zaleca się zastosowanie procedury kalibracji ręcznej.

3. Dostosowywanie ustawień do czytania

UWAGA: Podczas badania wpływu kontekstu wizualnego na czytanie, należy zwrócić szczególną uwagę na procesy kalibracji i ponownej kalibracji. W przeciwieństwie do badań świata wizualnego, śledzenie ruchu gałek ocznych podczas czytania wymaga znacznie wyższego stopnia precyzji urządzenia, biorąc pod uwagę dokładność potrzebną do śledzenia wzorców czytania słowo po słowie i litera po literze.

Upewnij się, że zarówno średni, jak i maksymalny błąd wyświetlany podczas fazy walidacji pozostają poniżej 0,5°.
Upewnij się, że do kalibracji używasz co najmniej 9-punktowej skali. Zapewnia to dokładniejsze śledzenie pozycji wzroku, co jest niezbędne, biorąc pod uwagę niewielki rozmiar obszarów zainteresowania podczas czytania.

Wyniki

Badanie przeprowadzone przez Münstera i współpracowników³⁷ zbadano wzajemny wpływ struktury zdania, przedstawionych działań oraz mimicznych sygnałów emocjonalnych podczas rozumienia języka. Badanie to jest odpowiednie do zilustrowania zalet i ograniczeń tej metody, ponieważ wykazało zarówno silne efekty przedstawionych działań, jak i marginalne efekty mimicznych sygnałów emocjonalnych na rozumienie zdań. Autorzy stworzyli 5-sekundowe filmy przedstawiające wyraz twarzy kobiety, który zmieniał się z pozycji spoczynkowej w wyraz szczęścia lub smutku. Stworzyli również niemieckie zdania o strukturze Obiekt-Czasownik-Przysłówek-Podmiot (OVAdvS) o dodatniej walencji emocjonalnej w formie „[obiekt/pacjent]_biernik[Czasownik] [przysłówek pozytywny] [podmiot/sprawca]_mianownik].' Za pośrednictwem przysłówek o zabarwieniu pozytywnym; zdania pasowały do filmu „wesołego” i nie pasowały do filmu „smutnego”, co w zasadzie pozwalało na antycypację sprawcy (który uśmiechał się i został opisany przez pozytywny przysłówek jako działający w sposób wesoły). Po wyświetleniu filmu z mówcą pojawiało się zdanie wraz z jedną z dwóch wersji sceny w formie grafik clipart przedstawiających sprawcę, obiekt i dystraktor. W jednej wersji sprawca był przedstawiony jako wykonujący wspomnianą czynność na obiekcie, podczas gdy postać dystraktora wykonywała inną czynność. Druga wersja sceny nie przedstawiała żadnych czynności między postaciami. Ruchy gałek ocznych w obrębie sceny ujawniły wpływ podejmowanych działań oraz wyrazu twarzy mówcy na rozumienie zdań.

Przedstawienie akcji szybko wpłynęło na uwagę wizualną uczestników, co oznacza, że uczestnicy częściej spoglądali na agenta niż na dystraktor, gdy wspomniana akcja była przedstawiona (vs. nie była przedstawiona). Spojrzenia te miały charakter antycypacyjny (i.e., występowały przed wspomnieniem o agencie), co sugeruje, że przedstawienie akcji doprecyzowało tożsamość agenta przed treścią zdania. Najwcześniejszy efekt przedstawienia akcji pojawił się podczas przetwarzania czasownika (i.e., czasownik pośredniczył w identyfikacji agenta powiązanego z akcją). W przeciwieństwie do tego, to, czy poprzedzający mówca uśmiechał się, czy wyglądał na nieszczęśliwego, nie miało wyraźnego wpływu na antycypację agenta (Rycina 2). Ten drugi wynik może odzwierciedlać słabszy związek między uśmiechem mówcy a pozytywnym przysłówkiem zdaniowym odnoszącym się do akcji przedstawionego agenta (w porównaniu do bezpośredniego odniesienia czasownik-akcja pośredniczącego w identyfikacji agenta powiązanego z akcją). Alternatywnie, może to być specyficzne dla zadania i sposobu prezentacji bodźców: być może efekty emocjonalne byłyby bardziej wyraźne w zadaniu o większym charakterze interakcji społecznych lub w takim, w którym twarz mówcy jest prezentowana w trakcie (a nie przed) rozumieniem zdania. Jednakże prezentowanie uśmiechniętej twarzy mówcy podczas rozumienia mogłoby spowodować, że uczestnicy skupiliby się na twarzy kosztem innych elementów sceny, co być może zamaskowałoby w innym przypadku obserwowalne efekty manipulowanych zmiennych (źródło: niepublikowane dane).

W kolejnym wariancie paradygmatu Guerra i Knoeferle³² badali, czy przestrzenno-semantyczne relacje między światem a językiem mogą modulować rozumienie abstrakcyjnej treści semantycznej podczas czytania. Guerra i Knoeferle oparli się na idei z teorii metafory pojęciowej³⁸, według której odległość przestrzenna (np. bliskość) stanowi podstawę znaczenia abstrakcyjnych relacji semantycznych (np. podobieństwa). Zgodnie z tą hipotezą, uczestnicy szybciej czytali skoordynowane rzeczowniki abstrakcyjne, gdy były one podobne (vs. przeciwstawne) znaczeniowo i gdy poprzedzało je wideo przekazujące bliskość (vs. dystans; karty do gry zbliżają się do siebie vs. oddalają od siebie). W drugim zestawie badań³⁹ zdania opisywały interakcję między dwiema osobami jako intymną lub nieprzyjazną, co doprowadziło do odkrycia, że filmy przedstawiające dwie zbliżające się do siebie karty przyspieszały czytanie fragmentów zdań przekazujących bliskość społeczną/intymność. Należy zauważyć, że odległość przestrzenna wpływała na czytanie zdań szybko i inkrementalnie, nawet gdy zdania nie odnosiły się do obiektów widocznych na wideo. Filmy wyraźnie modulowały czas czytania w zależności od zgodności między odległością przestrzenną a semantycznymi oraz społecznymi aspektami znaczenia zdania. Efekty te pojawiły się zarówno w czasie pierwszego przejścia (czas trwania pierwszej inspekcji określonego regionu zdania), jak i w całkowitym czasie spędzonym na tym regionie zdania (ilustrację wyników badań Guerry i Knoeferle przedstawia Rysunek 3)³². Analizy ujawniły jednak znaczne różnice między uczestnikami, co doprowadziło do wniosku, że tak subtelne efekty odległości kart mogą nie być tak silne, jak np. efekty relacji czasownik-czynność.

Kolejny zestaw badań ilustruje, w jaki sposób zmienność struktury zdania może pomóc w ocenie ogólności efektów kontekstu wizualnego. Abashidze i współpracownicy³⁴ oraz Rodríguez i współpracownicy²⁶ badali wpływ niedawnych działań na późniejsze przetwarzanie wypowiadanych zdań. W obu badaniach uczestnicy najpierw oglądali wideo przedstawiające czynność (np. eksperymentator doprawiający ogórki lub kobiece dłonie piekące ciasto). Następnie słuchali zdania w języku niemieckim, które odnosiło się albo do niedawnej czynności, albo do innej czynności, która mogłaby zostać wykonana w następnej kolejności (doprawianie pomidorów³⁴; budowanie modelu²⁶). Podczas rozumienia tekstu uczestnicy oglądali scenę przedstawiającą dwa obiekty (ogórki, pomidory)³⁴ lub dwie fotografie twarzy agentów (twarz kobiety i mężczyzny, nazwana odpowiednio „Susanna” i „Thomas”)²⁶. W badaniu Abashidze i współpracowników³⁴ mówca najpierw wymienił eksperymentatora, a następnie czasownik (np. doprawianie), co wywołało oczekiwania dotyczące tematu (np. ogórków lub pomidorów). W badaniu Rodríguez i współpracowników²⁶ mówca najpierw wymienił temat (ciasto), a następnie czasownik (pieczenie), co wywołało oczekiwania dotyczące agenta czynności (kobieta: Susanna lub mężczyzna: Thomas, przedstawieni poprzez zdjęcia twarzy kobiety i mężczyzny).

W obu badaniach kwestią sporną było to, czy ludzie będą (wizualnie) antycypować temat/agent ostatniego zdarzenia czynnościowego, czy też inny temat/agent, w oparciu o dalsze wskazówki kontekstowe dostarczone podczas rozumienia. W badaniu Abashidze i współpracowników³⁴ wzrok eksperymentatora wskazywał na przyszły obiekt tematu (pomidory) od momentu wypowiedzenia czasownika (tłumaczenie dosłowne z języka niemieckiego: „Eksperymentator-agent wkrótce doprawia...”). W badaniu Rodríguez i współpracowników²⁶ wiedza o płci związana ze stereotypowymi działaniami stała się dostępna w momencie wspomnienia o temacie i czasowniku (np. dosłowne tłumaczenie niemieckich bodźców brzmiało: „Ciasto-temat wkrótce się piecze...”). W obu zestawach badań uczestnicy podczas słuchania zdania preferencyjnie obserwowali cel/agenta ostatniej czynności (ogórki³⁴ lub Susannę²⁶) zamiast alternatywnego (przyszłego/drugiej płci) celu (pomidory³⁴ lub Thomas²⁶).

Ta tak zwana „preferencja zdarzeń niedawnych” wydaje się zatem być odporna na znaczne różnice w strukturze zdań i materiałach eksperymentalnych. Była ona jednak modulowana przez ograniczenia wizualne wynikające z towarzyszącej sceny²⁶, tak że prezentowanie prawdopodobnych fotografii tematów czasowników obok fotografii agentów określonych pod względem płci zmniejszało zależność od niedawno analizowanych zdarzeń akcji i modulowało uwagę w oparciu o wiedzę dotyczącą stereotypów płciowych przekazywaną przez język. Rycina 4 ilustruje główne wyniki eksperymentów przeprowadzonych przez Rodrígueza i współpracowników²⁶.

Choć ta wersja paradygmatu świata wizualnego przyniosła wiarygodne wyniki, inne badania podkreśliły złożoność (i ograniczenia) hipotezy powiązania. Burigo i Knoeferle²⁰ odkryli, że uczestnicy — słysząc wypowiedzi takie jak Die Box ist über der Wurst ('Pudełko jest nad kiełbasą') — w większości podążali za treścią wypowiedzi podczas oglądania grafik tych obiektów. Jednak w pewnej proporcji prób wzrok uczestników oddzielał się od tego, co było wymienione. Po usłyszeniu słowa „kiełbasa” i co najmniej jednokrotnym obejrzeniu kiełbasy, w kolejnym etapie obserwacji wzrok uczestników powrócił do pudełka w około 21% prób w weryfikacji przyspieszonej (Eksperyment 1) oraz w 90% prób w weryfikacji po zdaniu (Eksperyment 2). Taki wzorzec fiksacji sugeruje, że odniesienie (usłyszenie słowa „kiełbasa”) kierowało tylko niektórymi (oglądanie kiełbasy), ale nie wszystkimi ruchami gałek ocznych (oglądanie pudełka). Tego rodzaju projekt badawczy mógłby zostać wykorzystany do oddzielenia procesów leksykalno-referencyjnych od innych procesów (w tym interpretacyjnych na poziomie zdania). Badacze muszą jednak zachować ostrożność przy formułowaniu twierdzeń na temat różnych poziomów przetwarzania językowego na podstawie względnych różnic w proporcjach ruchów gałek ocznych, biorąc pod uwagę niejednoznaczność w wiązaniu kierunku spojrzenia z procesami poznawczymi i rozumieniem tekstu.

Schemat procesu śledzenia ruchów gałek ocznych za pomocą EyeLink 1000, wyjścia danych i przepływu analizy.
Rycina 1: Przegląd środowiska gromadzenia danych. Wykres przedstawia zależności między różnymi elementami programowymi i sprzętowymi wykorzystywanymi do zbierania i wstępnego przetwarzania danych. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Wykres słupkowy porównujący średni logarytm stosunku spojrzeń w obszarach czasownika i czasownika-przysłówka; analiza wizualna.
Rycina 2: Reprezentatywne wyniki Münstera i współpracowników³⁷. Panele te przedstawiają średnie dla każdego badanego logarytmiczne stosunki prawdopodobieństwa spojrzeń na warunek w obszarze czasownika (dla przedstawionej czynności) oraz w połączonym obszarze czasownika-przysłówka (dla efektu emocjonalnego torowania). Wyniki wykazują znacznie wyższą proporcję spojrzeń w kierunku obrazu docelowego, gdy czynność wspomniana w zdaniu była przedstawiona, niż gdy nie była ona przedstawiona. Wyniki dotyczące efektu emocjonalnego torowania twarzą były mniej jednoznaczne: sugerują one jedynie niewielki wzrost średniego logarytmu stosunku spojrzeń na cel, gdy torowanie twarzą miało pozytywną walencję emocjonalną (uśmiech), w porównaniu do sytuacji, gdy miało walencję negatywną (smutna twarz). Słupki błędów reprezentują błąd standardowy średniej. Rycina została zmodyfikowana na podstawie pracy Münstera et al.³⁷. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Wykres słupkowy czasów czytania; odległości: blisko kontra daleko; warunki: podobne, różne; wyniki eksperymentalne.
Rysunek 3: Reprezentatywne wyniki Guerra i Knoeferle³². Panel ten przedstawia średnie czasy pierwszego czytania (w milisekundach) przymiotnika określającego (nie)podobieństwo. Wyniki wskazują na krótsze czasy czytania zdań o podobieństwie po zobaczeniu dwóch kart do gry zbliżających się do siebie w porównaniu do kart oddalających się od siebie. Słupki błędu reprezentują błąd standardowy średniej. Rysunek ten został zmodyfikowany na podstawie pracy Guerra i Knoeferle³². Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

Wykres słupkowy porównujący średni logarytm stosunku spojrzeń w analizie zgodności i niezgodności stereotypów czasowników określających czynności.
Rycina 4: Reprezentatywne wyniki Rodríguez i współpracowników²⁶. Ten panel przedstawia średnie dla poszczególnych osób logarytmiczne stosunki prawdopodobieństwa spojrzeń na warunek w regionie czasownika. Udziały spojrzeń powyżej 0 wskazują na preferencję obrazu agenta docelowego, a udziały poniżej 0 wskazują na preferencję obrazu agenta konkurencyjnego. Wyniki pokazują, że uczestnicy chętniej analizowali obraz agenta docelowego, gdy obiekt i czasownik wymienione w zdaniu były zgodne z wcześniej zarejestrowanymi na wideo zdarzeniami, niż gdy nie były one zgodne. Dodatkowo, odnotowano więcej spojrzeń w stronę obrazu agenta docelowego, gdy czynność opisana w zdaniu była zgodna ze stereotypami płciowymi. Słupki błędów reprezentują błąd standardowy średniej. Rycina ta została zmodyfikowana na podstawie pracy Rodríguez et al.²⁶. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Dyskusja

Podsumowując, przeanalizowane warianty śledzenia ruchu gałek ocznych w kontekstach wizualnych ujawniły wiele sposobów, w jakie scena wizualna może wpływać na rozumienie języka. Metoda ta zapewnia kluczowe korzyści w porównaniu z metodami takimi jak pomiar czasu reakcji. Na przykład ciągłe ruchy gałek ocznych dają nam wgląd w procesy rozumienia języka i to, jak wpływają one na nasze postrzeganie świata wizualnego w czasie. Co więcej, uczestnicy niekoniecznie muszą wykonywać wyraźne zadanie podczas rozumienia języka (takie jak ocena gramatyczności zdania za pomocą naciśnięcia przycisku). Dzięki temu naukowcy mogą stosować tę metodę w populacjach, które mogą zmagać się z jawnymi reakcjami behawioralnymi innymi niż wzrok wzrokowy, takich jak niemowlęta, dzieci i, w niektórych przypadkach, osoby starsze. Śledzenie ruchu gałek ocznych jest uzasadnione ekologicznie, ponieważ odzwierciedla reakcje uwagi uczestników – podobnie jak wizualne zapytywanie przez ludzi o rzeczy istotne z punktu widzenia komunikacji w otaczającym ich świecie podczas mniej lub bardziej uważnego słuchania rozwijających się wypowiedzi.

Jedną z granic (a może cech charakterystycznych) paradygmatu świata wizualnego jest to, że nie wszystkie wydarzenia da się przedstawić w prosty i jednoznaczny sposób. Konkretne przedmioty i wydarzenia można oczywiście przedstawić. Ale to, w jaki sposób najlepiej przedstawia się abstrakcyjne pojęcia, jest mniej jasne. Może to ograniczać (lub definiować) wgląd w interakcję między przetwarzaniem języka a percepcją świata wizualnego za pomocą paradygmatu świata wizualnego śledzącego ruch gałek ocznych. Kolejne wyzwania wiążą się z powiązaniem hipotez między obserwowanym zachowaniem a procesami rozumienia. Fiksacje wzroku to pojedyncza reakcja behawioralna, która prawdopodobnie odzwierciedla wiele podprocesów podczas rozumienia języka (np. dostęp leksykalny, procesy referencyjne, oczekiwania zapośredniczone przez język, efekty kontekstu wizualnego). Biorąc pod uwagę ten wgląd, naukowcy muszą być ostrożni, aby nie zinterpretować nadmiernie lub błędnie zaobserwowanego wzorca spojrzenia. Aby rozwiązać ten problem, wcześniejsze badania podkreśliły rolę podzadań rozumienia w wyjaśnianiu interpretacji zapisu spojrzenia⁴⁰.

Jednym ze sposobów na zwiększenie możliwości interpretacji ruchów gałek ocznych jest zintegrowanie ich z innymi pomiarami, takimi jak potencjały mózgu związane ze zdarzeniami (ERP). Badając to samo zjawisko za pomocą dwóch metod, które są porównywalne pod względem szczegółowości czasowej i komplementarne pod względem hipotez łączących, badacze mogą wykluczyć alternatywne wyjaśnienia swoich wyników i wzbogacić interpretację każdego indywidualnego pomiaru⁴¹. Podejście to było kontynuowane w eksperymentach⁴³, ale ostatnio również w ramach jednego eksperymentu (choć w kontekstach ściśle językowych)⁴⁴. Przyszłe badania mogą odnieść ogromne korzyści z takiej integracji metodologicznej i ciągłego łączenia z zadaniami popróbowymi i poeksperymentalnymi.

Metoda śledzenia ruchu gałek ocznych może powielić ustalone wyniki, a także przetestować nowe hipotezy dotyczące interakcji uwagi wzrokowej w scenach ze zrozumieniem języka. Procedura opisana w protokole musi być dokładnie przestrzegana, ponieważ nawet drobne błędy eksperymentatora mogą wpłynąć na jakość danych. Na przykład w badaniach nad czytaniem odpowiednie obszary analizy to często pojedyncze słowa lub nawet litery, co oznacza, że nawet niewielkie błędy kalibracji mogą zniekształcić wyniki (patrz artykuł Raneya i współpracowników⁴²). Kroki 1.4 i 1.5 protokołu, kalibracja urządzenia śledzącego ruch gałek ocznych i kontrola dryftu/korekta dryfu, mają szczególne znaczenie, ponieważ mają bezpośredni wpływ na dokładność zapisu. Nieprawidłowa kalibracja urządzenia śledzącego ruch gałek ocznych może spowodować, że monitor nie będzie dokładnie śledził ruchów gałek ocznych w ustalonych wcześniej obszarach zainteresowania. Takie niepowodzenie śledzenia doprowadzi do brakujących punktów danych i utraty mocy statystycznej, co może być problematyczne podczas badania relacji między światem a językiem, które są bardzo subtelne i dają małe rozmiary efektu statystycznego (patrz opis eksperymentów Guerry i Knoeferle'a³² oraz Münstera i współpracowników³⁷ wśród wyników reprezentatywnych).

Biorąc pod uwagę potrzebę maksymalizacji mocy i czułości sprzętu, ważne jest, aby eksperymentatorzy wiedzieli, jak radzić sobie z problemami, które rutynowo występują podczas sesji eksperymentalnej. Na przykład położenie źrenicy i ruch uczestników noszących okulary mogą powodować trudności z kalibracją z powodu odbić światła na soczewkach okularów uczestnika. Jednym ze sposobów rozwiązania tego problemu jest odbicie lustrzane obrazu oka uczestnika na komputerze z wyświetlaczem i zachęcenie go do poruszania głową, aż odbicie światła na okularach nie będzie już widoczne na ekranie, co oznacza, że nie będzie już rejestrowane przez kamerę. Kolejną przyczyną niepowodzenia kalibracji może być zwężenie źrenicy, które może być konsekwencją nadmiernej ekspozycji na światło. W takim przypadku przyciemnienie światła w laboratorium zwiększy rozszerzenie źrenicy, a tym samym pomoże urządzeniu śledzącemu ruch gałek ocznych w dokładnym wykryciu źrenicy.

Na zakończenie chcielibyśmy zwrócić uwagę na potencjał, jaki paradygmat świata wizualnego ma dla badań nad uczeniem się języków obcych. Paradygmat ten został już z powodzeniem wykorzystany w badaniach psycholingwistycznych do badania zjawisk takich jak interakcja leksykalna i fonologiczna między językami 46,47,48. Ponadto ścisły związek między uwagą wzrokową a uczeniem się języków obcych był często podkreślany w literaturze lingwistyki stosowanej dotyczącej przyswajania drugiego języka 49,50,51. Przyszłe badania nad nauką drugiego języka będą prawdopodobnie nadal korzystać z korzystnej pozycji śledzenia ruchu gałek ocznych jako metody zapewniającej wskaźnik uwagi wzrokowej w rozdzielczości milisekundowej.

Oświadczenia

Autorzy nie mają nic do ujawnienia.

Podziękowania

To badanie zostało sfinansowane przez ZuKo (Inicjatywa Doskonałości, Humboldt-Universität zu Berlin), Klaster Doskonałości 277 'Technologia interakcji kognitywnej' (Niemiecka Rada ds. Badań Naukowych, DFG) oraz przez Siódmy Program Ramowy Unii Europejskiej w zakresie badań, rozwoju technologicznego i demonstracji na podstawie umowy o grant nr 316748 (LanPercept). Autorzy dziękują również za wsparcie ze strony Funduszy Podstawowych dla Centrów Doskonałości, projektu FB0003 z Programu Badań Stowarzyszeniowych CONICYT (rząd Chile) oraz projektu "FoTeRo" w centrum Focus XPrag (DFG). Pia Knoeferle dostarczyła pierwszy szkic artykułu oparty na protokole laboratoryjnym, który Helene Kreysa stworzyła na Uniwersytecie w Bielefeld i który jest nadal używany na Uniwersytecie Humboldta w Berlinie. Wszyscy autorzy przyczynili się do powstania treści, dostarczając informacji na temat metod i wyników w takiej czy innej formie. Camilo Rodríguez Ronderos i Pia Knoeferle koordynowali wkład autorów i w dwóch wersjach znacznie poprawili pierwotny projekt. Ernesto Guerra stworzył rysunki 2-4 w oparciu o wkład Katji Münster, Alby Rodríguez i Ernesto Guerry. Helene Kreysa dostarczyła rysunek 1, a Pia Knoeferle go zaktualizowała. Część przedstawionych wyników została opublikowana w czasopiśmie Proceedings of the Annual Meeting of the Cognitive Science Society.

Materiały

Lista materiałów użytych w tym artykule
Nazwa	Firma	Numer katalogowy	Komentarze
Okulisty eye-tracker montowany na biurku, w tym podpórka pod głowę/podbródek	SR Research Ltd.	EyeLink 1000 plus	http://www.sr-research.com/eyelink1000plus.html
Oprogramowanie do zaprojektowania i przeprowadzenia eksperymentu okulograficznego	SR Research Sp. z o.o.	Konstruktor eksperymentów	http://www.sr-research.com/eb.html

Bibliografia

Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
Knoeferle, P., Guerra, E. What is non-linguistic context? A view from language comprehension. In What is a Context? Linguistic Approaches and Challenges. Finkbeiner, R., Meibauer, J., Schumacher, P. B. , John Benjamins Publishing Company. Amsterdam, The Netherlands. 129-150 (2012).
Knoeferle, P., Guerra, E. Visually situated language comprehension. Language and Linguistics Compass. 10 (2), 66-82 (2016).
Just, M. A., Carpenter, P. A. A theory of reading: From eye fixations to comprehension. Psychological Review. 87 (4), 329-354 (1980).
Deubel, H., Schneider, W. X. Saccade target selection and object recognition: Evidence for a common attentional mechanism. Vision Research. 36 (12), 1827-1837 (1996).
Rayner, K. Eye movements in reading and information processing: 20 years of research. Psychological Bulletin. 124 (3), 372-422 (1998).
Sedivy, J. C., Tanenhaus, M. K., Chambers, C. G., Carlson, G. N. Achieving incremental semantic interpretation through contextual representation. Cognition. 71 (2), 109-147 (1999).
Kamide, Y., Scheepers, C., Altmann, G. T. Integration of syntactic and semantic information in predictive processing: Cross-linguistic evidence from German and English. Journal of Psycholinguistic Research. 32 (1), 37-55 (2003).
Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
Tanenhaus, M. K., Magnuson, J. S., Dahan, D., Chambers, C. Eye movements and lexical access in spoken-language comprehension: Evaluating a linking hypothesis between fixations and linguistic processing. Journal of Psycholinguistic Research. 29 (6), 557-580 (2000).
Arnold, J. E., Eisenband, J. G., Brown-Schmidt, S., Trueswell, J. C. The rapid use of gender information: Evidence of the time course of pronoun resolution from eyetracking. Cognition. 76 (1), B13-B26 (2000).
Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology: Learning, Memory, and Cognition. 30 (3), 687-696 (2004).
Spivey, M. J., Tanenhaus, M. K., Eberhard, K. M., Sedivy, J. C. Eye movements and spoken language comprehension: Effects of visual context on syntactic ambiguity resolution. Cognitive Psychology. 45 (4), 447-481 (2002).
Huang, Y. T., Snedeker, J. Online interpretation of scalar quantifiers: Insight into the semantics-pragmatics interface. Cognitive Psychology. 58 (3), 376-415 (2009).
Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying online sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
Knoeferle, P., Crocker, M. W., Scheepers, C., Pickering, M. J. The influence of the immediate visual context on incremental thematic role-assignment: evidence from eye movements in depicted events. Cognition. 95 (1), 95-127 (2005).
Knoeferle, P., Crocker, M. W. Incremental Effects of Mismatch during Picture-Sentence Integration: Evidence from Eye-tracking. Proceedings of the 26th Annual Conference of the Cognitive Science Society. , Stresa, Italy. 1166-1171 (2005).
Kluth, T., Burigo, M., Schultheis, H., Knoeferle, P. The role of the center-of-mass in evaluating spatial language. Proceedings of the 13th Biannual Conference of the German Society for Cognitive Science. , Bremen, Germany. 11-14 (2016).
Burigo, M., Knoeferle, P. Visual attention during spatial language comprehension. PLoS One. 10 (1), (2015).
Münster, K., Carminati, M. N., Knoeferle, P. How Do Static and Dynamic Emotional Faces Prime Incremental Semantic Interpretation? Comparing Older and Younger Adults. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2675-2680 (2014).
Kroeger, J. M., Münster, K., Knoeferle, P. Do Prosody and Case Marking influence Thematic Role Assignment in Ambiguous Action Scenes? Proceedings of the 39th Annual Meeting of the Cognitive Science Society. , London, UK. 2463-2468 (2017).
Knoeferle, P., Crocker, M. W. The influence of recent scene events on spoken comprehension: evidence from eye movements. Journal of Memory and Language. 57 (4), 519-543 (2007).
Knoeferle, P., Carminati, M. N., Abashidze, D., Essig, K. Preferential inspection of recent real-world events over future events: evidence from eye tracking during spoken sentence comprehension. Frontiers in Psychology. 2, 376(2011).
Abashidze, D., Knoeferle, P., Carminati, M. N. How robust is the recent-event preference? Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 92-97 (2014).
Rodríguez, A., Burigo, M., Knoeferle, P. Visual constraints modulate stereotypical predictability of agents during situated language comprehension. Proceedings of the 38th Annual Meeting of the Cognitive Science Society. , Philadelphia, USA. 580-585 (2016).
Zhang, L., Knoeferle, P. Visual Context Effects on Thematic Role Assignment in Children versus Adults: Evidence from Eye Tracking in German. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 2593-2598 (2012).
Zhang, L., Kornbluth, L., Knoeferle, P. The role of recent versus future events in children's comprehension of referentially ambiguous sentences: Evidence from eye tracking. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1227-1232 (2012).
Münster, K., Knoeferle, P. Situated language processing across the lifespan: A review. International Journal of English Linguistics. 7 (1), 1-13 (2017).
Özge, D., et al. Predictive Use of German Case Markers in German Children. Proceedings of the 40th Annual Boston University Conference on Language Development. , Somerville, USA. 291-303 (2016).
Weber, A., Grice, M., Crocker, M. W. The role of prosody in the interpretation of structural ambiguities: A study of anticipatory eye movements. Cognition. 99 (2), B63-B72 (2006).
Guerra, E., Knoeferle, P. Effects of object distance on incremental semantic interpretation: similarity is closeness. Cognition. 133 (3), 535-552 (2014).
Kreysa, H., Knoeferle, P., Nunnemann, E. Effects of speaker gaze versus depicted actions on visual attention during sentence comprehension. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2513-2518 (2014).
Abashidze, D., Knoeferle, P., Carminati, M. N. Eye-tracking situated language comprehension: Immediate actor gaze versus recent action events. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 31-36 (2015).
Crovitz, H. F., Zener, K. A Group-Test for Assessing Hand- and Eye-Dominance. The American Journal of Psychology. 75 (2), 271-276 (1962).
Ehrenstein, W. H., Arnold-Schulz-Gahmen, B. E., Jaschinski, W. Eye preference within the context of binocular functions. Graefe's Arch Clin Exp Ophthalmol. 243, 926(2005).
Münster, K., Carminati, M. N., Knoeferle, P. The Effect of Facial Emotion and Action Depiction on Situated Language Processing. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 1673-1678 (2015).
Lakoff, G., Johnson, M. Metaphors We Live By. , University of Chicago Press. Chicago, USA. (1980).
Guerra, E., Knoeferle, P. Visually perceived spatial distance affects the interpretation of linguistically mediated social meaning during online language comprehension: An eye tracking reading study. Journal of Memory and Language. 92, 43-56 (2017).
Kreysa, H., Knoeferle, P. Effects of speaker gaze on spoken language comprehension: task matters. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1557-1562 (2012).
Knoeferle, P. Language comprehension in rich non-linguistic contexts: Combining eye tracking and event-related brain potentials. Towards a cognitive neuroscience of natural language use. Roel, W. , Cambridge University Press. Cambridge, UK. 77-100 (2015).
Raney, G. E., Campell, S. J., Bovee, J. C. Using eye movements to evaluate cognitive processes involved in text comprehension. Journal of Visualized Experiments. (83), e50780(2014).
Knoeferle, P., Habets, B., Crocker, M. W., Muente, T. F. Visual scenes trigger immediate syntactic reanalysis: evidence from ERPs during situated spoken comprehension. Cerebral Cortex. 18 (4), 789-795 (2008).
Dimigen, O., Sommer, W., Hohlfeld, A., Jacobs, A. M., Kliegl, R. Coregistration of eye movements and EEG in natural reading: Analyses and review. Journal of Experimental Psychology: General. 140 (4), 552-572 (2011).
Knoeferle, P., Kreysa, H. Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension? Frontiers in Psychology. 3, 538(2012).
Chambers, C. G., Cooke, H. Lexical competition during second-language listening: Sentence context, but not proficiency, constrains interference from the native lexicon. Journal of Experimental Psychology: Learning, Memory, and Cognition. 35 (4), 1029(2009).
Duyck, W., Van Assche, E., Drieghe, D., Hartsuiker, R. J. Visual word recognition by bilinguals in a sentence context: Evidence for nonselective lexical access. Journal of Experimental Psychology: Learning, Memory, and Cognition. 33 (4), 663(2007).
Weber, A., Cutler, A. Lexical competition in non-native spoken-word recognition. Journal of Memory and Language. 50 (1), 1-25 (2004).
Verhallen, M. J., Bus, A. Young second language learners' visual attention to illustrations in storybooks. Journal of Early Childhood Literacy. 11 (4), 480-500 (2011).
Robinson, P., Mackey, A., Gass, S. M., Schmidt, R. Attention and awareness in second language acquisition. The Routledge Handbook of Second Language Acquisition. , 247-267 (2012).
Tomlin, R. S., Villa, V. Attention in cognitive science and second language acquisition. Studies in Second Language Acquisition. 16 (2), 183-203 (1994).

Przedruki i uprawnienia

Tagi

Dominacja oczna refleks keratalny śledzenie źrenic procedura kalibracji wzorce spojrzeń język mówiony czytanie sytuacyjne

Śledzenie ruchu gałek ocznych podczas wizualnego rozumienia języka: elastyczność i ograniczenia w odkrywaniu wizualnych efektów kontekstowych