Method Article

Śledzenie ruchu gałek ocznych podczas wizualnego rozumienia języka: elastyczność i ograniczenia w odkrywaniu wizualnych efektów kontekstowych

DOI:

10.3791/57694

⸱

November 30th, 2018

 ,  ,  ,  ,  ,  ,  ,  ,  ,  , 
1Institute of German Studies and Linguistics, Humboldt-Universität zu Berlin, 2Center for Advanced Research in Education – CIAE, Universidad de Chile, 3Institute of Psychology, Friedrich Schiller University Jena, 4Cognitive Interaction Technology Excellence Cluster (CITEC), Faculty of Linguistics and Literature, Bielefeld University, 5Department of Education, Concordia University, 6Berlin School of Mind and Brain, 7Einstein Center for Neurosciences Berlin

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Niniejszy artykuł omawia metodologię śledzenia wzroku w badaniach nad rozumieniem języka. Aby uzyskać wiarygodne dane, należy postępować zgodnie z kluczowymi krokami protokołu. Należą do nich m.in. prawidłowa konfiguracja eye trackera (np. zapewniająca dobrą jakość obrazów oka i głowy) oraz dokładna kalibracja.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Niniejsza praca jest opisem i oceną metodologii zaprojektowanej do ilościowego określenia różnych aspektów interakcji między przetwarzaniem języka a percepcją świata wizualnego. Rejestrowanie wzorców wzrokowych dostarczyło dobrych dowodów na wkład zarówno kontekstu wizualnego, jak i wiedzy językowej/światowej w rozumieniu języka. Wstępne badania oceniały efekty obiektowo-kontekstowe w celu przetestowania teorii modularności w przetwarzaniu języka. We wstępie opisujemy, w jaki sposób kolejne badania przyjęły rolę szerszego kontekstu wizualnego w przetwarzaniu języka jako samodzielnego tematu badawczego, zadając pytania, takie jak to, w jaki sposób nasza wizualna percepcja wydarzeń i mówców przyczynia się do rozumienia opartego na doświadczeniu osób rozumiejących. Wśród badanych aspektów kontekstu wizualnego znajdują się działania, zdarzenia, spojrzenie mówiącego i emocjonalna mimika twarzy, a także konfiguracje obiektów przestrzennych. Po zapoznaniu się z metodą śledzenia ruchu gałek ocznych i jej różnymi zastosowaniami, wymieniamy kluczowe etapy tej metodologii w protokole, ilustrując, jak skutecznie wykorzystać ją do badania rozumienia języka usytuowanego wizualnie. W ostatniej części przedstawiono trzy zestawy reprezentatywnych wyników i zilustrowano korzyści i ograniczenia śledzenia ruchu gałek ocznych w celu zbadania zależności między percepcją świata wizualnego a rozumieniem języka.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Badania psycholingwistyczne podkreśliły znaczenie analiz ruchów gałek ocznych w zrozumieniu procesów związanych ze zrozumieniem języka. Istotą wnioskowania o procesach rozumienia na podstawie zapisu spojrzenia jest hipoteza, która łączy poznanie z ruchami gałek ocznych5. Istnieją trzy główne rodzaje ruchów gałek ocznych: sakkady, ruchy przedsionkowo-gałkowe i płynne ruchy pościgowe. Sakkady to szybkie i balistyczne ruchy, które zachodzą głównie nieświadomie i są niezawodnie powiązane ze zmianami uwagi6. Uważa się, że momenty względnej stabilności wzroku między sakkadami, znane jako fiksacje, indeksują aktualną uwagę wzrokową. Pomiar miejsca fiksacji i czasu ich trwania w odniesieniu do procesów poznawczych jest znany jako "metoda śledzenia ruchu gałek ocznych". Wczesne implementacje tej metody służyły do badania czytania ze zrozumieniem w kontekstach ściśle lingwistycznych (zobacz Rayner7 w celu zapoznania się z recenzją). W tym podejściu czas sprawdzania obszaru słowa lub zdania jest związany z trudnościami w przetwarzaniu. Śledzenie ruchu gałek ocznych zostało jednak również zastosowane do badania rozumienia języka mówionego podczas inspekcji obiektów w świecie (lub na ekranie komputera2). W tej wersji śledzenia wzroku w "świecie wizualnym" inspekcja obiektów odbywa się za pomocą języka. Na przykład, kiedy rozumiejący słyszą zebrę, ich oględziny zebry na ekranie są brane pod uwagę, że myślą o zwierzęciu. W tak zwanym paradygmacie świata wizualnego wzrok osoby rozumiejącej jest brany pod uwagę w celu odzwierciedlenia rozumienia języka mówionego i aktywacji związanej z nim wiedzy (np. słuchacze obserwują również zebrę, gdy słyszą wypas, wskazując na czynność wykonaną przez zebrę)2. Takie badania sugerują systematyczny związek między relacjami język-świat a ruchami gałek ocznych2. Powszechnym sposobem ilościowego określenia tego powiązania jest obliczenie proporcji spojrzeń do różnych, z góry określonych regionów na ekranie. Pozwala to naukowcom na bezpośrednie porównanie (w różnych warunkach, przez uczestników i pozycje) ilości uwagi poświęconej różnym obiektom w danym momencie i jak te wartości zmieniają się w rozdzielczości milisekundowej.

Badania w psycholingwistyce wykorzystały śledzenie ruchu gałek ocznych w światach wizualnych, aby rozdzielić konkurencyjne hipotezy teoretyczne dotyczące architektury umysłu1. Fiksacja wzroku na przedstawionych obiektach ujawniła ponadto, że osoby rozumiejące mogą – zakładając wystarczająco restrykcyjny kontekst językowy – dokonywać przyrostowej interpretacji semantycznej8, a nawet rozwijać oczekiwania co do nadchodzących postaci9. Takie dane dotyczące spojrzenia w oczy rzuciły również światło na szereg dalszych procesów rozumienia, takich jak leksykalna niejednoznaczność resolution10,11, pronoun resolution12, ujednoznacznienie strukturalnego i tematycznego przypisywania ról za pomocą informacji w kontekście wizualnym13,14,16 oraz procesy pragmatyczne15, wśród wielu innych4. Oczywiste jest, że ruchy gałek ocznych w kierunku obiektów podczas rozumienia języka mogą być źródłem informacji o związanych z tym procesach.

Metoda śledzenia ruchu gałek ocznych jest nieinwazyjna i może być stosowana u niemowląt, młodych i starszych użytkowników języka. Kluczową zaletą jest to, że w przeciwieństwie do punktowych odpowiedzi na sondy lub naciśnięć przycisku odpowiedzi w zadaniach weryfikacyjnych, zapewnia wgląd w czasie w rozdzielczości milisekundowej na to, w jaki sposób język kieruje uwagą i jak kontekst wizualny (w postaci obiektów, działań, zdarzeń, spojrzenia mówcy i emocjonalnej mimiki twarzy, a także konfiguracji obiektów przestrzennych) przyczynia się do przetwarzania języka. Ciągłość pomiaru podczas rozumienia zdań dobrze uzupełnia się z innymi miarami po zdaniu i po eksperymencie, takimi jak jawna weryfikacja zdań obrazkowych/wideo, pytania ze zrozumieniem i zadania przypominania pamięci. Jawne odpowiedzi w tych zadaniach mogą wzbogacić interpretację zapisu spojrzenia, zapewniając wgląd w wynik procesu rozumienia, pamięci i uczenia się2. Połączenie śledzenia ruchu gałek ocznych z tymi innymi zadaniami pozwoliło odkryć, w jakim stopniu różne aspekty kontekstu wizualnego modulują uwagę wzrokową i (natychmiastowe, jak również opóźnione) zrozumienie przez całe życie.

Prezentacja języka (mówionego lub pisanego) i scen może być symultaniczna lub sekwencyjna. Na przykład Knoeferle i współpracownicy17 przedstawili scenę 1000 ms przed wypowiadanym zdaniem i pozostała ona obecna podczas rozumienia. Przedstawili dowody na to, że clipartowe przedstawienia zdarzeń akcji przyczyniają się do rozwiązania lokalnej niejednoznaczności strukturalnej w niemieckich zdaniach podmiot-orzeczenie-dopełnienie (SVO) w porównaniu ze zdaniami dopełnienie-orzeczenie-podmiot (OVS). Knoeferle i Crocker18 zaprezentowali scenę clipart przed napisanym zdaniem i przetestowali przyrostową integrację zdarzeń clipart podczas rozumienia zdań. Zaobserwowali przyrostowe efekty kongruencji, co oznacza, że czas czytania przez uczestników składników zdania był dłuższy, gdy nie pasowały one (vs. pasowały) do zdarzenia przedstawionego w poprzedniej scenie. W innym wariancie prezentacji bodźca uczestnicy najpierw przeczytali zdanie opisujące relację przestrzenną, a następnie zobaczyli scenę określonego układu przestrzennego obejmującego rysunki linii obiektów19. W badaniu tym oceniono przewidywania obliczeniowych modeli języka przestrzennego, prosząc uczestników o ocenę dopasowania zdania wydanego do sceny, przy czym ruchy gałek ocznych były rejestrowane podczas przesłuchania w scenie. Wzorce spojrzenia uczestników były modulowane przez kształt obiektu, z którym zostali skonfrontowani – częściowo potwierdzając przewidywania modelu i dostarczając danych do udoskonalenia modelu.

Chociaż w wielu badaniach wykorzystano obrazy clipartów17,18,19,20,21,22,23, możliwe jest również łączenie rzeczywistych obiektów, filmów przedstawiających te obiekty lub statycznych zdjęć z językiem mówionym1,21,24,25,26,46. Knoeferle i jego koledzy wykorzystali rzeczywiste ustawienia24, a Abashidze i koledzy użyli formatu prezentacji nagranej na wideo do badania zdarzeń akcji i efektów czasu25. Możliwe jest różnicowanie dokładnej zawartości scen (np. przedstawiających akcje lub nie)22,27,38 jest możliwe i może również ujawniać efekty kontekstu wizualnego. Podobne badanie przeprowadzone przez Rodrígueza i współpracowników26 miało na celu zbadanie wpływu nagranych na wideo wizualnych wskazówek dotyczących płci na rozumienie następnie prezentowanych zdań mówionych. Uczestnicy oglądali filmy, na których widać męskie lub żeńskie dłonie wykonujące stereotypowo związane z płcią czynność. Następnie usłyszeli zdanie o stereotypowo męskim lub kobiecym wydarzeniu akcji, jednocześnie oglądając wystawę przedstawiającą dwie fotografie obok siebie, jedną przedstawiającą mężczyznę, a drugą kobietę. To bogate środowisko wizualne i językowe pozwoliło autorom oddzielić wpływ stereotypowej wiedzy za pośrednictwem języka na rozumienie od efektów wizualnie przedstawionych (ręcznych) wskazówek dotyczących płci.

Dalsze zastosowanie tego paradygmatu ma na celu zmiany rozwojowe w przetwarzaniu języka. Ruchy gałek ocznych na obiektach podczas rozumienia języka mówionego ujawniły efekty przedstawionych wydarzeń u dzieci w wieku 4 - 5 lat27,28 oraz u osób starszych29 w czasie rzeczywistym, ale nieco opóźnione w porównaniu z młodymi dorosłymi. Kröger i współpracownicy22 zbadali wpływ wskazówek prozodycznych i oznaczania przypadków w eksperymencie i porównali je w eksperymentach u dorosłych i dzieci. Uczestnicy przyjrzeli się niejednoznacznej scenie akcji-zdarzenia, słuchając powiązanego, jednoznacznie oznaczonego przypadkiem niemieckiego zdania. Ruchy gałek ocznych ujawniły, że wyraźne wzorce prozodyczne nie pomogły ani dorosłym, ani 4- lub 5-latkom w ujednoznacznieniu, kto komu co robi. Zaznaczanie przypadków w początkowym zdaniu wpływało jednak na ruchy gałek ocznych dorosłych, ale nie u dzieci. Sugeruje to, że rozumienie przypadków przez 5-latków nie jest wystarczająco solidne, aby umożliwić przypisanie ról tematycznych (patrz badanie przeprowadzone przez Özge i współpracowników30), przynajmniej nie wtedy, gdy zdarzenia związane z akcją nie ujednoznaczniały relacji ról tematycznych. Wyniki te są interesujące, biorąc pod uwagę, że kontrastują z poprzednimi wynikami efektów prozodycznych na przypisywanie ról tematycznych31. Kröger i współpracownicy22 zasugerowali, że (mniej lub bardziej wspierający) kontekst wizualny jest odpowiedzialny za kontrastujące wyniki. W zakresie, w jakim te interpretacje są prawdziwe, podkreślają one rolę kontekstu w rozumieniu języka przez całe życie.

Metoda śledzenia wzroku dobrze łączy się z pomiarami z zadań weryfikacji zdań obrazkowych (lub wideo)zdań18,20,26, zadania weryfikacyjne obrazka32, badania korpusowe24, zadania oceniające19, lub posteksperymentalne zadania przypominania25,33. Abashidze i współpracownicy34 oraz Kreysa i współpracownicy33 zbadali wzajemne oddziaływanie spojrzenia mówcy i filmów akcji w świecie rzeczywistym34 oraz spojrzenia mówcy i przedstawień akcji33, odpowiednio, jako wskazówki dotyczące nadchodzącej treści zdań. Łącząc śledzenie wzroku w scenie podczas rozumienia języka z posteksperymentalnym zadaniem pamięciowym, naukowcy lepiej zrozumieli, w jaki sposób percepcja spojrzenia mówcy przez słuchaczy i przedstawione działania oddziałują na siebie i wpływają zarówno na natychmiastowe przetwarzanie języka, jak i przywoływanie wspomnień. Wyniki ujawniły wyraźny wpływ działań i wzroku mówcy na zrozumienie w czasie rzeczywistym w porównaniu z procesami przypominania pamięci po eksperymencie.

Chociaż metoda śledzenia ruchu gałek ocznych może być stosowana z dużą elastycznością, pewne standardy są kluczowe. Poniższy protokół podsumowuje uogólnioną procedurę, którą można dostosować do różnych typów pytań badawczych zgodnie z konkretnymi potrzebami badaczy. Protokół ten jest ustandaryzowaną procedurą stosowaną w Laboratorium Psycholingwistyki na Uniwersytecie Humboldta w Berlinie, a także w dawnym Laboratorium Języka i Poznania w Klastrze Doskonałości Technologii Interakcji Kognitywnej (CITEC) na Uniwersytecie w Bielefeld. Protokół opisuje pulpit i konfigurację zdalną. Ten ostatni jest zalecany do stosowania w badaniach z udziałem dzieci lub osób starszych. We wszystkich eksperymentach wymienionych w Reprezentatywnych Wynikach wykorzystuje się urządzenie śledzące ruch gałek ocznych, które ma częstotliwość próbkowania 1000 Hz i jest używane razem ze stabilizatorem głowy, komputerem PC do testowania uczestników (Display PC) oraz komputerem PC do monitorowania eksperymentu i ruchów gałek ocznych uczestników (Host PC). Główną różnicą tego urządzenia w stosunku do poprzednika jest to, że pozwala na obuoczne śledzenie oczu. Protokół ma być wystarczająco ogólny, aby można go było używać z innymi urządzeniami śledzącymi ruch gałek ocznych, które zawierają stabilizator głowy i wykorzystują konfigurację z dwoma komputerami (Host + Wyświetlacz). Należy jednak pamiętać, że inne konfiguracje prawdopodobnie będą miały różne metody radzenia sobie z problemami, takimi jak niepowodzenia kalibracji lub utrata ścieżki, w takim przypadku eksperymentator powinien zapoznać się z instrukcją obsługi swojego konkretnego urządzenia.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ten protokół jest zgodny z wytycznymi etycznymi instytucji, w której dane zostały zebrane, tj. Klastra Doskonałości Technologii Interakcji Kognitywnej (CITEC) Uniwersytetu w Bielefeld i Humboldt-Universität zu Berlin. Eksperymenty przeprowadzone na Uniwersytecie w Bielefeld zostały zatwierdzone indywidualnie przez komisję etyczną Uniwersytetu w Bielefeld. Laboratorium psycholingwistyki na Uniwersytecie Humboldta w Berlinie posiada laboratoryjny protokół etyczny, który został zatwierdzony przez komisję etyczną Deutsche Gesellschaft für Sprachwissenschaft, Niemieckiego Towarzystwa Językoznawczego (DGfS).

1. Konfiguracja pulpitu

UWAGA: Poniżej znajdują się kluczowe kroki w eksperymencie ze śledzeniem ruchu gałek ocznych.

  1. Przygotowanie instrumentu
    1. Włącz kamerę śledzącą ruch gałek ocznych i komputer hosta (patrz Rysunek 1 dla ilustracji zbierania danych w laboratorium i konfiguracji wstępnego przetwarzania).
    2. Uruchom oprogramowanie do śledzenia ruchu gałek ocznych.
    3. Włącz komputer z wyświetlaczem. Otwórz folder zawierający eksperymenty.
    4. Uruchom "wdrożoną" wersję z rozszerzeniem .exe, klikając je dwukrotnie.
    5. W zależności od konfiguracji może pojawić się monit o wybranie listy eksperymentalnej, która zazwyczaj jest plikiem .csv/.txt rozdzielanym tabulatorami, zawierającym warunki, nazwy plików dźwiękowych, napisane zdania i/lub obrazy, na które uczestnik będzie narażony. Wybierz listę, a program się uruchomi. Nazwij plik wyjściowy, w którym będą przechowywane wyniki.
      UWAGA: Plik wyjściowy jest zapisywany na komputerze wyświetlającym, a kopia zapasowa jest zapisywana na komputerze hosta.
    6. Pozostaw otwarty pierwszy ekran eksperymentu (ekran wprowadzający lub powitalny).
    7. Zdejmij osłonę ochronną z kamery śledzącej ruch gałek ocznych.
    8. Ze względów higienicznych umieść chusteczkę na uchwycie podbródka.
    9. Opcjonalnie: Przygotuj konsolę odpowiedzi i/lub klawiaturę zgodnie z wymaganiami eksperymentu.
    10. Opcjonalnie: Jeśli prezentujesz bodźce słuchowe, dostosuj głośność głośników i przetestuj je przed rozpoczęciem eksperymentu. Alternatywnie przetestuj funkcjonalność słuchawek, z których będzie korzystał uczestnik.
    11. Przygotuj niezbędne formularze do podpisania przez uczestnika.
    12. Dostosuj natężenie światła w laboratorium, aby pomieszczenie było słabo oświetlone i miało stałą luminancję przez cały czas trwania procesu zbierania danych.
  2. Przygotowanie dla uczestników
    1. Po przybyciu uczestników przedstaw się.
    2. Umieść znak "Nie przeszkadzać" na drzwiach laboratorium.
    3. Poproś uczestnika, aby usiadł.
    4. Przeprowadź uczestnika przez arkusz informacyjny oraz niezbędne formularze zgody i dane demograficzne.
    5. Pozwól uczestnikowi przeczytać i podpisać formularz zgody.
    6. Wyjaśnij pokrótce ogólne aspekty eksperymentu i czas jego trwania. Nie podawaj zbyt wielu informacji przed eksperymentem, ponieważ może to wpłynąć na zachowanie wzroku uczestnika i uzyskane dane.
    7. Przekaż pisemne instrukcje i daj uczestnikowi możliwość zadawania pytań.
    8. Krótko wyjaśnij działanie urządzenia śledzącego ruch gałek ocznych.
    9. W razie potrzeby wyjaśnij zadanie i wskaż wszelkie przyciski/, które będą musiały zostać naciśnięte podczas eksperymentu.
    10. Wyjaśnij, w jaki sposób podpórka podbródka ma na celu zminimalizowanie ruchów głowy podczas eksperymentu. Wspomnij, że urządzenie działa najlepiej, jeśli uczestnik unika jakichkolwiek ruchów.
  3. Konfiguracja urządzenia do śledzenia ruchu gałek ocznych
    1. Przygotuj uczestnika do eksperymentu: poproś go, aby usiadł przy stole i położył brodę na podbródku. Poproś go, aby oparł czoło o zagłówek.
    2. Poproś uczestnika, aby w razie potrzeby wyregulował wysokość i pozycję krzesła: uczestnik powinien czuć się komfortowo, opierając brodę na podbródku, a czoło na zagłówku.
    3. Wyjaśnij, że podczas eksperymentu często zdarza się przypadkowe poruszenie głową i że należy tego unikać. Wyjaśnij, że podczas eksperymentu może zaistnieć potrzeba skorygowania ułożenia głowy.
    4. Jeśli eksperyment wymaga naciśnięcia przycisku (np. za pomocą podkładki odpowiedzi), poinstruuj uczestnika, aby pozostawił palce spoczywające na przyciskach, które mają zostać naciśnięte i unikał patrzenia w dół na podkładkę odpowiedzi podczas naciskania przycisku.
    5. Poproś uczestnika, aby przeczytał ekran powitalny/wprowadzający.
    6. Usiądź przed komputerem hosta. Jeśli na ekranie nie ma jeszcze ustawień kamery, kliknij Ustawienia kamery, aby przejść do prawego ekranu. Jeśli osłona ochronna została zdjęta z obiektywu kamery, a uczestnik jest prawidłowo umieszczony na podbródku, na ekranie powinny pojawić się trzy obrazy oczu uczestnika: większy obraz u góry i dwa mniejsze na dole po lewej i prawej stronie. Te mniejsze obrazy pokazują po jednym oku, odpowiadającym lewemu i prawemu oku.
    7. Wybierz oko, które ma być śledzone. Zwyczajowo śledzi się dominujące oko uczestnika. Jeśli uczestnik nie wie, które oko jest dominujące, przeprowadź test dominacji oka (krok 1.3.8).
    8. Określ dominację oka. Poproś uczestnika, aby wyciągnął jedną rękę i wyrównał kciuk z odległym obiektem z otwartymi oczami. Poproś uczestnika, aby na przemian zamykał lewe lub prawe oko. Oko dominujące to takie, w którym kciuk pozostaje wyrównany z obiektem, gdy oko jest otwarte35,36.
    9. Kliknij na Obrazek | Wyświetl komputer (lub naciśnij Enter), a obrazy opisane w kroku 1.3.6 również pojawią się na ekranie wyświetlacza uczestnika, ale tylko pojedynczo.
    10. Naciśnij strzałkę w lewo/w prawo na klawiaturze komputera eksperymentatora lub uczestnika, aby przełączać się między mniejszym i większym obrazem oka. Skoncentruj się na mniejszym obrazie (oku).
    11. Naciśnij A (Wyrównaj okno oka) na dowolnej klawiaturze, aby wyśrodkować pole limitów wyszukiwania na pozycji źrenicy. Następnie powinien pojawić się czerwony kwadrat wokół oka z turkusowym okręgiem ['odbicie rogówki', (cr)] w pobliżu dolnej części źrenicy. Sama źrenica powinna być niebieska.
    12. Upewnij się, że na ekranie pojawiają się dwa krzyżyki ("krzyżyki") — jeden na środku źrenicy, a drugi na środku odbicia rogówki. Czerwona ramka i dwa krzyżyki oznaczają, że eye tracker wykrywa źrenicę i cr.
      UWAGA: Jeśli czerwona ramka lub krzyżyki są nieobecne, oko nie jest śledzone - jeśli tak się stanie, na komputerze eksperymentatora pojawi się brak źrenicy.
    13. Dostosuj ostrość aparatu, ręcznie obracając obiektyw ostrości. Uważaj, aby nie dotknąć przedniej części obiektywu. Obracaj obiektyw, aż zostanie osiągnięty najlepszy punkt ostrości.
      UWAGA: Najlepszy punkt ostrości jest osiągany, gdy turkusowy okrąg (odbicie rogówki) jest tak mały, jak to możliwe (tj. gdy ten okrąg jest ostry).
    14. Ustaw próg źrenicy. Upewnij się, że tylko obraz źrenicy jest niebieski (np. rzęsy nie powinny być niebieskie) na komputerze hosta. Upewnij się również, że cała źrenica (nie tylko jej środkowa część) jest niebieska. Martw się tylko o to, co znajduje się w czerwonym kwadracie.
    15. Naciśnij A. Spowoduje to automatyczne ustawienie progu źrenicy. Jeśli źrenica nie jest dokładnie wyświetlana na niebiesko, wyreguluj próg ręcznie, używając W GÓRĘ, aby zwiększyć, i W DÓŁ, aby zmniejszyć ilość niebieskiej części powierzchni obrazu.
      UWAGA: Tusz do rzęs (który zwykle jest, podobnie jak źrenica) może przeszkadzać w ustawieniu progu - eye tracker może wziąć ciemne rzęsy za źrenicę. W takim przypadku poproś uczestnika o usunięcie makijażu, dostarczając mu chusteczki do demakijażu.
    16. Ustaw próg cr. Jeśli A został naciśnięty w kroku 1.3.15, próg cr powinien zostać ustawiony automatycznie.
      UWAGA: Wartości liczbowe dla wszystkich ustawień progowych powinny być widoczne. Jeśli w którymś z nich pojawi się znak zapytania, oznacza to, że wystąpił problem w jednym z poprzednich kroków i progi należy ustawić ręcznie.
  4. Kalibracja urządzenia do śledzenia ruchu gałek ocznych
    UWAGA: Sprawdź, czy eye tracker może konsekwentnie identyfikować pozycję oka, gdy uczestnik patrzy na inne części ekranu.
    1. Poproś uczestnika, aby spojrzał na cztery rogi ekranu pojedynczo, gdy okno ustawień kamery jest widoczne. Uważnie poszukaj wszelkich nieregularnych odbić (pojawią się one jako turkusowe "plamy" na ekranie), które zakłócają odbicie rogówki, gdy wzrok jest skierowany na róg.
    2. Poproś uczestnika, aby spojrzał na środek ekranu, a następnie skierował swój wzrok na problematyczny róg, jeśli czerwona ramka wokół oka i jeden z krzyżyków nie są widoczne w żadnym momencie kroku 1.4.1. Pomoże to określić źródło problemu.
    3. Ponownie dostosuj pozycję głowy uczestnika i sprawdź, czy przynosi to jakąkolwiek poprawę. W razie potrzeby powtórz ten krok. Jeśli po kilku próbach urządzenie nadal nie jest w stanie dokładnie śledzić wzroku uczestnika, przerwij eksperyment.
    4. Poinformuj uczestnika, że eye tracker zostanie skalibrowany i że zobaczy czarne kółko (z małą szarą kropką) poruszające się w różnych częściach ekranu. Poinstruuj uczestnika, aby unieruchomił okrąg, dopóki nie przesunie się w nowe miejsce. Poinstruuj uczestnika, aby nie męczył oczu i skupił się na małej szarej kropce wewnątrz czarnego kółka, aby uzyskać optymalne rezultaty.
    5. Powiedz uczestnikowi, że ważne jest, aby pozostać nieruchomo i nie próbować przewidzieć położenia następnego okręgu podczas kalibracji. Poinstruuj ich, aby podążali za kręgami oczami, a nie głową. Kliknij Kalibruj, aby rozpocząć proces kalibracji. Zwykle stosuje się procedurę kalibracji 9-punktowej, w której czarne kółko przesuwa się do dziewięciu miejsc w sposób szeregowy.
    6. Aby przeprowadzić automatyczną kalibrację, naciśnij ENTER po dokładnym ustaleniu przez uczestnika pierwszej kropki na środku ekranu. W przypadku ręcznej kalibracji (np. gdy występują problemy ze śledzeniem oka uczestnika lub gdy mamy do czynienia ze specjalnymi grupami uczestników, takimi jak dzieci), zaakceptuj każdą fiksację, naciskając ENTER (lub klikając przycisk Zaakceptuj fiksację/naciskając spację).
      UWAGA: Pod koniec procesu kalibracji na ekranie eksperymentatora powinien być widoczny prawie prostokątny wzór. Reprezentuje to wzorce wzroku uczestnika. Dodatkowo wyniki dobrej kalibracji powinny być podświetlone na zielono. Jeśli tak nie jest, powtórz procedurę kalibracji (tj. kliknij Kalibracja).
    7. Sprawdź poprawność wyników. Powiedz uczestnikowi, aby przeszedł przez tę samą procedurę (patrząc na kropki) w celu walidacji wyników procesu kalibracji. Przypomnij im, aby patrzyli na kropkę i byli spokojni.
      UWAGA: Proces walidacji jest podobny do procesu kalibracji i oba wyniki są porównywane przez oprogramowanie do śledzenia ruchu gałek ocznych, aby upewnić się, że oko jest dokładnie śledzone.
    8. Kliknij przycisk Weryfikuj.
    9. Zaakceptuj każdą fiksację, naciskając ENTER (lub klikając przycisk Zaakceptuj fiksację/naciskając spację).
    10. Po walidacji wyniki pojawią się na ekranie eksperymentatora. Zwróć szczególną uwagę na dwie miary błędu: błąd średni (np. 0,23°) i błąd maksymalny (np. 0,70°). Reprezentują one stopień, w jakim śledzony obraz odbiega od rzeczywistej pozycji wzroku uczestnika.
    11. Korzystając z paradygmatu świata wizualnego, utrzymuj średni błąd (pierwsza liczba) poniżej 0,5°, a maksymalny błąd (druga liczba) poniżej 1°.
    12. Jeśli wartości błędów przekraczają próg, poproś uczestnika o ponowne ustawienie głowy i ponowne rozpoczęcie procedury kalibracji. Jeśli nie zaobserwuje się poprawy, przerwij eksperyment.
      UWAGA: Często obserwuje się duże błędy kalibracji, gdy uczestnik nosi soczewki kontaktowe. Uczestnika należy wcześniej poprosić o zabranie ze sobą okularów korekcyjnych zamiast soczewek kontaktowych.
    13. Po pomyślnym zakończeniu procesu kalibracji kliknij przycisk Wyjście/Nagrywanie, aby rozpocząć eksperyment. Poinformuj uczestnika, że eksperyment się teraz rozpocznie.
  5. Podczas eksperymentu
    UWAGA: Podczas eksperymentu (w zależności od tego, jak zaprogramowany jest dany eksperyment, ale zazwyczaj przed każdą próbą eksperymentalną), na ekranie kontroli dryfu lub prawidła dryfu pojawi się kropka na środku ekranu. Jego celem jest raportowanie obliczonego błędu fiksacji dla bieżącej próby i, w zależności od modelu śledzenia wzroku, jego automatyczne dostosowanie.
    1. Podczas fazy instruktażowej uczestnik został poinstruowany, aby unieruchomić środkową kropkę za każdym razem, gdy się pojawi. Upewnij się, że podczas każdej fazy sprawdzania driftu/prawidłowego driftu, uczestnicy ponownie ustalają kropkę. Można to zrobić, podążając za wzrokiem uczestnika na komputerze hosta, gdzie wzrok uczestnika jest wyświetlany jako poruszający się zielony okrąg.
    2. Po zakończeniu sprawdzania/prawidłowego dryfu naciśnij ENTER (lub spację), aby kropka zniknęła i wyświetliła następną próbę.
    3. Określ, jak postępować w przypadku nieprzejścia fazy kontroli dryftu zgodnie z modelem zastosowanego urządzenia śledzącego ruch gałek ocznych. W zależności od modelu, urządzenie śledzące ruch gałek ocznych albo wykona automatyczną korekcję dryfu, dostosowując współrzędne spojrzenia do współrzędnych centralnej kropki, albo wyda sygnał dźwiękowy, aby skłonić eksperymentatora do ponownej kalibracji przed kontynuowaniem eksperymentu (kontrola dryfu).
    4. W przypadku korzystania z automatycznej korekcji dryftu należy pamiętać, że zbyt wiele poprawek dryftu w kolejnych próbach i/lub zbyt duży stopień korekcji dryftu zniekształci wyniki i będzie wymagało ponownej kalibracji urządzenia.
  6. Ponowna kalibracja podczas eksperymentu
    1. Możliwa jest ponowna kalibracja w dowolnym momencie eksperymentu. Podczas prezentacji ekranu korekcji dryfu/sprawdzania dryfu kliknij na Ustawienia kamery, a następnie kliknij na Kalibruj. Przejdź przez procesy kalibracji i walidacji, aż do osiągnięcia zadowalającej wartości, a następnie kliknij Wyjście/rekord. Eksperyment zostanie wznowiony od punktu wyjścia w sekwencji próbnej.
  7. Po eksperymencie
    1. Dostarcz uczestnikowi kwestionariusz, aby ocenić, czy był w stanie odgadnąć kluczowe manipulacje eksperymentalne. W tym miejscu ważne jest również, aby zapytać o potencjalne strategie, które można było opracować w trakcie eksperymentu.
    2. Poinformuj uczestnika o celu eksperymentu. Podziękuj im za udział i zapewnij niezbędną rekompensatę pieniężną lub przypisz punkty za kurs, jeśli ma to zastosowanie.

2. Konfiguracja zdalna: Dostosowywanie ustawień do nauki z dziećmi i osobami starszymi

UWAGA: Ta sekcja opisuje tylko różnice między konfiguracją zdalną a konfiguracją pulpitu, jak opisano w kroku 1. Należy przyjąć, że punkty, które nie zostały tutaj wyraźnie wymienione, są identyczne z procedurą opisaną w kroku 1.

  1. Wymień standardowy obiektyw kamery śledzącej ruch gałek ocznych 35 mm na obiektyw 16 mm.
  2. Podłącz cały niezbędny sprzęt (komputer hosta, głośniki, eye tracker i laptop, jeśli używany jest laptop).
  3. Umieść laptopa na podstawce pod laptopa, a eyetracker przed nim (uczestnik powinien być w stanie zobaczyć górne 75% ekranu).
  4. Umieść "naklejkę docelową" (dostępną u producenta trackera) na czole uczestnika (nad brwią prawego oka lub na prawym policzku, jeśli czoło jest zbyt małe (np. w przypadku niemowląt); ta naklejka zastępuje podbródek w zestawie biurkowym i pozwala urządzeniu śledzącemu dokładnie określić pozycję głowy uczestnika.
  5. Upewnij się, że uczestnik siedzi w odległości 550 - 600 mm od kamery (odległość naklejki z celem od kamery).
  6. Upewnij się, że słowa "duży kąt" lub "bliskie oko" nie pojawiają się na komputerze hosta. Jeśli tak, oznacza to, że położenie naklejki docelowej nie jest idealne. W takim przypadku ponownie dostosuj naklejkę docelową. Może to również oznaczać, że czoło uczestnika jest szczególnie małe. W takim przypadku umieść naklejkę na policzku uczestnika.
    UWAGA: Jeśli naklejka zostanie umieszczona zbyt blisko ucha, prawdopodobnie pojawi się komunikat "duży kąt" i naklejka musi zostać ponownie położona.
  7. Przed rozpoczęciem procesu kalibracji opisanego w kroku 1.4 upewnij się, że uczestnik siedzi wygodnie. Poproś ich, aby utrzymywali tę samą pozycję przez cały eksperyment i wyjaśnij, że eye tracker jest bardzo wrażliwy na ruchy ciała. Nalegaj, aby trzymali głowę nieruchomo. Jeśli uczestnik poruszy się zbyt mocno, urządzenie wyemituje brzęczący dźwięk.
    UWAGA: Jeśli konfiguracja zdalnego śledzenia wzroku jest używana do testowania wrażliwych populacji, takich jak dzieci lub osoby starsze, zaleca się zastosowanie procedury kalibracji ręcznej.

3. Dostosowywanie ustawień do czytania

UWAGA: Podczas badania wpływu kontekstu wizualnego na czytanie, należy zwrócić szczególną uwagę na procesy kalibracji i ponownej kalibracji. W przeciwieństwie do badań świata wizualnego, śledzenie ruchu gałek ocznych podczas czytania wymaga znacznie wyższego stopnia precyzji urządzenia, biorąc pod uwagę dokładność potrzebną do śledzenia wzorców czytania słowo po słowie i litera po literze.

  1. Upewnij się, że zarówno średni, jak i maksymalny błąd wyświetlany podczas fazy walidacji pozostają poniżej 0,5°.
  2. Upewnij się, że do kalibracji używasz co najmniej 9-punktowej skali. Zapewnia to dokładniejsze śledzenie pozycji wzroku, co jest niezbędne, biorąc pod uwagę niewielki rozmiar obszarów zainteresowania podczas czytania.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Badanie przeprowadzone przez Münster i współpracowników37 badało wzajemne oddziaływanie struktury zdań, przedstawionych działań i sygnałów emocjonalnych twarzy podczas rozumienia języka. Badanie to dobrze nadaje się do zilustrowania zalet i ograniczeń metody, ponieważ wykazało zarówno solidne efekty przedstawionego działania, jak i marginalny wpływ wskazówek emocjonalnych twarzy na rozumienie zdań. Autorzy stworzyli 5-sekundowe filmy przedstawiające wyraz twarzy kobiety, który zmieniał się z pozycji spoczynkowej w radosny lub smutny wyraz. Stworzyli również emocjonalnie pozytywnie wartościowane niemieckie zdania dopełnienie-orzeczenie-przysłówek-podmiot (OVAdvS) w formie "[biernik dopełnienia/pacjenta] [czasownik] [przysłówek pozytywny] [mianownik podmiotu/agenta]". Za pomocą przysłówka pozytywnego zdania pasowały do "wesołego" filmu i nie pasowały do "smutnego" wideo, co w zasadzie pozwalało na antycypację agenta (który uśmiechał się i był opisywany jako szczęśliwy przez przysłówek pozytywny). Po nagraniu z prelegentem zdanie pojawiło się wraz z jedną z dwóch wersji sceny clipartowej agent-pacjent-dystraktor. W jednej z wersji agent został przedstawiony jako wykonujący wspomnianą czynność na pacjencie, podczas gdy postać dystraktora wykonywała inną czynność. Druga wersja sceny nie przedstawiała żadnych działań między postaciami. Ruchy gałek ocznych w tej scenie ujawniły wpływ działań i wyrazu twarzy mówiącego na rozumienie zdań.

Obraz akcji szybko wpłynął na uwagę wzrokową uczestników, co oznacza, że uczestnicy patrzyli bardziej na agenta niż na dystraktora, gdy wspomniana akcja była (vs. nie była) przedstawiona. Spojrzenia te miały charakter antycypacyjny (tj. pojawiały się przed wspomnieniem o agencie), co sugerowało, że przedstawienie akcji wyjaśniło agenta, zanim zrobiło to zdanie. Najwcześniejszy efekt przedstawienia akcji pojawił się podczas czasownika (tj. czasownik pośredniczył w działaniu powiązanym z działaniem). Natomiast to, czy poprzedni mówca się uśmiechał, czy wyglądał na niezadowolonego, nie miało wyraźnego wpływu na przewidywanie agenta (Rysunek 2). Ten ostatni wynik może odzwierciedlać słabszy związek między uśmiechem mówcy a pozytywnym przysłówkiem sentencjalnym odnoszącym się do działania przedstawionego agenta (w porównaniu z bezpośrednim odniesieniem do czynności czasownikowej pośredniczącej w działaniu powiązanym z działaniem). Alternatywnie, może być specyficzny dla prezentacji zadania i bodźca: być może efekty emocjonalne byłyby bardziej wyraźne w zadaniu bardziej interaktywnym społecznie lub w takim, które przedstawia twarz mówcy podczas (a nie przed) zrozumieniem zdań. Jednak prezentowanie uśmiechniętej twarzy mówcy podczas rozumienia może spowodować, że uczestnicy skupią się na twarzy kosztem innej treści sceny, być może maskując w inny sposób obserwowalne efekty manipulowanych zmiennych (źródło: dane niepublikowane).

W kolejnym wariancie paradygmatu, Guerra i Knoeferle32 zapytali, czy przestrzenno-semantyczne relacje świat-język mogą modulować rozumienie abstrakcyjnej treści semantycznej podczas czytania. Guerra i Knoeferle zapożyczyli ideę z teorii metafory pojęciowej38, że odległość przestrzenna (np. bliskość) uzasadnia znaczenie abstrakcyjnych relacji semantycznych (np. podobieństwa). Zgodnie z tą hipotezą, uczestnicy czytali skoordynowane rzeczowniki abstrakcyjne szybciej, gdy były one podobne (vs. przeciwne) pod względem znaczenia i były poprzedzone filmem przekazującym bliskość (vs. odległość; karty do gry zbliżają się do siebie vs. dalej od siebie). W drugim zestawie badań39, zdania opisywały interakcję między dwojgiem ludzi jako intymną lub nieprzyjazną, co doprowadziło do odkrycia, że filmy z dwiema kartami zbliżającymi się do siebie przyspieszyły czytanie regionów zdań, które przekazywały społeczną bliskość/intymność. Zwróć uwagę, że odległość przestrzenna wpływała na szybkie i przyrostowe czytanie zdań, nawet jeśli zdania nie odnosiły się do obiektów w filmie. Filmy wyraźnie modulowały czas czytania w funkcji zgodności między dystansem przestrzennym a semantycznymi i społecznymi aspektami znaczenia zdań. Efekty te pojawiły się zarówno w czasie czytania pierwszego przejścia (czas trwania pierwszej inspekcji wcześniej ustalonego obszaru zdania), jak i w całkowitym czasie spędzonym na tym obszarze zdania (patrz Rysunek 3 dla ilustracji wyników badań Guerra i Knoeferle)32. Jednak analizy ujawniły również znaczne różnice między uczestnikami, co prowadzi do wniosku, że takie subtelne efekty odległości od kart mogą nie być tak silne, jak efekty relacji czasownik-czynność, by wymienić tylko jeden przykład.

Kolejny zestaw badań ilustruje, jak różnorodność w strukturze zdania może pomóc w ocenie ogólności efektów kontekstu wizualnego. Abashidze i współpracownicy34 oraz Rodríguez i współpracownicy26 zbadali wpływ ostatnich działań na późniejsze przetwarzanie wypowiadanych zdań. W obu badaniach uczestnicy najpierw obejrzeli film z akcją (np. eksperymentator aromatyzujący ogórki lub kobiece dłonie piekące ciasto). Następnie wysłuchali niemieckiego zdania, które było albo związane z ostatnią akcją, albo z inną czynnością, która może być wykonana w następnej kolejności (aromatyzowanie pomidorów34; building a model26). Podczas rozumienia uczestnicy obejrzeli scenę przedstawiającą dwa obiekty (ogórki, pomidory)34 lub dwie fotografie twarzy agenta (twarz agenta płci żeńskiej i męskiej, odpowiednio o imionach "Susanna" i "Thomas")26. W badaniu przeprowadzonym przez Abaszydze i współpracowników34, mówca najpierw wspomniał o eksperymentatorze, a następnie o czasowniku (np. aromatyzowanie), wywołując oczekiwania co do tematu (np. ogórki lub pomidory). W badaniu przeprowadzonym przez Rodrígueza i współpracowników26 prelegent najpierw wspomniał o temacie (ciasto), a następnie o czasowniku (pieczenie), wywołując oczekiwania co do podmiotu działania (kobieta: Susanna lub mężczyzna: Thomas, przedstawiony na zdjęciach twarzy kobiety i mężczyzny).

W obu badaniach pytanie dotyczyło, czy ludzie (wizualnie) przewidzą temat/czynnik ostatniego wydarzenia, czy też inny temat/agenta na podstawie dalszych wskazówek kontekstowych dostarczonych podczas zrozumienia. W Abashidze and collaborators34 wzrok eksperymentatora wskazywał na przyszły obiekt tematyczny (pomidory) od początku czasownika (dosłownie tłumaczonego z niemieckiego: 'Eksperymentator-agent smakuje wkrótce...'). W sprawie Rodríguez and collaborators26 wiedza o płci na temat stereotypowych działań stała się dostępna, gdy wspomniano o temacie i czasowniku (np. dosłowne tłumaczenie niemieckich bodźców brzmiało: "The cake-theme bakes soon ..."). W obu zestawach badań uczestnicy preferencyjnie sprawdzali cel/czynnik ostatniej akcji (cucumbers34 lub Susanna26) w stosunku do alternatywnego celu (przyszłego/innej płci) (tomatoes34 lub Thomas26) podczas zdania.

Ta tak zwana preferencja dotycząca ostatnich wydarzeń' wydaje się być zatem solidna pomimo znacznych różnic w strukturze zdań i materiałach eksperymentalnych. Był on jednak modulowany przez ograniczenia wizualne ze strony współbieżnej sceny26, tak że prezentowanie wiarygodnych zdjęć tematów czasowników wraz z płciowymi zdjęciami agentów zmniejszyło zależność od ostatnio zbadanych zdarzeń akcji i modulowało uwagę w oparciu o wiedzę o stereotypach płci przekazywaną przez język. Rysunek 4 ilustruje główne wyniki eksperymentów przeprowadzonych przez Rodrígueza i współpracowników26.

Podczas gdy ta wersja paradygmatu świata wizualnego przyniosła solidne wyniki, inne badania podkreśliły złożoność (i ograniczenia) hipotezy łączącej. Burigo i Knoeferle20 odkryli, że uczestnicy – słuchając wypowiedzi takich jak Die Box ist über der Wurst ("Pudełko jest nad kiełbasą") – w większości podążali za wypowiedzią, sprawdzając clipartowe przedstawienia tych obiektów. Jednak w przypadku pewnej części prób wzrok uczestników odłączył się od tego, co zostało wspomniane. Po usłyszeniu słowa "kiełbasa" i przynajmniej jednokrotnym sprawdzeniu kiełbasy, uczestnicy podczas następnej kontroli wracali do pudełka w około 21% prób w przyspieszonej weryfikacji (Eksperyment 1) i w 90% prób w weryfikacji po zdaniu (Eksperyment 2). Ten wzorzec spojrzenia sugeruje, że odniesienie (słyszenie "kiełbasa") kierowało tylko niektórymi (oglądanie kiełbasy), ale nie wszystkimi ruchami gałek ocznych (oglądanie pudełka). Tego rodzaju konstrukcja może być wykorzystana do oddzielenia procesów leksykalno-referencyjnych od innych procesów (w tym interpretacyjnych na poziomie zdań). Badacze muszą jednak zachować ostrożność przy formułowaniu twierdzeń o różnych poziomach przetwarzania językowego w oparciu o względne różnice w proporcjach ruchu gałek ocznych, biorąc pod uwagę niejednoznaczność w łączeniu wzroku wzrokowego z procesami poznawczymi i rozumienia.

figure-results-1
Rysunek 1: Omówienie środowiska gromadzenia danych. Wykres pokazuje, w jaki sposób różne elementy oprogramowania i sprzętu używane do zbierania i wstępnego przetwarzania danych są ze sobą powiązane. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-2
Rysunek 2: Reprezentatywne wyniki Münster i współpracowników37. Panele te pokazują średnie stosunki prawdopodobieństwa logarytmicznego spojrzenia według tematu na warunek w regionie czasownika (dla przedstawionej czynności) oraz w połączonym regionie czasownik-przysłówek (dla efektu emocjonalnej liczby pierwszej). Wyniki wskazują na znacznie wyższy odsetek spojrzeń w kierunku obrazu docelowego, gdy czynność wspomniana w zdaniu została przedstawiona, niż gdy nie została przedstawiona. Wyniki dotyczące efektu emocjonalnych prime'ów twarzy były mniej jednoznaczne: sugerują tylko niewielki wzrost stosunku średniologarytmicznej spojrzeń do celu, gdy pierwsza część twarzy miała pozytywną wartościowość emocjonalną (uśmiech) niż wtedy, gdy miała negatywną wartościowość (smutna twarz). Słupki błędu reprezentują błąd standardowy średniej. Rysunek ten został zmodyfikowany na podstawie Münster et al.37. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-3
Rysunek 3: Reprezentatywne wyniki Guerra i Knoeferle32. Ten panel pokazuje średni czas czytania pierwszego przejścia (w milisekundach) przymiotnika (nie)podobieństwo. Wyniki pokazują krótszy czas czytania zdań podobieństwa po zobaczeniu, jak dwie karty do gry zbliżają się do siebie w porównaniu z dalszymi od siebie. Słupki błędu reprezentują błąd standardowy średniej. Ten rysunek został zmodyfikowany z Guerra and Knoeferle32. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-4
Rysunek 4: Reprezentatywne wyniki Rodrígueza i współpracowników26. Ten panel pokazuje średnie współczynniki prawdopodobieństwa logarytmu spojrzenia według tematu na warunek w regionie czasownika. Proporcje wyglądów powyżej 0 wskazują preferencję dla obrazu agenta docelowego, a proporcje poniżej 0 pokazują preferencję dla obrazu agenta konkurencji. Wyniki pokazują, że uczestnicy byli bardziej skłonni do sprawdzenia obrazu agenta docelowego, gdy dopełnienie i czasownik wymienione w zdaniu pasowały do poprzednich nagranych zdarzeń, niż gdy tego nie robili. Dodatkowo, pojawiło się więcej spojrzeń w kierunku wizerunku agenta docelowego, gdy działanie opisane w zdaniu było zgodne ze stereotypami płciowymi. Słupki błędu reprezentują błąd standardowy średniej. Rysunek ten został zmodyfikowany na podstawie decyzji Rodrígueza i wsp.26. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Podsumowując, przeanalizowane warianty śledzenia ruchu gałek ocznych w kontekstach wizualnych ujawniły wiele sposobów, w jakie scena wizualna może wpływać na rozumienie języka. Metoda ta zapewnia kluczowe korzyści w porównaniu z metodami takimi jak pomiar czasu reakcji. Na przykład ciągłe ruchy gałek ocznych dają nam wgląd w procesy rozumienia języka i to, jak wpływają one na nasze postrzeganie świata wizualnego w czasie. Co więcej, uczestnicy niekoniecznie muszą wykonywać wyraźne zadanie podczas rozumienia języka (takie jak ocena gramatyczności zdania za pomocą naciśnięcia przycisku). Dzięki temu naukowcy mogą stosować tę metodę w populacjach, które mogą zmagać się z jawnymi reakcjami behawioralnymi innymi niż wzrok wzrokowy, takich jak niemowlęta, dzieci i, w niektórych przypadkach, osoby starsze. Śledzenie ruchu gałek ocznych jest uzasadnione ekologicznie, ponieważ odzwierciedla reakcje uwagi uczestników – podobnie jak wizualne zapytywanie przez ludzi o rzeczy istotne z punktu widzenia komunikacji w otaczającym ich świecie podczas mniej lub bardziej uważnego słuchania rozwijających się wypowiedzi.

Jedną z granic (a może cech charakterystycznych) paradygmatu świata wizualnego jest to, że nie wszystkie wydarzenia da się przedstawić w prosty i jednoznaczny sposób. Konkretne przedmioty i wydarzenia można oczywiście przedstawić. Ale to, w jaki sposób najlepiej przedstawia się abstrakcyjne pojęcia, jest mniej jasne. Może to ograniczać (lub definiować) wgląd w interakcję między przetwarzaniem języka a percepcją świata wizualnego za pomocą paradygmatu świata wizualnego śledzącego ruch gałek ocznych. Kolejne wyzwania wiążą się z powiązaniem hipotez między obserwowanym zachowaniem a procesami rozumienia. Fiksacje wzroku to pojedyncza reakcja behawioralna, która prawdopodobnie odzwierciedla wiele podprocesów podczas rozumienia języka (np. dostęp leksykalny, procesy referencyjne, oczekiwania zapośredniczone przez język, efekty kontekstu wizualnego). Biorąc pod uwagę ten wgląd, naukowcy muszą być ostrożni, aby nie zinterpretować nadmiernie lub błędnie zaobserwowanego wzorca spojrzenia. Aby rozwiązać ten problem, wcześniejsze badania podkreśliły rolę podzadań rozumienia w wyjaśnianiu interpretacji zapisu spojrzenia40.

Jednym ze sposobów na zwiększenie możliwości interpretacji ruchów gałek ocznych jest zintegrowanie ich z innymi pomiarami, takimi jak potencjały mózgu związane ze zdarzeniami (ERP). Badając to samo zjawisko za pomocą dwóch metod, które są porównywalne pod względem szczegółowości czasowej i komplementarne pod względem hipotez łączących, badacze mogą wykluczyć alternatywne wyjaśnienia swoich wyników i wzbogacić interpretację każdego indywidualnego pomiaru41. Podejście to było kontynuowane w eksperymentach43, ale ostatnio również w ramach jednego eksperymentu (choć w kontekstach ściśle językowych)44. Przyszłe badania mogą odnieść ogromne korzyści z takiej integracji metodologicznej i ciągłego łączenia z zadaniami popróbowymi i poeksperymentalnymi.

Metoda śledzenia ruchu gałek ocznych może powielić ustalone wyniki, a także przetestować nowe hipotezy dotyczące interakcji uwagi wzrokowej w scenach ze zrozumieniem języka. Procedura opisana w protokole musi być dokładnie przestrzegana, ponieważ nawet drobne błędy eksperymentatora mogą wpłynąć na jakość danych. Na przykład w badaniach nad czytaniem odpowiednie obszary analizy to często pojedyncze słowa lub nawet litery, co oznacza, że nawet niewielkie błędy kalibracji mogą zniekształcić wyniki (patrz artykuł Raneya i współpracowników42). Kroki 1.4 i 1.5 protokołu, kalibracja urządzenia śledzącego ruch gałek ocznych i kontrola dryftu/korekta dryfu, mają szczególne znaczenie, ponieważ mają bezpośredni wpływ na dokładność zapisu. Nieprawidłowa kalibracja urządzenia śledzącego ruch gałek ocznych może spowodować, że monitor nie będzie dokładnie śledził ruchów gałek ocznych w ustalonych wcześniej obszarach zainteresowania. Takie niepowodzenie śledzenia doprowadzi do brakujących punktów danych i utraty mocy statystycznej, co może być problematyczne podczas badania relacji między światem a językiem, które są bardzo subtelne i dają małe rozmiary efektu statystycznego (patrz opis eksperymentów Guerry i Knoeferle'a32 oraz Münstera i współpracowników37 wśród wyników reprezentatywnych).

Biorąc pod uwagę potrzebę maksymalizacji mocy i czułości sprzętu, ważne jest, aby eksperymentatorzy wiedzieli, jak radzić sobie z problemami, które rutynowo występują podczas sesji eksperymentalnej. Na przykład położenie źrenicy i ruch uczestników noszących okulary mogą powodować trudności z kalibracją z powodu odbić światła na soczewkach okularów uczestnika. Jednym ze sposobów rozwiązania tego problemu jest odbicie lustrzane obrazu oka uczestnika na komputerze z wyświetlaczem i zachęcenie go do poruszania głową, aż odbicie światła na okularach nie będzie już widoczne na ekranie, co oznacza, że nie będzie już rejestrowane przez kamerę. Kolejną przyczyną niepowodzenia kalibracji może być zwężenie źrenicy, które może być konsekwencją nadmiernej ekspozycji na światło. W takim przypadku przyciemnienie światła w laboratorium zwiększy rozszerzenie źrenicy, a tym samym pomoże urządzeniu śledzącemu ruch gałek ocznych w dokładnym wykryciu źrenicy.

Na zakończenie chcielibyśmy zwrócić uwagę na potencjał, jaki paradygmat świata wizualnego ma dla badań nad uczeniem się języków obcych. Paradygmat ten został już z powodzeniem wykorzystany w badaniach psycholingwistycznych do badania zjawisk takich jak interakcja leksykalna i fonologiczna między językami 46,47,48. Ponadto ścisły związek między uwagą wzrokową a uczeniem się języków obcych był często podkreślany w literaturze lingwistyki stosowanej dotyczącej przyswajania drugiego języka 49,50,51. Przyszłe badania nad nauką drugiego języka będą prawdopodobnie nadal korzystać z korzystnej pozycji śledzenia ruchu gałek ocznych jako metody zapewniającej wskaźnik uwagi wzrokowej w rozdzielczości milisekundowej.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy nie mają nic do ujawnienia.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

To badanie zostało sfinansowane przez ZuKo (Inicjatywa Doskonałości, Humboldt-Universität zu Berlin), Klaster Doskonałości 277 'Technologia interakcji kognitywnej' (Niemiecka Rada ds. Badań Naukowych, DFG) oraz przez Siódmy Program Ramowy Unii Europejskiej w zakresie badań, rozwoju technologicznego i demonstracji na podstawie umowy o grant nr 316748 (LanPercept). Autorzy dziękują również za wsparcie ze strony Funduszy Podstawowych dla Centrów Doskonałości, projektu FB0003 z Programu Badań Stowarzyszeniowych CONICYT (rząd Chile) oraz projektu "FoTeRo" w centrum Focus XPrag (DFG). Pia Knoeferle dostarczyła pierwszy szkic artykułu oparty na protokole laboratoryjnym, który Helene Kreysa stworzyła na Uniwersytecie w Bielefeld i który jest nadal używany na Uniwersytecie Humboldta w Berlinie. Wszyscy autorzy przyczynili się do powstania treści, dostarczając informacji na temat metod i wyników w takiej czy innej formie. Camilo Rodríguez Ronderos i Pia Knoeferle koordynowali wkład autorów i w dwóch wersjach znacznie poprawili pierwotny projekt. Ernesto Guerra stworzył rysunki 2-4 w oparciu o wkład Katji Münster, Alby Rodríguez i Ernesto Guerry. Helene Kreysa dostarczyła rysunek 1, a Pia Knoeferle go zaktualizowała. Część przedstawionych wyników została opublikowana w czasopiśmie Proceedings of the Annual Meeting of the Cognitive Science Society.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Okulisty eye-tracker montowany na biurku, w tym podpórka pod głowę/podbródekSR Research Ltd.EyeLink 1000 plushttp://www.sr-research.com/eyelink1000plus.html
Oprogramowanie do zaprojektowania i przeprowadzenia eksperymentu okulograficznegoSR Research Sp. z o.o.Konstruktor eksperymentówhttp://www.sr-research.com/eb.html

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).">Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
  2. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).">Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
  3. In What is a Context? Linguistic Approaches and Challenges. Finkbeiner, R., Meibauer, J., Schumacher, P. B. , John Benjamins Publishing Company. Amsterdam, The Netherlands. 129-150 (2012).">Knoeferle, P., Guerra, E. What is non-linguistic context? A view from language comprehension. In What is a Context? Linguistic Approaches and Challenges. Finkbeiner, R., Meibauer, J., Schumacher, P. B. , John Benjamins Publishing Company. Amsterdam, The Netherlands. 129-150 (2012).
  4. Visually situated language comprehension. Language and Linguistics Compass. 10 (2), 66-82 (2016).">Knoeferle, P., Guerra, E. Visually situated language comprehension. Language and Linguistics Compass. 10 (2), 66-82 (2016).
  5. A theory of reading: From eye fixations to comprehension. Psychological Review. 87 (4), 329-354 (1980).">Just, M. A., Carpenter, P. A. A theory of reading: From eye fixations to comprehension. Psychological Review. 87 (4), 329-354 (1980).
  6. Saccade target selection and object recognition: Evidence for a common attentional mechanism. Vision Research. 36 (12), 1827-1837 (1996).">Deubel, H., Schneider, W. X. Saccade target selection and object recognition: Evidence for a common attentional mechanism. Vision Research. 36 (12), 1827-1837 (1996).
  7. Eye movements in reading and information processing: 20 years of research. Psychological Bulletin. 124 (3), 372-422 (1998).">Rayner, K. Eye movements in reading and information processing: 20 years of research. Psychological Bulletin. 124 (3), 372-422 (1998).
  8. Achieving incremental semantic interpretation through contextual representation. Cognition. 71 (2), 109-147 (1999).">Sedivy, J. C., Tanenhaus, M. K., Chambers, C. G., Carlson, G. N. Achieving incremental semantic interpretation through contextual representation. Cognition. 71 (2), 109-147 (1999).
  9. Integration of syntactic and semantic information in predictive processing: Cross-linguistic evidence from German and English. Journal of Psycholinguistic Research. 32 (1), 37-55 (2003).">Kamide, Y., Scheepers, C., Altmann, G. T. Integration of syntactic and semantic information in predictive processing: Cross-linguistic evidence from German and English. Journal of Psycholinguistic Research. 32 (1), 37-55 (2003).
  10. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).">Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
  11. Eye movements and lexical access in spoken-language comprehension: Evaluating a linking hypothesis between fixations and linguistic processing. Journal of Psycholinguistic Research. 29 (6), 557-580 (2000).">Tanenhaus, M. K., Magnuson, J. S., Dahan, D., Chambers, C. Eye movements and lexical access in spoken-language comprehension: Evaluating a linking hypothesis between fixations and linguistic processing. Journal of Psycholinguistic Research. 29 (6), 557-580 (2000).
  12. The rapid use of gender information: Evidence of the time course of pronoun resolution from eyetracking. Cognition. 76 (1), B13-B26 (2000).">Arnold, J. E., Eisenband, J. G., Brown-Schmidt, S., Trueswell, J. C. The rapid use of gender information: Evidence of the time course of pronoun resolution from eyetracking. Cognition. 76 (1), B13-B26 (2000).
  13. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology: Learning, Memory, and Cognition. 30 (3), 687-696 (2004).">Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology: Learning, Memory, and Cognition. 30 (3), 687-696 (2004).
  14. Eye movements and spoken language comprehension: Effects of visual context on syntactic ambiguity resolution. Cognitive Psychology. 45 (4), 447-481 (2002).">Spivey, M. J., Tanenhaus, M. K., Eberhard, K. M., Sedivy, J. C. Eye movements and spoken language comprehension: Effects of visual context on syntactic ambiguity resolution. Cognitive Psychology. 45 (4), 447-481 (2002).
  15. Online interpretation of scalar quantifiers: Insight into the semantics-pragmatics interface. Cognitive Psychology. 58 (3), 376-415 (2009).">Huang, Y. T., Snedeker, J. Online interpretation of scalar quantifiers: Insight into the semantics-pragmatics interface. Cognitive Psychology. 58 (3), 376-415 (2009).
  16. The kindergarten-path effect: studying online sentence processing in young children. Cognition. 73 (2), 89-134 (1999).">Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying online sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
  17. The influence of the immediate visual context on incremental thematic role-assignment: evidence from eye movements in depicted events. Cognition. 95 (1), 95-127 (2005).">Knoeferle, P., Crocker, M. W., Scheepers, C., Pickering, M. J. The influence of the immediate visual context on incremental thematic role-assignment: evidence from eye movements in depicted events. Cognition. 95 (1), 95-127 (2005).
  18. Incremental Effects of Mismatch during Picture-Sentence Integration: Evidence from Eye-tracking. Proceedings of the 26th Annual Conference of the Cognitive Science Society. , Stresa, Italy. 1166-1171 (2005).">Knoeferle, P., Crocker, M. W. Incremental Effects of Mismatch during Picture-Sentence Integration: Evidence from Eye-tracking. Proceedings of the 26th Annual Conference of the Cognitive Science Society. , Stresa, Italy. 1166-1171 (2005).
  19. The role of the center-of-mass in evaluating spatial language. Proceedings of the 13th Biannual Conference of the German Society for Cognitive Science. , Bremen, Germany. 11-14 (2016).">Kluth, T., Burigo, M., Schultheis, H., Knoeferle, P. The role of the center-of-mass in evaluating spatial language. Proceedings of the 13th Biannual Conference of the German Society for Cognitive Science. , Bremen, Germany. 11-14 (2016).
  20. Visual attention during spatial language comprehension. PLoS One. 10 (1), (2015).">Burigo, M., Knoeferle, P. Visual attention during spatial language comprehension. PLoS One. 10 (1), (2015).
  21. How Do Static and Dynamic Emotional Faces Prime Incremental Semantic Interpretation? Comparing Older and Younger Adults. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2675-2680 (2014).">Münster, K., Carminati, M. N., Knoeferle, P. How Do Static and Dynamic Emotional Faces Prime Incremental Semantic Interpretation? Comparing Older and Younger Adults. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2675-2680 (2014).
  22. Kroeger, J. M., Münster, K., Knoeferle, P. Do Prosody and Case Marking influence Thematic Role Assignment in Ambiguous Action Scenes? Proceedings of the 39th Annual Meeting of the Cognitive Science Society. , London, UK. 2463-2468 (2017).
  23. The influence of recent scene events on spoken comprehension: evidence from eye movements. Journal of Memory and Language. 57 (4), 519-543 (2007).">Knoeferle, P., Crocker, M. W. The influence of recent scene events on spoken comprehension: evidence from eye movements. Journal of Memory and Language. 57 (4), 519-543 (2007).
  24. Preferential inspection of recent real-world events over future events: evidence from eye tracking during spoken sentence comprehension. Frontiers in Psychology. 2, 376(2011).">Knoeferle, P., Carminati, M. N., Abashidze, D., Essig, K. Preferential inspection of recent real-world events over future events: evidence from eye tracking during spoken sentence comprehension. Frontiers in Psychology. 2, 376(2011).
  25. How robust is the recent-event preference? Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 92-97 (2014).">Abashidze, D., Knoeferle, P., Carminati, M. N. How robust is the recent-event preference? Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 92-97 (2014).
  26. Visual constraints modulate stereotypical predictability of agents during situated language comprehension. Proceedings of the 38th Annual Meeting of the Cognitive Science Society. , Philadelphia, USA. 580-585 (2016).">Rodríguez, A., Burigo, M., Knoeferle, P. Visual constraints modulate stereotypical predictability of agents during situated language comprehension. Proceedings of the 38th Annual Meeting of the Cognitive Science Society. , Philadelphia, USA. 580-585 (2016).
  27. Visual Context Effects on Thematic Role Assignment in Children versus Adults: Evidence from Eye Tracking in German. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 2593-2598 (2012).">Zhang, L., Knoeferle, P. Visual Context Effects on Thematic Role Assignment in Children versus Adults: Evidence from Eye Tracking in German. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 2593-2598 (2012).
  28. The role of recent versus future events in children's comprehension of referentially ambiguous sentences: Evidence from eye tracking. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1227-1232 (2012).">Zhang, L., Kornbluth, L., Knoeferle, P. The role of recent versus future events in children's comprehension of referentially ambiguous sentences: Evidence from eye tracking. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1227-1232 (2012).
  29. Situated language processing across the lifespan: A review. International Journal of English Linguistics. 7 (1), 1-13 (2017).">Münster, K., Knoeferle, P. Situated language processing across the lifespan: A review. International Journal of English Linguistics. 7 (1), 1-13 (2017).
  30. Predictive Use of German Case Markers in German Children. Proceedings of the 40th Annual Boston University Conference on Language Development. , Somerville, USA. 291-303 (2016).">Özge, D., et al. Predictive Use of German Case Markers in German Children. Proceedings of the 40th Annual Boston University Conference on Language Development. , Somerville, USA. 291-303 (2016).
  31. The role of prosody in the interpretation of structural ambiguities: A study of anticipatory eye movements. Cognition. 99 (2), B63-B72 (2006).">Weber, A., Grice, M., Crocker, M. W. The role of prosody in the interpretation of structural ambiguities: A study of anticipatory eye movements. Cognition. 99 (2), B63-B72 (2006).
  32. Guerra, E., Knoeferle, P. Effects of object distance on incremental semantic interpretation: similarity is closeness. Cognition. 133 (3), 535-552 (2014).
  33. Effects of speaker gaze versus depicted actions on visual attention during sentence comprehension. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2513-2518 (2014).">Kreysa, H., Knoeferle, P., Nunnemann, E. Effects of speaker gaze versus depicted actions on visual attention during sentence comprehension. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2513-2518 (2014).
  34. Eye-tracking situated language comprehension: Immediate actor gaze versus recent action events. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 31-36 (2015).">Abashidze, D., Knoeferle, P., Carminati, M. N. Eye-tracking situated language comprehension: Immediate actor gaze versus recent action events. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 31-36 (2015).
  35. A Group-Test for Assessing Hand- and Eye-Dominance. The American Journal of Psychology. 75 (2), 271-276 (1962).">Crovitz, H. F., Zener, K. A Group-Test for Assessing Hand- and Eye-Dominance. The American Journal of Psychology. 75 (2), 271-276 (1962).
  36. Eye preference within the context of binocular functions. Graefe's Arch Clin Exp Ophthalmol. 243, 926(2005).">Ehrenstein, W. H., Arnold-Schulz-Gahmen, B. E., Jaschinski, W. Eye preference within the context of binocular functions. Graefe's Arch Clin Exp Ophthalmol. 243, 926(2005).
  37. The Effect of Facial Emotion and Action Depiction on Situated Language Processing. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 1673-1678 (2015).">Münster, K., Carminati, M. N., Knoeferle, P. The Effect of Facial Emotion and Action Depiction on Situated Language Processing. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 1673-1678 (2015).
  38. Metaphors We Live By. , University of Chicago Press. Chicago, USA. (1980).">Lakoff, G., Johnson, M. Metaphors We Live By. , University of Chicago Press. Chicago, USA. (1980).
  39. Visually perceived spatial distance affects the interpretation of linguistically mediated social meaning during online language comprehension: An eye tracking reading study. Journal of Memory and Language. 92, 43-56 (2017).">Guerra, E., Knoeferle, P. Visually perceived spatial distance affects the interpretation of linguistically mediated social meaning during online language comprehension: An eye tracking reading study. Journal of Memory and Language. 92, 43-56 (2017).
  40. Effects of speaker gaze on spoken language comprehension: task matters. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1557-1562 (2012).">Kreysa, H., Knoeferle, P. Effects of speaker gaze on spoken language comprehension: task matters. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1557-1562 (2012).
  41. Towards a cognitive neuroscience of natural language use. Roel, W. , Cambridge University Press. Cambridge, UK. 77-100 (2015).">Knoeferle, P. Language comprehension in rich non-linguistic contexts: Combining eye tracking and event-related brain potentials. Towards a cognitive neuroscience of natural language use. Roel, W. , Cambridge University Press. Cambridge, UK. 77-100 (2015).
  42. Using eye movements to evaluate cognitive processes involved in text comprehension. Journal of Visualized Experiments. (83), e50780(2014).">Raney, G. E., Campell, S. J., Bovee, J. C. Using eye movements to evaluate cognitive processes involved in text comprehension. Journal of Visualized Experiments. (83), e50780(2014).
  43. Visual scenes trigger immediate syntactic reanalysis: evidence from ERPs during situated spoken comprehension. Cerebral Cortex. 18 (4), 789-795 (2008).">Knoeferle, P., Habets, B., Crocker, M. W., Muente, T. F. Visual scenes trigger immediate syntactic reanalysis: evidence from ERPs during situated spoken comprehension. Cerebral Cortex. 18 (4), 789-795 (2008).
  44. Coregistration of eye movements and EEG in natural reading: Analyses and review. Journal of Experimental Psychology: General. 140 (4), 552-572 (2011).">Dimigen, O., Sommer, W., Hohlfeld, A., Jacobs, A. M., Kliegl, R. Coregistration of eye movements and EEG in natural reading: Analyses and review. Journal of Experimental Psychology: General. 140 (4), 552-572 (2011).
  45. Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension? Frontiers in Psychology. 3, 538(2012).">Knoeferle, P., Kreysa, H. Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension? Frontiers in Psychology. 3, 538(2012).
  46. Lexical competition during second-language listening: Sentence context, but not proficiency, constrains interference from the native lexicon. Journal of Experimental Psychology: Learning, Memory, and Cognition. 35 (4), 1029(2009).">Chambers, C. G., Cooke, H. Lexical competition during second-language listening: Sentence context, but not proficiency, constrains interference from the native lexicon. Journal of Experimental Psychology: Learning, Memory, and Cognition. 35 (4), 1029(2009).
  47. Visual word recognition by bilinguals in a sentence context: Evidence for nonselective lexical access. Journal of Experimental Psychology: Learning, Memory, and Cognition. 33 (4), 663(2007).">Duyck, W., Van Assche, E., Drieghe, D., Hartsuiker, R. J. Visual word recognition by bilinguals in a sentence context: Evidence for nonselective lexical access. Journal of Experimental Psychology: Learning, Memory, and Cognition. 33 (4), 663(2007).
  48. Lexical competition in non-native spoken-word recognition. Journal of Memory and Language. 50 (1), 1-25 (2004).">Weber, A., Cutler, A. Lexical competition in non-native spoken-word recognition. Journal of Memory and Language. 50 (1), 1-25 (2004).
  49. Young second language learners' visual attention to illustrations in storybooks. Journal of Early Childhood Literacy. 11 (4), 480-500 (2011).">Verhallen, M. J., Bus, A. Young second language learners' visual attention to illustrations in storybooks. Journal of Early Childhood Literacy. 11 (4), 480-500 (2011).
  50. Attention and awareness in second language acquisition. The Routledge Handbook of Second Language Acquisition. , 247-267 (2012).">Robinson, P., Mackey, A., Gass, S. M., Schmidt, R. Attention and awareness in second language acquisition. The Routledge Handbook of Second Language Acquisition. , 247-267 (2012).
  51. Attention in cognitive science and second language acquisition. Studies in Second Language Acquisition. 16 (2), 183-203 (1994).">Tomlin, R. S., Villa, V. Attention in cognitive science and second language acquisition. Studies in Second Language Acquisition. 16 (2), 183-203 (1994).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Eye TrackingVisual ContextLanguage ComprehensionOcular DominanceCorneal ReflectionPupil TrackingCalibration ProcedureGaze PatternsSpoken LanguageSituated Reading

Related Articles