Artykuł metodologiczny

Wykorzystanie ruchów gałek ocznych zarejestrowanych w paradygmacie świata wizualnego do zbadania przetwarzania języka mówionego online

DOI:

10.3791/58086

⸱

13 października 2018

1Institute for Speech Pathology and the Brain Science, School of Communication Science, Beijing Language and Culture University

W tym artykule

Podsumowanie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Paradygmat świata wizualnego monitoruje ruchy gałek ocznych uczestników w przestrzeni wizualnej, gdy słuchają lub mówią w języku mówionym. Paradygmat ten może być wykorzystany do zbadania przetwarzania online szerokiego zakresu pytań psycholingwistycznych, w tym stwierdzeń semantycznie złożonych, takich jak zdania rozłączne.

Streszczenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W typowym badaniu śledzenia ruchu gałek ocznych z wykorzystaniem paradygmatu świata wizualnego, ruchy gałek ocznych uczestników do obiektów lub obrazów w wizualnej przestrzeni roboczej są rejestrowane za pomocą eye trackera, gdy uczestnik tworzy lub rozumie język mówiony opisujący jednocześnie świat wizualny. Ten paradygmat ma dużą wszechstronność, ponieważ może być stosowany w szerokim zakresie populacji, w tym u tych, którzy nie potrafią czytać i/lub nie mogą jawnie reagować behawioralnie, takich jak dzieci w wieku przedpiśmiennym, osoby starsze i pacjenci. Co ważniejsze, paradygmat ten jest niezwykle wrażliwy na precyzyjne manipulacje sygnałem mowy i może być używany do badania przetwarzania online większości tematów ze rozumienia języka na wielu poziomach, takich jak drobnoziarniste akustyczne cechy fonetyczne, właściwości słów i struktury językowe. Protokół opisany w tym artykule ilustruje, w jaki sposób przeprowadza się typowe badanie śledzenia ruchu gałek ocznych w świecie wizualnym, na przykładzie pokazującym, w jaki sposób przetwarzanie online niektórych semantycznie złożonych stwierdzeń może być badane za pomocą paradygmatu świata wizualnego.

Wprowadzenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Język mówiony to szybki, ciągły przepływ informacji, który natychmiast znika. Wyzwaniem jest eksperymentalne zbadanie tego czasowego, szybko zmieniającego się sygnału mowy. Ruchy gałek ocznych zarejestrowane w paradygmacie świata wizualnego mogą być wykorzystane do pokonania tego wyzwania. W typowym badaniu eyetrackingowym wykorzystującym paradygmat świata wizualnego, ruchy gałek ocznych uczestników w stosunku do obrazów na wyświetlaczu lub rzeczywistych obiektów w wizualnej przestrzeni roboczej są monitorowane podczas słuchania lub tworzenia języka mówionego przedstawiającego zawartość świata wizualnego1,2,3,4. Podstawową logiką lub hipotezą łączącą ten paradygmat jest to, że zrozumienie lub zaplanowanie wypowiedzi (jawnie lub ukrycie) przeniesie uwagę wzrokową uczestników na określony obiekt w świecie wizualnym. To przesunięcie uwagi będzie miało duże prawdopodobieństwo, że zainicjuje sakkadowy ruch gałek ocznych, aby wprowadzić obserwowany obszar do widzenia dołka. Dzięki temu paradygmatowi naukowcy zamierzają określić, w którym momencie czasowym, w odniesieniu do jakiegoś akustycznego punktu orientacyjnego w sygnale mowy, następuje zmiana uwagi wzrokowej uczestnika, mierzona wychylnym ruchem gałek ocznych do obiektu lub obrazu w świecie wizualnym. Kiedy i gdzie uruchamiane są sakkadowe ruchy gałek ocznych w stosunku do sygnału mowy, wykorzystuje się je do wydedukowania przetwarzania języka online. Paradygmat świata wizualnego może być używany do badania zarówno rozumienia języka mówionego1,2, jak i production5,6. Ten artykuł metodologiczny skupi się na badaniach nad rozumieniem. W badaniu rozumienia z wykorzystaniem paradygmatu świata wizualnego ruchy gałek ocznych uczestników na wyświetlaczu wizualnym są monitorowane, gdy słuchają wypowiedzi mówionych mówiących o wyświetlaczu wizualnym.

W historii zaprojektowano różne systemy śledzenia ruchu gałek ocznych. Najprostszym, najtańszym i najbardziej przenośnym systemem jest po prostu zwykła kamera wideo, która rejestruje obraz oczu uczestnika. Ruchy gałek ocznych są następnie ręcznie kodowane poprzez analizę nagrania wideo klatka po klatce. Jednak częstotliwość próbkowania takiego eye-trackera jest stosunkowo niska, a procedura kodowania jest czasochłonna. Tak więc współczesny komercyjny system śledzenia ruchu gałek ocznych zwykle wykorzystuje czujniki optyczne mierzące orientację oka na jego orbicie7,8,9. Aby zrozumieć, jak działa współczesny komercyjny system śledzenia ruchu gałek ocznych, należy wziąć pod uwagę następujące punkty. Po pierwsze, aby prawidłowo zmierzyć kierunek widzenia dołkowego, oświetlacz podczerwieni (zwykle o długości fali około 780-880 nm) jest zwykle umieszczany wzdłuż lub poza osią optyczną kamery, dzięki czemu obraz źrenicy jest wyraźnie jaśniejszy lub ciemniejszy niż otaczająca tęczówka. Obraz źrenicy i/lub odbicia rogówki źrenicy (zwykle pierwszy obraz Purkinjego) jest następnie wykorzystywany do obliczenia orientacji oka na jego orbicie. Po drugie, umiejscowienie wzroku w świecie wizualnym zależy nie tylko od orientacji oka w stosunku do głowy, ale także od orientacji głowy w stosunku do świata wizualnego. Aby dokładnie wywnioskować spojrzenie oparte na spojrzeniu na podstawie orientacji oka, źródło światła i kamera urządzeń śledzących ruch gałek ocznych są albo nieruchome względem głowy uczestników (urządzenia śledzące ruch gałek ocznych montowane na głowie), albo są nieruchome względem świata wizualnego (urządzenia śledzące ruch gałek ocznych montowane na stole lub zdalnie). Po trzecie, orientacja głowy uczestników musi być albo ustalona w stosunku do świata wizualnego, albo musi być kompensowana obliczeniowo, jeśli głowa uczestników może się swobodnie poruszać. Gdy zdalny eye-tracker jest używany w trybie swobodnego poruszania głową, pozycja głowy uczestników jest zwykle rejestrowana poprzez umieszczenie małej naklejki na czole uczestników. Orientacja głowy jest następnie obliczeniowo odejmowana od orientacji oka, aby uzyskać lokalizację spojrzenia w świecie wizualnym. Po czwarte, wymagany jest proces kalibracji i walidacji, aby odwzorować orientację oka na spojrzenie pełne szacunku w świecie wizualnym. W procesie kalibracji próbki fiksacji uczestników ze znanych punktów docelowych są rejestrowane w celu odwzorowania surowych danych wzrokowych na pozycję spojrzenia w świecie wizualnym. W procesie walidacji uczestnikom prezentowane są te same punkty docelowe, co w procesie kalibracji. Różnica istniejąca między obliczoną pozycją fiksacji na podstawie skalibrowanych wyników a rzeczywistą pozycją zfiksowanego celu w świecie wizualnym jest następnie wykorzystywana do oceny dokładności kalibracji. Aby jeszcze bardziej potwierdzić dokładność procesu mapowania, w każdej próbie zwykle stosuje się kontrolę dryftu, w której uczestnikom prezentowany jest pojedynczy cel fiksacji w celu zmierzenia różnicy między obliczoną pozycją fiksacji a rzeczywistą pozycją bieżącego celu.

Podstawowe dane z badania świata wizualnego to strumień miejsc spojrzenia w świecie wizualnym, zarejestrowany z częstotliwością próbkowania przez eye-tracker, obejmujący cały czas trwania próby lub jej część. Zmienną zależną używaną w badaniu świata wizualnego jest zazwyczaj proporcja próbek, w których fiksacje uczestników znajdują się w określonym regionie przestrzennym świata wizualnego w określonym oknie czasowym. Aby przeanalizować dane, należy najpierw wybrać okno czasowe, często nazywane okresami zainteresowania. Okno czasowe jest zazwyczaj ograniczone czasowo do prezentacji niektórych zdarzeń językowych w bodźcu słuchowym. Co więcej, świat wizualny musi również podzielić się na kilka regionów zainteresowania (ROI), z których każdy jest powiązany z jednym lub kilkoma obiektami. Jeden z takich obszarów zawiera obiekt odpowiadający prawidłowemu rozumieniu języka mówionego i dlatego często nazywany jest obszarem docelowym. Typowym sposobem wizualizacji danych jest wykres proporcji fiksacji, na którym dla każdego przedziału czasu proporcja próbek z wyglądem dla każdego obszaru zainteresowania jest uśredniana dla uczestników i pozycji.

Korzystając z danych uzyskanych z badania świata wizualnego, można odpowiedzieć na różne pytania badawcze: a) Na poziomie gruboziarnistym, czy na ruchy gałek ocznych uczestników w świecie wizualnym wpływają różne dźwiękowe bodźce językowe? b) Jeśli występuje efekt, jaka jest trajektoria efektu w trakcie badania? Czy jest to efekt liniowy, czy efekt wyższego rzędu? oraz c) Jeśli występuje skutek, to na poziomie drobnoziarnistym, kiedy jest najwcześniejszy punkt czasowy, w którym taki efekt się pojawia i jak długo ten efekt się utrzymuje?

Aby statystycznie przeanalizować wyniki, należy wziąć pod uwagę następujące punkty. Po pierwsze, zmienna zależna, tj. proporcje fiksacji, jest zarówno poniżej, jak i powyżej granicy (od 0 do 1), która będzie zgodna z rozkładem wielomianowym, a nie normalnym. Odtąd tradycyjne metody statystyczne oparte na rozkładzie normalnym, takie jak test t, ANOVA i modele liniowe (z efektem mieszanym), 10, nie mogą być bezpośrednio stosowane, dopóki proporcje nie zostaną przekształcone w zmienne nieograniczone, takie jak za pomocą empirycznej formuły logitowej11 lub nie zostaną zastąpione nieograniczonymi zmiennymi zależnymi, takimi jak Euclidean distance12. Można również stosować techniki statystyczne, które nie wymagają założenia rozkładu normalnego<, takie jak uogólnione modele liniowe (z efektem mieszanym), takie jak uogólnione modele liniowe (z efektem mieszanym), class="xref">13. Po drugie, aby zbadać zmieniającą się trajektorię obserwowanego efektu, do modelu należy dodać zmienną oznaczającą szereg czasowy. Ta zmienna szeregów czasowych jest pierwotnie punktami próbkowania urządzenia śledzącego ruch gałek ocznych dopasowanymi do początku danych wejściowych języka. Ponieważ zmieniająca się trajektoria zazwyczaj nie jest liniowa, funkcja wielomianowa wysokiego rzędu szeregów czasowych jest zwykle dodawana do (uogólnionego) modelu liniowego (z efektem mieszanym), tj. analizy krzywej wzrostu14. Co więcej, pozycja oczu uczestników w bieżącym punkcie próbkowania jest w dużym stopniu zależna od poprzednich punktów próbkowania, zwłaszcza gdy częstotliwość zapisu jest wysoka, co powoduje problem autokorelacji. Aby zmniejszyć autokorelację między sąsiednimi punktami próbkowania, oryginalne dane są często próbkowane w dół lub kategoryzowane. W ostatnich latach uogólnione addytywne modele mieszane (GAMM) były również wykorzystywane do rozwiązywania problemów z automatycznie skorelowanymi błędami12,15,16. Szerokość pojemników różni się w zależności od badania, od kilku milisekund do kilkuset milisekund. Najwęższy przedział, jaki może wybrać badanie, jest ograniczony częstotliwością próbkowania urządzenia śledzącego ruch gałek ocznych użytego w konkretnym badaniu. Na przykład, jeśli eye tracker ma częstotliwość próbkowania 500 Hz, to szerokość okna czasowego nie może być mniejsza niż 2 ms = 1000/500. Po trzecie, gdy analiza statystyczna jest wielokrotnie stosowana do każdego przedziału czasowego okresów będących przedmiotem zainteresowania, należy zająć się błędem rodzinnym wynikającym z tych wielokrotnych porównań. Jak opisaliśmy wcześniej, analiza trajektorii informuje badacza, czy efekt obserwowany na poziomie gruboziarnistym jest liniowy w odniesieniu do zmiany czasu, ale nie pokazuje, kiedy obserwowany efekt zaczyna się pojawiać i jak długo utrzymuje się obserwowany efekt. Aby określić pozycję czasową, w której obserwowana różnica zaczyna się rozchodzić, i aby określić czas trwania okresu czasowego, w którym trwa obserwowany efekt, należy wielokrotnie zastosować analizę statystyczną do każdego przedziału czasowego. Te wielokrotne porównania wprowadzą tzw. błąd rodzinny, bez względu na to, jaka metoda statystyczna zostanie zastosowana. Błąd rodzinny jest tradycyjnie korygowany za pomocą Bonferroni adjustment17. Ostatnio metoda zwana nieparametrycznym testem permutacji, pierwotnie stosowana w polu neuroobrazowania18, została zastosowana do wizualnego paradygmatu słownego19 w celu kontroli błędu rodzinnego.

Badacze korzystający z paradygmatu świata wizualnego zamierzają wywnioskować zrozumienie niektórych języków mówionych na podstawie ruchów gałek ocznych uczestników w świecie wizualnym. Aby zapewnić ważność tego wnioskowania, inne czynniki, które mogą wpływać na ruchy gałek ocznych, powinny być albo wykluczone, albo kontrolowane. Poniższe dwa czynniki należą do najczęstszych, które należy wziąć pod uwagę. Pierwszy czynnik obejmuje pewne systematyczne wzorce w fiksacjach wyjaśniających uczestników, niezależne od danych wejściowych języka, takie jak tendencja do fiksacji na lewym górnym kwadracie świata wizualnego i poruszanie oczami w kierunku poziomym jest łatwiejsze niż w kierunku pionowym, itp.12,20 Aby upewnić się, że obserwowane wzorce fiksacji są związane z obiektami, a nie z lokalizacjami przestrzennymi, w których znajdują się obiekty, pozycje przestrzenne obiektu powinny być równoważone w różnych próbach lub u różnych uczestników. Drugim czynnikiem, który może wpływać na ruchy gałek ocznych uczestników, są podstawowe cechy obrazu obiektów w świecie wizualnym, takie jak m.in. kontrast luminancji, kolor i orientacja krawędzi21. Aby zdiagnozować ten potencjalny czynnik zakłócający, obraz jest zwykle prezentowany przed wystąpieniem języka mówionego lub przed wystąpieniem krytycznego markera akustycznego języka mówionego, przez około 1000 ms. W okresie od pojawienia się obrazu testowego do rozpoczęcia dźwięku testowego dane wejściowe języka lub punkt ujednoznacznienia danych wejściowych języka nie były jeszcze słyszane. Wszelkie różnice zaobserwowane między różnymi warunkami należy wydedukować do innych czynników zakłócających, takich jak sam wyświetlacz wizualny, a nie dane wejściowe języka. Odtąd ruchy gałek ocznych obserwowane w tym okresie podglądu stanowią punkt odniesienia dla określenia wpływu danych językowych. Ten okres podglądu pozwala również uczestnikom zapoznać się z wizualnym wyświetlaczem i zmniejszyć systematyczną stronniczość wyjaśniających fiksacji, gdy prezentowany jest język mówiony.

Aby zilustrować, jak przeprowadzane jest typowe badanie śledzenia ruchu gałek ocznych przy użyciu paradygmatu świata wizualnego, poniższy protokół opisuje eksperyment zaadaptowany z L. Zhan 17 w celu zbadania przetwarzania online semantycznie złożonych zdań, tj. zdań rozłącznych (S1 lub S2), zdań łączących (S1 i S2) oraz instrukcji but-statement (S1, ale nie S2)). W zwykłym zachowawstwie informacja wyrażona w niektórych wypowiedziach jest w rzeczywistości silniejsza niż jej dosłowne znaczenie. Takimi wypowiedziami są rozłączne stwierdzenia, takie jak pudełko Xiaominga zawiera krowę lub koguta. Logicznie rzecz biorąc, stwierdzenie rozłączne jest prawdziwe, o ile dwa rozłączne pola Xiaominga zawierają krowę i pudełko Xiaominga zawierają koguta, nie są fałszywe. Dlatego zdanie rozłączne jest prawdziwe, gdy oba rozłączne są prawdziwe, gdzie odpowiadające mu zdanie koniunkcyjne pudełko Xiaominga zawiera krowę i koguta, jest również prawdziwe. Jednak w zwykłej rozmowie usłyszenie zdania rozłącznego często sugeruje, że odpowiadające mu zdanie koniunktywne jest fałszywe (implikatura skalarna); i sugeruje, że wartości prawdy dwóch rozłącznych elementów są nieznane mówcy (wnioskowanie o niewiedzy). Opisy w literaturze różnią się tym, czy dwa wnioski są procesami gramatycznymi, czy pragmatycznymi22,23,24,25,26. Eksperyment pokazuje, w jaki sposób paradygmat świata wizualnego może być wykorzystany do rozstrzygania między tymi relacjami, badając przetwarzanie online trzech złożonych stwierdzeń.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Protokół

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wszyscy badani muszą wyrazić świadomą pisemną zgodę przed zastosowaniem protokołów eksperymentalnych. Wszystkie procedury, formularze zgody i protokół eksperymentu zostały zatwierdzone przez Komisję Etyki Badań Naukowych Uniwersytetu Języka i Kultury w Pekinie.

UWAGA: Badanie rozumienia z wykorzystaniem paradygmatu świata wizualnego zwykle składa się z następujących kroków: Przedstaw teoretyczne problemy do zbadania; Stwórz projekt eksperymentalny; Przygotuj bodźce wzrokowe i słuchowe; Sformułowanie problemu teoretycznego w odniesieniu do projektu eksperymentalnego; Wybierz eye-tracker, aby śledzić ruchy gałek ocznych uczestników; Wybierz oprogramowanie i zbuduj skrypt z oprogramowaniem, aby zaprezentować bodźce; Koduj i analizuj zarejestrowane dane dotyczące ruchów gałek ocznych. Konkretny eksperyment może różnić się od siebie w każdym z opisanych kroków. Na przykład wprowadzono protokół w celu przeprowadzenia eksperymentu i omówienia kilku punktów, o których badacze muszą pamiętać, tworząc i przeprowadzając własny eksperyment przy użyciu paradygmatu świata wizualnego.

1. Przygotuj bodźce testowe

  1. Bodźce wzrokowe
    1. Pobierz z Internetu 60 clipartów przedstawiających zwierzęta, które są wolne od praw autorskich. Otwórz każdy obraz jeden po drugim za pomocą edytora obrazów (np. Pixelmator), kliknij Narzędzia | Narzędzie do szybkiego zaznaczania i usuwania tła. Kliknij Obraz | Rozmiar obrazu, aby zmienić ich rozmiar na 120 x 120 pikseli.
    2. Poproś studenta specjalizującego się w malarstwie, aby narysował cztery jasnozielone pola, jak pokazano na rysunku Rysunek 1. Użyj edytora obrazów, aby przeskalować duże otwarte pole do 320 x 240 pikseli, małe zamknięte pole o rozmiarze 160 x 160 pikseli i dwa małe otwarte pola odpowiednio do 160 x 240 pikseli.
    3. Kliknij Pixelmator | Plik | Nowość do tworzenia szablonu obrazu testowego o rozmiarze 1024 768 pikseli. Przeciągnij zwierzęta i pola do miejsc korekty zilustrowanych w Rysunek 1.
      UWAGA: Układ obrazu testowego różni się w zależności od badania, ale optymalnym sposobem jest użycie czterech obiektów i umieszczenie ich w czterech kwadrantach obrazu testowego. W ten sposób łatwiej jest zrównoważyć położenie przestrzenne obiektów.
    4. Utwórz 60 obrazów testowych, takich jak Rysunek 1, przy czym każdy obraz zwierzęcia jest używany dwukrotnie. Zrównoważ położenie przestrzenne czterech pól między obrazami.
      UWAGA: Liczba obrazów nie musi wynosić dokładnie 60, o ile ich efekt jest oddzielony od efektu manipulacji eksperymentalnych.
  2. Bodźce języka mówionego
    1. Zaprojektuj cztery zdania testowe odpowiadające każdemu obrazowi testowemu i łącznie 240 zdań testowych do nagrania. Upewnij się, że trzy z czterech zdań są w formie Rysunek 2; a zdanie wypełniające jest w postaci pudełka Xiaominga nie zawiera koguta, ale krowę.
      UWAGA: Zdania testowe powinny być przedstawione w języku ojczystym, którym posługują się uczestnicy. Uczestnicy tego eksperymentu są Chińczykami z Pekinu w Chinach kontynentalnych, więc językiem testowym jest chiński mandaryński.
    2. Zwerbuj kobietę, która posługuje się językiem ojczystym (w tym eksperymencie jest native speakerem języka chińskiego mandaryńskiego), aby nagrała cztery przykładowe stwierdzenia, takie jak Rysunek 2, a także nagrania dźwiękowe wszystkich zwierząt wykorzystywanych w eksperymencie. Nagrywając wyodrębnione nazwy zwierząt, poproś mówcę, aby wyobraził sobie, że imiona zwierząt są nienaruszonymi składnikami prostego zdania, takim jak pudełko Xiaoming zawiera a/an ___, ale musi tylko jawnie wymówić nazwę zwierzęcia.
    3. Zastąp segmenty audio dwóch zwierząt w przykładowych instrukcjach dźwiękiem dwóch zwierząt użytych w każdej próbie, aby utworzyć pełną listę testowych nagrań audio. Najpierw otwórz Praat (dowolne inne oprogramowanie do edycji dźwięku jest kwalifikującą się alternatywą) i kliknij Otwórz | Odczyt z pliku | Przejdź do punktu menu Plik | Otwórz i edytuj, przejdź do elementu, który chcesz zastąpić, a następnie kliknij Wyświetl i edytuj | Edycja | Skopiuj zaznaczenie do schowka dźwiękowego. Po drugie, wykonaj te same czynności, aby otworzyć przykładową instrukcję, kliknij wklej po zaznaczeniu. Po trzecie, kliknij Zapisz | zapisz jako plik wav, aby zapisać edytowaną instrukcję. Powtórz ten proces dla wszystkich elementów, które mają zostać zmienione, i wszystkich zdań testowych.
    4. Zrekrutuj około 10 rodzimych użytkowników języka testowego (tutaj chiński mandaryński), aby określić, czy skonstruowany dźwięk testowy jest zrozumiały i naturalny.
      UWAGA: Dźwięk testowy jest tradycyjnie nagrywany jako całość, a nie jako oddzielne słowa. Ta tradycyjna metoda nagrywania jest rozsądna, jeśli testowy dźwięk sam w sobie jest osobnymi słowami. Jeśli jednak bodźce języka mówionego są zdaniami, a nie oddzielnymi słowami, ta tradycyjna metoda ma kilka wad: Po pierwsze, wszechobecną właściwością mowy ciągłej jest to, że dwa lub więcej dźwięków mowy ma tendencję do nakładania się na siebie czasowo i przestrzennie, co utrudnia określenie początku krytycznego słowa. Po drugie, rozbieżność między długością różnych badań utrudnia również połączenie wszystkich badań razem w celu przeprowadzenia analiz statystycznych. Po trzecie, tradycyjna metoda nagrywania jest często czasochłonna, zwłaszcza gdy liczba testowych nagrań jest stosunkowo duża, tak jak w przypadku eksperymentów, które opisaliśmy w protokole. Aby przezwyciężyć niedociągnięcia tradycyjnej metody nagrywania, proponuje się inną metodę konstruowania dźwięków z testów mówionych. Najpierw nagrano listę przykładowych zdań zawierających słowa, które są wspólne dla wszystkich testowych nagrań. Po drugie, wszystkie słowa, które zmieniają się między próbami, zostały również zarejestrowane w izolacji. Na koniec przykładowe zdania zostały zastąpione nagranymi słowami, aby skonstruować pełną listę testowych nagrań. W porównaniu z tradycyjną metodą, nowa metoda ma kilka zalet. Po pierwsze, wszystkie dźwięki testowe są dokładnie takie same, z wyjątkiem krytycznych słów, a wszystkie potencjalne efekty mylące w dźwięku testowym są odtąd kontrolowane. Po drugie, taka sama długość sprawia również, że segmentacja testowych nagrań jest łatwiejsza niż w przypadku, gdy testowe nagrania są nagrywane jako całość. Jedną z potencjalnych wad tej metody jest to, że skonstruowany dźwięk może nie być naturalny. Odtąd naturalność dźwięku testowego musi zostać oceniona, zanim będą one kwalifikować się do właściwego testowania.
  3. Podziel 240 zdań testowych na cztery grupy, z których każda zawiera 15 stwierdzeń łączących, 15 stwierdzeń rozłącznych, 15 stwierdzeń ale i 15 zdań wypełniających. Upewnij się, że każdy uczestnik ma do czynienia tylko z jedną grupą 240 prób: widzi wszystkie obrazy testowe, ale słyszy tylko jedną grupę dźwięków testowych.
    UWAGA: Ma to na celu rozwianie obaw, że jeśli ten sam bodziec się powtórzy, uczestnicy mogą przyzwyczajać się do tych bodźców, a być może nawet strategicznie podchodzić do tego, jak na nie zareagowali.
  4. Zapisz wszystkie ważne informacje dotyczące bodźców testowych w pliku txt rozdzielanym tabulatorami, przy czym każdy wiersz odpowiada każdej z 240 prób. Upewnij się, że plik zawiera co najmniej następujące kolumny: experiment_group, sentential_connective, trial_number, test_image, test_audio, test_audio_length, ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right, animal_1_image, animal_1_audio, animal_1_audio_length, animal_2_image, animal_2_audio, animal_2_audio_length.
    UWAGA: experiment_group służy do podzielenia 240 badań na 4 grupy. sentential_connective odpowiada różnym warunkom doświadczalnym. animal_1_image odpowiada obrazowi zwierzęcia, który zostanie najpierw zaprezentowany w celu zapoznania uczestników ze zwierzętami wykorzystanymi na obrazie testowym. test_image, test_audio i test_audio_length odnoszą się do obrazu testowego i dźwięku testowego, a także do jego długości użytej w bieżącej próbie. ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right odnoszą się do nazw czterech obszarów zainteresowania w obecnym badaniu, tj. czy jest to "duże otwarte" pudełko, "małe zamknięte" pudełko, małe otwarte pudełko zawierające "pierwsze wspomniane" zwierzę w testowym nagraniu, czy małe otwarte pudełko zawierające "drugie wspomniane" zwierzę w testowym nagraniu. animal_1_audio i animal_1_audio_length odnoszą się do dźwięku i długości dźwięku odpowiadających animal_1_image. animal_2_image, animal_2_audio i animal_2_audio_length odpowiadają drugiemu zwierzęciu, które zostanie zaprezentowane. Jedną rzeczą, którą należy podkreślić, jest to, że sekwencja prezentacji dwóch zwierząt jest zrównoważona w odniesieniu do tego, czy zwierzę jest wspomniane w pierwszej, czy w drugiej połowie nagraniów testowych.

2. Przedstaw przewidywania teoretyczne w odniesieniu do projektu eksperymentalnego.

  1. Upewnij się, że reakcje behawioralne uczestników i ruchy gałek ocznych w projekcie eksperymentalnym mogą być wykorzystane do różnicowania zrozumienia zdań testowych i mogą być wykorzystane do rozstrzygania między różnymi kontami, które mają być testowane.
    UWAGA: Biorąc pod uwagę projekt eksperymentalny, poprawną reakcją na stwierdzenie łączące jest duże otwarte pole, takie jak Pole A w Rysunek 1. Prawidłową reakcją na stwierdzenie "ale" jest małe otwarte pole zawierające zwierzę, o którym wspomina się w pierwszej połowie nagrania testowego, takie jak Pole D w Rysunek 1. Odpowiedzi uczestników na stwierdzenie rozłączne zależą jednak od tego, czy i/lub w jaki sposób dwa omawiane wnioski są przetwarzane. Jeśli uczestnicy nie obliczają ani implikatury skalarnej, ani wnioskowania o niewiedzy, to wszystkie cztery pola są kwalifikującymi się opcjami. Jeśli uczestnicy obliczą implikaturę skalarną, ale nie wnioskowanie o niewiedzy, wówczas duże otwarcie, takie jak pole A w Rysunek 1, zostanie wykluczone, a pozostałe trzy pola B, C i D są kwalifikującymi się opcjami. Jeśli uczestnicy obliczą wnioskowanie o niewiedzy, ale nie implikaturę skalarną, to małe otwarte pola zostaną wykluczone, tj. pola C i D zostaną wykluczone. Podsumowując, małe zamknięte pole, takie jak pole B w Rysunek 1, nie zostanie wybrane jako ostateczna opcja zdania rozłącznego, dopóki implikacja skalarna i wnioskowanie o niewiedzy nie zostaną obliczone.

3. Zbuduj eksperymentalny skrypt

  1. Otwórz Konstruktora eksperymentów, kliknij Plik | Nowość, aby utworzyć projekt eksperymentalny. Wprowadź nazwę projektu, na przykład vwp_disjunction. Wybierz lokalizację projektu. Sprawdź EyeLink Experiment i wybierz Eyelink 1000plus z rozwijanej listy. Te operacje utworzą podkatalog zawierający wszystkie pliki związane z eksperymentem Utworzy podkatalog o nazwie vwp_disjunction z plikiem o nazwie "graph.ebd" w folderze.
    UWAGA: Experiment Builder służy do budowy skryptu eksperymentalnego w celu prezentacji bodźców testowych oraz rejestrowania ruchów gałek ocznych uczestników, a także ich reakcji behawioralnych. Konstruktor eksperymentów to narzędzie typu "co widzisz, to co dostajesz" do tworzenia skryptów eksperymentalnych. Jest łatwy w użyciu, ale każde inne oprogramowanie do prezentacji bodźców jest kwalifikującą się alternatywą.
  2. Zwizualizuj hierarchiczną strukturę typowego eksperymentu ze śledzeniem ruchu gałek ocznych przy użyciu paradygmatu świata wizualnego, jak pokazano na Rysunek 3. Każdy różowy prostokąt na rysunku jest implementowany jako obiekt SEQUENCE przez Experiment Builder; a każdy obiekt z szarym tłem jest implementowany jako obiekt węzła.
    UWAGA: Sekwencja w Experiment Builder to eksperymentalny kontroler pętli używany do łączenia różnych obiektów w złożony węzeł. Sekwencja zawsze zaczyna się od węzła START. Źródło danych można dołączyć do węzła sekwencji, aby zapewnić różne parametry dla każdej próby.
  3. Tworzenie sekwencji eksperymentu
    1. Kliknij pozycję Plik | Otwórz, przejdź do katalogu eksperymentu i kliknij dwukrotnie plik graph.ebd w katalogu projektu, aby otworzyć zapisany projekt eksperymentu.
    2. Kliknij Edytuj | Menedżer biblioteki | Obraz | Dodaj, aby załadować obrazy do projektu eksperymentu. Podobnie kliknij Edytuj | Menedżer biblioteki | Dźwięk | Dodaj, aby załadować dźwięk do projektu eksperymentu.
    3. Przeciągnij obiekt DISPLAY_SCREEN do przestrzeni roboczej i zmień jego wartość etykiety w panelu właściwości, aby zmienić jego nazwę na Instrukcja. Kliknij dwukrotnie, aby otworzyć węzeł Instrukcja, a następnie kliknij przycisk Wstaw zasób tekstu wielowierszowego, aby wprowadzić instrukcję eksperymentalną. Upewnij się, że instrukcja zawiera następujące informacje:
      W każdej próbie najpierw zobaczysz obrazy dwóch zwierząt, po jednym zwierzęciu wydrukowanym na ekranie po kolei, wraz z dźwiękiem zwierząt odtwarzanym na dwóch głośnikach umieszczonych po obu stronach ekranu. Na środku ekranu pojawi się kropka. Powinieneś nacisnąć SPACJA podczas fiksacji na kropce. Następnie zobaczysz obraz testowy składający się z czterech pól wydrukowanych na ekranie i usłyszysz zdanie testowe odtwarzane przez dwa głośniki. Twoim zadaniem jest zlokalizowanie pudełka Xiaominga zgodnie z usłyszysz zdaniem testowym i jak najszybsze naciśnięcie odpowiedniego przycisku:
      Lewy górny róg pola --- strzałka w lewo
      Prawe górne pole --- strzałka w górę
      Lewy dolny róg pola --- strzałka w lewo
      Prawy dolny róg pola --- strzałka w prawo
      Na każdym obrazie testowym zobaczysz cztery pudełka znajdujące się w czterech kwadrantach i dwa zwierzęta zawierające w pudełkach. Cztery pudełka mogą różnić się dwoma wymiarami: bliskością i rozmiarem. To, czy pudełko jest zamknięte, czy nie, wpływa na naszą wiedzę epistemiczną na temat tego pudełka, ale nie na zwierzę (zwierzęta), które ono zawiera. Jeśli pudełko jest otwarte, oznacza to, że zwierzę lub zwierzęta znajdujące się w tym pudełku są znane. Jeśli pudełko jest zamknięte, oznacza to, że zwierzę lub zwierzęta znajdujące się w tym pudełku są nieznane. Rozmiar pudełka wpływa na liczbę zwierząt znajdujących się w pudełku, ale nie na naszą wiedzę epistemiczną na temat tego pudełka. Bez względu na to, czy pudełko jest zamknięte, czy nie, małe pudełko zawsze zawiera tylko jedno zwierzę, a duże pudełko zawsze zawiera dwa różne zwierzęta.
      Jeśli czujesz się komfortowo z celem eksperymentu i procedurą, poinformuj o tym eksperymentatora, a my pomożemy Ci wykonać standardowe procedury kalibracji i walidacji śledzenia ruchu gałek ocznych. Jeśli masz jakieś pytania, nie wahaj się zapytać.
      Uwaga: Jest to instrukcja, która zostanie wydrukowana na ekranie przed eksperymentem (instrukcje powinny być napisane w języku ojczystym, którym posługują się uczestnicy, takim jak chiński mandaryński tutaj).
    4. Przeciągnij obiekt KEYBOARD do przestrzeni roboczej.
      UWAGA: Ten krok służy do zakończenia ekranu instrukcji
    5. Przeciągnij obiekt SEQUENCE do przestrzeni roboczej i zmień jego nazwę na Blok.
    6. Wybierz sekwencję bloków, kliknij pole wartości właściwości Źródło danych, aby wyświetlić Edytor źródeł danych. Kliknij przycisk Importuj dane na ekranie edytora źródeł danych, przejdź do pliku .txt utworzonego w kroku 1.4, aby zaimportować źródło danych.
    7. Kliknij przycisk Ustawienie randomizacji w edytorze źródeł danych, zaznacz pole wyboru Włącz randomizację próby, wybierz opcję trial_number z pola wartości w polu Kolumna, a następnie wybierz experimental_group z listy rozwijanej pola Podział kolumny.
    8. Przeciągnij drugi obiekt DISPLAY_SCREEN do obszaru roboczego i zmień jego nazwę na Goodbye. Kliknij dwukrotnie węzeł Do widzenia i wstaw następujące informacje: w języku ojczystym uczestników (w tym protokole chiński mandaryński):Eksperyment został zakończony i bardzo dziękujemy za udział.
    9. Kliknij lewym przyciskiem myszy węzeł START, przeciągnij strzałkę do węzła Instrukcja i zwolnij przycisk myszy, aby połączyć węzeł START z węzłem instrukcji. Powtórz te same ruchy myszy, aby połączyć węzeł Instrukcja z węzłem KLAWIATURA, węzeł KLAWIATURA z węzłem bloku, a następnie węzeł blokowy z węzłem Pożegnanie. Kliknij Widok | Rozmieść układ, aby rozmieścić węzły w obszarze roboczym.
  4. Zbuduj sekwencję bloków
    1. Kliknij dwukrotnie, aby otworzyć sekwencję bloków. Przeciągnij węzeł El_CAMERA_SETUP do sekwencji blokowej, aby wyświetlić ekran konfiguracji kamery na komputerze hosta EyeLink, aby eksperymentator mógł przeprowadzić konfigurację, kalibrację i walidację kamery. Kliknij pole Typ kalibracji w panelu Właściwości i wybierz HV5 z listy rozwijanej.
      UWAGA: Liczba lokalizacji w procesie mapowania różni się w zależności od różnych projektów eksperymentalnych. Im więcej miejsc jest próbkowanych i im więcej zajętej przestrzeni, tym większej dokładności można oczekiwać. Ale więcej próbek oznacza więcej czasu na zakończenie procesów. Tak więc praktycznie liczba lokalizacji w konkretnym badaniu nie może być bardzo duża, zwłaszcza gdy uczestnikami są dzieci w wieku przedangielskim lub pacjenci kliniczni. W paradygmacie świata wizualnego liczba obszarów zainteresowań jest stosunkowo niewielka, a obszary zainteresowań są zwykle stosunkowo duże. Proces mapowania może osiągnąć satysfakcjonujący poziom przy stosunkowo niewielkiej liczbie lokalizacji. W opisanym przeze mnie protokole zastosowałem pięciopunktową kalibrację i walidację.
    2. Przeciągnij węzeł SEKWENCJA do sekwencji blokowej i zmień jego nazwę na Próbna. Połącz węzeł START z węzłem CAMERA_SETUP, a następnie z węzłem SEQUENCE.
  5. Zbuduj sekwencję próbną
    1. Kliknij dwukrotnie, aby otworzyć sekwencję próbną, przeciągnij węzeł DISPLAY_SCREEN do sekwencji próbnej i zmień jego nazwę na animal_1_image. Kliknij dwukrotnie, aby otworzyć węzeł Screen Builder i kliknij przycisk Wstaw zasób obrazu na pasku narzędzi Screen Builder, aby wstawić obraz zwierzęcia z przesłanych źródeł obrazów. Kliknij pole wartości właściwości Nazwa pliku źródłowego, przejdź do źródła danych dołączonego do sekwencji bloków; i kliknij dwukrotnie kolumnę Animal_1_Image, aby połączyć DISPLAY_SCREEN z właściwą kolumną źródła danych.
    2. Przeciągnij węzeł PLAY_SOUND do sekwencji próbnej i zmień jego nazwę na animal_1_audio. Kliknij właściwość Sound File (Plik dźwiękowy) węzła animal_1_audio i połącz ją z odpowiednią kolumną źródła danych (zgodnie z opisem w kroku 3.5.1).
    3. Przeciągnij węzeł TIMER do sekwencji próbnej i zmień jego nazwę na animal_1_audio_length. Kliknij właściwość Czas trwania węzła TIMER i przejdź do odpowiedniej kolumny źródła danych utworzonego w wersji 3.4.1.
    4. Przeciągnij kolejny węzeł DISPLAY_SCREEN, kolejny węzeł PLAY_SOUND i kolejny węzeł TIMER do sekwencji próbnej, zmień ich nazwy na animal_2_image, animal_2_audio i animal_2_audio_duration, powtórz kroki opisane w krokach 3.5.1 - 3.5.3.
      UWAGA: Te kroki mają na celu kontrolę potencjalnego zakłócenia, że ten sam obraz może być różnie nazwany przez różnych uczestników. Zrównoważ sekwencję prezentacji dwóch zwierząt w odniesieniu do tego, czy jest to wspomniane w pierwszej, czy drugiej połowie testowych nagrań.
    5. Przeciągnij obiekt Prepare Sequence do Trial Sequence (Sekwencja próbna) i zmień właściwość Draw To Eyelink Host (Rysuj do hosta łącza ocznego) na IMAGE.
      UWAGA: Ten węzeł służy do wstępnego ładowania obrazu i plików audio do pamięci w celu rysowania obrazu w czasie rzeczywistym i odtwarzania dźwięku. Służy również do rysowania grafiki sprzężenia zwrotnego na komputerze hosta, dzięki czemu można monitorować dokładność spojrzenia uczestników.
    6. Przeciągnij węzeł DRIFT_CORRECT do sekwencji próbnej, aby wprowadzić korekcję dryfu
      7. .
    7. Przeciągnij nowy węzeł SEKWENCJA i zmień jego nazwę na Nagrywanie. Podłącz START do tych węzłów jeden po drugim.
  6. Zbuduj sekwencję nagrywania
    1. Zaznacz pole Record (Rekord) w panelu właściwości sekwencji nagrywania i kliknij dwukrotnie, aby otworzyć plik Recording sequence (Sekwencja nagrywania).
      UWAGA: Sekwencja z zaznaczoną właściwością Record oznacza, że ruchy gałek ocznych uczestników w tym okresie będą rejestrowane.
    2. Przeciągnij nową DISPLAY_SCREEN do sekwencji rekordów i zmień jej nazwę na test_image. Dodaj test_image_onset komunikatu do właściwości Message węzła test_image.
      UWAGA: Na etapie analizy danych komunikat w węźle test_image i komunikat w węźle test_audio (sekcja 3.6.6) są ważne dla zlokalizowania początku obrazów testowych i początku dźwięków testowych w każdej próbie.
    3. Kliknij dwukrotnie, aby otworzyć węzeł Screen Builder, a następnie kliknij przycisk Wstaw zasób obrazu na pasku narzędzi Screen Builder, aby wstawić dowolny obraz zwierzęcia z przesłanych źródeł obrazu. Kliknij pole wartości właściwości Nazwa pliku źródłowego, przejdź do źródła danych dołączonego do sekwencji bloków; i kliknij dwukrotnie kolumnę test_image, aby połączyć DISPLAY_SCREEN z poprawną kolumną źródła danych.
    4. Kliknij dwukrotnie węzeł DISPLAY_SCREEN, aby otworzyć Kreator ekranu, kliknij przycisk Wstaw obszar zainteresowania prostokąta i narysuj cztery prostokątne obszary zainteresowania, jak pokazano niebieskimi polami w Rysunek 1. Zmień etykiety czterech obszarów zainteresowania na Top_Left, Top_Right, Bottom_Left i Bottom_Right, a następnie połącz pole Nazwa elementu DataViewer z odpowiednimi kolumnami źródła danych.
      UWAGA: Obszary te są niewidoczne dla uczestników. Aby obszary zainteresowania były bardziej znaczące, oznacz nazwę lewego górnego obszaru w przykładzie jako "Pole A (duże otwarte)", obszar w prawym górnym rogu jako "Obszar B (mały zamknięty)", lewy dolny obszar jako "Obszar C (drugi wspomniany)", a obszar w prawym dolnym rogu jako "Obszar D (pierwszy wspomniany)", Ponieważ dwa małe otwarte pudełka zawierają dwa zwierzęta, o których wspomina się odpowiednio w pierwszej i drugiej połowie nagrania testowego.
    5. Przeciągnij węzeł TIMER do obszaru roboczego, zmień jego nazwę na Wstrzymaj i zmień właściwość Duration na 500 ms.
      UWAGA: Ten węzeł TIMER dodaje pewne opóźnienie czasowe między początkiem obrazu testowego a początkiem dźwięku testowego. Opóźnienie czasowe daje uczestnikom szansę na zapoznanie się z obrazami testowymi. Ruchy gałek ocznych uczestników w tym okresie podglądu stanowią również punkt odniesienia dla określenia efektów wprowadzania języka mówionego, zwłaszcza gdy kluczowe słowa znajdują się na początku nagrań testowych.
    6. Przeciągnij węzeł PLAY_SOUND do obszaru roboczego i zmień jego nazwę na test_audio. Kliknij właściwość Sound File (Plik dźwiękowy) i połącz ją z odpowiednią kolumną źródła danych (zgodnie z opisem w kroku 3.5.1), a następnie dodaj test_audio_onset komunikatu do właściwości Message (Komunikat).
    7. Przeciągnij węzeł TIMER do przestrzeni roboczej i zmień jego nazwę na test_audio_length. Zmień właściwość Czas trwania na 10500 ms.
    8. Przeciągnij węzeł -Akcja o wartości null do obszaru roboczego.
    9. Dodaj nowy węzeł TIMER, zmień jego nazwę na record_extension i zmień właściwość Duration na 4000 ms.
    10. Dodaj nowy węzeł KLAWIATURA do przestrzeni roboczej, zmień jego nazwę na odpowiedzi behawioralne i zmień akceptowalną właściwość Keys na "[Góra, Dół, Prawo, Lewo]".
      UWAGA: Wybory behawioralne uczestników mogą być wykorzystane do dwukrotnego sprawdzenia trafności wniosku wydedukowanego na podstawie ruchów gałek ocznych uczestników.
    11. Połącz węzeł START z węzłem Pause, test_audio, test_audio_length, NULL Action, a następnie z węzłem Record_extension. Dodaj kolejne połączenie z test_audio_length do behavioral_responses node.
      UWAGA: Dodanie tych połączeń spowoduje zakończenie bieżącej próby, a nowa próba rozpocznie się po naciśnięciu przez uczestników, aby wybrać Skrzynkę Xiaominga lub 4000 ms po przesunięciu dźwięku testowego.
    12. Przeciągnij węzeł VARIABLE do przestrzeni roboczej, zmień jego nazwę na key_pressed i połącz jego właściwość value z behavioral_Responses Klawiatura | Dane wyzwolone | Klucz.
    13. Przeciągnij węzeł RESULT_FILE do obszaru roboczego, przeciągnij węzeł ADD_TO_RESULT_FILE do obszaru roboczego i połącz węzeł record_extension i węzeł behavioral_responses z węzłem ADD_TO_RESULT_FILE.
  7. Kliknij Eksperyment | Kompiluj Aby skompilować skrypt eksperymentalny, kliknij pozycję Eksperyment | Przebieg testowy w celu przeprowadzenia testu eksperymentu. Po wykonaniu wszystkich czynności kliknij pozycję Eksperyment | Wdrażanie, aby utworzyć wykonywalną wersję projektu eksperymentalnego.
    UWAGA: Aby uzyskać więcej informacji na temat korzystania z narzędzia Experiment Builder, zapoznaj się z instrukcją oprogramowania27.

4. Rekrutuj uczestników

  1. Upewnij się, że uczestnicy mają normalne lub skorygowane normalne widzenie. Zalecamy, aby krótkowzroczni uczestnicy nosili soczewki kontaktowe, ale okulary są również dopuszczalne, o ile soczewki są czyste. Upewnij się, że wszyscy uczestnicy są rodzimymi użytkownikami języka testowego, takiego jak chiński mandaryński tutaj.
    UWAGA: Zgodnie z ogólną wskazówką, uczestnik jest uważany za uprawnionego, o ile uczestnik widzi obrazy testowe z odległości około 60 centymetrów. Jeśli chodzi o liczbę uczestników, zgodnie z pewnymi praktycznymi zasadami, liczba uczestników analizy regresji nie powinna być mniejsza niż 50. Tutaj w eksperymencie wzięło udział trzydziestu siedmiu studentów studiów podyplomowych z Pekińskiego Uniwersytetu Języka i Kultury, czyli nieco mniej niż zalecana liczba.

5. Przeprowadź eksperyment

UWAGA: Gdy uczestnikami są normalnie rozwinięci dorośli, wystarczy jeden eksperymentator do przeprowadzenia eksperymentu. Ale jeśli uczestnicy są specjalnymi populacjami, takimi jak dzieci, wymagane jest dwóch lub więcej eksperymentatorów.

  1. Wybierz urządzenie śledzące ruch gałek ocznych, aby rejestrować ruchy gałek ocznych uczestników.
    UWAGA: Eye tracker używany w tym eksperymencie to Eyelink 1000plus działający w trybie swobodnego poruszania głową. Jest to oparty na wideo, montowany na biurku system śledzenia ruchu gałek ocznych, wykorzystujący zasadę odbicia źrenicy z rogówką (CR) do śledzenia rotacji gałki. Podczas pracy w trybie swobodnego poruszania się głowicy, urządzenie śledzące ruch gałek ocznych ma częstotliwość próbkowania 500 Hz, z rozdzielczością przestrzenną 0,01° i średnim błędem mniejszym niż 0,5°. Aby uzyskać bardziej szczegółowe informacje na temat systemu, zapoznaj się z jego specyfikacją techniczną28,29. Można użyć alternatywnych trackerów, ale te z trybem zdalnego śledzenia są lepsze, zwłaszcza gdy uczestnicy są dziećmi w wieku przedpiśmiennym.
  2. Uruchom system na komputerze hosta, aby uruchomić aplikację Host kamery.
  3. Aby skonfigurować system do trybu zdalnego pulpitu, kliknij przycisk Ustaw opcję, ustaw opcję Konfiguracja na Pulpit - Naklejka docelowa - Monokular - Długość 16/25 mm - RTARBLER.
  4. Kliknij wersję wykonywalną projektu eksperymentalnego na komputerze wyświetlającym, wprowadź nazwę uczestnika i wybierz grupę z okna monitu, aby wybrać wartość warunku do uruchomienia.
    UWAGA: Każda sesja testowa utworzy folder z wprowadzoną nazwą w podkatalogu Wyniki projektu eksperymentu. Plik EDF znajdujący się w folderze zawierał odpowiednie dane dotyczące ruchów gałek ocznych.
  5. Poproś uczestników, aby usiedli około 60 cm od 21-calowego, kolorowego monitora 4:3 o rozdzielczości 1024 x 769 pikseli, gdzie 27 pikseli odpowiada 1 stopniowi kąta.
  6. Dostosuj wysokość monitora komputerowego, aby upewnić się, że gdy uczestnik siedzi i patrzy prosto przed siebie, patrzy pionowo na środkowe i górne 75% monitora.
    UWAGA: Krzesło, biurko i/lub monitor komputerowy są preferowane, jeśli mają regulowaną wysokość. Należy unikać krzesła i biurka z kółkami, ponieważ mają one tendencję do powodowania niezamierzonego ruchu i toczenia się.
  7. Umieść małą naklejkę z celem na czole uczestnika, aby śledzić pozycję głowy nawet wtedy, gdy obraz źrenicy zostanie utracony, na przykład podczas mrugnięć lub nagłych ruchów.
    UWAGA: Różne urządzenia śledzące ruch gałek ocznych mogą używać różnych metod do śledzenia głowy uczestników. Aby zmaksymalizować zakres ruchu bocznego obiektu, śledzone oko powinno znajdować się po tej samej stronie co oświetlacz.
  8. Obróć ramię ostrości na uchwycie biurkowym, aby ustawić ostrość obrazu oka.
  9. Kliknij przycisk Kalibruj na komputerze hosta, aby przeprowadzić proces kalibracji, prosząc uczestników o zafiksowanie siatki pięciu celów fiksacji w losowej kolejności bez jawnych reakcji behawioralnych, aby zmapować ruchy gałek ocznych uczestników na spojrzenie pełne szacunku w świecie wizualnym.
  10. Kliknij przycisk Validate (Weryfikuj) na komputerze hosta, aby zweryfikować skalibrowane wyniki, prosząc uczestników o ustawienie tej samej siatki celów fiksacji. Powtórz procedury kalibracji i walidacji, gdy błąd jest większy niż 1°.
  11. Przeprowadź dwie procedury na początku eksperymentu i zawsze, gdy dokładność pomiaru jest słaba (np. po silnych ruchach głowy lub zmianie postawy uczestników).
  12. Kliknij przycisk Nagraj na komputerze hosta, aby rozpocząć eksperyment.
  13. Przeprowadź test dryfu w każdej próbie, prosząc uczestników o naciśnięcie SPACJA na klawiaturze, jednocześnie skupiając się na czarnej kropce znajdującej się na środku ekranu.
    UWAGA: Gdy uczestnicy są dziećmi w wieku przedpiśmiennym lub pacjentami klinicznymi, wyraźne poinstruowanie ich, aby naciskali klawiaturę podczas utrwalania czarnej kropki, jest zwykle niepraktyczne. Ale ich uwaga i fiksacja wzroku są automatycznie przyciągane przez wyświetlaną czarną kropkę. W takim przypadku eksperymentator powinien być osobą, która naciska klawiaturę, podczas gdy uczestnik skupia się na czarnej kropce.
  14. Prezentuj bodźce wizualne za pomocą monitora PC i odtwarzaj bodźce słuchowe za pomocą pary zewnętrznych głośników umieszczonych po lewej i prawej stronie monitora (dopuszczalne są również słuchawki).
    UWAGA: Nagrania są odtwarzane z dysku twardego jako klipy dźwiękowe mono 24 kHz. Jeśli nie ma specjalnego powodu, klipy dźwiękowe mono są preferowane zamiast klipów dźwiękowych stereo. W stereofonicznym klipie dźwiękowym różnica między dwiema ścieżkami dźwiękowymi, a także różnica między dwoma mówcami, może wpływać na ruchy gałek ocznych uczestników. Więcej informacji na temat korzystania z eye trackera można znaleźć w instrukcji obsługi30.

6. Kodowanie i analiza danych

  1. Otwórz przeglądarkę danych, kliknij pozycję Plik | Importuj plik | Importuj wiele plików danych Eyelink, aby zaimportować wszystkie nagrane pliki śledzenia ruchu gałek ocznych (z rozszerzeniem EDF) i zapisać je w jednym pliku . Plik EVS.
  2. Otwórz zapisany plik EVS i kliknij Analiza | Raporty | Przykładowy raport do eksportowania nieprzetworzonych przykładowych danych bez agregacji.
    UWAGA: Jeśli urządzenie śledzące ruch gałek ocznych ma częstotliwość próbkowania 500 Hz, eksportowane dane będą miały 500 punktów danych, a zatem 500 wierszy na sekundę na próbę. Jeśli lewe oko uczestników jest śledzone, upewnij się, że wyeksportowano następujące kolumny, a także zmienne utworzone w źródle danych: RECORDING_SESSION_LABEL, LEFT_GAZE_X, LEFT_GAZE_Y, LEFT_INTEREST_AREA_LABEL, LEFT_IN_BLINK, LEFT_IN_SACCADE, LEFT_PUPIL_SIZE, SAMPLE_INDEX SAMPLE_MESSAGE. Aby uzyskać więcej informacji na temat korzystania z przeglądarki danych, zapoznaj się z instrukcją oprogramowania31.
  3. Ogranicz analizy statystyczne do okna czasowego od początku obrazu testowego do przesunięcia testowych nagrań, tj. okna czasowego o czasie trwania 11 sekund.
  4. Usuń próbki, w których ruchy gałek ocznych uczestników nie są rejestrowane, takie jak mruganie oczami przez uczestników, co w przybliżeniu wpływa na 10% zarejestrowanych danych.
    UWAGA: Jest to krok opcjonalny, ponieważ wyniki są zwykle takie same, niezależnie od tego, czy te próbki zostały usunięte.
  5. Zakoduj dane. Aby skonstruować dane dla określonego obszaru zainteresowania w określonym punkcie próbkowania, zakoduj dane jako 1, jeśli fiksacja wzroku uczestników znajduje się w obszarze zainteresowania, który ma być analizowany w tym punkcie próbkowania. Oznacz dane jako 0, jeśli fiksacja oka nie znajduje się w obszarach zainteresowania w tym punkcie pobierania próbek.
  6. Narysuj proporcję fiksacji, aby zwizualizować uzyskane dane. Aby obliczyć proporcję fiksacji w określonym obszarze zainteresowania, należy uśrednić zakodowane dane dla wszystkich prób i dla wszystkich uczestników w każdym punkcie próbkowania w każdych warunkach. Wykreślić obliczoną proporcję fiksacji na osi y w stosunku do punktu próbkowania na osi x, z różnymi panelami oznaczającymi różne obszary zainteresowania, a kolorami wykresu oznaczającymi różne warunki eksperymentalne.
    UWAGA: W eksperymencie cztery panele przedstawiały wzorce fiksacji uczestników na czterech obszarach zainteresowania. Czerwone, zielone i niebieskie linie ilustrowały wzorce fiksacji uczestników, gdy stwierdzeniami testowymi były odpowiednio spójniki (S1 i S2), instrukcje ale (S1, ale nie S2) i dysjunkcje (S1 lub S2). Oprogramowaniem używanym do rysowania wykresu opisowego jest pakiet ggplot2 ze środowiska R. Dostępne jest również inne oprogramowanie. Rysunek 5 jest przykładem takiego wykresu.
  7. Dopasuj dwumianowy uogólniony liniowy model mieszany (GLMM) do każdego obszaru zainteresowania w każdym punkcie próbkowania, ponieważ dane zostały zakodowane jako 1 lub 0, w zależności od tego, czy fiksacja uczestnika znajduje się w obszarze zainteresowania w tym punkcie próbkowania, czy poza nim.
    UWAGA: Ponieważ dane nie są podzielone na grupy, a zakodowane dane mogą mieć tylko wartość 1 lub 0, rozkład zakodowanych danych jest binarny, a nie normalny. Odtąd stosuje się model GLMM z rodziną rozkładów dwumianowych. Model GLMM obejmuje ustalony termin, warunki eksperymentu i dwa losowe warunki, uczestników i pozycje. Wzór obliczony dla dwóch losowych składników obejmuje zarówno punkty przecięcia, jak i nachylenie warunków eksperymentalnych. Oprogramowanie używane do dopasowania modelu to pakiet lme4 ze środowiska R. Dostępne jest również inne oprogramowanie. Należy wspomnieć o tym, że linia bazowa stałych pozycji różniła się, gdy inny był analizowany obszar zainteresowań, czyli analizowane pola. Mówiąc konkretnie, spójnik (S1 i S2) został wybrany jako linia bazowa podczas analizy dużego-otwartego pola (Pole A), dysjunkcja (A i B) została wybrana jako linia bazowa podczas analizy małego zamkniętego pola (Pole B), a stwierdzenie but zostało wybrane jako linia bazowa podczas analizy pierwszego wspomnianego pola (Pole D).
  8. Bonferroni koryguje wartości p uzyskane za pomocą testu Walda z, aby zmniejszyć błąd rodzinny wywołany wielokrotnymi porównaniami.
    UWAGA: Korekta Bonferroniego jest tradycyjnym sposobem radzenia sobie z błędem rodzinnym wywołanym wielokrotnymi porównaniami. Dostępne są również inne metody, które opisaliśmy w sekcji wprowadzającej.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Wyniki

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Reakcje behawioralne uczestników są podsumowane w Rysunek 4. Jak opisaliśmy wcześniej, poprawną odpowiedzią na stwierdzenie łączące (S1 i S2) jest duże otwarte pole, takie jak Pole A w Rysunek 1. Prawidłową odpowiedzią na stwierdzenie "ale" (S1, ale nie S2) jest małe otwarte pole zawierające pierwsze wymienione zwierzę, takie jak pole D w Rysunek 1. Krytycznie, które pole zostanie wybrane do z...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Dyskusja

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Aby przeprowadzić badanie świata wizualnego, należy wykonać kilka kluczowych kroków. Po pierwsze, naukowcy zamierzają wydedukować interpretację języka prezentowanego słuchowo na podstawie ruchów gałek ocznych uczestników w świecie wizualnym. Odtąd, projektując układ bodźców wzrokowych, należy kontrolować właściwości ruchów gałek ocznych w naturalnym zadaniu, które potencjalnie wpływają na ruchy gałek ocznych uczestników. Dzięki temu można rozpoznać wpływ języka mówionego na ruchy gałek ocznych uczestników. Po drugie, syg...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Oświadczenia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autor oświadcza, że nie ma konkurencyjnych interesów finansowych.

Podziękowania

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

To badanie było wspierane przez Fundację Naukową Pekińskiego Uniwersytetu Językowo-Kulturalnego w ramach Funduszy Badań Podstawowych dla Uniwersytetów Centralnych (numer zatwierdzenia 15YJ050003).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
PixelmatorPixelmator Teamhttp://www.pixelmator.com/pro/aplikacja do edycji obrazów
PraatOpen Soursehttp://www.fon.hum.uva.nl/praat/Oprogramowanie do analizy i edycji dźwięku
Eyelink 1000plusSR-Research, Inchttps://www.sr-research.com/products/eyelink-1000-plus/zdalny monitor ruchu gałek ocznych na podczerwień 
Eksperymentalny konstruktorSR-Research, Inchttps://www.sr-research.com/experiment-builder/oprogramowanie do śledzenia oczu 
Przeglądarka danychSR-Research, Inchttps://www.sr-research.com/data-viewer/oprogramowanie do śledzenia oczu 
ROpen Soursehttps://www.r-project.orgwolne środowisko oprogramowania do obliczeń statystycznych i grafiki

Bibliografia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
  2. Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
  3. Salverda, A. P., Tanenhaus, M. K. Research methods in psycholinguistics and the neurobiology of language: A practical guide. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).
  4. Huettig, F., Rommers, J., Meyer, A. S. Using the visual world paradigm to study language processing: A review and critical evaluation. Acta Psychologica. 137 (2), 151-171 (2011).
  5. Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. Viewing and naming objects: Eye movements during noun phrase production. Cognition. 66 (2), B25-B33 (1998).
  6. Griffin, Z. M., Bock, K. What the eyes say about speaking. Psychological Science. 11 (4), 274-279 (2000).
  7. Young, L. R., Sheena, D. Survey of eye movement recording methods. Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).
  8. Conklin, K., Pellicer-Sánchez, A., Carrol, G. Eye-tracking: A guide for applied linguistics research. , Cambridge University Press. (2018).
  9. Duchowski, A. Eye tracking methodology: Theory and practice. , 2, Springer. (2007).
  10. Baayen, R. H., Davidson, D. J., Bates, D. M. Mixed-effects modeling with crossed random effects for subjects and items. Journal of Memory and Language. 59 (4), 390-412 (2008).
  11. Barr, D. J. Analyzing 'visual world' eyetracking data using multilevel logistic regression. Journal of Memory and Language. 59 (4), 457-474 (2008).
  12. Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception. Journal of Memory and Language. 90, 103-125 (2016).
  13. Bolker, B. M., et al. Generalized linear mixed models: A practical guide for ecology and evolution. Trends in Ecology and Evolution. 24 (3), 127-135 (2009).
  14. Mirman, D., Dixon, J. A., Magnuson, J. S. Statistical and computational models of the visual world paradigm: Growth curves and individual differences. Journal of Memory and Language. 59 (4), 475-494 (2008).
  15. Baayen, H., Vasishth, S., Kliegl, R., Bates, D. The cave of shadows: Addressing the human factor with generalized additive mixed models. Journal of Memory and Language. 94, 206-234 (2017).
  16. Baayen, R. H., van Rij, J., de Cat, C., Wood, S. Mixed-Effects Regression Models in Linguistics. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).
  17. Zhan, L. Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm. Frontiers in Psychology. 9, (2018).
  18. Maris, E., Oostenveld, R. Nonparametric statistical testing of EEG- and MEG-data. Journal of Neuroscience Methods. 164 (1), 177-190 (2007).
  19. Barr, D. J., Jackson, L., Phillips, I. Using a voice to put a name to a face: The psycholinguistics of proper name comprehension. Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).
  20. van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. Eye movements: A window on mind and brain. , Elsevier. Ch. 21 471-486 (2007).
  21. Parkhurst, D., Law, K., Niebur, E. Modeling the role of salience in the allocation of overt visual attention. Vision Research. 42 (1), 107-123 (2002).
  22. Grice, H. P. Vol. 3 Speech Acts. Syntax and semantics. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).
  23. Sauerland, U. Scalar implicatures in complex sentences. Linguistics and Philosophy. 27 (3), 367-391 (2004).
  24. Chierchia, G. Scalar implicatures and their interface with grammar. Annual Review of Linguistics. 3 (1), 245-264 (2017).
  25. Fox, D. Presupposition and Implicature in Compositional Semantics. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).
  26. Meyer, M. C. Ignorance and grammar. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).
  27. SR Research Ltd. SR Research Experiment Builder User Manual (Version 2.1.140). , Ottawa, Canada. (2017).
  28. SR Research Ltd. EyeLink® 1000 Plus Technical Specifications. , Mississauga, Canada. (2017).
  29. SR Research Ltd. EyeLink-1000-Plus-Brochure. , Mississauga, Canada. (2017).
  30. SR Research Ltd. EyeLink® 1000 Plus User Manual (Version 1.0.12). , Ottawa, Canada. (2017).
  31. SR Research Ltd. EyeLink® Data Viewer User’s Manual (Version 3.1.97). , Ottawa, Canada. (2017).
  32. McQueen, J. M., Viebahn, M. C. Tracking recognition of spoken words by tracking looks to printed words. The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).
  33. Altmann, G. T. M., Kamide, Y. Incremental interpretation at verbs: restricting the domain of subsequent reference. Cognition. 73 (3), 247-264 (1999).
  34. Altmann, G. T. M., Kamide, Y. The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing. Journal of Memory and Language. 57 (4), 502-518 (2007).
  35. Snedeker, J., Trueswell, J. C. The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing. Cognitive Psychology. 49 (3), 238-299 (2004).
  36. Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
  37. Zhan, L., Crain, S., Zhou, P. The online processing of only if and even if conditional statements: Implications for mental models. Journal of Cognitive Psychology. 27 (3), 367-379 (2015).
  38. Zhan, L., Zhou, P., Crain, S. Using the visual-world paradigm to explore the meaning of conditionals in natural language. Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).
  39. Brown-Schmidt, S., Tanenhaus, M. K. Real-time investigation of referential domains in unscripted conversation: A targeted language game approach. Cognitive Science. 32 (4), 643-684 (2008).
  40. Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. Rapid gains in speed of verbal processing by infants in the 2nd year. Psychological Science. 9 (3), 228-231 (1998).
  41. Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying on-line sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
  42. Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese. Journal of Child Language. 39 (4), 687-730 (2012).
  43. Zhou, P., Crain, S., Zhan, L. Grammatical aspect and event recognition in children's online sentence comprehension. Cognition. 133 (1), 262-276 (2014).
  44. Zhou, P., Crain, S., Zhan, L. Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing. Journal of Memory and Language. 67 (1), 149-164 (2012).
  45. Moscati, V., Zhan, L., Zhou, P. Children's on-line processing of epistemic modals. Journal of Child Language. 44 (5), 1025-1040 (2017).
  46. Helfer, K. S., Staub, A. Competing speech perception in older and younger adults: Behavioral and eye-movement evidence. Ear and Hearing. 35 (2), 161-170 (2014).
  47. Dickey, M. W., Choy, J. W. J., Thompson, C. K. Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening. Brain and Language. 100 (1), 1-22 (2007).
  48. Magnuson, J. S., Nusbaum, H. C. Acoustic differences, listener expectations, and the perceptual accommodation of talker variability. Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).
  49. Reinisch, E., Jesse, A., McQueen, J. M. Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately. Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).
  50. Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).
  51. Tanenhaus, M. K., Trueswell, J. C. Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

Okulografiaprzetwarzanie j zyka m wionegobod ce wzrokowebod ce s uchoweanaliza danychsystem EyeLinkledzenie spojrzeniarozumienie w czasie rzeczywistym

Powiązane artykuły