Wykorzystanie ruchów gałek ocznych zarejestrowanych w paradygmacie świata wizualnego do zbadania przetwarzania języka mówionego online

Ta metoda może pomóc odpowiedzieć na kluczowe pytania dotyczące przetwarzania online języka mówionego, w tym semantycznie złożonych zdań, takich jak dysjunkcje i instrukcje warunkowe. Główną zaletą tej techniki jest to, że można ją wykonywać na szerokim zakresie populacji w celu zbadania większości tematów w obszarach przetwarzania języka. Procedurę zademonstruje Xu Jing, student studiów podyplomowych.

Cao Yifan, Wang Meng, Yang Xiaotong, Zhan Min i Zhou Xuehan to studenci z mojej grupy badawczej. Aby przygotować bodźce wizualne, pobierz z Internetu 60 wolnych od praw autorskich obrazów clipart przedstawiających zwierzęta i otwórz je w odpowiednim edytorze obrazów. Kliknij Narzędzia i użyj szybkiego zaznaczania, aby wybrać i usunąć tło z każdego obrazu.

Kliknij opcję Obraz i rozmiar obrazu, aby zmienić rozmiar obrazów na 120 na 120 pikseli i narysować jedno duże otwarte pole o wymiarach 320 x 240 pikseli, jedno małe zamknięte pole o wymiarach 160 x 160 pikseli i dwa małe, otwarte pola o wymiarach 160 x 240 pikseli. Otwórz nowy plik, aby utworzyć szablon o wymiarach 1 024 na 768 pikseli dla pierwszego obrazu testowego, a następnie przeciągnij pola do wskazanych lokalizacji. Przeciągnij dwa obrazy clipart do dużego otwartego pola i po jednym z tych samych dwóch obrazów do dwóch małych otwartych pól.

Następnie utwórz 59 dodatkowych obrazów testowych, jak właśnie pokazano, przy czym każdy obraz zwierzęcia jest używany dwa razy na obraz testowy, równoważąc lokalizacje przestrzenne czterech pól między obrazami. Aby przygotować bodźce języka mówionego, zaprojektuj cztery zdania testowe odpowiadające każdemu obrazowi testowemu w języku ojczystym uczestników, co daje w sumie 240 zdań testowych do nagrania, z co najmniej trzema z czterech zdań i jedną z każdej z form, jak pokazano na ilustracji. Zwerbuj native speakerkę, która nagra cztery przykładowe stwierdzenia, a także nagrania dźwiękowe dla wszystkich zwierząt wykorzystywanych w eksperymencie.

Podziel 240 zdań testowych na cztery grupy, z których każda zawiera 15 stwierdzeń łączących, 15 stwierdzeń rozłącznych, 15 stwierdzeń ale i 15 zdań wypełniających. Następnie zapisz wszystkie ważne informacje dotyczące bodźców testowych w pliku tekstowym rozdzielanym tabulatorami, przy czym każdy wiersz odpowiada każdej z 240 prób. Aby skompilować sekwencję eksperymentu, otwórz konstruktora eksperymentów i utwórz nowy projekt.

Przeciągnij obiekt ekranu wyświetlacza do obszaru roboczego i zmień nazwę obszaru roboczego na Instrukcja. Kliknij pozycję Wstaw zasób tekstu wielowierszowego i kliknij dwukrotnie, aby otworzyć sekwencję bloków w celu zbudowania sekwencji bloków. Przeciągnij węzeł konfiguracji kamery EI do sekwencji bloków, aby wyświetlić ekran konfiguracji kamery na komputerze hosta EyeLink, aby ułatwić kalibrację i walidację konfiguracji kamery.

Kliknij pole Typ kalibracji w panelu właściwości i wybierz HV5 z listy rozwijanej. Aby skompilować sekwencję próbną, przeciągnij węzeł Ekran wyświetlania do sekwencji próbnej i zmień jego nazwę na Animal_1_Image. Przeciągnij węzeł Odtwórz dźwięk do sekwencji próbnej i zmień jego nazwę na Animal_1_Audio.

Przeciągnij węzeł Timer do sekwencji próbnej i zmień jego nazwę Animal_1_Audio_Length. Kontynuuj przeciąganie i zmienianie nazw dodatkowych węzłów Ekran wyświetlania, Odtwórz dźwięk i Czasomierz do sekwencji próbnej, aż zostaną utworzone trzy węzły dla każdego obrazu clipart. Następnie przeciągnij węzeł Korekcja dryfu do sekwencji próbnej, aby wprowadzić korekcję dryfu.

Aby utworzyć sekwencję nagrywania, przeciągnij nowy węzeł Ekran wyświetlania do sekwencji nagrywania. Zmień nazwę węzła na Test_Image. Kliknij dwukrotnie węzeł Ekran wyświetlania, aby otworzyć kreator ekranu, kliknij opcję Wstaw obszar zainteresowania prostokąta i narysuj cztery prostokątne obszary zainteresowania.

Przeciągnij węzeł Timer do obszaru roboczego, zmień nazwę węzła na Pause (Pauza) i zmień właściwość duration (czas trwania) na 500 milisekund. Przeciągnij węzeł Odtwórz dźwięk do przestrzeni roboczej i zmień nazwę węzła na Test_Audio, a następnie przeciągnij węzeł Timer do przestrzeni roboczej i zmień jego nazwę na Test_Audio_Length. Następnie dodaj węzeł Klawiatura do obszaru roboczego, zmień nazwę węzła Odpowiedzi behawioralne i zmień właściwość Dopuszczalne klucze na Góra, Dół, Prawo, Lewo.

Aby przeprowadzić eksperyment, uruchom system na komputerze hosta, aby uruchomić aplikację hosta kamery, a następnie kliknij wykonywalną wersję projektu eksperymentalnego na komputerze wyświetlającym. Wprowadź imię i nazwisko uczestnika i kliknij opcję Wybierz wartość warunku do uruchomienia, aby wybrać grupę z okna monitu. Umieść małą naklejkę z celem na czole uczestnika, aby śledzić pozycję głowy nawet wtedy, gdy obraz źrenicy zostanie utracony, na przykład podczas mrugnięć lub nagłych ruchów. Posadź uczestnika w odległości około 60 centymetrów od 21-calowego kolorowego monitora 4:3 o rozdzielczości 1 024 na 769 pikseli, dla którego 27 pikseli to kąt jednego stopnia.

Dostosuj wysokość monitora PC, aby upewnić się, że gdy uczestnik patrzy prosto przed siebie, patrzy pionowo na środkowe do górnych 75% monitora, a następnie obróć ramię ostrości na uchwycie biurkowym, aby ustawić ostrość obrazu oka. Następnie kliknij przycisk Kalibruj na komputerze hosta i poproś uczestnika, aby skupił się na siatce pięciu celów fiksacji, w losowej kolejności bez jawnych reakcji behawioralnych, aby zmapować ruchy gałek ocznych uczestnika na spojrzenie pełne szacunku w świecie wizualnym. Kliknij przycisk Zatwierdź i poproś uczestnika o skupienie się na tej samej siatce celów fiksacji w celu sprawdzenia poprawności wyników kalibracji.

Przeprowadź test dryfu, prosząc uczestnika o naciśnięcie spacji na klawiaturze, jednocześnie skupiając się na czarnej kropce na środku ekranu. Następnie prezentuj bodźce wizualne na monitorze komputera, odtwarzając bodźce słuchowe za pomocą pary zewnętrznych głośników umieszczonych po lewej i prawej stronie monitora. Aby zakodować i przeanalizować dane, otwórz przeglądarkę danych i kliknij Plik, Importuj plik i importuj wiele plików danych EyeLink, aby zaimportować wszystkie nagrane pliki śledzenia ruchu gałek ocznych.

Zapisz pliki w jednym pliku evs, a następnie otwórz plik evs i kliknij opcję Analiza, raporty i przykładowy raport, aby wyeksportować nieprzetworzone dane próbki bez agregacji. Prawidłową odpowiedzią na stwierdzenie łączące jest duże otwarte pole, podczas gdy poprawną odpowiedzią na stwierdzenie but jest małe otwarte pole zawierające pierwsze wymienione zwierzę w stwierdzeniu. Krytycznie, które pole zostanie wybrane dla instrukcji łączących, zależy od sposobu przetwarzania instrukcji warunkowej.

Na przykład małe zamknięte pole jest wybierane tylko wtedy, gdy obliczane są zarówno implikatura skalarna, jak i wnioskowanie o niewiedzy, co wynika ze zrozumienia zdania rozłącznego. Jak pokazano w panelu, fiksacja wzroku na małym zamkniętym polu nie zwiększa się, chyba że łącznik zdania jest łącznikiem rozłącznym lub gdy wzrost zaczyna się nie później niż przesunięcie łącznika rozłącznego. Paradygmat świata wizualnego to wszechstronna technika śledzenia ruchu gałek ocznych służąca do wnioskowania o zrozumieniu języka mówionego przez uczestnika online na podstawie ruchów gałek ocznych w świecie rzeczywistym.

Podczas rekrutacji uczestnicy pamiętaj, że powinni mieć normalną lub prawidłową normalną zdolność widzenia i normalną zdolność słyszenia. Aby zaprojektować kwalifikujące się badanie w świecie rzeczywistym, inne czynniki, które mogą wpływać na ruchy gałek ocznych uczestników, powinny być kontrolowane lub wykluczane. Podczas statystycznej analizy wyników należy wziąć pod uwagę problem, który może wynikać z ograniczonych odpowiedzi, wszystkich automatycznych korelacji lub automatycznych porównań.