Verwendung von Augenbewegungen aufgezeichnet in der visuellen Welt Paradigma, die Online-Verarbeitung von gesprochener Sprache zu erkunden

Diese Methode kann helfen, wichtige Fragen bei der Online-Verarbeitung von gesprochener Sprache zu beantworten, einschließlich semantisch komplexer Sätze, wie Zwierzwischenungen und Conditionals. Der Hauptvorteil dieser Technik ist, dass sie an einer Vielzahl von Populationen durchgeführt werden kann, um die meisten Themen in Bereichen der Sprachverarbeitung zu studieren. Demonstriert wird das Verfahren von Xu Jing, einem Postgraduiertenstudenten.

Cao Yifan, Wang Meng, Yang Xiaotong, Zhan Min und Zhou Xuehan sind die Studenten meiner Forschungsgruppe. Um die visuellen Reize vorzubereiten, laden Sie 60 urheberrechtlich geschützte ClipArt-Bilder von Tieren aus dem Internet herunter und öffnen Sie die Bilder in einem entsprechenden Bildeditor. Klicken Sie auf Extras, und verwenden Sie die Schnellauswahl, um den Hintergrund aus jedem Bild auszuwählen und zu löschen.

Klicken Sie auf Bild und Bildgröße, um die Größe der Bilder auf 120 x 120 Pixel zu ändern und eine große offene 320 x 240 Pixel-Box, eine kleine geschlossene 160 x 160 Pixel-Box und zwei kleine, offene 160 x 240 Pixel-Boxen zu zeichnen. Öffnen Sie eine neue Datei, um eine Vorlage von 1, 024 x 768 Pixeln für das erste Testbild zu erstellen, und ziehen Sie die Felder an die angegebenen Positionen. Ziehen Sie zwei ClipArt-Bilder in die große offene Box und jeweils eines der gleichen beiden Bilder in die beiden kleinen offenen Boxen.

Erstellen Sie dann 59 weitere Testbilder, wie gerade gezeigt wurde, wobei jedes Tierbild zweimal pro Testbild verwendet wird, wodurch die räumlichen Positionen der vier Felder zwischen den Bildern ausgeglichen werden. Zur Vorbereitung der Sprachreize können Sie vier Testsätze, die jedem Testbild entsprechen, in der Muttersprache der Teilnehmer für insgesamt 240 Testsätze zeichnen, wobei mindestens drei der vier Sätze und jeweils einer der Formulare dargestellt sind. Rekrutieren Sie eine Muttersprachlerin, um vier Beispielaussagen sowie Audio für alle Tiere aufzunehmen, die im Experiment verwendet werden.

Teilen Sie die 240 Testsätze in vier Gruppen auf, wobei jede Gruppe 15 Konjunktivaussagen, 15 disjunktive Aussagen, 15 aber Aussagen und 15 Füllsätze enthält. Speichern Sie dann alle wichtigen Informationen zu den Testreizen in einer durch Tabeinzeichen getrennte Textdatei, wobei jede Zeile jeder der 240 Versuche entspricht. Um die Experimentsequenz zu erstellen, öffnen Sie den Experiment-Builder, und erstellen Sie ein neues Projekt.

Ziehen Sie ein Bildschirmobjekt in den Arbeitsbereich, und benennen Sie die Arbeitsbereichsanweisung um. Klicken Sie auf Multiline-Textressource einfügen, und doppelklicken Sie, um die Blocksequenz zu öffnen, um die Blocksequenz zu erstellen. Ziehen Sie einen EI-Kamera-Setup-Knoten in die Blocksequenz, um einen Kamera-Setup-Bildschirm auf dem EyeLink-Host-PC aufzuführen, um die Kalibrierung und Validierung der Kameraeinrichtung zu erleichtern.

Klicken Sie im Eigenschaftenbedienfeld auf das Feld Kalibriertyp, und wählen Sie HV5 aus der Dropdown-Liste aus. Um die Testsequenz zu erstellen, ziehen Sie einen Bildschirmknoten in die Testsequenz und benennen Sie ihn Animal_1_Image um. Ziehen Sie einen Play Sound-Knoten in die Testsequenz, und benennen Sie ihn Animal_1_Audio um.

Ziehen Sie einen Timer-Knoten in die Testsequenz, und benennen Sie ihn Animal_1_Audio_Length um. Ziehen und Umbenennen zusätzlicher Bildschirm-, Wiedergabe- und Timerknoten in die Testsequenz fortsetzen, bis für jedes ClipArt-Bild drei Knoten erstellt wurden. Ziehen Sie dann einen Drift Correct-Knoten in die Testsequenz, um die Driftkorrektur einzuführen.

Um die Aufnahmesequenz zu erstellen, ziehen Sie einen neuen Bildschirmknoten in die Datensatzsequenz. Benennen Sie den Knoten Test_Image um. Doppelklicken Sie auf den Knoten Bildschirm anzeigen, um den Bildschirmgenerator zu öffnen, klicken Sie auf den Bereich "Rechteckbereich einfügen", und zeichnen Sie vier rechteckige Bereiche, die von Interesse sind.

Ziehen Sie einen Timerknoten in den Arbeitsbereich, benennen Sie den Knoten Pause um, und ändern Sie die Duration-Eigenschaft in 500 Millisekunden. Ziehen Sie einen Play Sound-Knoten in den Arbeitsbereich, und benennen Sie den Knoten Test_Audio um, und ziehen Sie einen Timer-Knoten in den Arbeitsbereich, und benennen Sie ihn Test_Audio_Length um. Fügen Sie dann einen Tastaturknoten zum Arbeitsbereich hinzu, benennen Sie den Knoten Behavioral Responses um, und ändern Sie die Acceptable Keys-Eigenschaft in Up, Down, Right, Left.

Um ein Experiment durchzuführen, starten Sie das System auf dem Host-PC, um die Hostanwendung der Kamera zu starten, und klicken Sie auf die ausführbare Version des experimentellen Projekts auf dem Display-PC. Geben Sie den Namen des Teilnehmers ein, und klicken Sie auf Bedingungswert auswählen, um eine Gruppe aus dem Eingabeaufforderungsfenster auszuwählen. Platzieren Sie einen kleinen Zielaufkleber auf der Stirn des Teilnehmers, um die Kopfposition zu verfolgen, auch wenn das Schülerbild verloren geht, z. B. bei Blinken oder plötzlichen Bewegungen. Setzen Sie den Teilnehmer ca. 60 Zentimeter von einem 21-Zoll 4:3-Farbmonitor mit einer Auflösung von 1, 024 x 769 Pixeln, wofür 27 Pixel einem Grad Winkel entsprechen.

Passen Sie die Höhe des Display-PC-Monitors an, um sicherzustellen, dass der Teilnehmer, wenn er geradeaus schaut, vertikal in die Mitte bis zu den oberen 75 % des Monitors schaut, und dann den Fokusarm auf der Schreibtischhalterung dreht, um das Augenbild in den Fokus zu rücken. Klicken Sie als Nächstes auf den Host-PC kalibrieren und bitten Sie den Teilnehmer, sich in zufälliger Folge ohne verdeckte Verhaltensreaktionen auf ein Raster von fünf Fixierungszielen zu fixieren, um die Augenbewegungen des Teilnehmers dem Blick des Betrachters in der visuellen Welt zuzuordnen. Klicken Sie auf Überprüfen, und bitten Sie den Teilnehmer, sich auf dasselbe Raster von Fixierungszielen zu fixieren, um die Kalibrierungsergebnisse zu validieren.

Führen Sie eine Drift-Prüfung durch, indem Sie den Teilnehmer bitten, die Leertaste auf der Tastatur zu drücken, während Sie den schwarzen Punkt in der Mitte des Bildschirms fixieren. Dann präsentieren Sie die visuellen Reize über den Display-PC-Monitor, während Sie die akustischen Reize über ein Paar externer Lautsprecher links und rechts des Monitors abspielen. Für Datencodierung und -analyse öffnen Sie den Datenbetrachter und klicken Sie auf Datei, Datei importieren und mehrere EyeLink-Datendateien importieren, um alle aufgezeichneten Eyetracker-Dateien zu importieren.

Speichern Sie die Dateien in einer einzelnen evs-Datei, öffnen Sie dann die evs-Datei, und klicken Sie auf Analyse, Berichte und Beispielbericht, um die Rohbeispieldaten ohne Aggregation zu exportieren. Die richtige Antwort auf eine Konjunktivaussage ist das große offene Feld, während die richtige Antwort auf eine Aber-Anweisung das kleine offene Feld ist, das das zuerst erwähnte Tier in der Anweisung enthält. Entscheidend ist, welches Feld für die Konjunktivanweisungen ausgewählt wird, hängt davon ab, wie eine bedingte Anweisung verarbeitet wird.

Beispielsweise wird das kleine geschlossene Feld nur ausgewählt, wenn die skalare Implikatierung und die Unwissenheitsinschlüsse berechnet werden, was sich aus dem Verständnis einer disjunktiven Anweisung ergibt. Wie im Panel dargestellt, nimmt die Augenfixierung auf dem kleinen geschlossenen Kasten nicht zu, es sei denn, das sententiale Bindemittel ist das disjunktive Bindemittel oder mit der Erhöhung, die spätestens mit dem Offset des disjunktiven Bindeivs beginnt. Das Visual World Paradigm ist eine vielseitige Eye-Tracking-Technik, um das Online-Verständnis der gesprochenen Sprache von ihren Augenbewegungen in der realen Welt ableiten zu können.

Bei der Rekrutierung erinnern Sie sich, dass sie normale oder korrekte normale Sehfähigkeit und eine normale Hörfähigkeit haben sollten. Um eine förderfähige Studie in der realen Welt zu entwerfen, sollten andere Faktoren, die die Augenbewegungen der Teilnehmer beeinflussen könnten, kontrolliert oder ausgeschlossen werden. Bei der statistischen Analyse der Ergebnisse sollten Probleme, die sich aus begrenzten Antworten ergeben können, alle automatischen Korrelationen oder automatischen Vergleiche berücksichtigt werden.