Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

Verwendung von Augenbewegungen aufgezeichnet in der visuellen Welt Paradigma, die Online-Verarbeitung von gesprochener Sprache zu erkunden

Published: October 13, 2018 doi: 10.3791/58086
Automatic Translation
1
1Institute for Speech Pathology and the Brain Science, School of Communication Science, Beijing Language and Culture University

Summary

Die visuelle Welt Paradigma überwacht Teilnehmer Augenbewegungen im visuellen Arbeitsbereich anhören oder eine gesprochene Sprache. Dieses Paradigma kann verwendet werden, um die Online-Verarbeitung einer breiten Palette von Psycholinguistische Fragen, einschließlich semantisch komplexe Anweisungen, wie z. B. disjunktive Aussagen zu untersuchen.

Abstract

Eine typische Eyetracking-Studie mit dem Paradigma der visuellen Welt, Teilnehmer Augenbewegungen auf Objekte oder Bilder im visuellen Arbeitsbereich sind über eine Eye-Tracker aufgezeichnet, wie die Teilnehmer produziert oder begreift eine gesprochene Sprache beschreibt das gleichzeitige visuelle Welt. Dieses Paradigma hat hohe Vielseitigkeit, wie es in den unterschiedlichsten Bevölkerungsgruppen, einschließlich derjenigen, die nicht lesen und/oder wer kann nicht offen geben ihre Verhaltensreaktionen wie preliterate Kinder und ältere Erwachsene Patienten, verwendet werden kann. Noch wichtiger ist, das Paradigma ist extrem empfindlich gegenüber feinkörnige Manipulationen des Sprachsignals, und es kann verwendet werden, um die Online-Verarbeitung von die meisten Themen im Sprachverständnis auf mehreren Ebenen, wie z. B. die feinkörnige akustische phonetische studieren Funktionen, die Eigenschaften der Wörter und sprachlichen Strukturen. Das Protokoll in diesem Artikel beschriebenen veranschaulicht, wie eine typische Bildwelt Eyetracking-Studie durchgeführt wird, anhand eines Beispiels zeigen, wie die Online-Verarbeitung von einige semantisch komplexen Anweisungen mit dem Paradigma der visuellen Welt erkundet werden kann.

Introduction

Gesprochene Sprache ist eine schnelle und kontinuierliche Informationsfluss, die sofort verschwindet. Es ist eine Herausforderung, experimentell zu diesem zeitlichen studieren, Sprachsignal sehr schnell ändern. Augenbewegungen aufgezeichnet in der visuellen Welt Paradigma können verwendet werden, um diese Herausforderung zu meistern. In eine typische Eyetracking-Studie mit dem Paradigma der visuellen Welt werden Teilnehmer Augenbewegungen, Bilder in einer Anzeige oder reale Objekte in einem visuellen Arbeitsbereich überwacht, wie sie hören oder produzieren, gesprochenen Sprache, die Darstellung der Inhalte der visuellen Welt1 ,2,3,4. Die grundlegende Logik oder die Verknüpfung Hypothese hinter diesem Paradigma ist, dass zu begreifen oder Planung einer Äußerung (offen oder verdeckt) visuelle Aufmerksamkeit der Teilnehmer auf ein bestimmtes Objekt in der visuellen Welt verlagern wird. Diese Verschiebung der Aufmerksamkeit haben eine hohe Wahrscheinlichkeit, sakkadische Augenbewegungen die besuchte Gegend in der Fovea Vision bringen zu initiieren. Mit diesem Paradigma wollen Forscher bestimmen, an welchem zeitlichen Punkt in Bezug auf einige akustische Wahrzeichen in das Sprachsignal eine Verlagerung der visuellen Aufmerksamkeit des Teilnehmers auftritt, gemessen an einem sakkadische Augenbewegungen auf ein Objekt oder ein Bild in der visuellen Welt. Wann und wo sakkadische Augenbewegungen in Bezug auf das Sprachsignal gestartet werden werden verwendet, um die Online-Sprachverarbeitung ableiten. Die visuelle Welt Paradigma kann verwendet werden, um die gesprochene Sprache verstehen1,2 und Produktion5,6zu studieren. Dieser methodische Artikel konzentriert sich auf Verständnis Studien. In einer Studie Verständnis mit der Bildwelt Paradigma, Teilnehmer Auge Bewegungen auf die visuelle Anzeige überwacht werden, während sie die gesprochenen Äußerungen über die visuelle Darstellung sprechen hören.

Verschiedenen Eye-Tracking-Systeme wurden in der Geschichte entwickelt. Die einfachste, kostengünstigste und mobilste System ist nur eine normale Videokamera, die ein Bild des Teilnehmers Augen erfasst. Augenbewegungen werden dann manuell durch Frame-by-Frame-Prüfung der video-Aufnahme kodiert. Jedoch die Sampling-Rate von solchen Eye-Trackers ist relativ gering, und die Codierung Verfahren ist zeitaufwendig. So nutzt eine moderne kommerzielle Eye-tracking System normalerweise optische Sensoren messen die Orientierung des Auges in seiner Umlaufbahn7,8,9. Um zu verstehen, wie ein zeitgenössische kommerzielle Eyetracking-System funktioniert, sollten folgende Punkte beachtet werden. Erstens, um die Richtung der fovealen Vision, einen Infrarot-Illuminator korrekt Messen (normalerweise mit der Wellenlänge um 780-880 nm) wird normalerweise gelegt entlang oder aus der optischen Achse der Kamera, so dass das Bild des Schülers unterscheidbar heller oder dunkler als die umliegenden Iris. Das Bild des Schülers oder der Schülerin Hornhaut Reflexion (normalerweise das erste Purkinje-Bild) wird dann zur Berechnung der Orientierung des Auges in seiner Umlaufbahn. Zweitens ist der Blick-Standort in der visuellen Welt tatsächlich hängt nicht nur von der Auge-Orientierung in Bezug auf den Kopf, sondern auch auf die Ausrichtung des Kopfes in Bezug auf die visuelle Welt. Um genau den Blick aus dem Auge Ausrichtung ableiten, die Lichtquelle und die Kamera des Eye-Trackers sind in Bezug auf Teilnehmer Kopf (Head mounted Eye-Tracker) befestigt oder in Bezug auf die visuelle Welt fixiert sind (Tabelle montiert oder Remote Eye-Tracker). Drittens: die Teilnehmer Kopf Ausrichtung entweder in Bezug auf die visuelle Welt korrigiert werden muss oder rechnerisch kompensiert werden, wenn Teilnehmer Kopf frei beweglich ist. Wenn ein remote Eye-Tracker in einem Kopf-frei-zu-Move-Modus verwendet wird, wird die Teilnehmer Kopfposition in der Regel aufgezeichnet, indem ein kleiner Aufkleber auf Teilnehmer Stirn. Die Ausrichtung des Kopfes wird dann rechnerisch vom Auge Ausrichtung zu den Blick-Speicherort in der visuellen Welt abrufen subtrahiert. Viertens sind eine Kalibrierung und einen Validierungsprozess dann verpflichtet, die Orientierung des Auges den Blicken der Berücksichtigung der visuellen Welt abbilden. Bei der Kalibrierung sind Teilnehmer Fixierung Samples von bekannten Zielpunkte aufgenommen, um die rohe Auge Datenzuordnung, um die Position in der visuellen Welt bestaunen. In den Validierungsprozess präsentieren sich die Teilnehmer mit der gleichen Zielpunkte wie die Kalibrierung. Die Differenz zwischen der berechneten Fixierung Position aus die kalibrierten Ergebnisse und die aktuelle Position des fixierten Ziel der visuellen Welt werden dann verwendet, um die Genauigkeit der Kalibrierung zu beurteilen. Um die Genauigkeit des Zuordnungsprozesses noch einmal zu bestätigen, ein Drift-Scheck gilt normalerweise auf jeden Versuch, wo ein einzelnes Fixierung Ziel Teilnehmer um die Differenz zwischen der berechneten Fixierung-Position und der tatsächlichen Position des Messen vorgestellt wird die Aktuelles Ziel.

Die primären Daten einer visuellen Welt-Studie ist ein Stream Blick Standorte der visuellen Welt, aufgenommen in die Sampling-Rate des Eye-Trackers, über der gesamten oder eines Teils der Studie Dauer bis hin. Die abhängige Variable verwendet in einer visuellen Welt-Studie ist in der Regel der Anteil der Proben, dass Teilnehmer Fixierungen an bestimmten räumlichen Bereich der visuellen Welt in einem bestimmten Zeitfenster befinden. Um die Daten zu analysieren, muss ein Zeitfenster zunächst ausgewählt werden, oft als Perioden von Interesse. Das Zeitfenster beträgt in der Regel Zeit gesperrt, um die Präsentation von einigen sprachlichen Veranstaltungen im auditiven Input. Darüber hinaus ist die visuelle Welt mussten auch in mehreren Regionen von Interesse (ROIs), aufgeteilt jeweils mit einem oder mehreren Objekten zugeordnet ist. Eine solche Region enthält das Objekt, das richtige Verständnis der gesprochenen Sprache entspricht und somit nennt man oft den Zielbereich. Eine typische Methode, die Daten zu visualisieren ist ein Anteil der Fixierung Grundstück, wo bei jedem Lagerplatz in einem Zeitfenster, der Anteil der Proben mit einem Blick die einzelnen Regionen von Interesse sind, gemittelt über Teilnehmer und Gegenstände.

Mit einer visuellen Welt Studie gewonnenen Daten, verschiedene Forschungsfragen beantwortet werden können: eine) auf den grobkörnigen Ebene sind Teilnehmer Augenbewegungen der visuellen Welt von verschiedenen auditiven sprachlichen Input betroffen? (b) wenn es eine Wirkung, was ist die Flugbahn des Effekts im Laufe des Prozesses? Ist es einen linearen Effekt oder High-Order-Effekt? und c) eine Wirkung, dann auf die feinkörnige, wann ist der früheste zeitliche Punkt wo solche Wirkung entsteht und wie lange dauert dieser Effekt letzten?

Um die Ergebnisse statistisch zu analysieren, sollten folgende Punkte beachtet werden. Erstens ist die Antwortvariable, d.h.Anteile der Fixierungen, oben und unten (zwischen 0 und 1) begrenzt einer multinomialen Verteilung anstatt einer Normalverteilung folgen. Traditionelle statistischen Methoden basierend auf Normalverteilung wie t-Test, ANOVA und lineare Modelle (gemischt-Effekt)10, können nicht von nun an direkt genutzt werden, bis die Proportionen auf ungebundene Variablen wie z. B. mit umgewandelt wurden empirischen Logit Formel11 oder mit unbegrenzten abhängigen Variablen wie z. B. euklidische Entfernung12ersetzt worden. Statistische Methoden, die nicht erfordern, dass die Annahme der Normalverteilung, so verallgemeinerte lineare Modelle (gemischt-Effekt)13 können auch verwendet werden. Zweitens muss eine Variable für die Zeitreihen zur Erkundung der wechselnden Flugbahn des beobachteten Effekts in das Modell aufgenommen werden. Diese Zeitreihen Variable ist ursprünglich der Eye-Tracker der Probenahmestellen auf den Ausbruch der Sprache Eingang neu ausgerichtet. Da die wechselnden Flugbahn in der Regel nicht linear ist, wird eine höhere Ordnung Polynomfunktion der Zeitreihen-normalerweise in die (verallgemeinerte) linear (gemischt-Effekt) Modell, d.h.Wachstum Kurve Analysen14hinzugefügt. Darüber hinaus Endpositionen Auge in die aktuelle Aufnahmepunkt hängt stark vorherige Bemusterung Punkt(e) vor allem, wenn die Aufnahmefrequenz hoch, wodurch das Problem der Autokorrelation. Um die Autokorrelation zwischen den benachbarten Messpunkte zu reduzieren, sind die Originaldaten oft nach unten in die Stichprobe einbezogenen oder gebinnten. In den letzten Jahren nutzten die generalisierte additive Wirkung gemischte Modelle (GAMM) auch gegen die Referenzpositionen Fehler12,15,16. Die Breite der Lagerplätze variiert zwischen den verschiedenen Studien, die von mehreren Millisekunden bis hin zu mehreren hundert Millisekunden. Die schmalste bin können, eine Studie wählen wird durch die Sampling-Rate von der Eye-Tracker in der speziellen Studie verwendeten eingeschränkt. Zum Beispiel wenn eine Eye-Tracker eine Sampling-Rate von 500 Hz hat, kann nicht dann die Breite des Zeitfensters kleiner als 2 ms = 1000/500 sein. Drittens, wenn eine statistische Analyse wiederholt zu jeder Zeit bin der Perioden von Interesse angewendet wird, induziert der familywise Fehler aus diesen Mehrfachvergleiche beseitigt werden sollten. Wie zuvor beschrieben, informiert die Flugbahn Analyse den Forscher, ob die Wirkung auf die grobe Körnung Ebene beobachtet linear in Bezug auf die Veränderung der Zeit, ist aber nicht angezeigt wird, wenn der beobachtete Effekt beginnt zu entstehen, und wie lange die beobachteten der Effekt hält. Um die zeitliche Lage bestimmen, wann der beobachtete Unterschied beginnt auseinander, und um herauszufinden, die zeitliche Dauer, die die beobachtete Wirkung hält, hat eine statistische Auswertung zu jeder Zeit bin wiederholt angewendet werden. Diese Mehrfachvergleiche führen wir den sogenannten familywise Fehler, egal welche statistischen Methode verwendet wird. Die familywise Fehler wird traditionell mit Bonferroni Anpassung17korrigiert. Vor kurzem wurde eine Methode namens Nichtparametrische Permutationstest ursprünglich in Neuroimaging eingereicht18 auf die visuelle Wort Paradigma19 zu steuern für den familywise Fehler angewendet.

Das Verständnis für einige gesprochene Sprache von TeilnehmerInnen Augenbewegungen der visuellen Welt ableiten wollen Forscher mit dem Paradigma der visuellen Welt. Um die Gültigkeit dieser Abzug zu gewährleisten, sollten andere Faktoren, die möglicherweise Einfluss auf die Augenbewegungen werden entweder ausgeschlossen oder gesteuert. Die folgenden zwei Faktoren gehören zu den gebräuchlichsten, die berücksichtigt werden müssen. Der erste Faktor beinhaltet einige systematische Muster in Teilnehmer erklärende Fixierungen unabhängig von der Sprache eingeben, wie z. B. die Tendenz, in der oberen linken Quadrat der visuellen Welt und bewegliche Augen in horizontaler Richtung wird einfacher als in fixieren vertikaler Richtung etc.12,20 , um sicherzustellen, dass die beobachteten Fixierung Muster beziehen sich auf die Objekte, die nicht zu den räumlichen Orten, wo sich die Gegenstände befinden, die räumliche Position eines Objekts ausgeglichen werden sollte in verschiedenen Studien oder über andere Teilnehmer. Der zweite Faktor, der Teilnehmer Augenbewegungen auswirken kann ist die grundlegende Bild Eigenschaften der Objekte in der visuellen Welt, wie z. B. Helligkeit Kontrast, Farbe und Edge Ausrichtung, unter anderem21. Um dieses Potenzial verwirrende zu diagnostizieren, die visuelle Darstellung wird normalerweise dargestellt, vor dem Beginn der gesprochenen Sprache oder vor dem Beginn der kritischen akustischen Markierung der gesprochenen Sprache, für ca. 1000 ms den zeitlichen Zeitraum vom Beginn des der Testbild zum Ausbruch von Test Audio, die Sprache eingeben oder die Disambiguierung Punkt der Sprache Eingang hat noch nicht gehört. Keinen Unterschied zwischen unterschiedlichen Bedingungen beobachtet sollte zu anderen Störfaktoren wie die visuelle Anzeige schlechthin, anstatt die Sprache Eingang abgeleitet werden. Von nun an bereitstellen Augenbewegungen beobachtet in dieser Vorschau einer Basis zur Bestimmung der Wirkung von den sprachlichen Input. Diese Vorschauzeitraum kann auch Teilnehmer mit der optischen Anzeige vertraut zu machen und die systematische Vorspannung des erklärenden Fixierungen reduzieren, wenn die gesprochene Sprache präsentiert wird.

Um zu veranschaulichen, wie eine typische Eyetracking-Studie mit dem visuellen Welt Paradigma durchgeführt wird, beschreibt das folgende Protokoll ein Experiment adaptiert von L. Zhan17 , die Online-Verarbeitung von semantisch komplexe Aussagen, d. h. zu erkunden disjunktive Aussagen (S1 oder S2), konjunktive Aussagen (S1 und S2) und aber-Aussagen (S1, aber nicht-S2). In gewöhnlichen Konservierung sind die Informationen, die einige Äußerungen zum Ausdruck gebrachten wirklich stärker als seine wörtliche Bedeutung. Disjunktive Aussagen wie Xiaoming Box enthält eine Kuh oder ein Hahn sind solche Äusserungen. Logisch, die disjunktive Aussage ist wahr, solange die zwei Disjuncts Xiaoming Box enthält eine Kuh und Xiaoming Box enthält einen Hahn nicht beide sind falsch. Daher ist die disjunktive Aussage wahr, wenn die zwei Disjuncts beide True sind wo ist die entsprechende konjunktive Aussage Xiaoming Box enthält eine Kuh und ein Hahn auch wahr. Im gewöhnlichen Gespräch, jedoch hören, dass die disjunktive Aussage oft deutet darauf hin, dass die entsprechende konjunktive Aussage falsch ist (skalare Implicature); und schlägt vor, dass die Wahrheitswerte der beiden Disjuncts durch den Lautsprecher (Unwissenheit Inferenz) unbekannt sind. Konten in der Literatur unterscheiden sich in ob zwei Schlüsse grammatische oder pragmatische Prozesse22,23,24,25,26 sind. Das Experiment zeigt, wie die visuelle Welt Paradigma verwendet werden kann, zwischen diesen Konten durch die Erforschung der Online-Verarbeitung von drei komplexe Anweisungen erledigt.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Alle Probanden müssen fundierten schriftlichen Zustimmung vor der Verabreichung der experimentelle Protokolle geben. Alle Verfahren, Einverständniserklärungen und experimentelles Protokoll wurden von der Ethikkommission der Forschung von der Beijing Language and Culture University angenommen.

Hinweis: Eine Verständnis-Studie mit dem visuellen Welt Paradigma normalerweise besteht aus den folgenden Schritten: Einführung der theoretischen Probleme, erkundet zu werden; Bilden Sie ein experimentelles Design; Bereiten Sie die visuelle und auditive Reize; Rahmen Sie das theoretische Problem in Bezug auf das experimentelle Design; Wählen Sie einen Eyetracker Teilnehmer Augenbewegungen zu verfolgen; Wählen Sie eine Software und erstellen Sie ein Skript mit der Software, die Reize zu präsentieren; Code und die Augenbewegungen aufgezeichneten Daten zu analysieren. Eine bestimmte Experiment kann in jedem der beschriebenen Schritte voneinander abweichen. Als Beispiel wird ein Protokoll eingeführt, um das Experiment durchführen und einige Punkte, die Forscher müssen im Hinterkopf behalten, wenn sie bauen und betreiben ihr eigenes Experiment mit dem Paradigma der visuellen Welt zu diskutieren.

1. bereiten Sie Test Reize

  1. Visuelle Reize
    1. Herunterladen Sie 60-ClipArts von Tieren, die frei von Urheberrechten aus dem Internet. Öffnen jedes Bild einzeln mit einem Bildbearbeitungsprogramm (z. B. Pixelmator), klicken Sie auf -Tools | Schnellauswahl-Werkzeug auswählen und den Hintergrund löschen. Klicken Sie auf Bild | Bildgröße ist sie auf 120 x 120 Pixel Größe.
    2. Laden Sie ein Student mit den Schwerpunkten Malerei, vier grüne Leuchtkästen zu ziehen, wie in Abbildung 1dargestellt. Verwenden Sie den Bild-Editor um die große offene Kiste 320 x 240 Pixeln, die kleine geschlossene Box mit der Größe von 160 x 160 Pixel und zwei kleine offenen Boxen, 160 x 240 Pixel, bzw. neu skalieren.
    3. Klicken Sie Pixelmator | Datei | Neue bauen eine Vorlage für das Testbild mit der Größe von 1024 768 Pixel. Ziehen Sie die Tiere und die Boxen an Korrektur-Positionen wird in Abbildung 1dargestellt.
      Hinweis: Das Layout der das Testbild schwankt zwischen Studien, aber der optimale Weg ist, vier Objekte verwenden und sie in den vier Quadranten der das Testbild zu stellen. Auf diese Weise ist es einfacher, die räumliche Lage der Objekte als Gegengewicht.
    4. Erstellen Sie 60 Testbilder wie in Abbildung 1, mit jedem Tier Bild zweimal verwendet wird. Gegengewicht zu die räumlichen Positionen der vier Kästchen unter den Bildern.
      Hinweis: Die Anzahl der Bilder muss nicht exakt 60 werden, solange ihre Wirkung Transponieren von derjenigen der experimentelle Manipulationen ist.
  2. Gesprochene Sprache Reize
    1. Entwerfen Sie vier Test-Sätze entsprechend jeder Testbild und 240 Test Sätze insgesamt aufgezeichnet werden. Stellen Sie sicher, dass drei der vier Sätze in Form von Abbildung 2; und der Füllstoff-Satz ist in Form von Xiaoming Box nicht enthalten, ein Hahn, aber eine Kuh.
      Hinweis: Die Test-Sätze sollten in der jeweiligen Landessprache vorgelegt werden, die Teilnehmer zu sprechen. Die Teilnehmer in diesem Experiment sind von Peking, Volksrepublik China, Chinesisch, so ist die Testsprache Mandarin-Chinesisch.
    2. Rekrutieren Sie einen weiblichen Muttersprachler (Muttersprache Chinesisch (Mandarin) in diesem Experiment) um vier Beispiel-Aussagen wie Abbildung 2sowie Audio alle Versuchstiere im Experiment zu Protokoll. Bei der Aufzeichnung der isolierten Tiernamen Fragen der Sprecher sich vorzustellen, dass die Namen der Tiere ein einfacher Satz wie Xiaoming Box enthält ein/eine ___ intakten Bestandteile sind aber sie muss nur den Namen des Tieres offen auszusprechen.
    3. Ersetzen Sie die Audio-Segmente der beiden Tiere in den Beispiel-Anweisungen mit dem Ton der beiden Tiere in jeder Prüfung verwendet, um die vollständige Liste der Test-Audios erstellen. Erstens Praat (alle anderen Audio-editing-Software ist berechtigt Alternative) zu öffnen und klicken Sie auf Open | Aus Datei lesen | Navigieren Sie zu der Datei | Öffnen und bearbeiten, navigieren Sie zu einem Element ersetzt werden, und klicken Sie anzeigen und bearbeiten | Bearbeiten | Auswahl in Ton Zwischenablage kopieren. Zweitens verwenden Sie dieselben Schritte, um eine Beispiel-Anweisung zu öffnen, klicken nach Auswahl einfügen. Drittens: Klicken Sie sparen | speichern als Wav-Datei speichern die bearbeiteten Anweisung. Wiederholen Sie den Vorgang für alle Elemente geändert werden und alle Test-Sätze.
    4. Rekrutieren Sie etwa 10 Muttersprachler der Testsprache (Mandarin-Chinesisch hier) um festzustellen, ob die konstruierten Test Audio verständlich und natürlich ist.
      Hinweis: Der Test-Ton wird traditionell als Ganzes und nicht als getrennte Wörter aufgenommen. Dieses traditionelle Aufzeichnungsmethode ist sinnvoll wenn die Test-Audio sind selbst Wörter zu trennen. Wenn die gesprochene Sprache Reize Sätze anstatt getrennte Wörter sind, aber diese traditionelle Methode hat mehrere Mängel auf: Erstens eine allgegenwärtige Eigenschaft einer kontinuierlichen Rede ist, dass zwei oder mehr Sprachlaute sind in der Regel zeitlich und räumlich überschneiden, Das macht es schwer, den Beginn des kritischen Wortes zu bestimmen. Zweitens macht die Abweichung zwischen der Länge der verschiedenen Studien auch es schwierig, alle Studien zusammen für statistische Auswertungen zu kombinieren. Drittens ist der traditionelle Aufnahmemethode oft zeitaufwendig, vor allem, wenn die Zahl der Test Audio sind relativ groß, wie die Experimente berichteten wir im Protokoll. Um die Mängel der traditionellen Aufnahmemethode zu überwinden, wird eine andere Methode vorgeschlagen, die gesprochene Test-Audios zu konstruieren. Zunächst wurde eine Liste von Beispielsätzen, die mit den Wörtern, die häufig unter den Test-Ton aufgenommen. Zweitens, alle Worte, die Wechsel zwischen Studien wurden ebenfalls isoliert. Schließlich wurden durch die aufgezeichneten Worte, um die vollständige Liste der Test-Audios zu konstruieren Beispielsätzen ersetzt. Im Vergleich zu der traditionellen Methode, hat die neue Methode mehrere Vorteile. Zunächst werden alle Test Audio genau gleich, außer für die kritischen Worte, und alle mögliche verwirrende Effekte im Test Audio fortan gesteuert. Zweitens macht die gleiche Länge auch die Segmentierung des Test-Audios einfacher als wenn die Test-Audios als Ganzes erfasst werden. Ein möglicher Nachteil dieser Methode ist, dass die konstruierte Audio möglicherweise nicht natürliche. Von nun an hat die Natürlichkeit der Audio Test ausgewertet, bevor sie für die eigentliche Prüfung berechtigt sind...
  3. Teilen Sie die 240 Test-Sätze in vier Gruppen, wobei jede Gruppe mit 15 konjunktive Aussagen, 15 disjunktive Aussagen, 15 aber Aussagen und Sätze 15 Füller. Stellen Sie sicher, dass jeder Teilnehmer nur eine Gruppe von 240 Studien Begegnungen: Er/Sie sieht der Test Bilder aber hört nur eine Gruppe von den Test-Audios.
    Hinweis: Dies ist zu bedenken, dass wenn der gleichen Stimulus wiederholt wird, Teilnehmer können werden über die Reaktion auf die Reize haben strategische immer Gewöhnung an diese Reize und möglicherweise sogar.
  4. Speichern Sie alle wichtigen Informationen zu den Test-Reize in eine tabulatorgetrennte Txt-Datei mit jeder Zeile jeweils 240 Prüfungen entspricht. Stellen Sie sicher, dass die Datei mindestens folgenden Spalten enthält: Experiment_group, Sentential_connective, Trial_number, Test_image, Test_audio, Test_audio_length, Ia_top_left, Ia_top_right, Ia_bottom_left, Ia_bottom_right, animal_1_ Bild, animal_1_audio, animal_1_audio_length, animal_2_image, animal_2_audio, animal_2_audio_length.
    Hinweis: Experiment_group wird verwendet, um die 240 Prüfungen in 4 Gruppen aufgeteilt. Sentential_connective entspricht verschiedenen experimentellen Bedingungen. animal_1_image entspricht dem Bild des Tieres, der Erstens präsentiert werden, um die Teilnehmer mit den Versuchstieren das Testbild vertraut zu machen. Test_image, Test_audiound Test_audio_length beziehen sich auf das Testbild und der Audio-Test als auch seine Länge, die in der aktuellen Studie verwendet. Ia_top_left, Ia_top_right, Ia_bottom_left, Ia_bottom_right beziehen sich auf die Namen der vier Interesse Bereiche in der aktuellen Studie, dh., sei es eine "Große offene"-Box, "klein geschlossen"-Box, die kleine offene Box mit den "erstmals erwähnt" Tier im Test-Audio, oder das kleine Feld Öffnen, enthält das "zweite erwähnte" Tier im Test-Audio. animal_1_audio und animal_1_audio_length beziehen sich auf die Audio- und die Länge des Tons entspricht der animal_1_image. animal_2_image, animal_2_audiound animal_2_audio_length entsprechen das zweite Tier, das präsentiert wird. Eine Sache zu betonen ist, dass die Sequenz, die beiden Tiere präsentieren ausgeglichen ist, in Bezug auf, ob das Tier im ersten oder im zweiten Halbjahr die Test-Audios erwähnt wird.

2. Rahmen der theoretischen Vorhersage in Bezug auf das experimentelle Design.

  1. Verhaltensreaktionen und Augenbewegungen in den Versuchsplan Teilnehmer können verwendet werden, um die Einsichten der Test Sätze zu unterscheiden und können verwendet werden, um zwischen verschiedenen Konten zu prüfenden Urteilen zu gewährleisten.
    Hinweis: Da das Versuchsdesign, ist die richtige Antwort auf eine konjunktive Aussage großen Feld Öffnen, z. B. Box A in Abbildung 1. Die richtige Antwort auf eine aber-Anweisung ist das kleine Feld Öffnen, enthält das Tier in der ersten Hälfte des Test-Audios, z. B. D-Box in Figur 1erwähnt wird. Jedoch hängen die Teilnehmer Antworten auf die disjunktive Mitteilung ob bzw. wie die beiden diskutierten Folgerungen verarbeitet werden. Wenn Teilnehmer die skalare Implicature weder die Unwissenheit Ableitung berechnen, sind alle vier Felder berechtigt Optionen. Wenn Teilnehmer, dass die skalare Implicature aber nicht die Unwissenheit Folgerung, dann die großen öffnen berechnen, z. B. Feld A in Abbildung 1, wird ausgeschlossen, und die restlichen drei Boxen, B, C und D sind alle förderfähigen Optionen. Wenn Teilnehmer zu, die Unwissenheit Folgerung aber nicht die skalare Implicature berechnen, dann die kleine offenen Boxen werden, d. h. ausgeschlossen werden., Boxen, C und D ausgeschlossen werden. Zusammenfassend lässt sich sagen, wird der kleinen geschlossenen Kasten, wie z. B. das Feld B in Abbildung 1, nicht gewählt werden als die letzte Option einer disjunktiven Anweisung bis die skalare Implicature und Unwissenheit Rückschlüsse sowohl berechnet werden.

3. bauen Sie die experimentelle Skript

  1. Das Experiment-Generator, klicken Datei öffnen | Neue , ein Experiment-Projekt zu erstellen. Geben Sie den Namen des Projekts wie Vwp_disjunction. Wählen Sie den Standort des Projekts. EyeLink Experiment zu überprüfen und Eyelink 1000plus aus der Dropdown-Liste wählen. Diese Vorgänge erstellt ein Unterverzeichnis mit alle Dateien zum Experiment im Zusammenhang, dass es ein Unterverzeichnis namens Vwp_disjunction mit einer Datei namens "graph.ebd" in den Ordner zu erstellen.
    Hinweis: Experiment-Generator dient der experimentellen Skript, die Test-Reize zu präsentieren und Teilnehmer Augenbewegungen sowie ihre Verhaltensreaktionen aufzeichnen zu bauen. Das Experiment-Builder ist eine benutzerfreundlichen Tool zum Erstellen von experimentellen Skript. Es ist einfach zu bedienen, aber andere Reize-Präsentations-Software ist alternativ berechtigt.
  2. Visualisieren Sie die hierarchische Struktur einer typischen Eyetracking-Experiment mit dem visuellen Welt Paradigma, wie in Abbildung 3dargestellt. Jedes Rosa Rechteck im Bild ist so ein Sequenzobjekt von Experiment-Generatorumgesetzt; und jedes Objekt mit grauem Hintergrund wird als ein Knoten-Objekt implementiert.
    Hinweis: Eine Sequenz im Experiment-Generator ist eine experimentelle Schleife-Controller verwendet, um verschiedene Objekte als komplexe Knoten miteinander zu verketten. Eine Sequenz beginnt immer mit einem Startknoten . Und eine Datenquelle kann an eine Sequenz Knoten, verschiedene Parameter für jeden Versuch zu liefern.
  3. Die Experiment-Sequenz zu bauen
    1. Klicken Sie -Datei | Öffnen Sie, navigieren Sie zu dem Verzeichnis des Experiments und doppelklicken Sie auf die graph.ebd -Datei im Projektverzeichnis, die gespeicherten Experiment-Projekt zu öffnen.
    2. Klicken Sie auf Bearbeiten | Hilfebibliotheks-Manager | Bild | Fügen Sie , die Bilder in das Experiment Projekt zu laden. Klicken Sie in ähnlicher Weise Bearbeiten | Hilfebibliotheks-Manager | Klang | Fügen Sie , das Audio in das Experiment-Projekt zu laden.
    3. Ziehen Sie ein DISPLAY_SCREEN -Objekt in den Arbeitsbereich und ändern Sie den Label-Wert auf das Bedienfeld "Eigenschaften", um ihn umzubenennen Weisung. Doppelklicken Sie, um den Unterricht Knoten öffnen, und klicken Sie auf Einfügen Multiline Textressource , um den experimentellen Unterricht geben. Stellen Sie sicher, dass die Anweisung enthält die folgende Informationen:
      In jeder Studie zunächst sehen Bilder von zwei Tieren, Sie ein Tier gedruckt auf dem Bildschirm wiederum zusammen mit dem Audio der Tiere auf die beiden Lautsprecher befindet sich auf beiden Seiten des Bildschirms gespielt. Ein schwarzer Punkt wird dann in der Mitte des Bildschirms präsentiert. Sie sollten die SPACE-Taste drücken, während Sie auf den Punkt fixieren. Als nächstes wird ein Testbild, bestehend aus vier Boxen, gedruckt auf dem Bildschirm zu sehen und hören einen Testsatz über die beiden Lautsprecher gespielt wird. Ihre Aufgabe ist es Xiaoming Kasten entsprechend dem Testsatz finden Sie gehört und so bald wie möglich die entsprechende Taste drücken:
      Obere linke Feld---Pfeil nach links
      Rechten Feld---Top Pfeil nach oben
      Linke untere Ecke Box---Pfeil nach links
      Unteren rechten Feld---Pfeil nach rechts
      In jedem Testbild sehen Sie vier Kisten an die vier Quadranten und zwei Tiere mit in den Feldern gelegen. Die vier Felder in zwei Dimensionen variieren können: seine Nähe und seine Größe. Ob eine Box geschlossen ist oder nicht, beeinflusst unser epistemische Wissen auf, dass das Feld, aber nicht des Tieres darin enthaltenen. Wenn eine Kiste geöffnet ist, ist das Tier (en) in dieser Box enthalten bekannt. Wenn eine Box geschlossen ist, ist das Tier (en) in dieser Box enthalten unbekannt. Die Größe einer Box beeinflusst die Anzahl der Tiere in der Box, aber nicht unser epistemisches Wissen auf, dass das Feld enthalten. Egal die Box geschlossen ist oder nicht, eine kleine Box enthält nur und immer ein Tier und eine große Kiste enthält immer zwei verschiedene Tiere.
      Wenn Sie mit dem experimentellen Ziel und Verfahren vertraut sind, informieren Sie bitte den Versuchsleiter wissen und wir helfen Ihnen das standard Eye-tracking-Kalibrierung und Validierung Routinen ausführen. Wenn Sie irgendwelche Fragen haben, zögern Sie nicht zu Fragen.
      Hinweis: Dies ist eine Anweisung, die auf dem Bildschirm vor dem Experiment gedruckt wird (in der Muttersprache sprechen die Teilnehmer, die wie Chinesisch (Mandarin) hier sollten die Anweisungen geschrieben werden).
    4. Ziehen Sie ein Tastatur -Objekt in den Arbeitsbereich.
      Hinweis: Dieser Schritt dient dazu die Anweisung Bildschirm
    5. Ziehen Sie ein Sequenzobjekt in den Arbeitsbereich und benennen Sie es als Block.
    6. Wählen Sie die Block -Sequenz, klicken Sie auf das Feld der Wert der Datenquelle -Eigenschaft, um die Daten-Quellcode-Editoraufzurufen. Klicken Sie auf Daten importieren , auf dem Source Editor Datenbild, Stirn, die txt-Datei erstellt in Schritt 1.4, die Datenquelle zu importieren.
    7. Klicken Sie Randomisierung Einstellung im Daten-Quellcode-Editor, Ermöglichen Trial Randomisierungzu überprüfen Sie, wählen Sie Trial_number aus dem Wert der Spalte Feld, und wählen Sie Experimental_group aus der Dropdown-Liste das Splitting Spaltenfeld.
    8. Ziehen Sie die zweite DISPLAY_SCREEN Objekt auf der Arbeitsfläche und benennen Sie ihn als ADE. Doppelklicken Sie auf den Abschied von Knoten und legen Sie die folgende Informationen: in teilnehmenden Muttersprache (Mandarin-Chinesisch in diesem Protokoll):das Experiment ist fertig und ich danke Ihnen für sehr viel Ihre Teilnahme.
    9. Mit der linken Maustaste auf den Knoten starten , ziehen Sie den Pfeil auf den Unterricht Knoten und lassen die Maustaste los um den Startknoten mit Anleitung Knoten verbinden. Wiederholen Sie die gleiche Maus bewegt sich zum Knotens Tastatur , Tastatur zu Block -Knoten, dann Block Node zum Abschied Knoten Knoten Anleitung Knoten herstellen. Klicken Sie anzeigen | Ordnen Sie Layout , die Knoten im Arbeitsbereich zu arrangieren.
  4. Die Block-Sequenz zu bauen
    1. Doppelklicken Sie, um die Block -Sequenz zu öffnen. Ziehen Sie einen El_CAMERA_SETUP -Knoten in der Block -Reihenfolge zu bringen, ein Kamera-Setup-Bildschirm auf dem EyeLink Host-PC für den Experimentator, Kamera-Setup, Kalibrierung und Validierung durchzuführen. Klicken Sie auf das Feld "Kalibrierung Art" im Bedienfeld "Eigenschaften" und wählen Sie HV5 aus der Dropdown-Liste.
      Hinweis: Die Anzahl der Standorte in der Zuordnungsprozess variiert zwischen verschiedenen experimentellen Designs. Die weitere Standorte abgetastet und desto mehr Platz bedeckt, desto größer ist die Genauigkeit zu rechnen. Aber mehr Proben bedeutet mehr Zeit, um die Prozesse zu beenden. Also praktisch kann nicht die Anzahl der Standorte in einer bestimmten Studie sehr groß sein, besonders wenn Teilnehmer preliterate Kinder oder klinischen Patienten sind. In der visuellen Welt Paradigma die Anzahl der Bereiche von Interesse ist relativ klein und die Bereiche von Interesse sind normalerweise relativ groß. Der Zuordnungsprozess erreichen ein befriedigendes Niveau mit relativ kleinen Anzahl von Standorten. In das Protokoll, das ich beschrieben habe, habe ich einen fünf-Punkte Kalibrierung und Validierung.
    2. Ziehen Sie einen Sequenz -Knoten in der Block-Sequenz, und benennen Sie sie als Testversion. Der Startknoten an den CAMERA_SETUP Knoten, dann auf den Knoten SEQUENCE anschließen.
  5. Die Trial-Sequenz zu bauen
    1. Doppelklick öffnen Sie die Trial -Sequenz, ziehen einen DISPLAY_SCREEN -Knoten in der Trial -Sequenz und benennen es als animal_1_image. Doppelklick öffnen Sie den Bildschirm-Generator -Knoten und klicken Sie auf die Schaltfläche Einfügen Bildressource auf der Bildschirm-Generator-Symbolleiste, um ein Tier Bild aus den Quellen der hochgeladenen Bild einfügen. Klicken Sie auf das Feld der Wert des Grundstücks Quelldateiname , navigieren Sie zu der DataSource an die Block -Sequenz angehängt; und doppelklicken Sie auf die Animal_1_Image -Spalte, um die DISPLAY_SCREEN mit richtigen Spalte der Datenquelle zu verbinden.
    2. Ziehen Sie einen PLAY_SOUND -Knoten in der Trial -Sequenz, und benennen Sie ihn als animal_1_audio. Klicken Sie auf die Audiodatei -Eigenschaft des Knotens animal_1_audio und verbinden Sie es mit der richtigen Spalte der Datenquelle (wie in Schritt 3.5.1 beschrieben wird).
    3. Ziehen Sie einen TIMER -Knoten in der Trial -Sequenz und benennen Sie ihn als animal_1_audio_length. Klicken Sie auf die Duration -Eigenschaft des der TIMER Knoten und navigieren Sie zu der richtigen Spalte der Datenquelle in 3.4.1 erstellt.
    4. Ziehen Sie einen anderen DISPLAY_SCREEN Knoten, ein anderer PLAY_SOUND Knoten und einen anderen TIMER -Knoten in der Trial -Sequenz, als animal_2_image, animal_2_audio, und Tier umbenennen _2_audio_duration, wiederholen Sie die Schritte im Schritte 3.5.1 - 3.5.3.
      Hinweis: Diese Schritte sind zur Kontrolle für die potentielle Störfaktoren, dass dasselbe Bild von verschiedenen Teilnehmern anders benannt werden könnte. Die Reihenfolge der präsentieren die beiden Tiere in Bezug auf, ob es in der ersten oder zweiten Jahreshälfte die Test-Audios erwähnt wird ein Gegengewicht.
    5. Ziehen Sie ein Bereiten Sequenzobjekt in der Trial -Sequenz und ändern Sie die Eigenschaft Zeichnen zu Eyelink Host zu Bild.
      Hinweis: Dieser Knoten dient zur Vorspannung der Bild und Audio-Dateien in den Speicher für das Echtzeit-Bild zeichnen und Ton spielen. Und es wird auch verwendet, um Feedback Grafiken auf dem Host-PC zu zeichnen, so dass die Teilnehmer Blick Genauigkeit überwacht werden kann.
    6. Ziehen Sie einen DRIFT_CORRECT -Knoten in die Trial -Sequenz, die Drift-Korrektur einzuführen.
    7. Ziehen Sie einen neue Sequenz -Knoten, und benennen Sie ihn als Aufzeichnung. Verbinden Sie mit dieser Knoten ein nach einem der starten .
  6. Die Aufnahme -Sequenz zu bauen
    1. Überprüfen Sie die Datensatz-Feld in das Bedienfeld "Eigenschaften" der Aufnahme -Sequenz, und doppelklicken Sie, um die Aufnahme -Sequenz zu öffnen.
      Hinweis: Eine Sequenz mit Rekord -Eigenschaft überprüft bedeutet, dass Teilnehmer Augenbewegungen während dieser Zeit aufgezeichnet werden.
    2. Ziehen Sie eine neue DISPLAY_SCREEN in der Protokoll -Sequenz, benennen Sie es als Test_image. Fügen Sie der Nachricht Test_image_onset in die Message -Eigenschaft des Knotens Test_image .
      Hinweis: In Daten Analysen Stufe werden die Nachricht in den Test_image -Knoten und die Nachricht in den Test_audio Knoten (Abschnitt 3.6.6) wichtig, das Auftreten von der Testbilder und dem Beginn des Test-Audios in jeder Prüfung zu finden.
    3. Doppelklick öffnen Sie den Bildschirm-Generator -Knoten und klicken Sie auf die Schaltfläche Einfügen Bildressource auf der Bildschirm-Generator-Symbolleiste, um jedes mögliches Tier Bild aus den Quellen der hochgeladenen Bild einfügen. Klicken Sie auf das Wertfeld den Namen der Quelldatei Eigenschaft, navigieren Sie zu der DataSource befestigt, die Block -Sequenz; und doppelklicken Sie auf die Test_image -Spalte, um die DISPLAY_SCREEN mit richtigen Spalte der Datenquelle zu verbinden.
    4. Doppelklicken Sie den DISPLAY_SCREEN -Knoten, um den Bildschirm-Generatorzu öffnen, klicken Sie auf die Schaltfläche Einfügen Rechteck Interesse BereichRegion und zeichnen Sie vier rechteckige Bereiche von Interesse, wie durch die blauen Felder in Abbildung 1dargestellt. Ändern Sie die Beschriftungen der vier Bereiche von Interesse, Top_Left, Top_Right, Bottom_Leftund Bottom_Right, und verbinden Sie der DataViewer Namen eingereicht mit der richtigen Spalten der Datenquelle zu.
      Hinweis: Diese Bereiche sind für die Teilnehmer unsichtbar. Damit die Bereiche von Interesse aussagekräftiger werden, kennzeichnen den Namen des oberen linken Bereich im Beispiel wie eine (große offene) "Box", Bereich oben rechts auf "Box b (kleine geschlossen)", unten linken Bereich als "Box C (zweite erwähnt)" und der Bereich unten rechts als "Feld D (erstmals erwähnt)" , weil die beiden kleinen offenen Felder enthalten die beiden Tiere jeweils in der ersten und zweiten Hälfte des Test-Audios, erwähnt wird.
    5. Ziehen Sie einen TIMER -Knoten in den Arbeitsbereich, als Pauseumbenennen Sie und ändern Sie die Dauer -Eigenschaft auf 500 ms.
      Hinweis: Dieser TIMER Knoten fügt einige Zeitspanne zwischen Beginn der das Testbild und dem Beginn der Test Audio. Die zeitliche Verzögerung bietet Teilnehmern mit den Testbildern vertraut machen konnten. Teilnehmer Augenbewegungen während dieses Vorschauzeitraums bieten auch eine Basislinie für die Bestimmung der Auswirkungen des gesprochenen Sprache Eingang, vor allem, wenn die kritische Worte zu Beginn des Test-Audios befinden.
    6. Ziehen Sie einen PLAY_SOUND Knoten in den Arbeitsraum und benennen Sie es als Test_audio. Klicken Sie auf die Audiodatei Eigenschaft und verbinden Sie es mit der richtigen Spalte der Datenquelle (wie in Schritt 3.5.1 beschrieben wird) und fügen Sie der Nachricht Test_audio_onset in der Message -Eigenschaft.
    7. Ziehen Sie einen TIMER -Knoten in den Arbeitsraum, benennen Sie es als Test_audio_length. Ändern Sie die Duration -Eigenschaft auf 10500 ms.
    8. Fügen Sie einen neuen TIMER -Knoten, benennen Sie es als Record_extension, und ändern Sie die Duration -Eigenschaft auf 4000 ms.
    9. Fügen Sie einen neue Tastatur -Knoten in den Arbeitsraum, als Verhaltensreaktionenumbenennen Sie und ändern Sie die akzeptable Keys -Eigenschaft auf "[oben, unten, rechts, Links]".
      Hinweis: Teilnehmer Verhaltens Antwortmöglichkeit können zu überprüfen verwendet werden Teilnehmer Augenbewegungen die Gültigkeit des Vertragsschlusses abgeleitet.
    10. Verbinden Sie der Startknoten mit Pause, Test_audio, Test_audio_length, dann nach Record_extension Knoten. Eine andere Verbindung aus Test_audio_length , Behavioral_responses Knoten hinzufügen.
      Hinweis: Durch die Zugabe dieser Verbindungen, aktuelle Studie endet und ein neuer Versuch startet nachdem Teilnehmer drücken eine Taste, XiaomingBox oder 4000 ms nach der Offset des Tests wählen audio vorgenommen.
    11. Ziehen Sie einen Variablen Knoten in den Arbeitsraum, benennen Sie es als Key_pressedund schließen Sie die Value-Eigenschaft an Behavioral_Responses Tastatur | Daten ausgelöst |  Schlüssel.
    12. Ziehen Sie einen RESULT_FILE Knoten in den Arbeitsbereich, ziehen Sie einen ADD_TO_RESULT_FILE -Knoten in den Arbeitsraum und verbinden Sie sowohl die Record_extension und die Behavioral_responses Knoten, ADD_TO_RESULT_FILE Knoten.
  7. Klicken Sie auf Test | Bauen um das experimentelle Skript zu erstellen, klicken Sie Experiment | Testen Sie Lauf zu testen, führen Sie das Experiment. Nachdem alles erledigt ist, klicken Sie auf Experiment | Bereitstellung von erstellen Sie eine ausführbare Version das experimentelle Projekt.
    Hinweis: Für weitere Informationen zu den Experiment-Generator verwenden, konsultieren Sie bitte die Software manuell27.

(4) Teilnehmer zu rekrutieren.

  1. Dafür sorgen Sie die Teilnehmer um normale oder korrigierte normalem Sehvermögen haben. Empfehlen Sie, die kurzsichtige Teilnehmer, Kontaktlinsen, aber Gläser tragen auch akzeptabel sind, solange die Gläser sauber sind. Sicherstellen Sie, dass alle Teilnehmer die Prüfung Sprache wie Chinesisch (Mandarin) hier Muttersprachler sind.
    Anmerkung: Als allgemeine Richtlinie, ein Teilnehmer gilt als berechtigt, solange der Teilnehmer die Testbilder in einem Abstand von etwa 60 Zentimetern sehen kann. In Bezug auf die Anzahl der Teilnehmer, nach einige Faustregeln sollte die maximale Teilnehmerzahl für die Regressionsanalyse nicht weniger als 50 sein. Hier nahmen siebenunddreißig Doktoranden aus Beijing Language and Culture University in das Experiment, das ein wenig kleiner als die empfohlene Menge ist.

5. führen Sie das Experiment

Hinweis: Wenn Teilnehmer normal entwickelten Erwachsene sind, reicht ein Experimentator, die Durchführung des Experiments durchzuführen. Aber wenn Teilnehmer besonderen Personengruppen, wie Kinder, mindestens zwei Experimentatoren erforderlich sind.

  1. Wählen Sie eine Eye-Tracker Teilnehmer Augenbewegungen aufnehmen.
    Hinweis: In diesem Experiment verwendete Eye-Tracker ist Eyelink 1000plus unter den Kopf frei zu verschieben-Modus ausgeführt. Dies ist ein Video-basierte, Desktop-montierten Eye tracking-System, mit dem Prinzip der Schüler mit Hornhaut Reflexion (CR), um Drehung des Auges zu verfolgen. Wenn unter den Kopf frei zu verschieben-Modus ausgeführt, hat der Eye-Tracker die monokulare Sampling-Rate von 500 Hz mit einer räumlichen Auflösung von 0,01 ° und einen durchschnittlichen Fehler von weniger als 0,5 °. Konsultieren Sie für weitere detaillierte Informationen über das System bitte die technische Spezifikation28,29. Alternative Tracker können verwendet werden, aber die mit remote Tracking-Modus sind besser, vor allem, wenn Teilnehmer preliterate Kinder sind.
  2. Starten Sie das System auf dem Host-PC um die Host-Anwendung der Kamera zu starten.
  3. Um das System zu remote-Desktop-Modus zu konfigurieren, klicken Sie auf Set Option , setzen Sie die Konfigurationsoption auf Desktop--Target Aufkleber--Monokular--16/25 mm Länge - RTARBLER.
  4. Klicken Sie auf die ausführbare Version des Projekts "experimentellen" auf dem Display PC, Name des Teilnehmerseingeben und wählen Sie eine Gruppe aus das Fenster der Eingabeaufforderung , wählen Sie Konditionswert auszuführenden.
    Hinweis: Jeder Test-Session erstellt einen Ordner mit der eingegebene Name unter dem Unterverzeichnis Ergebnisse des Projekts Experiment. Die EDF-Datei unter dem Ordner enthaltenen relevanten Auge Bewegungen Daten.
  5. Bitten Sie die Teilnehmer sitzen ca. 60 cm von einem 21-Zoll-4:3-Farbmonitor mit 1024px x 769px Auflösung, wo 27 Pixel entspricht 1 Grad Winkel.
  6. Einstellen Sie die Höhe der dem Display PC-Monitor, um sicherzustellen, dass, wenn der Teilnehmer sitzt und geradeaus blickend sie vertikal in der Mitte suchen nach oben 75 % des Monitors.
    Hinweis: Der Stuhl, Schreibtisch und/oder dem PC-Monitor werden bevorzugt, wenn sie in der Höhe verstellbar sind. Der Stuhl und der Tisch mit Rollen sollte vermieden werden, da sie eher dazu führen, dass unbeabsichtigte Bewegung und Roll.
  7. Legen Sie einen kleines Ziel-Aufkleber auf Teilnehmer Stirn, um die Kopfposition zu verfolgen, auch wenn die Schüler Bild verloren, wie z. B. während blinkt oder plötzliche Bewegungen.
    Hinweis: Verschiedene Eye Tracker können verschiedene Methoden verwenden, um Teilnehmer Kopf verfolgen. Um die seitlichen Bewegungsbereich des Subjekts zu maximieren, sollte die nachverfolgte Auge auf der gleichen Seite wie der Beleuchtung.
  8. Drehen Sie die Fokussierarm auf dem Schreibtisch montieren des Auges in den Fokus bringen.
  9. Klicken Sie auf Kalibrieren , auf dem Host PC zur Durchführung der Kalibrierung Fragen Teilnehmer ein Netz von fünf Fixierung Ziele in zufälliger Folge mit keine offenkundigen Verhaltensreaktionen fixieren zuordnen Teilnehmer Augenbewegungen zu den Blicken der Berücksichtigung in der visuellen Welt.
  10. Klicken Sie die Schaltfläche " bestätigen " auf dem Host-PC um die kalibrierten Ergebnisse Fragen Teilnehmer fixieren das gleiche Raster der Fixierung Ziele überprüfen. Wiederholen Sie die Kalibrierung und Validierung Routinen, wenn der Fehler größer als 1 ° ist.
  11. Führen die beiden Routinen zu Beginn des Experiments und wann immer die Messgenauigkeit schlecht ist (zB., nach starken Bewegungen des Kopfes oder eine Änderung in der Haltung der Teilnehmer).
  12. Klicken Sie auf die Record -Taste auf dem Host-PC um das Experiment zu beginnen.
  13. Überprüfen Sie Drift auf jede Studie mit der Frage der Teilnehmer auf die SPACE -Taste auf der Tastatur drücken, beim fixieren auf den schwarzen Punkt in der Mitte des Bildschirms dargestellt.
    Hinweis: Wenn die Teilnehmer preliterate Kinder oder klinischen Patienten, sie auf die Tastatur drücken, während den schwarzen Punkt fixieren explizit anweisen ist normalerweise nicht praktikabel. Aber ihre Aufmerksamkeit und Auge Fixierungen sind in der Regel automatisch von der angezeigten schwarzen Punkt angezogen werden. In diesem Fall sollte der Experimentator die Person auf die Tastatur drücken, während der Teilnehmer auf den schwarzen Punkt fixiert ist.
  14. Präsentieren Sie die visuelle Reize über den Display-PC-Monitor zu und spielen Sie die auditive Reize über ein paar externe Lautsprecher befindet sich Links und rechts vom Monitor (Kopfhörer sind auch akzeptabel).
    Hinweis: Die Aufnahmen werden als 24 kHz mono sound-Clips von der Festplatte gespielt. Wenn es keinen besonderen Grund gibt, sind mono sound-Clips vorgezogen, Stereo-Audio-Clips. In einer Stereo-Audio-Clip kann der Unterschied zwischen den zwei Tonspuren, sowie der Unterschied zwischen den beiden Lautsprechern Teilnehmer Augenbewegungen auswirken. Weitere Informationen zur Verwendung der Eye-Tracker konsultieren Sie bitte den Benutzer manuell30.

6. Datenkodierung und Analysen

  1. Daten-Viewer zu öffnen, klicken Sie Datei | Datei importieren | Importieren Sie mehrere Eyelink Dateien , importieren Sie alle aufgezeichneten Auge-Tracker-Dateien (mit der Erweiterung des EEF), und speichern Sie sie in einem einzigen . EVS Datei.
  2. Öffnen Sie die gespeicherte EVS-Datei und klicken Sie auf Analyse | Berichte | Probieren Sie Bericht , die Roh Beispieldaten mit keine Aggregation zu exportieren.
    Hinweis: Verfügt die Eye-Tracker eine Sampling-Rate von 500 Hz, die exportierten Daten 500 Datenpunkte, fortan 500 Zeilen pro Sekunde pro Testversion haben. Wenn Teilnehmer linkes Auge verfolgt wird, stellen Sie sicher die folgenden Spalten als auch die Variablen, die in der Datenquelle erstellt werden exportiert: RECORDING_SESSION_LABEL, LEFT_GAZE_X, LEFT_GAZE_Y, LEFT_INTEREST_AREA_LABEL, LEFT_IN_BLINK, LEFT_IN_SACCADE, LEFT_PUPIL_ GRÖßE, SAMPLE_INDEX, SAMPLE_MESSAGE. Weitere Informationen zur Verwendung der Daten-Viewer konsultieren Sie bitte die Software manuell31.
  3. Beginn der das Testbild den Offset des Test-Audios, dhdie statistischen Analysen zum zeitlichen Fenster verhindern., das zeitliche Fenster mit der Dauer von 11 s.
  4. Löschen Sie die Proben, wo Teilnehmer Augenbewegungen nicht aufgezeichnet werden, wie z. B. Teilnehmer blinken die Augen, die etwa 10 % der aufgezeichneten Daten betrifft.
    Hinweis: Dies ist ein optionaler Schritt, da die Ergebnisse normalerweise die gleichen sind, egal ob diese Proben gelöscht.
  5. Kodieren der Daten. Konstruieren Sie die Daten für einen bestimmten Bereich des Interesses an einer bestimmten Entnahmestelle, Code die Daten als 1 Teilnehmer Auge Fixierung befindet sich im Bereich der Interesse an diesem Probenahmestelle analysiert werden. Kodieren Sie die Daten als 0, wenn die Fixierung des Auges nicht in den Bereichen des Interesses an diesem Probenahmestelle liegt.
  6. Zeichnen Sie eine Anteil der Fixierung um die gewonnenen Daten zu visualisieren. Der Anteil der Fixierungen über bestimmten Interessengebiet, Durchschnitt berechnen zeigen die codierten Daten für alle Prüfungen und alle Teilnehmer in jeder Probe unter jeder Bedingung. Plotten Sie die berechnete Anteil der Fixierungen auf der y-Achse gegen die Sampling-Punkt auf der Achse, mit verschiedenen Panels für Bereiche von Interesse und mit dem Plotten Farben für verschiedenen experimentellen Bedingungen.
    Hinweis: Die vier Platten dargestellt im Experiment Teilnehmer Fixierung Muster auf die vier Bereiche von Interesse. Die roten, grünen und blauen Linien dargestellt Teilnehmer Fixierung Muster als Test Aussagen Konjunktionen (S1 und S2), aber-Anweisungen (S1 aber nicht S2) und Disjunktionen (S1 oder S2), bzw. waren. Die Software verwendet, um die beschreibende Plot zeichnen ist das ggplot2-Paket von R-Umgebung. Andere Software ist ebenfalls verfügbar. Abbildung 5 ist ein Beispiel für solche Handlung.
  7. Passen Sie eine verallgemeinerte lineare gemischte Binomialmodell (GLMM) auf jedes Interessengebiet an jeder Probenahmestelle, wie die Daten, entweder als 1 oder 0 kodiert wurde, je nachdem, ob der Teilnehmer Fixierung in oder aus dem Bereich des Interesses an diesem Probenahmestelle liegt.
    Hinweis: Wie die Daten nicht klassifiziert, und die codierten Daten können nur 1 oder 0, ist die Verteilung der kodierten Daten binär als normal. Von nun an wird ein GLMM-Modell mit der Familie der Binomialverteilung verwendet. Die GLMM Modell enthält eine feste Laufzeit, die experimentellen Bedingungen und zwei zufällige Begriffe, Teilnehmer und Gegenstände. Die Formel ausgewertet, die zwei zufällige Begriffe enthält die Abschnitte und die Steigung der Versuchsbedingungen. Die Software verwendet, um das passende Modell zu tun ist das lme4 -Paket von R-Umgebung. Andere Software ist ebenfalls verfügbar. Eins sollte erwähnt werden, ist, dass die Grundlinie der festen Elemente unterschieden sich bei der analysierten Interessengebiet, dh., unterscheiden sich die analysierten Boxen. Um genau zu sein, wurde die Konjunktion (S1 und S2) gewählt als Grundlage bei der Analyse der große offene Feld (Feld A), Disjunktion (A und B) wurde als Grundlinie gewählt, bei der Analyse von kleinen geschlossenen Feld (Feld B), und aber-Anweisung wurde gekürt der Basislinie bei der Analyse der erstgenannten Feld (Feld D).
  8. Bonferroni stellen Sie die p -Werte, die mit Wald Z Test, um die familywise Fehler durch multiple Vergleiche zu reduzieren.
    Bemerkung: Bonferroni-Einstellung ist die traditionelle Art der familywise Fehler durch Mehrfachvergleiche anzugehen. Andere Methoden zur Verfügung stehen, wie wir in der Einführung beschrieben.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

In Abbildung 4sind Teilnehmer Verhaltensreaktionen zusammengefasst. Wie wir bereits erwähnt, ist die richtige Antwort auf eine konjunktive Erklärung (S1 und S2) großen Feld Öffnen, z. B. Box A in Abbildung 1. Die richtige Antwort auf eine aber-Anweisung (S1 aber nicht S2) ist das kleine Feld Öffnen, enthält das erste genannten Tier wie Box D in Abbildung 1. Kritisch, welches Feld der disjunktive Anweisung (S1 oder S2) gewählt wird, hängt wie eine disjunktive Anweisung verarbeitet wird: die kleine geschlossene Box, wie in Abbildung 1, das Feld B gewählt wird nur dann, wenn die skalare Implicature und Unwissenheit Rückschlüsse in Bezug auf die disjunktive Anweisung werden beide berechnet. Abbildung 4 zeigt, dass bei eine disjunktive Erklärung (S1 oder S2) begreifen, Teilnehmer sowohl die zwei Schlüsse berechnen.

Darüber hinaus vorschlagen vor allem, wenn diese Fixierungen die Verhaltensreaktionen auf diesem Feld folgen Teilnehmer Auge Fixierungen auf dem kleinen geschlossenen Kasten auch, dass die skalare Implicature und Unwissenheit Rückschlüsse berechnet werden. Die zwei Schlüsse sollten verarbeitet wurden bis spätestens den frühesten zeitlichen Punkt wenn Teilnehmer ihre visuelle Aufmerksamkeit und Fixierungen auf dem kleinen geschlossenen Kasten verschieben. Teilnehmer Augenbewegungen sind in Abbildung 5zusammengefasst. Wie wir im Bedienfeld "B" sehen können, erhöhen nicht Teilnehmer Auge-Fixierungen auf dem kleinen geschlossenen Feld (Feld B), wenn die sentential Bindegewebe das disjunktive Bindegewebe, oderist. Darüber hinaus beginnt diese Erhöhung spätestens den Versatz der disjunktive Bindegewebe. Dies deutet darauf hin, dass die skalare Implicature und Unwissenheit Rückschlüsse vor den Offset des sentential Bindegewebe, d. h. sofort berechnet werden bei der Begegnung mit dem disjunktiven Bindegewebe.

Figure 1
Abbildung 1 . Ein Beispiel für die Testbilder im Experiment verwendet. Der graue Bereich ist das Testbild tatsächlich Teilnehmern vorgestellt. Die Blues-Boxen, die gestrichelten Linien und die Pixel für die Breite der Elemente sind nur für die Zwecke der Illustration und sind für die Teilnehmer unsichtbar. (Adaptiert von Experiment eines L. Zhan 17 mit Erlaubnis). Bitte klicken Sie hier für eine größere Version dieser Figur.

Figure 2
Abbildung 2 . Ein Beispiel für die Test-Sätze in das Experiment verwendet (Nachdruck aus L. Zhan17 mit Erlaubnis). Bitte klicken Sie hier für eine größere Version dieser Figur.

Figure 3
Abbildung 3 . Die hierarchische Struktur einer typischen Eyetracking-Experiment mit dem Paradigma der visuellen Welt. Der Ton im Bild dargestellt sind die englischen Übersetzungen von Chinesisch (Mandarin) in das Experiment verwendet. Bitte klicken Sie hier für eine größere Version dieser Figur.

Figure 4
Abbildung 4 . Verhaltensreaktionen Teilnehmer verzeichnete das Experiment (adaptiert von Experiment einer L. Zhan17 mit Erlaubnis). Bitte klicken Sie hier für eine größere Version dieser Figur.

Figure 5
Abbildung 5 . Teilnehmer Augenbewegungen im Experiment beobachtet. Der Beginn und der Offset von sentential Jungverheiratete sind zwei vertikale gestrichelt bedeutete. Ein signifikanter Unterschied zwischen den disjunktiven und den Ausgangszustand zu bestimmten Zeitpunkt der Probenahme durch den grauen Bereich (p <.05, Bonferroni angepasst) bezeichnet wird (adaptiert von L. Zhan17 mit Erlaubnis). Bitte klicken Sie hier für eine größere Version dieser Figur.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Um eine visuelle Welt Studie durchzuführen, gibt es einige wichtige Schritte zu folgen. Erstens wollen die Forscher die Interpretation der auditiv präsentiert Sprache über Teilnehmer Augenbewegungen der visuellen Welt abzuleiten. Von nun an sollte bei der Gestaltung des Layouts von visuellen Reizen, die Eigenschaften der Augenbewegungen in eine natürliche Aufgabe, die Teilnehmer Augenbewegungen betreffen gesteuert werden. Die Wirkung der gesprochenen Sprache auf Teilnehmer Augenbewegungen kann dann erkannt werden. Zweite, akustische Signale in der gesprochenen Sprache sind vorübergehend und es gibt keine akustischen Signaturen ausschließlich bestimmte sprachliche Kategorie entspricht. Um richtig Zeitschloss Teilnehmer Augenbewegungen mit dem Beginn der einige linguistische Markierung sollten Forscher Objektiv und einheitlich definieren die Grenze von einigen sprachlichen Struktur finden. Drittens müssen Forscher um Teilnehmer Auge Drehung um den Kopf mit ihrem Blick der Berücksichtigung der visuellen Welt korrekt zuordnen zu können, führen Sie einen oder mehrere Läufe der Kalibrierung, Validierung und Drift-Korrektur-Prozesse. Viertens: eine visuelle Welt Studie gewonnenen Daten haben einige besondere Eigenschaften, z. B. als untere und obere begrenzt, und mit autokorreliert Fehler etc.. Diese besonderen Eigenschaften sollte gelten, wenn eine Methode ausgewählt ist, die Daten statistisch analysieren.

Eine visuelle Welt Studie besteht aus drei wesentlichen Komponenten: optische Anzeige, gesprochene Sprache, experimentelle Aufgabe. Änderungen können auf jede Komponente vorgenommen werden, um Forscher bestimmte Zwecke zu erfüllen. Erstens ist eine visuelle Darstellung normalerweise ein Screening-Display zeigt eine Reihe von Bildern. Aber es kann auch ein Screening-Display zeigt eine Reihe von gedruckten Worte32, eine schematische Szene30,31oder eine reale Szene mit realen Objekten1,32. Zweitens können die gesprochene Äußerungen ein Wort36, einen einfachen Satz30,31, eine semantisch komplexen Anweisung17,34,35, oder ein Dialog39sein. Drittens werden in Bezug auf die experimentelle Aufgabe Teilnehmer entweder einfach aufgefordert, die visuelle Welt betrachten und hören Sie sich die auditive Äußerungen30,31; oder sind gezwungen, einige Verhaltensreaktionen wie handeln, die durch die auditive Äußerung1beschriebenen Bewegungen, feststellen, ob die auditive Äußerung für die optische Anzeige38 giltoder die richtige Wahl zu machen Bild in der visuellen Anzeige der gesprochenen Äußerung spricht über17.

Die visuelle Welt Paradigma, im Vergleich mit anderen psycholinguistischen Techniken, hat einige einzigartige Vorteile. Erstens kann die visuelle Welt Paradigma verwendet werden, in einer großen Bevölkerung, einschließlich derjenigen, die nicht lesen und/oder wer kann nicht offen geben ihre Verhaltensreaktionen wie preliterate Kinder37,38,39, 40 , 41 , 42und ältere Erwachsene46Patienten (zB., Aphasie)47. Und zwar deshalb, weil die Sprache Reize in der auditiven anstatt in Form von geschriebenen Texten präsentiert werden; und das Sprachverständnis ist abgeleitet von TeilnehmerInnen implizite automatische Augenbewegungen nicht von ihrer offenkundigen Verhaltensreaktionen. Zweitens ist das Paradigma der visuellen Welt extrem empfindlich auf feinkörnigen Manipulationen des Sprachsignals. Dieses Paradigma kann verwendet werden, zu studieren, die Online-Bearbeitung der zu den meisten Themen im Sprachverständnis auf mehreren Ebenen, wie die fein gemasertem akustischen phonetischen Eigenschaften33,45,46, der Eigenschaften der Wörter30,31, die Sprachstrukturen1,47und die logischen Strukturen von semantisch komplexe Anweisungen wie Concessives37, Biconditionals37, Conditionals38und Disjunktionen17.

Die visuelle Welt Paradigma, im Vergleich mit anderen Psycholinguistische Technik hat auch einige potentiellen Einschränkungen. Erstens ist Teilnehmer Auslegung der gesprochenen Sprache abgeleitet von ihre Augenbewegungen auf die visuelle Welt, nicht die eigentliche Interpretation der Sprache Stimuli pro Se. fortan die Sprache-Eigenschaften, die mit der visuellen Welt studiert werden kann Paradigma sind beschränkt auf diejenigen, die visualisiert werden können, d. h.., sie sollten irgendwie im Zusammenhang mit den Entitäten oder Ereignisse in der visuellen Welt. Zweitens ist die visuelle Welt Paradigma verwendet normalerweise stärker eingeschränkt als die eigentlichen visuellen Welt, mit einer begrenzten Anzahl von abgebildeten Referenten und eine begrenzte Anzahl von möglichen Aktionen. Dieser so genannte geschlossener Satz Problem48 könnte aufgabenspezifische Strategien erstellen, die die beobachteten Sprachverarbeitung nicht jenseits der spezifischen Situationen erstellt im Rahmen des Experiments zu verallgemeinern. Von nun an das Paradigma nicht empfindlich auf Merkmale der sprachlichen Kenntnisse und Erfahrungen liegen außerhalb geschlossener Satz möglicherweise, die auf einen bestimmten Prozess festgelegt wurden.

Die visuelle Welt Paradigma untersucht im Wesentlichen die Integration der Informationen von den visuellen Bereich und die Informationen aus dem auditiven Bereich. Theoretisch kann alle Informationen, die von den beiden sensationellen Domänen verarbeitet werden kann mit diesem Paradigma potenziell studiert werden. Beispielsweise kann die visuelle Welt virtuelle Realität oder dynamische Videos. Der auditive Input kann ist nicht unbedingt Sprache, und jedem anderen Format, z. B. Musik und Sound aus der natürlichen Welt, etc.. Dieses Paradigma kann darüber hinaus weiter verlängert werden, um die Integration von Informationen aus anderen Domänen, anstatt die visuelle und auditive Domäne zu erkunden. Beispielsweise könnten Forscher diese Technik verwenden, um zu sehen, wie Teilnehmer Fixierungen der visuellen Welt betroffen sind, durch verschiedene Gerüche, verschiedene Berührungen, etc..

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

Der Autor erklärt, dass er keine konkurrierenden finanziellen Interessen hat.

Acknowledgments

Diese Forschung wurde von Science Foundation der Beijing Language and Cultural University unter die grundlegenden Forschungsmittel für die zentralen Universitäten (Genehmigung Nr. 15YJ050003) unterstützt.

Materials

Name Company Catalog Number Comments
Pixelmator Pixelmator Team http://www.pixelmator.com/pro/ image editing app
Praat Open Sourse http://www.fon.hum.uva.nl/praat/ Sound analyses and editting software
Eyelink 1000plus SR-Research, Inc https://www.sr-research.com/products/eyelink-1000-plus/ remote infrared eye tracker 
Experimental Builder SR-Research, Inc https://www.sr-research.com/experiment-builder/ eye tracker software 
Data Viewer SR-Research, Inc https://www.sr-research.com/data-viewer/ eye tracker software 
R Open Sourse https://www.r-project.org free software environment for statistical computing and graphics

DOWNLOAD MATERIALS LIST

References

  1. Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
  2. Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
  3. Salverda, A. P., Tanenhaus, M. K. Research methods in psycholinguistics and the neurobiology of language: A practical guide. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).
  4. Huettig, F., Rommers, J., Meyer, A. S. Using the visual world paradigm to study language processing: A review and critical evaluation. Acta Psychologica. 137 (2), 151-171 (2011).
  5. Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. Viewing and naming objects: Eye movements during noun phrase production. Cognition. 66 (2), B25-B33 (1998).
  6. Griffin, Z. M., Bock, K. What the eyes say about speaking. Psychological Science. 11 (4), 274-279 (2000).
  7. Young, L. R., Sheena, D. Survey of eye movement recording methods. Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).
  8. Conklin, K., Pellicer-Sánchez, A., Carrol, G. Eye-tracking: A guide for applied linguistics research. , Cambridge University Press. (2018).
  9. Duchowski, A. Eye tracking methodology: Theory and practice. , 2, Springer. (2007).
  10. Baayen, R. H., Davidson, D. J., Bates, D. M. Mixed-effects modeling with crossed random effects for subjects and items. Journal of Memory and Language. 59 (4), 390-412 (2008).
  11. Barr, D. J. Analyzing 'visual world' eyetracking data using multilevel logistic regression. Journal of Memory and Language. 59 (4), 457-474 (2008).
  12. Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception. Journal of Memory and Language. 90, 103-125 (2016).
  13. Bolker, B. M., et al. Generalized linear mixed models: A practical guide for ecology and evolution. Trends in Ecology and Evolution. 24 (3), 127-135 (2009).
  14. Mirman, D., Dixon, J. A., Magnuson, J. S. Statistical and computational models of the visual world paradigm: Growth curves and individual differences. Journal of Memory and Language. 59 (4), 475-494 (2008).
  15. Baayen, H., Vasishth, S., Kliegl, R., Bates, D. The cave of shadows: Addressing the human factor with generalized additive mixed models. Journal of Memory and Language. 94, 206-234 (2017).
  16. Baayen, R. H., van Rij, J., de Cat, C., Wood, S. Mixed-Effects Regression Models in Linguistics. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).
  17. Zhan, L. Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm. Frontiers in Psychology. 9, (2018).
  18. Maris, E., Oostenveld, R. Nonparametric statistical testing of EEG- and MEG-data. Journal of Neuroscience Methods. 164 (1), 177-190 (2007).
  19. Barr, D. J., Jackson, L., Phillips, I. Using a voice to put a name to a face: The psycholinguistics of proper name comprehension. Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).
  20. van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. Eye movements: A window on mind and brain. , Elsevier. Ch. 21 471-486 (2007).
  21. Parkhurst, D., Law, K., Niebur, E. Modeling the role of salience in the allocation of overt visual attention. Vision Research. 42 (1), 107-123 (2002).
  22. Grice, H. P. Vol. 3 Speech Acts. Syntax and semantics. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).
  23. Sauerland, U. Scalar implicatures in complex sentences. Linguistics and Philosophy. 27 (3), 367-391 (2004).
  24. Chierchia, G. Scalar implicatures and their interface with grammar. Annual Review of Linguistics. 3 (1), 245-264 (2017).
  25. Fox, D. Presupposition and Implicature in Compositional Semantics. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).
  26. Meyer, M. C. Ignorance and grammar. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).
  27. SR Research Ltd. SR Research Experiment Builder User Manual (Version 2.1.140). , Ottawa, Canada. (2017).
  28. SR Research Ltd. EyeLink® 1000 Plus Technical Specifications. , Mississauga, Canada. (2017).
  29. SR Research Ltd. EyeLink-1000-Plus-Brochure. , Mississauga, Canada. (2017).
  30. SR Research Ltd. EyeLink® 1000 Plus User Manual (Version 1.0.12). , Ottawa, Canada. (2017).
  31. SR Research Ltd. EyeLink® Data Viewer User’s Manual (Version 3.1.97). , Ottawa, Canada. (2017).
  32. McQueen, J. M., Viebahn, M. C. Tracking recognition of spoken words by tracking looks to printed words. The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).
  33. Altmann, G. T. M., Kamide, Y. Incremental interpretation at verbs: restricting the domain of subsequent reference. Cognition. 73 (3), 247-264 (1999).
  34. Altmann, G. T. M., Kamide, Y. The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing. Journal of Memory and Language. 57 (4), 502-518 (2007).
  35. Snedeker, J., Trueswell, J. C. The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing. Cognitive Psychology. 49 (3), 238-299 (2004).
  36. Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
  37. Zhan, L., Crain, S., Zhou, P. The online processing of only if and even if conditional statements: Implications for mental models. Journal of Cognitive Psychology. 27 (3), 367-379 (2015).
  38. Zhan, L., Zhou, P., Crain, S. Using the visual-world paradigm to explore the meaning of conditionals in natural language. Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).
  39. Brown-Schmidt, S., Tanenhaus, M. K. Real-time investigation of referential domains in unscripted conversation: A targeted language game approach. Cognitive Science. 32 (4), 643-684 (2008).
  40. Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. Rapid gains in speed of verbal processing by infants in the 2nd year. Psychological Science. 9 (3), 228-231 (1998).
  41. Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying on-line sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
  42. Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese. Journal of Child Language. 39 (4), 687-730 (2012).
  43. Zhou, P., Crain, S., Zhan, L. Grammatical aspect and event recognition in children's online sentence comprehension. Cognition. 133 (1), 262-276 (2014).
  44. Zhou, P., Crain, S., Zhan, L. Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing. Journal of Memory and Language. 67 (1), 149-164 (2012).
  45. Moscati, V., Zhan, L., Zhou, P. Children's on-line processing of epistemic modals. Journal of Child Language. 44 (5), 1025-1040 (2017).
  46. Helfer, K. S., Staub, A. Competing speech perception in older and younger adults: Behavioral and eye-movement evidence. Ear and Hearing. 35 (2), 161-170 (2014).
  47. Dickey, M. W., Choy, J. W. J., Thompson, C. K. Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening. Brain and Language. 100 (1), 1-22 (2007).
  48. Magnuson, J. S., Nusbaum, H. C. Acoustic differences, listener expectations, and the perceptual accommodation of talker variability. Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).
  49. Reinisch, E., Jesse, A., McQueen, J. M. Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately. Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).
  50. Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).
  51. Tanenhaus, M. K., Trueswell, J. C. Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).

Tags

Verhalten Ausgabe 140 Eye-tracking-Technik visuelle Welt Paradigma gesprochene Sprache Online-Verarbeitung komplexe Aussage generalisiert linearen gemischten Modell Binomialverteilung familywise Fehler Bonferroni-Anpassung
Verwendung von Augenbewegungen aufgezeichnet in der visuellen Welt Paradigma, die Online-Verarbeitung von gesprochener Sprache zu erkunden
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Zhan, L. Using Eye Movements… More

Zhan, L. Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language. J. Vis. Exp. (140), e58086, doi:10.3791/58086 (2018).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter