Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

Utilizzando i movimenti di occhio registrati nel paradigma mondo visivo per esplorare l'elaborazione Online di lingua parlata

Published: October 13, 2018 doi: 10.3791/58086
Automatic Translation
1
1Institute for Speech Pathology and the Brain Science, School of Communication Science, Beijing Language and Culture University

Summary

Il paradigma del mondo visivo monitora i movimenti degli occhi dei partecipanti nell'area di lavoro visual come sono ascoltando o parlando una lingua parlata. Questo paradigma può essere utilizzato per indagare l'elaborazione online di una vasta gamma di domande psicolinguistiche, tra cui istruzioni, semanticamente complesse, ad esempio disgiuntiva.

Abstract

In un tipico occhio Studio utilizzando il paradigma del mondo visivo di rilevamento, dei partecipanti occhio movimenti agli oggetti o immagini nell'area di lavoro visual vengono registrate tramite eye tracker come il partecipante produce o comprende una lingua parlata che descrive il visual simultanee mondo. Questo paradigma ha elevata versatilità, come può essere utilizzato in una vasta gamma di popolazioni, compresi quelli che non sanno leggere e/o apertamente che non può dare loro risposte comportamentali, come i bambini del preliterate, adulti anziani e pazienti. Ancora più importante, il paradigma è estremamente sensibile alle manipolazioni grana del segnale vocale, e può essere utilizzato per studiare l'elaborazione in linea della maggior parte degli argomenti nella comprensione del linguaggio a più livelli, ad esempio la grana acustica fonetica caratteristiche, le proprietà delle parole e strutture linguistiche. Il protocollo descritto in questo articolo viene illustrato come viene condotto un occhio tipico mondo visual studio di monitoraggio, con un esempio che illustra come l'elaborazione online di alcune istruzioni semanticamente complesse può essere esplorata con il paradigma del mondo visivo.

Introduction

Lingua parlata è un flusso di informazioni veloce, in corso, che scomparirà subito. È una sfida per studiare sperimentalmente questo temporale, modificare rapidamente il segnale vocale. Movimenti di occhio registrati nel paradigma mondo visivo possono essere utilizzati per superare questa sfida. In un tipico occhio tracking studio utilizzando il paradigma del mondo visivo, movimenti degli occhi dei partecipanti a immagini in un display o a oggetti reali in un'area di lavoro visual vengono monitorati come ascoltare, o produrre, lingua parlata, raffigurante il contenuto del mondo visivo1 ,2,3,4. La logica di base, o l'ipotesi di collegamento, dietro questo paradigma è che comprendere o pianificazione di un enunciato (apertamente o velatamente) sposterà il attenzione visiva dei partecipanti a un determinato oggetto nel mondo visivo. Questo spostamento di attenzione avrà un'alta probabilità di avviare un movimento di occhio saccadici per portare le frequentate in visione foveale. Con questo paradigma, i ricercatori intendono determinare a che punto temporale, rispetto a qualche punto di riferimento acustico del segnale vocale, si verifica uno spostamento di attenzione visiva del partecipante, come misurato da un movimento di occhio saccadici ad un oggetto o un'immagine in visual mondo. Quando e dove i movimenti oculari saccadici vengono lanciati in relazione il segnale vocale vengono quindi utilizzati per dedurre l'elaborazione online di lingua straniera. Il paradigma del mondo visivo può essere utilizzato per studiare la lingua parlata comprensione1,2 e la produzione5,6. Questo articolo metodologico si concentrerà sugli studi di comprensione. In uno studio di comprensione utilizzando il paradigma del mondo visivo, occhio dei partecipanti movimenti sul visual display vengono monitorati come ascoltano le espressioni vocali parlando la visuale del display.

Sistemi di tracciamento degli occhi diversi sono stati progettati nella storia. Il più semplice, meno costoso e più portatile sistema è solo una normale videocamera, che registra un'immagine degli occhi del partecipante. Movimenti oculari sono poi codificati manualmente attraverso l'esame di frame-by-frame di registrazione video. Tuttavia, la frequenza di campionamento di un eye-tracker è relativamente bassa, e la procedura di codificazione è che richiede tempo. Così, un occhio commerciale contemporaneo sistema di tracciamento normalmente utilizza sensori ottici di misura l'orientamento dell'occhio nella sua orbita7,8,9. Per comprendere il funzionamento di un sistema di eye tracking commerciale contemporaneo, da considerare i seguenti punti. Primo, per misurare correttamente la direzione della visione fovea, un illuminatore ad infrarossi (normalmente con la lunghezza d'onda intorno 780-880 nm) è normalmente disposto lungo o fuori l'asse ottico della telecamera, rendendo l'immagine della pupilla distinguishably più luminoso o più scuro rispetto l'iride circostante. L'immagine della pupilla e/o del riflesso corneale pupilla (normalmente la prima immagine di Purkinje) viene quindi utilizzato per calcolare l'orientamento dell'occhio nella sua orbita. In secondo luogo, la posizione di sguardo nel mondo visivo è in realtà contingente non solo l'orientamento dell'occhio rispetto alla testa ma anche l'orientamento della testa rispetto al mondo visivo. Per dedurre con precisione lo sguardo di proposito dall'orientamento dell'occhio, la sorgente luminosa e la telecamera di eye-tracker sono fissi rispetto alla testa dei partecipanti (testa-montata eye-tracker) o sono fissi rispetto al mondo visual (da tavolo o remoto eye-tracker). In terzo luogo, orientamento della testa dei partecipanti deve essere fissato per quanto riguarda il mondo visivo o computazionalmente essere compensato se testa dei partecipanti è libero di muoversi. Quando un eye-tracker remoto viene utilizzato in una modalità di testa-free-a-move, posizione della testa dei partecipanti è in genere registrata inserendo un piccolo adesivo sulla fronte dei partecipanti. L'orientamento della testa informaticamente viene quindi sottratto dall'orientamento dell'occhio per recuperare la posizione di sguardo del mondo visivo. In quarto luogo, una calibrazione e un processo di validazione sono quindi necessaria per mappare l'orientamento dell'occhio allo sguardo di riguardo nel mondo visivo. Nel processo di calibrazione, campioni di fissazione dei partecipanti da punti di destinazione nota vengono registrati per mappare i dati raw occhio per lo sguardo di posizione del mondo visivo. Nel processo di convalida, i partecipanti sono presentati con gli stessi punti di destinazione come il processo di calibrazione. La differenza esistente tra la posizione di fissaggio calcolata dai risultati calibrati e la posizione effettiva dell'obiettivo fissato nel mondo visivo vengono quindi utilizzati per giudicare la precisione della calibrazione. Per riconfermare ulteriormente la precisione del processo di mappatura, un assegno di drift è normalmente applicato su ogni prova, dove un bersaglio singolo fissazione è presentato ai partecipanti per misurare la differenza tra la posizione calcolata la fissazione e l'effettiva posizione della destinazione corrente.

I dati primari di uno studio del mondo visivo sono un flusso delle posizioni di sguardo nel mondo visual registrato alla frequenza di campionamento di eye-tracking, che vanno oltre la totalità o parte della durata prova. La variabile dipendente utilizzata in uno studio del mondo visivo è in genere la percentuale di campioni che fissazioni dei partecipanti si trovano a certa regione spaziale del mondo visivo attraverso un certo intervallo di tempo. Per analizzare i dati, una finestra di tempo ha in primo luogo essere selezionati, spesso definito come periodi di interesse. La finestra di tempo è in genere tempo-bloccata alla presentazione di alcuni eventi linguistici nell'input uditivo. Inoltre, inoltre è necessario che il mondo visivo diviso in parecchie regioni di interesse (ROI), ognuno dei quali è associato a uno o più oggetti. Una tale regione contiene l'oggetto corrispondente per la corretta comprensione della lingua parlata e così è spesso chiamato l'area di destinazione. Un tipico modo di visualizzare i dati è un complotto di proporzione di fissazione, dove a ciascuna collocazione in una finestra di tempo, la percentuale di campioni con uno sguardo a ogni area di interesse sono media tra i partecipanti e gli elementi.

Utilizzando i dati ottenuti da uno studio del mondo visivo, ricerca diverse domande possono trovare risposta: un) al livello di grana grossa, sono movimenti oculari dei partecipanti nel mondo visual interessati da diversi input linguistico uditivi? b) se c'è un effetto, che cosa è la traiettoria dell'effetto nel corso del processo? È un effetto lineare o un effetto di ordine elevato? e c) se c'è un effetto, quindi il livello di grana fine, quando è il primo punto temporale dove emerge un tale effetto e quanto dura questo effetto ultimo?

Per analizzare statisticamente i risultati, si devono considerare i seguenti punti. In primo luogo, la variabile di risposta, cioè, le proporzioni delle fissazioni, è sia sotto e sopra delimitata (tra 0 e 1), cui seguirà una distribuzione multinomiale, piuttosto che una distribuzione normale. D'ora in poi, tradizionali metodi statistici basati sulla distribuzione normale come il t-test, ANOVA e modelli lineari (misto-effetto)10, non possono essere direttamente utilizzati fino a quando le proporzioni sono state trasformate a unbounded variabili come ad esempio con formula empirica logit11 o sono stati sostituiti con unbounded variabili dipendenti come distanza euclidea12. Utilizzabile anche tecniche statistiche che non richiedono che l'assunzione di una distribuzione normale tale generalizzato modelli lineari (misto-effetto)13 . In secondo luogo, per esplorare la traiettoria mutevole degli effetti osservati, una variabile che indica il tempo-serie dovrà essere aggiunto al modello. Questa variabile di serie temporali è originariamente il eye-tracker di riallineati all'insorgenza della lingua di input i punti di campionamento. Poiché la traiettoria cambia in genere non è lineare, una funzione polinomiale di ordine superiore della serie tempo normalmente viene aggiunto il () modello lineare generalizzato (misto-effetto), vale a dire, crescita curva analisi14. Inoltre, posizioni dell'occhio dei partecipanti nel punto di campionamento corrente è fortemente dipendente dalle precedenti punti di campionamento, soprattutto quando la frequenza di registrazione è elevata, causando il problema di autocorrelazione. Per ridurre l'autocorrelazione tra i punti di campionamento adiacenti, dati originali sono spesso giù-campionamento o binned. Negli ultimi anni, i modelli effetto misto additivo generalizzato (GAMM) sono stati utilizzati anche per affrontare l'autocorrelazione errori12,15,16. La larghezza dei bidoni varia tra gli studi differenti, che vanno da alcuni millisecondi a diverse centinaia millisecondi. Il bidone più stretto che possibile scegliere uno studio limitato la frequenza di campionamento dell'inseguitore dell'occhio utilizzato nello studio specifico. Ad esempio, se eye tracker ha una frequenza di campionamento di 500 Hz, quindi la larghezza della finestra temporale non può essere minore di 2 ms = 1000/500. In terzo luogo, quando un'analisi statistica più volte viene applicata a ciascuna collocazione di tempo dei periodi di interesse, l'errore familywise indotta da questi che confronti multipli dovrebbero essere affrontati. Come abbiamo descritto in precedenza, l'analisi della traiettoria informa il ricercatore se l'effetto osservato al livello di granularità grossolana è lineare rispetto al cambiamento del tempo, ma non viene visualizzato quando l'effetto osservato comincia ad emergere e come lungo l'osservato effetto dura. Per determinare la posizione temporale quando la differenza osservata inizia a divergere e di capire la durata del periodo temporale che dura l'effetto osservato, un'analisi statistica deve essere applicato ripetutamente per ogni scomparto di tempo. Questi confronti multipli introdurrà il cosiddetto errore familywise, non importa quale metodo statistico è utilizzato. Tradizionalmente viene corretto l'errore familywise con Bonferroni regolazione17. Recentemente, un metodo denominato test non parametrici permutazione originariamente utilizzato in neuroimaging archiviato18 è stato applicato al visual parola paradigma19 al controllo dell'errore familywise.

I ricercatori utilizzando il paradigma del mondo visivo intendono dedurre la comprensione di una lingua parlata da movimenti oculari dei partecipanti nel mondo visivo. Per garantire la validità di questa deduzione, altri fattori che possibilmente influenzano i movimenti dell'occhio dovrebbero essere escluso o controllati. I due fattori seguenti sono tra i comuni che devono essere considerati. Il primo fattore coinvolge alcuni modelli sistematici in fissazioni esplicative dei partecipanti indipendente dalla lingua di input, ad esempio la tendenza a fissare lo sguardo in alto a sinistra quadrat del mondo visivo e muovendo gli occhi in direzione orizzontale, essendo più facile che in direzione verticale, ecc.12,20 per assicurarsi che i modelli osservati fissazione sono relative agli oggetti, non nelle posizioni spaziali dove si trovano gli oggetti, le posizioni spaziali di un oggetto dovrebbero essere controbilanciate in diversi studi clinici o attraverso diversi partecipanti. Il secondo fattore che potrebbe influenzare i movimenti degli occhi dei partecipanti è le caratteristiche di immagine di base degli oggetti del mondo visivo, come orientamento di bordo, il colore e il contrasto di luminanza, tra gli altri21. Per diagnosticare questo potenziale confondimento, la visualizzazione è normalmente presentata prima dell'inizio della lingua parlata o prima dell'inizio dell'indicatore acustico critico della lingua parlata, per circa 1000 ms. durante il periodo temporale dall'inizio della immagine di prova per l'insorgenza dell'audio di prova, la lingua di input o il punto di chiarimento delle ambiguità della lingua di input non è stato ancora ascoltato. Qualsiasi differenza osservata tra diverse condizioni dovrebbe essere dedotto per altri fattori di confusione come il visual display per sé, piuttosto che la lingua di input. D'ora in poi, movimenti oculari osservati in questo periodo di anteprima forniscono una linea di base per determinare l'effetto dell'input linguistico. Questo periodo di anteprima consente inoltre ai partecipanti di familiarizzare con la visualizzazione e per ridurre il bias sistematico delle fissazioni esplicative quando la lingua parlata è presentata.

Per illustrare come si svolge un tipico eye-tracking studio utilizzando il paradigma del mondo visivo, il seguente protocollo descrive un esperimento adattato da L. Zhan17 a esplorare l'elaborazione online di istruzioni semanticamente complesse, vale a dire, istruzioni disgiuntive (S1 o S2), dichiarazioni congiuntive (S1 e S2) e ma-istruzioni (S1 ma non-S2). In conservazione ordinaria, le informazioni espresse da alcune espressioni sono in realtà più forte del suo significato letterale. Disgiuntive dichiarazioni come casella di Xiaoming contiene una mucca o un gallo sono tali espressioni. Logicamente, l'istruzione disgiuntiva è true, purché le due suddivisioni casella di Xiaoming contiene una mucca e casella di Xiaoming contiene un gallo non sono entrambi false. Di conseguenza, l'istruzione disgiuntiva è vero quando le due suddivisioni sono entrambe true, dove l'istruzione congiuntiva corrispondente casella di Xiaoming contiene una mucca e un gallo è anche vero. Nella conversazione ordinaria, tuttavia, sentendo che l'istruzione disgiuntiva spesso suggerisce che la congiuntiva rendiconto è falsa (implicature scalari); e suggerisce che i valori di verità delle due suddivisioni sono sconosciuti all'altoparlante (inferenza di ignoranza). Conti nella letteratura differiscono in se due inferenze siano processi grammaticali o pragmatico22,23,24,25,26. L'esperimento dimostra come il paradigma del mondo visivo può essere utilizzato per giudicare tra questi conti, esplorando l'elaborazione online di tre istruzioni complesse.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Tutti i soggetti devono dare consenso informato scritto prima della gestione dei protocolli sperimentali. Tutte le procedure, moduli di consenso e il protocollo sperimentale sono stati approvati dal comitato etico di ricerca di la Beijing Language and Culture University.

Nota: Uno studio di comprensione utilizzando il paradigma del mondo visivo normalmente prevede i passaggi seguenti: introdurre i problemi teorici di essere esplorato; Formare un disegno sperimentale; Preparare gli stimoli visivi e uditivi; Inquadrare il problema teorico per quanto riguarda il disegno sperimentale; Selezionare un eye-tracking per monitorare i movimenti degli occhi dei partecipanti; Selezionare un software e creare uno script con il software per presentare gli stimoli; Codice e analizzare i dati registrati movimenti oculari. Un esperimento specifico può differire da altro in uno qualsiasi dei passaggi descritti. Ad esempio, un protocollo è stato introdotto per condurre l'esperimento e discutere alcuni punti che i ricercatori devono tenere a mente quando costruiscono e condurre il proprio esperimento utilizzando il paradigma del mondo visivo.

1. preparare gli stimoli Test

  1. Stimoli visivi
    1. Scarica 60 clip art di animali che sono privi di copyright da internet. Aprire ogni immagine uno ad uno con un editor di immagini (ad es., Pixelmator), fare clic su strumenti di | Strumento selezione rapida per selezionare e cancellare lo sfondo. Fare clic su immagine di | Dimensione della battuta per ridimensionare a 120 x 120 pixel.
    2. Invita uno studente laureando in pittura disegnare quattro caselle di luce verde, come illustrato nella Figura 1. Utilizzare l'editor di immagini per riscalare la grande scatola aperta a 320 x 240 pixel, la piccola scatola chiusa con le dimensioni di 160 x 160 pixel e due piccole scatole aperte a 160 x 240 pixel, rispettivamente.
    3. Fare clic Pixelmator | File | Nuovo per costruire un modello del test immagine con le dimensioni di 1024 768 pixel. Trascinare gli animali e le caselle di posizioni di correzione viene illustrati nella Figura 1.
      Nota: Il layout dell'immagine di prova varia tra gli studi, ma il modo ottimale è di utilizzare quattro oggetti e di metterli a quattro quadranti del test immagine. In questo modo, è più facile controbilanciare la posizione spaziale degli oggetti.
    4. Creare immagini di prova 60 come Figura 1, con ogni immagine animale viene utilizzato due volte. Controbilanciare le posizioni spaziali delle quattro caselle tra le immagini.
      Nota: Il numero delle immagini non necessario essere esatta 60, fintanto che il loro effetto è dissociabile da quello delle manipolazioni sperimentali.
  2. Stimoli di lingua parlata
    1. Progettazione di quattro frasi di prova corrispondenti a ogni immagine di test e test di 240 frasi in totale ad essere registrato. Garantire che tre delle quattro frasi sono in forma di Figura 2; e la frase di riempimento è a forma di scatola di Xiaoming non contiene un gallo ma una mucca.
      Nota: Le frasi di prova dovrebbero essere presentate nel linguaggio nativo che i partecipanti parlano. I partecipanti in questo esperimento sono cinesi da Pechino, Cina continentale, quindi la prova di lingua è il cinese mandarino.
    2. Reclutare un madrelingua femmina (un madrelingua di cinese mandarino in questo esperimento) per registrare quattro dichiarazioni di esempio come nella figura 2, come pure l'audio di tutti gli animali utilizzati nell'esperimento. Quando si registrano i nomi di animale isolati, chiedere all'altoparlante per immaginare che i nomi degli animali sono componenti intatte di una semplice frase, ad esempio casella di Xiaoming contiene un/una _, ma ha solo bisogno di pronunciare il nome dell'animale apertamente.
    3. Sostituire i segmenti audio dei due animali nelle dichiarazioni di esempio con l'audio dei due animali utilizzati in ciascuna prova per creare l'elenco completo degli audio di prova. In primo luogo, aprire Praat (qualsiasi altro software di editing audio è un'alternativa ammissibile) e fare clic su Open | Leggere da file | Individuate il file | Aprire e modificare, passare a un elemento di essere sostituito e fare clic visualizzare e modificare | Modificare | Copiare la selezione negli appunti audio. In secondo luogo, è possibile utilizzare la stessa procedura per aprire un'istruzione di esempio, fare clic su Incolla dopo la selezione. In terzo luogo, fare clic salvare | salvare come file wav per salvare l'istruzione modificato. Ripetere il processo per tutti gli elementi per essere cambiato e tutte le frasi di prova.
    4. Reclutare circa 10 parlanti nativi della lingua prova (mandarino cinese qui) per determinare se o non l'audio di prova costruito è intelligibile e naturale.
      Nota: L'audio di prova è tradizionalmente registrato nel suo complesso, piuttosto che come parole separate. Questo metodo di registrazione tradizionale è ragionevole che se l'audio di prova è essi stessi separare le parole. Se gli stimoli di lingua parlata sono frasi piuttosto che parole separate, tuttavia, questo metodo tradizionale ha varie carenze: in primo luogo, una proprietà onnipresente di un discorso continuo è che due o più suoni di discorso tendono a sovrapporsi temporalmente e spazialmente, che lo rende difficile determinare l'insorgenza della parola critica. In secondo luogo, la varianza tra la lunghezza delle diverse prove rende anche difficile combinare tutte le prove insieme per analisi statistiche. In terzo luogo, il metodo di registrazione tradizionale è spesso molto tempo soprattutto quando i numeri di prova audio sono relativamente grandi, come gli esperimenti che abbiamo segnalato nel protocollo. Per superare le carenze del metodo tradizionale di registrazione, viene proposto un metodo diverso per costruire gli audio di prova parlata. In primo luogo, è stato registrato un elenco di esempi di frasi che contengono le parole che sono comuni tra tutti l'audio di prova. In secondo luogo, tutte le parole che cambia tra le prove inoltre sono state registrate in isolamento. Infine, esempi di frasi sono state sostituite con le parole registrate per costruire l'elenco completo degli audio di prova. Rispetto al metodo tradizionale, il nuovo metodo ha diversi vantaggi. In primo luogo, tutto l'audio di prova è esattamente la stessa, tranne per le parole di critiche e tutti i potenziali effetti confondenti nell'audio prova d'ora in poi sono controllati. In secondo luogo, essendo lo stesso in lunghezza anche più facile la segmentazione dell'audio di prova che quando gli audio di prova vengono registrati nel suo complesso. Un potenziale svantaggio di questo metodo è che l'audio costruito potrebbe non essere naturale. D'ora in poi, la naturalezza dell'audio di prova deve essere valutata prima che siano eleggibili per i test attuali...
  3. Dividere le 240 frasi di prova in quattro gruppi, ogni gruppo contenente 15 istruzioni congiuntive, 15 istruzioni disgiuntive, 15 istruzioni ma e frasi 15 filler. Garantire che ogni partecipante rileva un solo gruppo di 240 prove: lui/lei vede tutto il test immagini ma sente un solo gruppo dell'audio di prova.
    Nota: Si tratta di affrontare il problema che se si ripete lo stesso stimolo, i partecipanti potrebbero essere abituarsi a questi stimoli e possibilmente anche diventando strategica su come hanno risposto agli stimoli.
  4. Salvare tutte le informazioni importanti per quanto riguarda gli stimoli di test in un file delimitato da tabulazione txt, con ogni riga corrispondente a ciascuna delle 240 prove. Assicurarsi che il file includa almeno le seguenti colonne: experiment_group, sentential_connective, trial_number, test_image, test_audio, test_audio_length, ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right, animal_1_ immagine, animal_1_audio, animal_1_audio_length, animal_2_image, animal_2_audio, animal_2_audio_length.
    Nota: experiment_group viene utilizzato per dividere le 240 prove in 4 gruppi. sentential_connective corrisponde a diverse condizioni sperimentali. animal_1_image corrisponde all'immagine dell'animale che verrà presentato in primo luogo per familiarizzare i partecipanti con animali utilizzati per l'immagine di prova. test_image, test_audioe test_audio_length consultare l'immagine di prova e la prova audio pure sua lunghezza utilizzato nel processo corrente. ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right fa riferimento al nome delle zone quattro interesse la corrente di prova, vale a dire., che si tratti di una casella di "Big open", "piccolo chiuso", il piccolo aperto scatola contenente l'animale "per la prima volta" l'audio di prova, o la piccola scatola aperta contenente l'animale "secondo cui" l'audio di prova. animal_1_audio e animal_1_audio_length si riferiscono per l'audio e la lunghezza dell'audio corrispondente a animal_1_image. animal_2_image, animal_2_audioe animal_2_audio_length corrispondono il secondo animale che sarà presentato. Una cosa da sottolineare è che la sequenza di presentare i due animali è controbilanciata per quanto riguarda se l'animale è menzionato nella prima o nella seconda metà dell'audio di prova.

2. inquadrare la previsione teorica per quanto riguarda il disegno sperimentale.

  1. Garantire risposte comportamentali e movimenti oculari nel disegno sperimentale dei partecipanti possono essere usati per differenziare le comprensioni delle frasi prova e può essere utilizzati per giudicare tra conti diversi per essere testato.
    Nota: Dato il disegno sperimentale, la risposta corretta a una dichiarazione congiunta è la grande scatola aperta, ad esempio Box A nella Figura 1. La risposta corretta a una ma-istruzione è la piccola scatola aperta contenente l'animale essere menzionato nella prima metà dell'audio di prova, quali Box D nella Figura 1. Le risposte dei partecipanti all'istruzione disgiuntiva, tuttavia, dipendono se e/o come vengono elaborate le inferenze discusse due. Se i partecipanti calcola l'implicatura scalare né l'inferenza di ignoranza, tutte le quattro caselle sono ammissibili opzioni. Se i partecipanti calcola che l'implicatura scalare ma non l'inferenza di ignoranza, quindi la grande aprire, ad esempio in Figura 1, la casella verrà essere esclusa, e le rimanenti tre caselle B, C e D sono ammissibili tutte le opzioni. I partecipanti calcolare l'inferenza di ignoranza, ma non l'implicatura scalare, se le piccole scatole aperte saranno essere scartate, vale a dire., scatole C e D saranno essere esclusa. Per riassumere, la piccola scatola chiusa, ad esempio casella B nella Figura 1, si sarà scelto non come l'opzione finale di un'istruzione disgiuntiva fino all'implicatura scalare e le inferenze di ignoranza sono entrambi calcolati.

3. compilare lo Script sperimentale

  1. Aprire il Generatore di esperimento, clic File | Nuovo per creare un progetto di esperimento. Immettere il nome del progetto come vwp_disjunction. Selezionare il percorso del progetto. Verifica EyeLink esperimento e scegliere Eyelink 1000plus dall'elenco a discesa. Queste operazioni verranno creata una sottodirectory contenente che tutti i file correlati all'esperimento che verrà creata una sottodirectory denominata vwp_disjunction con un file denominato "graph.ebd" nella cartella.
    Nota: Experiment Builder viene utilizzato per compilare lo script sperimentale di presentare gli stimoli di prova e di registrare i movimenti degli occhi dei partecipanti, come pure le loro risposte comportamentali. Il generatore di esperimento è uno strumento di funzionalità per compilare script sperimentale. È facile da usare, ma qualsiasi altro software di presentazione di stimoli è un'alternativa ammissibile.
  2. Visualizzare la struttura gerarchica di un tipico esperimento di eye tracking utilizzando il paradigma del mondo visivo, come si vede nella Figura 3. Ogni rettangolo rosa nella figura è implementato come un oggetto di sequenza di Experiment Builder; e ogni oggetto con sfondo grigio è implementato come un oggetto nodo.
    Nota: Una sequenza nel generatore di esperimento è un controller di ciclo sperimentale utilizzato per concatenare diversi oggetti come un nodo complesso. Una sequenza inizia sempre con un nodo di inizio . E un'origine dati può essere associata a un nodo di sequenza per fornire parametri diversi per ogni prova.
  3. Costruire la sequenza di esperimento
    1. Fare clic su File | Aprire, passare alla directory di esperimento e doppio clic sul file graph.ebd nella directory del progetto per aprire il progetto salvato esperimento.
    2. Fare clic su modifica | Library Manager | Immagine | Aggiungi per caricare le immagini nell'esperimento progetto. Allo stesso modo, fare clic su modifica | Library Manager | Audio | Aggiungi per caricare l'audio nel progetto esperimento.
    3. Trascinare un oggetto DISPLAY_SCREEN lo spazio di lavoro e cambiare il suo valore di etichetta sul pannello Proprietà per rinominarlo come istruzione. Fare doppio clic per aprire il nodo di istruzioni e fare clic sul pulsante Inserisci risorsa di testo su più righe per inserire l'istruzione sperimentale. Garantire che l'istruzione contiene le seguenti informazioni:
      In ogni prova, in primo luogo si vedrà immagini di due animali, un animale ogni stampato sullo schermo a sua volta, insieme con l'audio degli animali ha giocato su due altoparlanti situati su entrambi i lati dello schermo. Sarà poi presentato un punto nero al centro dello schermo. Si deve premere la barra spaziatrice mentre fissazione sul punto. Successivamente, vedrete un'immagine di prova che consiste di quattro scatole stampati sullo schermo e sentire una frase di prova riprodotta tramite i due altoparlanti. Il vostro compito è quello di individuare casella di Xiaoming secondo la frase di prova sentito e premere il pulsante corrispondente appena possibile:
      In alto a sinistra casella---freccia sinistra
      Top Box di destra---freccia su
      Inferiore sinistro scatola---freccia sinistra
      Casella a destra inferiore---freccia destra
      In ogni immagine di prova, vedrete quattro caselle situate a quattro quadranti e due animali contenenti nelle caselle. Le quattro caselle possono variare in due dimensioni: la vicinanza e la sua dimensione. Se una casella è chiuso o non influenza la nostra conoscenza epistemica su quella scatola, ma non l'animale o degli animali che contiene. Se una finestra è aperta, l'animale o degli animali contenute in tale casella è noto. Se una casella è chiuso, l'animale o degli animali contenute in tale casella è sconosciuto. Le dimensioni di una scatola influiscono sul numero degli animali contenute nella cabina, ma non di nostra conoscenza epistemica su quella casella. Non importa la scatola è chiusa o no, una piccola scatola sempre e solo contiene un animale e una grande scatola contiene sempre due animali diversi.
      Se hai dimestichezza con lo scopo sperimentale e la procedura, siete pregati di informare lo sperimentatore e vi aiuteremo per eseguire l'occhio standard routine di calibrazione e validazione di rilevamento. Se avete domande, non esitate a chiedere.
      Nota: Questa è un'istruzione che verrà stampata sullo schermo prima dell'esperimento (le istruzioni dovrebbero essere scritte nel linguaggio nativo che i partecipanti parlano, ad esempio cinese mandarino qui).
    4. Trascinare un oggetto tastiera nello spazio di lavoro.
      Nota: Questo passaggio viene utilizzato alla fine della schermata di istruzioni
    5. Trascinare un oggetto sequenza nello spazio di lavoro e rinominarlo come blocco.
    6. Selezionare la sequenza di blocco , fare clic sul campo del valore della proprietà Origine dati per visualizzare l' Editor dell'origine dati. Fare clic sul pulsante Importa dati sulla schermata editor sorgente dati, sulla fronte per il file. txt creato nel passaggio 1.4 per importare l'origine dati.
    7. Fare clic sul pulsante Randomizzazione impostazione nell'editor di origine di dati, controllare Attivare Trial randomizzazione, selezionare trial_number nel campo valore del campo colonna e selezionare experimental_group da elenco a discesa del campo Colonna spaccare .
    8. Trascinare la seconda DISPLAY_SCREEN oggetto per lo spazio di lavoro e rinominarlo come addio. Fare doppio clic sul nodo addio e inserire le seguenti informazioni: nella lingua nativa dei partecipanti (cinese mandarino in questo protocollo):l'esperimento è finito e vi ringraziamo molto per la vostra partecipazione.
    9. Sinistro del mouse sul nodo di avvio , trascinare la freccia al nodo istruzione e rilasciare il pulsante del mouse per connettersi al nodo di inizio il nodo istruzione . Ripetere che lo stesso mouse si muove collegare istruzioni nodo al nodo di tastiera , tastiera nodo al nodo di blocco , quindi il blocco nodo al nodo di addio . Fare clic su Visualizza | Organizzare il Layout per organizzare i nodi nell'area di lavoro.
  4. Costruire la sequenza di blocco
    1. Fare doppio clic per aprire la sequenza di blocco . Trascinare un nodo di El_CAMERA_SETUP la sequenza di blocco per far apparire una schermata di configurazione della telecamera sul PC Host EyeLink per lo sperimentatore eseguire la convalida, la calibrazione e la configurazione della telecamera. Fare clic sul campo tipo di calibrazione nel pannello Proprietà e scegliere HV5 nell'elenco a discesa.
      Nota: Il numero di posizioni nel processo di mapping varia tra diversi disegni sperimentali. Le posizioni più campionate e maggiore è lo spazio coperto, maggiore sarà la precisione può essere previsto. Ma più campioni significano più tempo per terminare i processi. Quindi praticamente, il numero di posizioni in uno studio specifico non può essere molto grande, soprattutto quando i partecipanti sono bambini del preliterate o pazienti clinici. Nel paradigma mondo visivo, il numero delle aree di interesse è relativamente piccolo, e le aree di interesse sono normalmente relativamente grandi. Il processo di mapping può raggiungere un livello soddisfacente con relativamente piccolo numero di posizioni. Nel protocollo che ho descritto, ho usato un cinque punti calibrazione e validazione.
    2. Trascinare un nodo di sequenza in sequenza di blocco e rinominarlo come prova. Connettere il nodo iniziare al nodo CAMERA_SETUP , quindi per il nodo di sequenziazioneE.
  5. Costruire la sequenza di prova
    1. Fare doppio clic per aprire la sequenza di prova , trascinare un nodo DISPLAY_SCREEN la sequenza di prova e rinominarlo come animal_1_image. Fare doppio clic per aprire il nodo Generatore di schermo e fare clic sul pulsante Inserisci immagine risorsa della barra degli strumenti generatore di schermo per inserire un'immagine animale dalle fonti immagine caricata. Fare clic sul campo del valore della proprietà Nome File di origine , selezionare l' origine dati associata alla sequenza di blocco ; e fare doppio clic sulla colonna Animal_1_Image per collegare il DISPLAY_SCREEN con colonna corretta dell'origine dati.
    2. Trascinare un nodo PLAY_SOUND la sequenza di prova e rinominarlo come animal_1_audio. Fare clic sulla proprietà di Sound File del nodo animal_1_audio e collegarlo con la colonna corretta dell'origine dati (come essere al punto 3.5.1).
    3. Trascinare un nodo TIMER nella sequenza di prova e rinominarlo come animal_1_audio_length. Fare clic sulla proprietà di durata del TIMER nodo e passare alla colonna corretta dell'origine dati creata in 3.4.1.
    4. Trascinare un altro nodo DISPLAY_SCREEN , un altro nodo PLAY_SOUND e un altro TIMER nodo nella sequenza di prova , rinominarli come animal_2_image, animal_2_audio, e animale _2_audio_duration, ripetere i passaggi viene descrivendi nei passaggi 3.5.1 - 3.5.3.
      Nota: Questi passaggi sono inclusi di controllo per i potenziali punti di confusione che la stessa immagine potrebbe avere un nome diverso da diversi partecipanti. Controbilanciare la sequenza di presentare i due animali per quanto riguarda se è menzionata nella prima o nella seconda metà dell'audio di prova.
    5. Trascinare un oggetto Sequenza preparare la sequenza di prova e modificare la proprietà Draw To Eyelink Host all'immagine.
      Nota: Questo nodo viene utilizzato per precaricare i file audio e immagine alla memoria per il disegno di immagini in tempo reale e riproduzione del suono. E serve anche per disegnare elementi grafici feedback sul PC Host in modo che precisione lo sguardo dei partecipanti possa essere monitorati.
    6. Trascinare un nodo DRIFT_CORRECT la sequenza di prova ad introdurre la correzione di deriva.
    7. Trascinare un nuovo nodo di sequenza e rinominarlo come registrazione. Collegare l' inizio a questi nodi uno dopo uno.
  6. Costruire la sequenza di registrazione
    1. Verificare che il campo di Record nel pannello delle proprietà della sequenza di registrazione e fare doppio clic per aprire la sequenza di registrazione .
      Nota: Una sequenza con proprietà Record controllato significa che i movimenti di occhio dei partecipanti durante questo periodo saranno registrati.
    2. Trascinare un nuovo DISPLAY_SCREEN la sequenza di Record , rinominarlo come test_image. Aggiungere il messaggio test_image_onset nella proprietà messaggio del nodo test_image .
      Nota: In fase di analisi dei dati, il messaggio nel nodo test_image e il messaggio nel nodo test_audio (sezione 3.6.6) sono importanti per individuare l'insorgenza delle immagini di prova e l'inizio dell'audio di prova in ogni prova.
    3. Fare doppio clic per aprire il nodo Generatore di schermo e fare clic sul pulsante Inserisci immagine risorsa della barra degli strumenti generatore di schermo per inserire qualsiasi immagine animale dalle fonti immagine caricata. Fare clic nel campo valore del Nome File di origine proprietà, individuare l' origine dati associata alla sequenza di blocco ; e fare doppio clic sulla colonna test_image per collegare il DISPLAY_SCREEN con colonna corretta dell'origine dati.
    4. Fare doppio clic sul nodo DISPLAY_SCREEN per aprire il Generatore di schermo, fare clic sul pulsante di Inserisci rettangolo interesse zona areae disegnare quattro aree rettangolari di interesse come dimostrano le caselle blu nella Figura 1. Modificare le etichette delle quattro aree di interesse per Top_Left, Top_Right, Bottom_Lefte Bottom_Righte collegare il Nome di DataViewer archiviato con le colonne corrette dell'origine dati.
      Nota: Queste aree sono invisibili ai partecipanti. Per rendere le aree di interesse più significativi, etichetta il nome di in alto a sinistra la zona nell'esempio come "Box un (grande open)", zona superiore destra zona come "Casella B (piccolo chiuso)" fondo zona di sinistra come "Casella C (secondo menzionato)" e zona inferiore destra come "casella D (per la prima volta)" , perché le due piccole scatole aperte contengono i due animali essere menzionati nella prima e seconda metà dell'audio di prova, rispettivamente.
    5. Trascinare un nodo TIMER direttamente nell'area, rinominarlo come pausae modificare la proprietà di durata per 500 ms.
      Nota: Questo nodo TIMER aggiunge un certo ritardo di tempo tra l'inizio del test immagine e l'inizio dell'audio prova. Il lasso di tempo dà ai partecipanti la possibilità di familiarizzare con le immagini di prova. Movimenti degli occhi dei partecipanti durante questo periodo di anteprima forniscono anche la base per determinare gli effetti dell'input di lingua parlata, soprattutto quando le parole critiche sono situate all'inizio dell'audio di prova.
    6. Trascinare un nodo PLAY_SOUND nello spazio di lavoro e rinominarlo come test_audio. Fare clic sulla proprietà File di suono e collegarlo con la colonna corretta dell'origine dati (come viene descritto al punto 3.5.1) e aggiungere il messaggio test_audio_onset nella proprietà Message .
    7. Trascinate un nodo TIMER nello spazio lavoro, rinominarlo come test_audio_length. Modificare la proprietà Duration a 10500 ms.
    8. Aggiungere un nuovo nodo TIMER , rinominarlo come record_extensione modificare la proprietà Duration a 4000 ms.
    9. Aggiungere un nuovo nodo di tastiera nello spazio di lavoro, rinominarlo come risposte comportamentalie modificare la proprietà di chiavi accettabile "[su, giù, destra, sinistra]".
      Nota: Scelte comportamentali dei partecipanti possono essere utilizzato per controllare la validità della conclusione dedotta dai movimenti degli occhi dei partecipanti.
    10. Connettere il nodo inizia a pausa, test_audio, test_audio_length, poi al nodo Record_extension . Aggiungere un'altra connessione da test_audio_length a behavioral_responses nodo.
      Nota: Con l'aggiunta di queste connessioni, terminerà processo in corso e un nuovo processo verrà avviato dopo i partecipanti hanno fatto un tasto per scegliere casella di Xiaomingo 4000 ms dopo l'offset del test audio.
    11. Trascinare un nodo variabile nello spazio di lavoro, rinominarlo come key_pressede connettersi relativa proprietà value behavioral_Responses tastiera | Innescato dati |  Chiave.
    12. Trascinare un nodo RESULT_FILE nello spazio di lavoro, trascinare un nodo ADD_TO_RESULT_FILE nello spazio di lavoro e connettersi sia il nodo di record_extension e il behavioral_responses di ADD_TO_RESULT_FILE nodo.
  7. Fai clic su esperimento | Costruire per generare lo script sperimentale, scegliere esperimento | Prova corri per testare l'esperimento. Dopo tutto è fatto, fare clic su esperimento | Distribuire per creare una versione eseguibile del progetto sperimentale.
    Nota: Per ulteriori informazioni su come utilizzare il generatore di esperimento, si prega di consultare il manuale del software27.

4. reclutare partecipanti

  1. Assicurarsi che i partecipanti per avere visione normale normale o corretta. Consigliabile che i partecipanti di indossare lenti a contatto, ma occhiali miope anche sono accettabili, purché le lenti sono pulite. Garantire che tutti i partecipanti sono parlanti nativi della lingua test, ad esempio cinese mandarino qui.
    Nota: Come regola generale, un partecipante è considerato come ammissibili, purché il partecipante può vedere le immagini di prova ad una distanza di circa 60 centimetri. In termini di numero di partecipanti, secondo alcune regole pratiche, il numero di partecipanti per l'analisi di regressione dovrebbe essere non meno di 50. Qui, trenta-sette studenti post-laurea da la Beijing Language and Culture University ha partecipato all'esperimento, che è un po' più piccola rispetto alla quantità consigliata.

5. condurre l'esperimento

Nota: Quando i partecipanti sono adulti sviluppati normali, uno sperimentatore è sufficiente per condurre lo svolgimento dell'esperimento. Ma se i partecipanti sono popolazioni speciali, come i bambini, gli sperimentatori di due o più sono necessari.

  1. Selezionare eye tracker per registrare i movimenti degli occhi dei partecipanti.
    Nota: Il tracker di occhio utilizzato in questo esperimento è Eyelink 1000plus in esecuzione con la modalità testa free-a-move. Si tratta di un occhio montato basate su video, desktop sistema di tracciamento, utilizzando il principio della pupilla con riflesso cornea (CR) per tenere traccia di rotazione dell'occhio. Quando si esegue in modalità testa free-a-move, il tracker di occhio ha la frequenza di campionamento monoculare di 500 Hz, con una risoluzione spaziale di 0,01 ° e un errore medio di meno di 0,5 °. Per informazioni più dettagliate del sistema, si prega di consultare la specifica tecnica28,29. Tracker alternativi possono essere utilizzati, ma quelli con la modalità di rilevamento remoto sono meglio, soprattutto quando i partecipanti sono bambini del preliterate.
  2. Avviare il sistema sul PC Host per avviare l'applicazione Host della macchina fotografica.
  3. Per configurare il sistema in modalità desktop remoto, fare clic sul pulsante di Opzione Set , impostare l'opzione di configurazione Desktop - destinazione Sticker - monoculare - 16/25 mm di lunghezza..--RTARBLER.
  4. Fare clic sulla versione eseguibile del progetto sperimentale sul Display PC, inserire il nome del partecipantee scegliere un gruppo dalla finestra del prompt a selezionare valore di condizione per eseguire il.
    Nota: Ogni sessione di test creerà una cartella con il nome inserito sotto i risultati di sottodirectory del progetto esperimento. Il file EDF sotto la cartella conteneva dati movimenti occhio pertinenti.
  5. Chiedere ai partecipanti di sedersi circa 60 cm da un 21 pollici, 4:3 monitor a colori con risoluzione di 1024px x 769px, di cui 27 pixel è uguale a 1 grado di angolo.
  6. Regolare l'altezza del monitor del PC di visualizzazione, per garantire che quando il partecipante è seduto e guardando dritto, che stanno cercando verticalmente al centro in alto, 75% del monitor.
    Nota: La sedia, scrivania e/o il monitor del PC sono comodo se sono regolabili in altezza. La sedia e la scrivania con rotelle dovrebbe essere evitati, in quanto tendono a causare roll e movimento involontario.
  7. Collocare un piccolo bersaglio adesivo sulla fronte dei partecipanti, per tenere traccia della posizione della testa, anche quando l'immagine di allievo si perde, come durante lampeggia o movimenti bruschi.
    Nota: Inseguitori occhio diverso potrebbero utilizzare diversi metodi per tenere traccia di testa dei partecipanti. Per massimizzare la gamma di movimento laterale del soggetto, l'occhio cingolato deve essere sullo stesso lato come l'illuminatore.
  8. Ruotare il braccio di messa a fuoco sul Monte scrivania l'immagine dell'occhio di mettere a fuoco.
  9. Fare clic sul pulsante Calibrate sull'host PC per condurre il processo di calibrazione di chiedere ai partecipanti di fissare una griglia di cinque obiettivi di fissazione in successione casuale con nessuna evidente risposte comportamentali, per mappare i movimenti degli occhi dei partecipanti allo sguardo di riguardo nel mondo visivo.
  10. Fare clic sul pulsante Validate sull'host PC per convalidare i risultati calibrati di chiedere ai partecipanti di fissare la stessa griglia di bersagli di fissazione. Ripetere le routine di calibrazione e validazione, quando l'errore è più grande di 1°.
  11. Condurre le due routine all'inizio dell'esperimento, e ogni volta che la precisione della misura è scarsa (ad es., dopo forti movimenti della testa o un cambiamento nella postura dei partecipanti).
  12. Fare clic sul pulsante Record dell'host PC per iniziare l'esperimento.
  13. Eseguire un controllo di drift per ciascuna prova chiedendo ai partecipanti di premere il tasto spazio sulla tastiera durante la fissazione al punto nero presentato nel centro dello schermo.
    Nota: Quando i partecipanti sono bambini del preliterate o pazienti clinici, istruendoli esplicitamente a premere la tastiera, mentre il punto nero di fissazione è normalmente poco pratico. Ma loro fissazioni attenzione e occhio tendono ad essere automaticamente attratti dal punto nero visualizzato. In questo caso, lo sperimentatore deve essere la persona a premere sulla tastiera mentre il partecipante è fissazione sul punto nero.
  14. Presentare gli stimoli visivi tramite il monitor schermo PC e giocare gli stimoli uditivi tramite una coppia di altoparlanti esterni situati a sinistra e destra del monitor (auricolari sono anche accettabili).
    Nota: Le registrazioni sono giocate dal disco rigido come clip audio mono 24 kHz. Se non c'è nessun motivo particolare, clip audio mono sono preferibili ai clip audio stereo. In una clip audio stereo, la differenza tra le due tracce audio, così come la differenza tra i due altoparlanti potrebbe influire movimenti degli occhi dei partecipanti. Per ulteriori informazioni su come utilizzare il tracker di occhio, si prega di consultare il manuale utente30.

6. dati di codifica e di analisi

  1. Aprire il Visualizzatore di dati, fare clic sul File | Importare File | Importare più file di dati di Eyelink per importare tutti i file di tracking occhio registrata (con l'estensione del FES) e salvarli in un unico . SVE file.
  2. Aprire il file salvato di EVS e fare clic su analisi | Rapporti | Report di esempio per esportare i dati di esempio crudo con nessuna aggregazione.
    Nota: Se il tracker di occhio ha una frequenza di campionamento di 500 Hz, i dati esportati avrà 500 punti dati, d'ora in poi 500 righe, al secondo per prova. Se l'occhio di sinistra dei partecipanti è registrata, garantire le colonne seguenti, nonché le variabili create nell'origine dati vengono esportate: RECORDING_SESSION_LABEL, LEFT_GAZE_X, LEFT_GAZE_Y, LEFT_INTEREST_AREA_LABEL, LEFT_IN_BLINK, LEFT_IN_SACCADE, LEFT_PUPIL_ DIMENSIONI, SAMPLE_INDEX, SAMPLE_MESSAGE. Per ulteriori informazioni su come utilizzare il Visualizzatore di dati, si prega di consultare il manuale del software31.
  3. Limitare le analisi statistiche alla finestra temporale dall'inizio del test immagine all'offset dell'audio di prova, cioè., la finestra temporale della durata di 11 s.
  4. Eliminare i campioni dove movimenti oculari dei partecipanti non vengono registrati come partecipanti lampeggiano i loro occhi, che colpisce circa il 10% dei dati registrati.
    Nota: Questo è un passaggio facoltativo, come i risultati sono normalmente lo stesso non importa se questi campioni eliminati.
  5. Codificare i dati. Per costruire i dati per un'area specifica di interesse a un certo punto di campionamento, codice i dati come 1 se fissazione dell'occhio dei partecipanti è situata nella zona di interesse per essere analizzati a quel punto di campionamento. Codificare i dati come 0 se la fissazione dell'occhio non si trova nelle aree di interesse a quel punto di campionamento.
  6. Disegnare una proporzione di fissazione per visualizzare i dati ottenuti. Per calcolare la proporzione di fissazioni sopra certa zona di interesse, medio i dati codificati per tutte le prove e per tutti i partecipanti in ciascun campione punto in ogni condizione. Tracciare la proporzione di fissazioni calcolate sull'asse y contro il punto di campionamento sull'asse, con diversi pannelli che indicano aree di interesse e con i colori di stampa che indicano diverse condizioni sperimentali.
    Nota: Nell'esperimento, i quattro pannelli raffigurato pattern di fissazione dei partecipanti sulle quattro aree di interesse. Le linee rosse, verde e blue illustrati modelli di fissazione dei partecipanti quando le istruzioni di prova erano congiunzioni (S1 e S2), ma-istruzioni (S1 ma non S2) e disgiunzioni (S1 o S2), rispettivamente. Il software utilizzato per disegnare la trama descrittiva è il pacchetto ggplot2 dall'ambiente di R. Altri software è anche disponibile. Figura 5 è un esempio di tale trama.
  7. Montare un modello misto lineare generalizzato binomio (GLMM) su ogni area di interesse in ciascun punto di campionamento, come i dati è stati codificati come 1 o 0, a seconda se la fissazione del partecipante è situata dentro o fuori l'area di interesse a quel punto di campionamento.
    Nota: Come i dati non sono cestinati, e i dati codificati possono essere solo 1 o 0, quindi la distribuzione dei dati codificati è binario anziché normale. D'ora in poi, viene utilizzato un modello GLMM con la famiglia di distribuzione binomiale. Il modello GLMM include un termine fisso, sperimentale le condizioni e i termini casuale due partecipanti e gli elementi. La formula valutata i due termini casuale include sia le intercettazioni e la pendenza delle condizioni sperimentali. Il software utilizzato per fare il montaggio di modello è il pacchetto lme4 dall'ambiente di R. Altri software è anche disponibile. Una cosa da menzionare è che la linea di base di elementi fissi hanno differito da quando l'area di interesse analizzati, vale a dire., le caselle di analizzati, sono diversi. Per essere precisi, la congiunzione (S1 e S2) è stato scelto come base di riferimento quando si analizza la grande open casella (casella A), la disgiunzione (A e B) è stato scelto come base di riferimento quando si analizza il box piccolo-chiuso (casella B), e l'istruzione-ma è stato scelto come la linea di base quando si analizza il primo ha accennato casella (casella D).
  8. Bonferroni regolare i valori di p ottenuti con test di Wald z , per ridurre l'errore familywise indotta da confronti multipli.
    Nota: Regolazione di Bonferroni è il modo tradizionale per affrontare l'errore familywise indotta da confronti multipli. Altri metodi sono anche disponibili, come descritto nella sezione Introduzione.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Le risposte del comportamento dei partecipanti sono riassunti nella Figura 4. Come abbiamo descritto in precedenza, la risposta corretta a una dichiarazione congiunta (S1 e S2) è la grande scatola aperta, ad esempio Box A nella Figura 1. La risposta corretta a una ma-istruzione (S1 ma non S2) è la piccola scatola aperta contenente il primo animale accennato, come casella D nella Figura 1. Criticamente, quale casella viene scelto per l'istruzione disgiuntiva (S1 o S2) dipende da come viene elaborata un'istruzione disgiuntiva: la piccola scatola chiusa, ad esempio casella B nella Figura 1, è stato scelto solo quando l'implicatura scalare e le inferenze di ignoranza relative all'istruzione disgiuntiva sono entrambi calcolati. La figura 4 illustra che quando comprendere una dichiarazione disgiuntiva (S1 o S2), i partecipanti calcolare entrambe le due inferenze.

Inoltre, fissazioni occhio dei partecipanti sulla piccola scatola chiusa, soprattutto quando queste fissazioni sono seguite da risposte comportamentali su quella casella, anche suggeriscono che l'implicatura scalare e le inferenze di ignoranza sono computate. Le due inferenze dovrebbero sono state elaborate entro e non oltre il primo punto temporale quando partecipanti spostano la loro attenzione visiva e fissazioni sulla piccola scatola chiusa. Movimenti oculari dei partecipanti sono riassunti nella Figura 5. Come possiamo vedere nel pannello B, occhio-fissazioni dei partecipanti sulla scatola piccola-chiuso (casella B) non aumentano a meno che il connettivo sentenziale è la disgiuntiva connettivale, o. Inoltre, questo aumento comincia no entro l'offset del tessuto connettivo disgiuntivo. Ciò suggerisce che sia l'implicatura scalare e le inferenze di ignoranza vengono calcolate prima l'offset del tessuto connettivo sentenziale, cioè, immediatamente incontrando il connettivo disgiuntivo.

Figure 1
Figura 1 . Un esempio di immagini di prova usati nell'esperimento. La zona grigia è l'immagine di prova in realtà essere presentato ai partecipanti. Le caselle di blues, le linee tratteggiate e i pixel che denota la larghezza degli elementi sono solo a scopo di illustrazione e sono invisibili ai partecipanti. (Adattato da esperimento di Zhan L. 17 con il permesso). Clicca qui per visualizzare una versione più grande di questa figura.

Figure 2
Figura 2 . Un esempio delle frasi test utilizzati nell'esperimento (ristampato da L. Zhan17 con autorizzazione). Clicca qui per visualizzare una versione più grande di questa figura.

Figure 3
Figura 3 . La struttura gerarchica di un tipico esperimento di eye tracking utilizzando il paradigma del mondo visivo. L'audio illustrato nell'immagine sono le traduzioni in inglese del cinese mandarino, usato nell'esperimento. Clicca qui per visualizzare una versione più grande di questa figura.

Figure 4
Figura 4 . Le risposte del comportamento dei partecipanti registrato nell'esperimento (adattato da uno esperimento di Zhan L.17 con il permesso). Clicca qui per visualizzare una versione più grande di questa figura.

Figure 5
Figura 5 . Dei partecipanti movimenti osservati nell'esperimento oculari. L'inizio ed il contrappeso dei connettivi sentenziale sono significati due linee verticali tratteggiate. Una significativa differenza esistente tra la disgiuntiva e la condizione basale a certo punto di campionamento è identificata dalla area in grigio (p <,05, Bonferroni regolato) (adattato da L. Zhan17 con autorizzazione). Clicca qui per visualizzare una versione più grande di questa figura.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Per condurre uno studio di mondo visivo, ci sono diversi passaggi critici da seguire. In primo luogo, i ricercatori intendono dedurre l'interpretazione del linguaggio uditivamente presentato tramite movimenti oculari dei partecipanti nel mondo visivo. D'ora in poi, nella progettazione del layout di stimoli visivi, le proprietà dei movimenti oculari in un'attività naturale che potenzialmente influenzano movimenti oculari dei partecipanti dovrebbero essere controllate. L'effetto della lingua parlata sui movimenti di occhio dei partecipanti può quindi essere riconosciuto. In secondo luogo, acustiche spunti nella lingua parlata sono transitori e non ci sono nessuna segnatura acustica corrispondente unicamente determinata categoria linguistica. A movimenti oculari dei partecipanti correttamente tempo-lock con l'insorgenza di alcuni marcatori linguistici, i ricercatori dovrebbero trovare un obiettivo e un modo coerente per definire il contorno di qualche struttura linguistica. In terzo luogo, per mappare correttamente la rotazione degli occhi dei partecipanti intorno alla testa con lo sguardo di riguardo nel mondo visivo, i ricercatori devono eseguire uno o più esecuzioni di calibrazione, la convalida e i processi di correzione di deriva. In quarto luogo, i dati ottenuti da uno studio del mondo visivo hanno alcune proprietà peculiari, come l'essere inferiore e superiore delimitata e avendo autocorrelazione errori ecc. Queste peculiari proprietà dovrebbe essere considerata quando si seleziona un metodo di analizzare statisticamente i dati.

Uno studio del mondo visivo è costituito da tre componenti essenziali: visual display, lingua parlata, compito sperimentale. Potranno subire modifiche su qualsiasi componente per soddisfare scopi specifici dei ricercatori. In primo luogo, un visual display è normalmente a screening raffigurante una matrice di immagini. Ma può anche essere un display di screening raffigurante una matrice di parole stampate32, una schematica scena30,31o di una scena reale contenente oggetti reali1,32. In secondo luogo, le espressioni vocali possono essere una parola36, una semplice frase30,31, un'istruzione semanticamente complessa17,34,35o un dialogo39. In terzo luogo, in termini di attività sperimentale, partecipanti o semplicemente viene chiesto di guardare il mondo visivo e ascoltare attentamente le espressioni uditive30,31; o viene richiesto di rendere alcune risposte comportamentali, come comportarsi fuori i movimenti descritti dall' espressione uditiva1, determina o meno l'espressione uditiva riferisce il display visivo38o scegliendo il corretto immagine nel display visivo l'espressione parlata sta parlando di17.

Il paradigma del mondo visivo, rispetto ad altre tecniche psicolinguistiche, ha diversi vantaggi unici. In primo luogo, il paradigma del mondo visivo può essere utilizzato in un largo delle popolazioni, compresi quelli che non sanno leggere e/o apertamente che non può dare loro risposte comportamentali, come i bambini del preliterate37,38,39, 40 , 41 , 42e adulti anziani46pazienti (ad es., aphasics)47. Questo è perché gli stimoli di lingua vengono presentati in Auditorio, piuttosto che sotto forma di testi scritti; e la comprensione del linguaggio viene dedotto dai movimenti di occhio automatico implicita dei partecipanti piuttosto che dalle loro risposte comportamentali evidenti. In secondo luogo, il paradigma del mondo visivo è estremamente sensibile alle manipolazioni grana del segnale vocale. Questo paradigma può essere usato per studiare l'elaborazione online della maggior parte degli argomenti nella comprensione del linguaggio a più livelli, ad esempio le caratteristiche fonetiche acustica grana fine33,45,46, le proprietà di parole30,31, il di1,47di strutture linguistiche e le strutture logiche di istruzioni semanticamente complesse come concessives37, bicondizionale37, istruzioni condizionali38e disgiunzioni17.

Il paradigma del mondo visivo, rispetto ad altre tecniche di psicolinguistica, ha anche alcune limitazioni potenziali. In primo luogo, interpretazione dei partecipanti della lingua parlata è dedotto dai loro movimenti di occhio sul mondo visivo, non dalla reale interpretazione degli stimoli lingua a se. d'ora in poi, le proprietà di linguaggio che possono essere studiate con il mondo visivo paradigma sono limitati a quelli che possono essere visualizzati, i. e., essi dovrebbero essere in qualche modo legati per l'entità o gli eventi del mondo visivo. In secondo luogo, il paradigma del mondo visivo utilizzato è normalmente più limitato di effettivo mondo visivo, con un set limitato di referenti nella foto e un insieme limitato di azioni potenziali. Questo cosiddetto chiuso-ha regolato problema48 potrebbe creare strategie di attività specifiche che l'elaborazione del linguaggio osservati non generalizzare di là delle specifiche situazioni create all'interno dell'esperimento. D'ora in poi, il paradigma potrebbe non essere sensibile alle caratteristiche di conoscenza linguistica e l'esperienza che si trova fuori del chiuso-set che sono state stabilite su un determinato processo.

Il paradigma del mondo visivo Esplora essenzialmente l'integrazione delle informazioni di dominio visivo e le informazioni dal dominio uditivo. Teoricamente, qualsiasi informazione che possono essere elaborati da due domini sensazionali possono essere potenzialmente studiate utilizzando questo paradigma. Ad esempio, il mondo visivo può essere realtà virtuale o video dinamici. L'input uditivo non è necessariamente la lingua e può essere qualsiasi altro formato, ad esempio musica e suoni dal mondo naturale, ecc. Inoltre, questo paradigma può essere ulteriormente esteso per esplorare l'integrazione delle informazioni da altri domini, piuttosto che il dominio visivo e uditivo dominio. Ad esempio, i ricercatori potrebbero utilizzare questa tecnica per vedere come le fissazioni dei partecipanti nel mondo visivo sono colpite da odori diversi, diversi tocchi, ecc.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

L'autore dichiara che non ha nessun concorrenti interessi finanziari.

Acknowledgments

Questa ricerca è stata sostenuta da Science Foundation di Beijing Language and Cultural University nell'ambito dei fondi di ricerca fondamentali per le Università centrale (approvazione numero 15YJ050003).

Materials

Name Company Catalog Number Comments
Pixelmator Pixelmator Team http://www.pixelmator.com/pro/ image editing app
Praat Open Sourse http://www.fon.hum.uva.nl/praat/ Sound analyses and editting software
Eyelink 1000plus SR-Research, Inc https://www.sr-research.com/products/eyelink-1000-plus/ remote infrared eye tracker 
Experimental Builder SR-Research, Inc https://www.sr-research.com/experiment-builder/ eye tracker software 
Data Viewer SR-Research, Inc https://www.sr-research.com/data-viewer/ eye tracker software 
R Open Sourse https://www.r-project.org free software environment for statistical computing and graphics

DOWNLOAD MATERIALS LIST

References

  1. Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
  2. Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
  3. Salverda, A. P., Tanenhaus, M. K. Research methods in psycholinguistics and the neurobiology of language: A practical guide. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).
  4. Huettig, F., Rommers, J., Meyer, A. S. Using the visual world paradigm to study language processing: A review and critical evaluation. Acta Psychologica. 137 (2), 151-171 (2011).
  5. Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. Viewing and naming objects: Eye movements during noun phrase production. Cognition. 66 (2), B25-B33 (1998).
  6. Griffin, Z. M., Bock, K. What the eyes say about speaking. Psychological Science. 11 (4), 274-279 (2000).
  7. Young, L. R., Sheena, D. Survey of eye movement recording methods. Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).
  8. Conklin, K., Pellicer-Sánchez, A., Carrol, G. Eye-tracking: A guide for applied linguistics research. , Cambridge University Press. (2018).
  9. Duchowski, A. Eye tracking methodology: Theory and practice. , 2, Springer. (2007).
  10. Baayen, R. H., Davidson, D. J., Bates, D. M. Mixed-effects modeling with crossed random effects for subjects and items. Journal of Memory and Language. 59 (4), 390-412 (2008).
  11. Barr, D. J. Analyzing 'visual world' eyetracking data using multilevel logistic regression. Journal of Memory and Language. 59 (4), 457-474 (2008).
  12. Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception. Journal of Memory and Language. 90, 103-125 (2016).
  13. Bolker, B. M., et al. Generalized linear mixed models: A practical guide for ecology and evolution. Trends in Ecology and Evolution. 24 (3), 127-135 (2009).
  14. Mirman, D., Dixon, J. A., Magnuson, J. S. Statistical and computational models of the visual world paradigm: Growth curves and individual differences. Journal of Memory and Language. 59 (4), 475-494 (2008).
  15. Baayen, H., Vasishth, S., Kliegl, R., Bates, D. The cave of shadows: Addressing the human factor with generalized additive mixed models. Journal of Memory and Language. 94, 206-234 (2017).
  16. Baayen, R. H., van Rij, J., de Cat, C., Wood, S. Mixed-Effects Regression Models in Linguistics. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).
  17. Zhan, L. Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm. Frontiers in Psychology. 9, (2018).
  18. Maris, E., Oostenveld, R. Nonparametric statistical testing of EEG- and MEG-data. Journal of Neuroscience Methods. 164 (1), 177-190 (2007).
  19. Barr, D. J., Jackson, L., Phillips, I. Using a voice to put a name to a face: The psycholinguistics of proper name comprehension. Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).
  20. van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. Eye movements: A window on mind and brain. , Elsevier. Ch. 21 471-486 (2007).
  21. Parkhurst, D., Law, K., Niebur, E. Modeling the role of salience in the allocation of overt visual attention. Vision Research. 42 (1), 107-123 (2002).
  22. Grice, H. P. Vol. 3 Speech Acts. Syntax and semantics. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).
  23. Sauerland, U. Scalar implicatures in complex sentences. Linguistics and Philosophy. 27 (3), 367-391 (2004).
  24. Chierchia, G. Scalar implicatures and their interface with grammar. Annual Review of Linguistics. 3 (1), 245-264 (2017).
  25. Fox, D. Presupposition and Implicature in Compositional Semantics. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).
  26. Meyer, M. C. Ignorance and grammar. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).
  27. SR Research Ltd. SR Research Experiment Builder User Manual (Version 2.1.140). , Ottawa, Canada. (2017).
  28. SR Research Ltd. EyeLink® 1000 Plus Technical Specifications. , Mississauga, Canada. (2017).
  29. SR Research Ltd. EyeLink-1000-Plus-Brochure. , Mississauga, Canada. (2017).
  30. SR Research Ltd. EyeLink® 1000 Plus User Manual (Version 1.0.12). , Ottawa, Canada. (2017).
  31. SR Research Ltd. EyeLink® Data Viewer User’s Manual (Version 3.1.97). , Ottawa, Canada. (2017).
  32. McQueen, J. M., Viebahn, M. C. Tracking recognition of spoken words by tracking looks to printed words. The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).
  33. Altmann, G. T. M., Kamide, Y. Incremental interpretation at verbs: restricting the domain of subsequent reference. Cognition. 73 (3), 247-264 (1999).
  34. Altmann, G. T. M., Kamide, Y. The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing. Journal of Memory and Language. 57 (4), 502-518 (2007).
  35. Snedeker, J., Trueswell, J. C. The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing. Cognitive Psychology. 49 (3), 238-299 (2004).
  36. Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
  37. Zhan, L., Crain, S., Zhou, P. The online processing of only if and even if conditional statements: Implications for mental models. Journal of Cognitive Psychology. 27 (3), 367-379 (2015).
  38. Zhan, L., Zhou, P., Crain, S. Using the visual-world paradigm to explore the meaning of conditionals in natural language. Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).
  39. Brown-Schmidt, S., Tanenhaus, M. K. Real-time investigation of referential domains in unscripted conversation: A targeted language game approach. Cognitive Science. 32 (4), 643-684 (2008).
  40. Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. Rapid gains in speed of verbal processing by infants in the 2nd year. Psychological Science. 9 (3), 228-231 (1998).
  41. Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying on-line sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
  42. Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese. Journal of Child Language. 39 (4), 687-730 (2012).
  43. Zhou, P., Crain, S., Zhan, L. Grammatical aspect and event recognition in children's online sentence comprehension. Cognition. 133 (1), 262-276 (2014).
  44. Zhou, P., Crain, S., Zhan, L. Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing. Journal of Memory and Language. 67 (1), 149-164 (2012).
  45. Moscati, V., Zhan, L., Zhou, P. Children's on-line processing of epistemic modals. Journal of Child Language. 44 (5), 1025-1040 (2017).
  46. Helfer, K. S., Staub, A. Competing speech perception in older and younger adults: Behavioral and eye-movement evidence. Ear and Hearing. 35 (2), 161-170 (2014).
  47. Dickey, M. W., Choy, J. W. J., Thompson, C. K. Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening. Brain and Language. 100 (1), 1-22 (2007).
  48. Magnuson, J. S., Nusbaum, H. C. Acoustic differences, listener expectations, and the perceptual accommodation of talker variability. Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).
  49. Reinisch, E., Jesse, A., McQueen, J. M. Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately. Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).
  50. Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).
  51. Tanenhaus, M. K., Trueswell, J. C. Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).

Tags

Comportamento problema 140 Eye tracking paradigma del mondo visivo lingua parlata elaborazione in linea tecnica istruzione complessa generalizzato lineare modello misto distribuzione binomiale errore familywise regolazione di Bonferroni
Utilizzando i movimenti di occhio registrati nel paradigma mondo visivo per esplorare l'elaborazione Online di lingua parlata
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Zhan, L. Using Eye Movements… More

Zhan, L. Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language. J. Vis. Exp. (140), e58086, doi:10.3791/58086 (2018).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter