Utilizzando i movimenti di occhio registrati nel paradigma mondo visivo per esplorare l'elaborazione Online di lingua parlata

Questo metodo può aiutare a rispondere a domande chiave nell'elaborazione online della lingua parlata, incluse frasi semanticamente complesse, come disgiunzioni e condizionali. Il principale vantaggio di questa tecnica è che può essere eseguita su una vasta gamma di popolazioni per studiare la maggior parte degli argomenti nelle aree di elaborazione linguistica. A dimostrare la procedura sarà Xu Jing, uno studente post-laurea.

Cao Yifan, Wang Meng, Yang Xiaotong, Zhan Min e Zhou Xuehan sono gli studenti del mio gruppo di ricerca. Per preparare gli stimoli visivi, scarica 60 immagini clipart gratuite sul copyright di animali da Internet e apri le immagini in un editor di immagini appropriato. Fare clic su Strumenti e usare la selezione rapida per selezionare ed eliminare lo sfondo da ogni immagine.

Fare clic su Dimensioni immagine e immagine per ridimensionare le immagini a 120 x 120 pixel e disegnare una grande casella aperta da 320 x 240 pixel, una piccola casella chiusa da 160 x 160 pixel e due piccole caselle aperte 160 x 240 pixel. Aprire un nuovo file per creare un modello da 1.024 per 768 pixel per la prima immagine di test e trascinare le caselle nelle posizioni indicate. Trascinare due immagini ClipArt nella grande casella aperta e una delle stesse due immagini nelle due piccole caselle aperte.

Quindi crea altre 59 immagini di prova come appena dimostrato con ogni immagine animale utilizzata due volte per immagine di prova, controbilanciando le posizioni spaziali delle quattro caselle tra le immagini. Per preparare gli stimoli della lingua parlata, progetta quattro frasi di prova corrispondenti a ciascuna immagine di prova nella lingua madre dei partecipanti per un totale di 240 frasi di prova da registrare, con almeno tre delle quattro frasi e una di ciascuna delle forme come illustrato. Recluta una madrelingua femminile per registrare quattro affermazioni di esempio, così come l'audio per tutti gli animali utilizzati nell'esperimento.

Dividi le 240 frasi di prova in quattro gruppi, con ogni gruppo contenente 15 istruzioni congiuntive, 15 dichiarazioni disgiuntive, 15 ma dichiarazioni e 15 frasi di riempimento. Quindi salvare tutte le informazioni importanti relative agli stimoli del test in un file di testo delimitato da tabulazioni, con ogni riga corrispondente a ciascuna delle 240 prove. Per compilare la sequenza dell'esperimento, aprire il generatore di esperimenti e creare un nuovo progetto.

Trascinare un oggetto schermo di visualizzazione nell'area di lavoro e rinominare l'istruzione dell'area di lavoro. Fate clic su Inserisci risorsa testo su più linee (Insert Multi Line Text Resource) e fate doppio clic per aprire la sequenza di blocchi per compilare la sequenza di blocchi. Trascinare un nodo Configurazione fotocamera EI nella sequenza di blocchi per creare una schermata di configurazione della fotocamera sul PC host EyeLink per facilitare la calibrazione e la convalida della configurazione della fotocamera.

Fate clic sul campo Tipo calibrazione (Calibration Type) nel pannello delle proprietà e selezionate HV5 dall'elenco a discesa. Per compilare la sequenza di valutazione trascinare un nodo Schermo di visualizzazione nella sequenza di valutazione e rinominarlo Animal_1_Image. Trascinare un nodo Riproduci suono nella sequenza di prova e rinominarlo Animal_1_Audio.

Trascinare un nodo Timer nella sequenza di valutazione e rinominarlo Animal_1_Audio_Length. Continuare a trascinare e rinominare altri nodi Schermo di visualizzazione, Riproduci audio e Timer nella sequenza di prova fino a quando non sono stati creati tre nodi per ogni immagine ClipArt. Quindi trascinare un nodo Drift Correct nella sequenza di prova per introdurre la correzione della deriva.

Per compilare la sequenza di registrazione, trascinare un nuovo nodo Schermo di visualizzazione nella sequenza di record. Rinominare il nodo Test_Image. Fare doppio clic sul nodo Schermo schermo per aprire il generatore di schermate, fare clic sull'area inserisci area di interesse rettangolo e disegnare quattro aree rettangolari di interesse.

Trascinare un nodo Timer nell'area di lavoro, rinominare il nodo Pausa e modificare la proprietà duration in 500 millisecondi. Trascinare un nodo Riproduci suono nell'area di lavoro e rinominare il nodo Test_Audio, trascinare un nodo Timer nell'area di lavoro e rinominarlo Test_Audio_Length. Aggiungere quindi un nodo Tastiera nell'area di lavoro, rinominare il nodo Risposte comportamentali e modificare la proprietà Tasti accettabili in Su, Giù, Destra, Sinistra.

Per condurre un esperimento, avviare il sistema sul PC host per avviare l'applicazione host della fotocamera e fare clic sulla versione eseguibile del progetto sperimentale sul PC di visualizzazione. Immettere il nome del partecipante e fare clic su Seleziona valore condizione da eseguire per selezionare un gruppo dalla finestra del prompt. Posizionare un piccolo adesivo bersaglio sulla fronte del partecipante per tenere traccia della posizione della testa anche quando l'immagine della pupilla viene persa, ad esempio durante i lampeggiamenti o i movimenti improvvisi. Seduti al partecipante a circa 60 centimetri da un monitor a colori 4:3 da 21 pollici con una risoluzione di 1.024 per 769 pixel, per il quale 27 pixel equivalgono a un angolo di grado.

Regolare l'altezza del monitor del PC di visualizzazione per assicurarsi che quando il partecipante guarda dritto in avanti, guardi verticalmente dal centro alla parte superiore del 75% del monitor, quindi ruoti il braccio di messa a fuoco sul supporto della scrivania per mettere a fuoco l'immagine dell'occhio. Quindi, fai clic su Calibra sul PC host e chiedi al partecipante di fissare su una griglia di cinque obiettivi di fissazione, in successione casuale senza risposte comportamentali troppo te, per mappare i movimenti oculari del partecipante allo sguardo di riguardo nel mondo visivo. Fare clic su Convalida e chiedere al partecipante di fissare sulla stessa griglia di destinazioni di fissazione per convalidare i risultati della calibrazione.

Eseguire un controllo della deriva chiedendo al partecipante di premere la barra spazia spaziale sulla tastiera mentre si fissa sul punto nero al centro dello schermo. Quindi presentare gli stimoli visivi tramite il monitor del PC display durante la riproduzione degli stimoli uditivi tramite una coppia di altoparlanti esterni situati a sinistra e a destra del monitor. Per la codifica e l'analisi dei dati, aprire il visualizzatore dati e fare clic su File, Importa file e importa più file di dati EyeLink per importare tutti i file di eye tracker registrati.

Salvare i file in un singolo file evs, quindi aprire il file evs e fare clic su Analisi, Report e Report di esempio per esportare i dati di esempio non elaborati senza aggregazione. La risposta corretta a un'istruzione congiuntivo è la grande scatola aperta, mentre la risposta corretta a un'istruzione but è la piccola scatola aperta contenente il primo animale menzionato all'interno dell'istruzione. Criticamente, quale casella viene scelta per le istruzioni congiuntive dipende dal modo in cui viene elaborata un'istruzione condizionale.

Ad esempio, la piccola scatola chiusa viene scelta solo quando l'implicazione scalare e le inferenze dell'ignoranza sono entrambe calcolate, il che risulta dalla comprensione di un'istruzione disgiuntiva. Come illustrato nel pannello, la fissazione degli occhi sulla piccola scatola chiusa non aumenta a meno che il connettivo sentenziale non sia il connettivo disgiuntivo o con l'aumento che inizia non oltre l'offset del connettivo disgiuntivo. Visual World Paradigm è una tecnica di tracciamento oculare versatile per dedurre la comprensione online del linguaggio parlato da parte dei partecipanti dai loro movimenti oculari nel mondo reale.

Quando si reclutano i partecipanti, ricordano che dovrebbero avere una normale o corretta capacità visiva normale e una normale capacità uditiva. Per progettare uno studio del mondo reale idoneo, altri fattori che potrebbero influenzare i movimenti oculari dei partecipanti dovrebbero essere controllati o esclusi. Quando si analizzano statisticamente i risultati, è necessario considerare il problema che può derivare da risposte limite, tutte le correlazioni automatiche o i confronti automatici.