Name: Utilizzando i movimenti di occhio registrati nel paradigma mondo visivo per esplorare lelaborazione Online di lingua parlata (Video) | JoVE Journal
Uploaded: 2018-10-13T12:30:00.000+00:00
Duration: 9 min 27 s
Description: Scopri il paradigma mondo visivo per studiare l'elaborazione online del linguaggio parlato. Questo metodo di eye tracking rivela come i partecipanti comprendono frasi semanticamente complesse in tempo reale.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Questa ricerca è stata sostenuta da Science Foundation di Beijing Language and Cultural University nell'ambito dei fondi di ricerca fondamentali per le Università centrale (approvazione numero 15YJ050003).

<ol><li>Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Integration+of+visual+and+linguistic+information+in+spoken+language+comprehension%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Integration of visual and linguistic information in spoken language comprehension.</a> Science. 268 (5217), 1632-1634 (1995).</li>
<li>Cooper, R. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/001002857490005X">The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing.</a> Cognitive Psychology. 6 (1), 84-107 (1974).</li>
<li>Salverda, A. P., Tanenhaus, M. K. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aSalverda%2C+AP+%22Research+methods+in+psycholinguistics+and+the+neurobiology+of+language%3A+A+practical+guide%22">Research methods in psycholinguistics and the neurobiology of language: A practical guide</a>. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).</li>
<li>Huettig, F., Rommers, J., Meyer, A. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+the+visual+world+paradigm+to+study+language+processing%3A+A+review+and+critical+evaluation%5BTitle%5D)+AND+%22Acta+Psychologica%22%5BJournal%5D)">Using the visual world paradigm to study language processing: A review and critical evaluation.</a> Acta Psychologica. 137 (2), 151-171 (2011).</li>
<li>Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Viewing+and+naming+objects%3A+Eye+movements+during+noun+phrase+production%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Viewing and naming objects: Eye movements during noun phrase production.</a> Cognition. 66 (2), B25-B33 (1998).</li>
<li>Griffin, Z. M., Bock, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((What+the+eyes+say+about+speaking%5BTitle%5D)+AND+%22Psychological+Science%22%5BJournal%5D)">What the eyes say about speaking.</a> Psychological Science. 11 (4), 274-279 (2000).</li>
<li>Young, L. R., Sheena, D. <a target="_blank" href="https://link.springer.com/article/10.3758/BF03201553">Survey of eye movement recording methods.</a> Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).</li>
<li>Conklin, K., Pellicer-Sánchez, A., Carrol, G. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aConklin%2C+K+%22Eye-tracking%3A+A+guide+for+applied+linguistics+research%22">Eye-tracking: A guide for applied linguistics research</a>. , Cambridge University Press. (2018).</li>
<li>Duchowski, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDuchowski%2C+A+%22Eye+tracking+methodology%3A+Theory+and+practice%22">Eye tracking methodology: Theory and practice</a>. , 2, Springer. (2007).</li>
<li>Baayen, R. H., Davidson, D. J., Bates, D. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001398">Mixed-effects modeling with crossed random effects for subjects and items.</a> Journal of Memory and Language. 59 (4), 390-412 (2008).</li>
<li>Barr, D. J. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001015">Analyzing 'visual world' eyetracking data using multilevel logistic regression.</a> Journal of Memory and Language. 59 (4), 457-474 (2008).</li>
<li>Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16000280">The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception.</a> Journal of Memory and Language. 90, 103-125 (2016).</li>
<li>Bolker, B. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Generalized+linear+mixed+models%3A+A+practical+guide+for+ecology+and+evolution%5BTitle%5D)+AND+%22Trends+in+Ecology+and+Evolution%22%5BJournal%5D)">Generalized linear mixed models: A practical guide for ecology and evolution.</a> Trends in Ecology and Evolution. 24 (3), 127-135 (2009).</li>
<li>Mirman, D., Dixon, J. A., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Statistical+and+computational+models+of+the+visual+world+paradigm%3A+Growth+curves+and+individual+differences%5BTitle%5D)+AND+%22Journal+of+Memory+and+Language%22%5BJournal%5D)">Statistical and computational models of the visual world paradigm: Growth curves and individual differences.</a> Journal of Memory and Language. 59 (4), 475-494 (2008).</li>
<li>Baayen, H., Vasishth, S., Kliegl, R., Bates, D. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16302467">The cave of shadows: Addressing the human factor with generalized additive mixed models.</a> Journal of Memory and Language. 94, 206-234 (2017).</li>
<li>Baayen, R. H., van Rij, J., de Cat, C., Wood, S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aBaayen%2C+RH+%22Mixed-Effects+Regression+Models+in+Linguistics%22">Mixed-Effects Regression Models in Linguistics</a>. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).</li>
<li>Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Scalar+and+ignorance+inferences+are+both+computed+immediately+upon+encountering+the+sentential+connective%3A+The+online+processing+of+sentences+with+disjunction+using+the+visual+world+paradigm%5BTitle%5D)+AND+%22Frontiers+in+Psychology%22%5BJournal%5D)">Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm.</a> Frontiers in Psychology. 9, (2018).</li>
<li>Maris, E., Oostenveld, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Nonparametric+statistical+testing+of+EEG-+and+MEG-data%5BTitle%5D)+AND+%22Journal+of+Neuroscience+Methods%22%5BJournal%5D)">Nonparametric statistical testing of EEG- and MEG-data.</a> Journal of Neuroscience Methods. 164 (1), 177-190 (2007).</li>
<li>Barr, D. J., Jackson, L., Phillips, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+a+voice+to+put+a+name+to+a+face%3A+The+psycholinguistics+of+proper+name+comprehension%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-General%22%5BJournal%5D)">Using a voice to put a name to a face: The psycholinguistics of proper name comprehension.</a> Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).</li>
<li>van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDahan%2C+D+%22Eye+movements%3A+A+window+on+mind+and+brain%22">Eye movements: A window on mind and brain</a>. , Elsevier. Ch. 21 471-486 (2007).</li>
<li>Parkhurst, D., Law, K., Niebur, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+role+of+salience+in+the+allocation+of+overt+visual+attention%5BTitle%5D)+AND+%22Vision+Research%22%5BJournal%5D)">Modeling the role of salience in the allocation of overt visual attention.</a> Vision Research. 42 (1), 107-123 (2002).</li>
<li>Grice, H. P. Vol. 3 Speech Acts. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGrice%2C+HP+%22Syntax+and+semantics%22">Syntax and semantics</a>. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).</li>
<li>Sauerland, U. <a target="_blank" href="http://semantics.uchicago.edu/kennedy/classes/w14/implicature/readings/sauerland04.pdf">Scalar implicatures in complex sentences.</a> Linguistics and Philosophy. 27 (3), 367-391 (2004).</li>
<li>Chierchia, G. <a target="_blank" href="https://www.annualreviews.org/doi/abs/10.1146/annurev-linguistics-011516-033846">Scalar implicatures and their interface with grammar.</a> Annual Review of Linguistics. 3 (1), 245-264 (2017).</li>
<li>Fox, D. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aFox%2C+D+%22Presupposition+and+Implicature+in+Compositional+Semantics%22">Presupposition and Implicature in Compositional Semantics</a>. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).</li>
<li>Meyer, M. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Ignorance+and+grammar%22">Ignorance and grammar</a>. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22SR+Research+Experiment+Builder+User+Manual+%28Version+2.1.140%29%22">SR Research Experiment Builder User Manual (Version 2.1.140)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+Technical+Specifications%22">EyeLink® 1000 Plus Technical Specifications</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink-1000-Plus-Brochure%22">EyeLink-1000-Plus-Brochure</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+User+Manual+%28Version+1.0.12%29%22">EyeLink® 1000 Plus User Manual (Version 1.0.12)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+Data+Viewer+User%E2%80%99s+Manual+%28Version+3.1.97%29%22">EyeLink® Data Viewer User’s Manual (Version 3.1.97)</a>. , Ottawa, Canada. (2017).</li>
<li>McQueen, J. M., Viebahn, M. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tracking+recognition+of+spoken+words+by+tracking+looks+to+printed+words%5BTitle%5D)+AND+%22The+Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Tracking recognition of spoken words by tracking looks to printed words.</a> The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Incremental+interpretation+at+verbs%3A+restricting+the+domain+of+subsequent+reference%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Incremental interpretation at verbs: restricting the domain of subsequent reference.</a> Cognition. 73 (3), 247-264 (1999).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07000101">The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing.</a> Journal of Memory and Language. 57 (4), 502-518 (2007).</li>
<li>Snedeker, J., Trueswell, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+developing+constraints+on+parsing+decisions%3A+The+role+of+lexical-biases+and+referential+scenes+in+child+and+adult+sentence+processing%5BTitle%5D)+AND+%22Cognitive+Psychology%22%5BJournal%5D)">The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing.</a> Cognitive Psychology. 49 (3), 238-299 (2004).</li>
<li>Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X97925584">Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models.</a> Journal of Memory and Language. 38 (4), 419-439 (1998).</li>
<li>Zhan, L., Crain, S., Zhou, P. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/20445911.2015.1016527">The online processing of only if and even if conditional statements: Implications for mental models.</a> Journal of Cognitive Psychology. 27 (3), 367-379 (2015).</li>
<li>Zhan, L., Zhou, P., Crain, S. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/23273798.2018.1448935">Using the visual-world paradigm to explore the meaning of conditionals in natural language.</a> Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).</li>
<li>Brown-Schmidt, S., Tanenhaus, M. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+investigation+of+referential+domains+in+unscripted+conversation%3A+A+targeted+language+game+approach%5BTitle%5D)+AND+%22Cognitive+Science%22%5BJournal%5D)">Real-time investigation of referential domains in unscripted conversation: A targeted language game approach.</a> Cognitive Science. 32 (4), 643-684 (2008).</li>
<li>Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. <a target="_blank" href="http://journals.sagepub.com/doi/abs/10.1111/1467-9280.00044">Rapid gains in speed of verbal processing by infants in the 2nd year.</a> Psychological Science. 9 (3), 228-231 (1998).</li>
<li>Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+kindergarten-path+effect%3A+studying+on-line+sentence+processing+in+young+children%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">The kindergarten-path effect: studying on-line sentence processing in young children.</a> Cognition. 73 (2), 89-134 (1999).</li>
<li>Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+use+of+phonological+information+in+ambiguity+resolution%3A+a+view+from+Mandarin+Chinese%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese.</a> Journal of Child Language. 39 (4), 687-730 (2012).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Grammatical+aspect+and+event+recognition+in+children%27s+online+sentence+comprehension%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Grammatical aspect and event recognition in children's online sentence comprehension.</a> Cognition. 133 (1), 262-276 (2014).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X12000277">Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing.</a> Journal of Memory and Language. 67 (1), 149-164 (2012).</li>
<li>Moscati, V., Zhan, L., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+on-line+processing+of+epistemic+modals%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's on-line processing of epistemic modals.</a> Journal of Child Language. 44 (5), 1025-1040 (2017).</li>
<li>Helfer, K. S., Staub, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Competing+speech+perception+in+older+and+younger+adults%3A+Behavioral+and+eye-movement+evidence%5BTitle%5D)+AND+%22Ear+and+Hearing%22%5BJournal%5D)">Competing speech perception in older and younger adults: Behavioral and eye-movement evidence.</a> Ear and Hearing. 35 (2), 161-170 (2014).</li>
<li>Dickey, M. W., Choy, J. W. J., Thompson, C. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+comprehension+of+wh-movement+in+aphasia%3A+Evidence+from+eyetracking+while+listening%5BTitle%5D)+AND+%22Brain+and+Language%22%5BJournal%5D)">Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening.</a> Brain and Language. 100 (1), 1-22 (2007).</li>
<li>Magnuson, J. S., Nusbaum, H. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Acoustic+differences%2C+listener+expectations%2C+and+the+perceptual+accommodation+of+talker+variability%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Human+Perception+and+Performance%22%5BJournal%5D)">Acoustic differences, listener expectations, and the perceptual accommodation of talker variability.</a> Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).</li>
<li>Reinisch, E., Jesse, A., McQueen, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Early+use+of+phonetic+information+in+spoken+word+recognition%3A+Lexical+stress+drives+eye+movements+immediately%5BTitle%5D)+AND+%22Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately.</a> Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).</li>
<li>Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Actions+and+affordances+in+syntactic+ambiguity+resolution%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Learning+Memory+and+Cognition%22%5BJournal%5D)">Actions and affordances in syntactic ambiguity resolution.</a> Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).</li>
<li>Tanenhaus, M. K., Trueswell, J. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aTanenhaus%2C+MK+%22Approaches+to+Studying+World-Situated+Language+Use%3A+Bridging+the+Language-as-Product+and+Language-as-Action+Traditions%22">Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions</a>. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).</li>
</ol>

L'autore dichiara che non ha nessun concorrenti interessi finanziari.

Per condurre uno studio di mondo visivo, ci sono diversi passaggi critici da seguire. In primo luogo, i ricercatori intendono dedurre l'interpretazione del linguaggio uditivamente presentato tramite movimenti oculari dei partecipanti nel mondo visivo. D'ora in poi, nella progettazione del layout di stimoli visivi, le proprietà dei movimenti oculari in un'attività naturale che potenzialmente influenzano movimenti oculari dei partecipanti dovrebbero essere controllate. L'effetto della lingua parlata sui movimenti di occhio...

Lingua parlata è un flusso di informazioni veloce, in corso, che scomparirà subito. È una sfida per studiare sperimentalmente questo temporale, modificare rapidamente il segnale vocale. Movimenti di occhio registrati nel paradigma mondo visivo possono essere utilizzati per superare questa sfida. In un tipico occhio tracking studio utilizzando il paradigma del mondo visivo, movimenti degli occhi dei partecipanti a immagini in un display o a oggetti reali in un'area di lavoro visual vengono monitorati come ascoltare, o produrre, lingua parlata, raffigurante il contenuto del mondo visivo1 ,2,3,4. La logica di base, o l'ipotesi di collegamento, dietro questo paradigma è che comprendere o pianificazione di un enunciato (apertamente o velatamente) sposterà il attenzione visiva dei partecipanti a un determinato oggetto nel mondo visivo. Questo spostamento di attenzione avrà un'alta probabilità di avviare un movimento di occhio saccadici per portare le frequentate in visione foveale. Con questo paradigma, i ricercatori intendono determinare a che punto temporale, rispetto a qualche punto di riferimento acustico del segnale vocale, si verifica uno spostamento di attenzione visiva del partecipante, come misurato da un movimento di occhio saccadici ad un oggetto o un'immagine in visual mondo. Quando e dove i movimenti oculari saccadici vengono lanciati in relazione il segnale vocale vengono quindi utilizzati per dedurre l'elaborazione online di lingua straniera. Il paradigma del mondo visivo può essere utilizzato per studiare la lingua parlata comprensione1,2 e la produzione5,6. Questo articolo metodologico si concentrerà sugli studi di comprensione. In uno studio di comprensione utilizzando il paradigma del mondo visivo, occhio dei partecipanti movimenti sul visual display vengono monitorati come ascoltano le espressioni vocali parlando la visuale del display.
Sistemi di tracciamento degli occhi diversi sono stati progettati nella storia. Il più semplice, meno costoso e più portatile sistema è solo una normale videocamera, che registra un'immagine degli occhi del partecipante. Movimenti oculari sono poi codificati manualmente attraverso l'esame di frame-by-frame di registrazione video. Tuttavia, la frequenza di campionamento di un eye-tracker è relativamente bassa, e la procedura di codificazione è che richiede tempo. Così, un occhio commerciale contemporaneo sistema di tracciamento normalmente utilizza sensori ottici di misura l'orientamento dell'occhio nella sua orbita7,8,9. Per comprendere il funzionamento di un sistema di eye tracking commerciale contemporaneo, da considerare i seguenti punti. Primo, per misurare correttamente la direzione della visione fovea, un illuminatore ad infrarossi (normalmente con la lunghezza d'onda intorno 780-880 nm) è normalmente disposto lungo o fuori l'asse ottico della telecamera, rendendo l'immagine della pupilla distinguishably più luminoso o più scuro rispetto l'iride circostante. L'immagine della pupilla e/o del riflesso corneale pupilla (normalmente la prima immagine di Purkinje) viene quindi utilizzato per calcolare l'orientamento dell'occhio nella sua orbita. In secondo luogo, la posizione di sguardo nel mondo visivo è in realtà contingente non solo l'orientamento dell'occhio rispetto alla testa ma anche l'orientamento della testa rispetto al mondo visivo. Per dedurre con precisione lo sguardo di proposito dall'orientamento dell'occhio, la sorgente luminosa e la telecamera di eye-tracker sono fissi rispetto alla testa dei partecipanti (testa-montata eye-tracker) o sono fissi rispetto al mondo visual (da tavolo o remoto eye-tracker). In terzo luogo, orientamento della testa dei partecipanti deve essere fissato per quanto riguarda il mondo visivo o computazionalmente essere compensato se testa dei partecipanti è libero di muoversi. Quando un eye-tracker remoto viene utilizzato in una modalità di testa-free-a-move, posizione della testa dei partecipanti è in genere registrata inserendo un piccolo adesivo sulla fronte dei partecipanti. L'orientamento della testa informaticamente viene quindi sottratto dall'orientamento dell'occhio per recuperare la posizione di sguardo del mondo visivo. In quarto luogo, una calibrazione e un processo di validazione sono quindi necessaria per mappare l'orientamento dell'occhio allo sguardo di riguardo nel mondo visivo. Nel processo di calibrazione, campioni di fissazione dei partecipanti da punti di destinazione nota vengono registrati per mappare i dati raw occhio per lo sguardo di posizione del mondo visivo. Nel processo di convalida, i partecipanti sono presentati con gli stessi punti di destinazione come il processo di calibrazione. La differenza esistente tra la posizione di fissaggio calcolata dai risultati calibrati e la posizione effettiva dell'obiettivo fissato nel mondo visivo vengono quindi utilizzati per giudicare la precisione della calibrazione. Per riconfermare ulteriormente la precisione del processo di mappatura, un assegno di drift è normalmente applicato su ogni prova, dove un bersaglio singolo fissazione è presentato ai partecipanti per misurare la differenza tra la posizione calcolata la fissazione e l'effettiva posizione della destinazione corrente.
I dati primari di uno studio del mondo visivo sono un flusso delle posizioni di sguardo nel mondo visual registrato alla frequenza di campionamento di eye-tracking, che vanno oltre la totalità o parte della durata prova. La variabile dipendente utilizzata in uno studio del mondo visivo è in genere la percentuale di campioni che fissazioni dei partecipanti si trovano a certa regione spaziale del mondo visivo attraverso un certo intervallo di tempo. Per analizzare i dati, una finestra di tempo ha in primo luogo essere selezionati, spesso definito come periodi di interesse. La finestra di tempo è in genere tempo-bloccata alla presentazione di alcuni eventi linguistici nell'input uditivo. Inoltre, inoltre è necessario che il mondo visivo diviso in parecchie regioni di interesse (ROI), ognuno dei quali è associato a uno o più oggetti. Una tale regione contiene l'oggetto corrispondente per la corretta comprensione della lingua parlata e così è spesso chiamato l'area di destinazione. Un tipico modo di visualizzare i dati è un complotto di proporzione di fissazione, dove a ciascuna collocazione in una finestra di tempo, la percentuale di campioni con uno sguardo a ogni area di interesse sono media tra i partecipanti e gli elementi.
Utilizzando i dati ottenuti da uno studio del mondo visivo, ricerca diverse domande possono trovare risposta: un) al livello di grana grossa, sono movimenti oculari dei partecipanti nel mondo visual interessati da diversi input linguistico uditivi? b) se c'è un effetto, che cosa è la traiettoria dell'effetto nel corso del processo? È un effetto lineare o un effetto di ordine elevato? e c) se c'è un effetto, quindi il livello di grana fine, quando è il primo punto temporale dove emerge un tale effetto e quanto dura questo effetto ultimo?
Per analizzare statisticamente i risultati, si devono considerare i seguenti punti. In primo luogo, la variabile di risposta, cioè, le proporzioni delle fissazioni, è sia sotto e sopra delimitata (tra 0 e 1), cui seguirà una distribuzione multinomiale, piuttosto che una distribuzione normale. D'ora in poi, tradizionali metodi statistici basati sulla distribuzione normale come il t-test, ANOVA e modelli lineari (misto-effetto)10, non possono essere direttamente utilizzati fino a quando le proporzioni sono state trasformate a unbounded variabili come ad esempio con formula empirica logit11 o sono stati sostituiti con unbounded variabili dipendenti come distanza euclidea12. Utilizzabile anche tecniche statistiche che non richiedono che l'assunzione di una distribuzione normale tale generalizzato modelli lineari (misto-effetto)13 . In secondo luogo, per esplorare la traiettoria mutevole degli effetti osservati, una variabile che indica il tempo-serie dovrà essere aggiunto al modello. Questa variabile di serie temporali è originariamente il eye-tracker di riallineati all'insorgenza della lingua di input i punti di campionamento. Poiché la traiettoria cambia in genere non è lineare, una funzione polinomiale di ordine superiore della serie tempo normalmente viene aggiunto il () modello lineare generalizzato (misto-effetto), vale a dire, crescita curva analisi14. Inoltre, posizioni dell'occhio dei partecipanti nel punto di campionamento corrente è fortemente dipendente dalle precedenti punti di campionamento, soprattutto quando la frequenza di registrazione è elevata, causando il problema di autocorrelazione. Per ridurre l'autocorrelazione tra i punti di campionamento adiacenti, dati originali sono spesso giù-campionamento o binned. Negli ultimi anni, i modelli effetto misto additivo generalizzato (GAMM) sono stati utilizzati anche per affrontare l'autocorrelazione errori12,15,16. La larghezza dei bidoni varia tra gli studi differenti, che vanno da alcuni millisecondi a diverse centinaia millisecondi. Il bidone più stretto che possibile scegliere uno studio limitato la frequenza di campionamento dell'inseguitore dell'occhio utilizzato nello studio specifico. Ad esempio, se eye tracker ha una frequenza di campionamento di 500 Hz, quindi la larghezza della finestra temporale non può essere minore di 2 ms = 1000/500. In terzo luogo, quando un'analisi statistica più volte viene applicata a ciascuna collocazione di tempo dei periodi di interesse, l'errore familywise indotta da questi che confronti multipli dovrebbero essere affrontati. Come abbiamo descritto in precedenza, l'analisi della traiettoria informa il ricercatore se l'effetto osservato al livello di granularità grossolana è lineare rispetto al cambiamento del tempo, ma non viene visualizzato quando l'effetto osservato comincia ad emergere e come lungo l'osservato effetto dura. Per determinare la posizione temporale quando la differenza osservata inizia a divergere e di capire la durata del periodo temporale che dura l'effetto osservato, un'analisi statistica deve essere applicato ripetutamente per ogni scomparto di tempo. Questi confronti multipli introdurrà il cosiddetto errore familywise, non importa quale metodo statistico è utilizzato. Tradizionalmente viene corretto l'errore familywise con Bonferroni regolazione17. Recentemente, un metodo denominato test non parametrici permutazione originariamente utilizzato in neuroimaging archiviato18 è stato applicato al visual parola paradigma19 al controllo dell'errore familywise.
I ricercatori utilizzando il paradigma del mondo visivo intendono dedurre la comprensione di una lingua parlata da movimenti oculari dei partecipanti nel mondo visivo. Per garantire la validità di questa deduzione, altri fattori che possibilmente influenzano i movimenti dell'occhio dovrebbero essere escluso o controllati. I due fattori seguenti sono tra i comuni che devono essere considerati. Il primo fattore coinvolge alcuni modelli sistematici in fissazioni esplicative dei partecipanti indipendente dalla lingua di input, ad esempio la tendenza a fissare lo sguardo in alto a sinistra quadrat del mondo visivo e muovendo gli occhi in direzione orizzontale, essendo più facile che in direzione verticale, ecc.12,20 per assicurarsi che i modelli osservati fissazione sono relative agli oggetti, non nelle posizioni spaziali dove si trovano gli oggetti, le posizioni spaziali di un oggetto dovrebbero essere controbilanciate in diversi studi clinici o attraverso diversi partecipanti. Il secondo fattore che potrebbe influenzare i movimenti degli occhi dei partecipanti è le caratteristiche di immagine di base degli oggetti del mondo visivo, come orientamento di bordo, il colore e il contrasto di luminanza, tra gli altri21. Per diagnosticare questo potenziale confondimento, la visualizzazione è normalmente presentata prima dell'inizio della lingua parlata o prima dell'inizio dell'indicatore acustico critico della lingua parlata, per circa 1000 ms. durante il periodo temporale dall'inizio della immagine di prova per l'insorgenza dell'audio di prova, la lingua di input o il punto di chiarimento delle ambiguità della lingua di input non è stato ancora ascoltato. Qualsiasi differenza osservata tra diverse condizioni dovrebbe essere dedotto per altri fattori di confusione come il visual display per sé, piuttosto che la lingua di input. D'ora in poi, movimenti oculari osservati in questo periodo di anteprima forniscono una linea di base per determinare l'effetto dell'input linguistico. Questo periodo di anteprima consente inoltre ai partecipanti di familiarizzare con la visualizzazione e per ridurre il bias sistematico delle fissazioni esplicative quando la lingua parlata è presentata.
Per illustrare come si svolge un tipico eye-tracking studio utilizzando il paradigma del mondo visivo, il seguente protocollo descrive un esperimento adattato da L. Zhan17 a esplorare l'elaborazione online di istruzioni semanticamente complesse, vale a dire, istruzioni disgiuntive (S1 o S2), dichiarazioni congiuntive (S1 e S2) e ma-istruzioni (S1 ma non-S2). In conservazione ordinaria, le informazioni espresse da alcune espressioni sono in realtà più forte del suo significato letterale. Disgiuntive dichiarazioni come casella di Xiaoming contiene una mucca o un gallo sono tali espressioni. Logicamente, l'istruzione disgiuntiva è true, purché le due suddivisioni casella di Xiaoming contiene una mucca e casella di Xiaoming contiene un gallo non sono entrambi false. Di conseguenza, l'istruzione disgiuntiva è vero quando le due suddivisioni sono entrambe true, dove l'istruzione congiuntiva corrispondente casella di Xiaoming contiene una mucca e un gallo è anche vero. Nella conversazione ordinaria, tuttavia, sentendo che l'istruzione disgiuntiva spesso suggerisce che la congiuntiva rendiconto è falsa (implicature scalari); e suggerisce che i valori di verità delle due suddivisioni sono sconosciuti all'altoparlante (inferenza di ignoranza). Conti nella letteratura differiscono in se due inferenze siano processi grammaticali o pragmatico22,23,24,25,26. L'esperimento dimostra come il paradigma del mondo visivo può essere utilizzato per giudicare tra questi conti, esplorando l'elaborazione online di tre istruzioni complesse.

<table><tbody><tr><td>Pixelmator</td><td>Pixelmator Team</td><td>http://www.pixelmator.com/pro/</td> <td>app per l'editing di immagini</td></tr><tr><td>Praat</td><td>Open Sourse</td><td>http://www.fon.hum.uva.nl/praat/</td> <td>software di analisi e modifica del suono</td></tr><tr><td>Eyelink 1000plus</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/products/eyelink-1000-plus/</td> <td>tracker oculare a infrarossi remoto&nbsp;</td></tr><tr><td>Costruttore sperimentale</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/experiment-builder/</td> <td>software per il tracciamento degli occhi&nbsp;</td></tr><tr><td>Visualizzatore di dati</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/data-viewer/</td> <td>software per il monitoraggio degli occhi&nbsp;</td></tr><tr><td>R</td><td>Open Sourse</td><td>https://www.r-project.org</td><td>ambiente software gratuito per il calcolo statistico e la grafica</td></tr></tbody></table>

utilizzando i movimenti di occhio registrati nel paradigma mondo visivo per esplorare l'elaborazione online di lingua parlata

Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language

In un tipico occhio Studio utilizzando il paradigma del mondo visivo di rilevamento, dei partecipanti occhio movimenti agli oggetti o immagini nell'area di lavoro visual vengono registrate tramite eye tracker come il partecipante produce o comprende una lingua parlata che descrive il visual simultanee mondo. Questo paradigma ha elevata versatilità, come può essere utilizzato in una vasta gamma di popolazioni, compresi quelli che non sanno leggere e/o apertamente che non può dare loro risposte comportamentali, come i bambini del preliterate, adulti anziani e pazienti. Ancora più importante, il paradigma è estremamente sensibile alle manipolazioni grana del segnale vocale, e può essere utilizzato per studiare l'elaborazione in linea della maggior parte degli argomenti nella comprensione del linguaggio a più livelli, ad esempio la grana acustica fonetica caratteristiche, le proprietà delle parole e strutture linguistiche. Il protocollo descritto in questo articolo viene illustrato come viene condotto un occhio tipico mondo visual studio di monitoraggio, con un esempio che illustra come l'elaborazione online di alcune istruzioni semanticamente complesse può essere esplorata con il paradigma del mondo visivo.

Le risposte del comportamento dei partecipanti sono riassunti nella Figura 4. Come abbiamo descritto in precedenza, la risposta corretta a una dichiarazione congiunta (S1 e S2) è la grande scatola aperta, ad esempio Box A nella Figura 1. La risposta corretta a una ma-istruzione (S1 ma non S2) è la piccola scatola aperta contenente il primo animale accennato, come casella D nella Fig...

Il paradigma del mondo visivo monitora i movimenti degli occhi dei partecipanti nell'area di lavoro visual come sono ascoltando o parlando una lingua parlata. Questo paradigma può essere utilizzato per indagare l'elaborazione online di una vasta gamma di domande psicolinguistiche, tra cui istruzioni, semanticamente complesse, ad esempio disgiuntiva.

Utilizzando i movimenti di occhio registrati nel paradigma mondo visivo per esplorare l'elaborazione Online di lingua parlata

In a typical eye tracking study using the visual world paradigm, participants' eye movements to objects or pictures in the visual workspace are recorded ...

Questo metodo può aiutare a rispondere a domande chiave nell'elaborazione online della lingua parlata, incluse frasi semanticamente complesse, come disgiunzioni e condizionali. Il principale vantaggio di questa tecnica è che può essere eseguita su una vasta gamma di popolazioni per studiare la maggior parte degli argomenti nelle aree di elaborazione linguistica. A dimostrare la procedura sarà Xu Jing, uno studente post-laurea.Cao Yifan, Wang Meng, Yang Xiaotong, Zhan Min e Zhou Xuehan sono gli studenti del mio gruppo di ricerca. Per preparare gli stimoli visivi, scarica 60 immagini clipart gratuite sul copyright di animali da Internet e apri le immagini in un editor di immagini appropriato. Fare clic su Strumenti e usare la selezione rapida per selezionare ed eliminare lo sfondo da ogni immagine.Fare clic su Dimensioni immagine e immagine per ridimensionare le immagini a 120 x 120 pixel e disegnare una grande casella aperta da 320 x 240 pixel, una piccola casella chiusa da 160 x 160 pixel e due piccole caselle aperte 160 x 240 pixel. Aprire un nuovo file per creare un modello da 1.024 per 768 pixel per la prima immagine di test e trascinare le caselle nelle posizioni indicate. Tras

using-eye-movements-recorded-visual-world-paradigm-to-explore-online

Research

Ricerca

JoVE Journal

Behavior

Comportamento

Il controllo neurale e processi cognitivi possono essere studiati attraverso i movimenti oculari. Il software VisualEyes consente all'operatore di programmare stimoli su due schermi di computer in modo indipendente utilizzando un linguaggio semplice, scripting personalizzato. Il sistema è in grado di stimolare i movimenti oculari tandem (saccadi e di esercizio regolare) o movimenti oculari opposti (di convergenza) o qualsiasi combinazione.

VisualEyes: un sistema software modulare per la Sperimentazione oculomotoria

Il presente articolo descrive come utilizzare le metodologie di tracciamento oculare per studiare i processi cognitivi coinvolti nella comprensione del testo. Sono incluse descrizioni delle apparecchiature di tracciamento oculare, come sviluppare stimoli sperimentali e raccomandazioni procedurali. Le informazioni presentate possono essere applicate alla maggior parte di qualsiasi studio utilizzando stimoli verbali.

Utilizzo dei movimenti oculari per valutare i processi cognitivi coinvolti nella comprensione del testo

Il presente articolo esamina una metodologia di eye tracking per gli studi sulla comprensione del linguaggio. Per ottenere dati affidabili, passaggi chiave del protocollo devono essere seguiti. Tra questi vi sono il corretto set-up dell'inseguitore dell'occhio (per esempio, garantire la buona qualità delle immagini dell'occhio e testa) ed una calibrazione accurata.

Eye Tracking durante la comprensione del linguaggio visivo situato: Flessibilità e limitazioni a scoprire gli effetti di contesto visivo

Il metodo è stato progettato per studiare il ruolo di inibizione di ritorno (IOR) in movimenti regressivi oculari durante la lettura. Il focus è sulla differenziazione tra regressioni attivati a seguito di comprensione difficoltà rispetto a quelli attivati da errore oculomotoria, compreso il ruolo dello IOR nei due tipi di regressioni.

Eye-tracking per distinguere movimenti oculari regressivo oculomotoria basati e comprensione durante la lettura

Vi presentiamo un protocollo per esaminare l'uso delle indicazioni morfologiche durante la comprensione di frase in tempo reale da parte dei bambini con autismo.

Usando il paradigma del mondo visivo per studiare frase comprensione in lingua Mandarina i bambini con autismo

Gli studi di tracciamento oculare che utilizzano un paradigma dall'aspetto preferenziale possono essere utilizzati per studiare la comprensione emergente dei bambini e l'attenzione al loro mondo visivo esterno.

Esplorare la sensibilità del bambino al linguaggio visivo utilizzando eye tracking e il paradigma dall'aspetto preferenziale

Qui, presentiamo un protocollo che impiega attività di interferenza dual-modale per esaminare l'elaborazione online delle frasi di clausola relativa parlata-cinese. Sono descritti due esperimenti esemplari che coinvolgono l'elaborazione uditiva con interferenze intra ed extrasentenziali. Il paradigma fornisce una metodologia per affrontare la natura della memoria di lavoro e i suoi effetti sull'elaborazione delle frasi.

Esame dell'elaborazione sintattica online delle frasi complesse parlate in cinese utilizzando attività di interferenza dual-modale

Lo studio propone un modello activation-match per studiare come la solitudine viene mitigata quando un pubblico solitario guarda sbarramenti video di appelli razionali ed emotivi. Il protocollo utilizza il tracciamento oculare per documentare la durata e la fissazione, rappresentando il grado di soddisfazione quando le esigenze emotive vengono placate dal contenuto e dalla raffica.

Loneliness Assuaged: eye-tracking di un pubblico che guarda video di sbarramento

Presentiamo un protocollo per esplorare la relativa sequenza di attivazione della fonologia e della semantica nel riconoscimento visivo delle parole. I risultati mostrano che, coerentemente con i resoconti interattivi, le rappresentazioni semantiche e fonologiche possono essere elaborate in modo interattivo e le rappresentazioni linguistiche di livello superiore possono influenzare l'elaborazione precoce.

Interazione tra processi fonologici e semantici nel riconoscimento visivo delle parole utilizzando l'elettrofisiologia

Presentiamo un protocollo che impiega il tracciamento oculare per monitorare i movimenti oculari durante un'attività di confronto a intervalli (percezione della durata) basata su eventi visivi. L'obiettivo è quello di fornire una guida preliminare per separare le risposte oculomotorie ai compiti di percezione della durata (confronto o discriminazione degli intervalli di tempo) dalle risposte allo stimolo stesso.

Movimenti oculari nella percezione della durata visiva: districare lo stimolo dal tempo nei processi predecisionali

Scopri il paradigma mondo visivo per studiare l'elaborazione online del linguaggio parlato. Questo metodo di eye tracking rivela come i partecipanti comprendono frasi semanticamente complesse in tempo reale.

Utilizzando i movimenti di occhio registrati nel paradigma mondo visivo per esplorare l'elaborazione Online di lingua parlata

Esplora altri video