Name: Usando movimentos oculares gravados no paradigma Visual do mundo para explorar o processamento on-line de língua falada (Vídeo) | JoVE Journal
Uploaded: 2018-10-13T12:30:00.000+00:00
Duration: 9 min 27 s
Description: Aprenda o paradigma do mundo visual para processamento de linguagem falada em tempo real usando rastreamento ocular. Este método revela como pessoas compreendem frases semanticamente complexas, incluindo disjunções e condicionais.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Esta pesquisa foi apoiada pela Fundação de ciência de Pequim linguagem e Universidade Cultural no âmbito dos fundos de pesquisa Fundamental para as universidades Central (aprovação número 15YJ050003).

<ol><li>Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Integration+of+visual+and+linguistic+information+in+spoken+language+comprehension%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Integration of visual and linguistic information in spoken language comprehension.</a> Science. 268 (5217), 1632-1634 (1995).</li>
<li>Cooper, R. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/001002857490005X">The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing.</a> Cognitive Psychology. 6 (1), 84-107 (1974).</li>
<li>Salverda, A. P., Tanenhaus, M. K. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aSalverda%2C+AP+%22Research+methods+in+psycholinguistics+and+the+neurobiology+of+language%3A+A+practical+guide%22">Research methods in psycholinguistics and the neurobiology of language: A practical guide</a>. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).</li>
<li>Huettig, F., Rommers, J., Meyer, A. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+the+visual+world+paradigm+to+study+language+processing%3A+A+review+and+critical+evaluation%5BTitle%5D)+AND+%22Acta+Psychologica%22%5BJournal%5D)">Using the visual world paradigm to study language processing: A review and critical evaluation.</a> Acta Psychologica. 137 (2), 151-171 (2011).</li>
<li>Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Viewing+and+naming+objects%3A+Eye+movements+during+noun+phrase+production%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Viewing and naming objects: Eye movements during noun phrase production.</a> Cognition. 66 (2), B25-B33 (1998).</li>
<li>Griffin, Z. M., Bock, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((What+the+eyes+say+about+speaking%5BTitle%5D)+AND+%22Psychological+Science%22%5BJournal%5D)">What the eyes say about speaking.</a> Psychological Science. 11 (4), 274-279 (2000).</li>
<li>Young, L. R., Sheena, D. <a target="_blank" href="https://link.springer.com/article/10.3758/BF03201553">Survey of eye movement recording methods.</a> Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).</li>
<li>Conklin, K., Pellicer-Sánchez, A., Carrol, G. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aConklin%2C+K+%22Eye-tracking%3A+A+guide+for+applied+linguistics+research%22">Eye-tracking: A guide for applied linguistics research</a>. , Cambridge University Press. (2018).</li>
<li>Duchowski, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDuchowski%2C+A+%22Eye+tracking+methodology%3A+Theory+and+practice%22">Eye tracking methodology: Theory and practice</a>. , 2, Springer. (2007).</li>
<li>Baayen, R. H., Davidson, D. J., Bates, D. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001398">Mixed-effects modeling with crossed random effects for subjects and items.</a> Journal of Memory and Language. 59 (4), 390-412 (2008).</li>
<li>Barr, D. J. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001015">Analyzing 'visual world' eyetracking data using multilevel logistic regression.</a> Journal of Memory and Language. 59 (4), 457-474 (2008).</li>
<li>Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16000280">The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception.</a> Journal of Memory and Language. 90, 103-125 (2016).</li>
<li>Bolker, B. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Generalized+linear+mixed+models%3A+A+practical+guide+for+ecology+and+evolution%5BTitle%5D)+AND+%22Trends+in+Ecology+and+Evolution%22%5BJournal%5D)">Generalized linear mixed models: A practical guide for ecology and evolution.</a> Trends in Ecology and Evolution. 24 (3), 127-135 (2009).</li>
<li>Mirman, D., Dixon, J. A., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Statistical+and+computational+models+of+the+visual+world+paradigm%3A+Growth+curves+and+individual+differences%5BTitle%5D)+AND+%22Journal+of+Memory+and+Language%22%5BJournal%5D)">Statistical and computational models of the visual world paradigm: Growth curves and individual differences.</a> Journal of Memory and Language. 59 (4), 475-494 (2008).</li>
<li>Baayen, H., Vasishth, S., Kliegl, R., Bates, D. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16302467">The cave of shadows: Addressing the human factor with generalized additive mixed models.</a> Journal of Memory and Language. 94, 206-234 (2017).</li>
<li>Baayen, R. H., van Rij, J., de Cat, C., Wood, S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aBaayen%2C+RH+%22Mixed-Effects+Regression+Models+in+Linguistics%22">Mixed-Effects Regression Models in Linguistics</a>. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).</li>
<li>Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Scalar+and+ignorance+inferences+are+both+computed+immediately+upon+encountering+the+sentential+connective%3A+The+online+processing+of+sentences+with+disjunction+using+the+visual+world+paradigm%5BTitle%5D)+AND+%22Frontiers+in+Psychology%22%5BJournal%5D)">Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm.</a> Frontiers in Psychology. 9, (2018).</li>
<li>Maris, E., Oostenveld, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Nonparametric+statistical+testing+of+EEG-+and+MEG-data%5BTitle%5D)+AND+%22Journal+of+Neuroscience+Methods%22%5BJournal%5D)">Nonparametric statistical testing of EEG- and MEG-data.</a> Journal of Neuroscience Methods. 164 (1), 177-190 (2007).</li>
<li>Barr, D. J., Jackson, L., Phillips, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+a+voice+to+put+a+name+to+a+face%3A+The+psycholinguistics+of+proper+name+comprehension%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-General%22%5BJournal%5D)">Using a voice to put a name to a face: The psycholinguistics of proper name comprehension.</a> Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).</li>
<li>van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDahan%2C+D+%22Eye+movements%3A+A+window+on+mind+and+brain%22">Eye movements: A window on mind and brain</a>. , Elsevier. Ch. 21 471-486 (2007).</li>
<li>Parkhurst, D., Law, K., Niebur, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+role+of+salience+in+the+allocation+of+overt+visual+attention%5BTitle%5D)+AND+%22Vision+Research%22%5BJournal%5D)">Modeling the role of salience in the allocation of overt visual attention.</a> Vision Research. 42 (1), 107-123 (2002).</li>
<li>Grice, H. P. Vol. 3 Speech Acts. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGrice%2C+HP+%22Syntax+and+semantics%22">Syntax and semantics</a>. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).</li>
<li>Sauerland, U. <a target="_blank" href="http://semantics.uchicago.edu/kennedy/classes/w14/implicature/readings/sauerland04.pdf">Scalar implicatures in complex sentences.</a> Linguistics and Philosophy. 27 (3), 367-391 (2004).</li>
<li>Chierchia, G. <a target="_blank" href="https://www.annualreviews.org/doi/abs/10.1146/annurev-linguistics-011516-033846">Scalar implicatures and their interface with grammar.</a> Annual Review of Linguistics. 3 (1), 245-264 (2017).</li>
<li>Fox, D. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aFox%2C+D+%22Presupposition+and+Implicature+in+Compositional+Semantics%22">Presupposition and Implicature in Compositional Semantics</a>. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).</li>
<li>Meyer, M. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Ignorance+and+grammar%22">Ignorance and grammar</a>. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22SR+Research+Experiment+Builder+User+Manual+%28Version+2.1.140%29%22">SR Research Experiment Builder User Manual (Version 2.1.140)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+Technical+Specifications%22">EyeLink® 1000 Plus Technical Specifications</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink-1000-Plus-Brochure%22">EyeLink-1000-Plus-Brochure</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+User+Manual+%28Version+1.0.12%29%22">EyeLink® 1000 Plus User Manual (Version 1.0.12)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+Data+Viewer+User%E2%80%99s+Manual+%28Version+3.1.97%29%22">EyeLink® Data Viewer User’s Manual (Version 3.1.97)</a>. , Ottawa, Canada. (2017).</li>
<li>McQueen, J. M., Viebahn, M. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tracking+recognition+of+spoken+words+by+tracking+looks+to+printed+words%5BTitle%5D)+AND+%22The+Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Tracking recognition of spoken words by tracking looks to printed words.</a> The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Incremental+interpretation+at+verbs%3A+restricting+the+domain+of+subsequent+reference%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Incremental interpretation at verbs: restricting the domain of subsequent reference.</a> Cognition. 73 (3), 247-264 (1999).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07000101">The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing.</a> Journal of Memory and Language. 57 (4), 502-518 (2007).</li>
<li>Snedeker, J., Trueswell, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+developing+constraints+on+parsing+decisions%3A+The+role+of+lexical-biases+and+referential+scenes+in+child+and+adult+sentence+processing%5BTitle%5D)+AND+%22Cognitive+Psychology%22%5BJournal%5D)">The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing.</a> Cognitive Psychology. 49 (3), 238-299 (2004).</li>
<li>Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X97925584">Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models.</a> Journal of Memory and Language. 38 (4), 419-439 (1998).</li>
<li>Zhan, L., Crain, S., Zhou, P. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/20445911.2015.1016527">The online processing of only if and even if conditional statements: Implications for mental models.</a> Journal of Cognitive Psychology. 27 (3), 367-379 (2015).</li>
<li>Zhan, L., Zhou, P., Crain, S. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/23273798.2018.1448935">Using the visual-world paradigm to explore the meaning of conditionals in natural language.</a> Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).</li>
<li>Brown-Schmidt, S., Tanenhaus, M. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+investigation+of+referential+domains+in+unscripted+conversation%3A+A+targeted+language+game+approach%5BTitle%5D)+AND+%22Cognitive+Science%22%5BJournal%5D)">Real-time investigation of referential domains in unscripted conversation: A targeted language game approach.</a> Cognitive Science. 32 (4), 643-684 (2008).</li>
<li>Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. <a target="_blank" href="http://journals.sagepub.com/doi/abs/10.1111/1467-9280.00044">Rapid gains in speed of verbal processing by infants in the 2nd year.</a> Psychological Science. 9 (3), 228-231 (1998).</li>
<li>Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+kindergarten-path+effect%3A+studying+on-line+sentence+processing+in+young+children%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">The kindergarten-path effect: studying on-line sentence processing in young children.</a> Cognition. 73 (2), 89-134 (1999).</li>
<li>Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+use+of+phonological+information+in+ambiguity+resolution%3A+a+view+from+Mandarin+Chinese%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese.</a> Journal of Child Language. 39 (4), 687-730 (2012).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Grammatical+aspect+and+event+recognition+in+children%27s+online+sentence+comprehension%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Grammatical aspect and event recognition in children's online sentence comprehension.</a> Cognition. 133 (1), 262-276 (2014).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X12000277">Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing.</a> Journal of Memory and Language. 67 (1), 149-164 (2012).</li>
<li>Moscati, V., Zhan, L., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+on-line+processing+of+epistemic+modals%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's on-line processing of epistemic modals.</a> Journal of Child Language. 44 (5), 1025-1040 (2017).</li>
<li>Helfer, K. S., Staub, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Competing+speech+perception+in+older+and+younger+adults%3A+Behavioral+and+eye-movement+evidence%5BTitle%5D)+AND+%22Ear+and+Hearing%22%5BJournal%5D)">Competing speech perception in older and younger adults: Behavioral and eye-movement evidence.</a> Ear and Hearing. 35 (2), 161-170 (2014).</li>
<li>Dickey, M. W., Choy, J. W. J., Thompson, C. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+comprehension+of+wh-movement+in+aphasia%3A+Evidence+from+eyetracking+while+listening%5BTitle%5D)+AND+%22Brain+and+Language%22%5BJournal%5D)">Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening.</a> Brain and Language. 100 (1), 1-22 (2007).</li>
<li>Magnuson, J. S., Nusbaum, H. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Acoustic+differences%2C+listener+expectations%2C+and+the+perceptual+accommodation+of+talker+variability%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Human+Perception+and+Performance%22%5BJournal%5D)">Acoustic differences, listener expectations, and the perceptual accommodation of talker variability.</a> Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).</li>
<li>Reinisch, E., Jesse, A., McQueen, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Early+use+of+phonetic+information+in+spoken+word+recognition%3A+Lexical+stress+drives+eye+movements+immediately%5BTitle%5D)+AND+%22Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately.</a> Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).</li>
<li>Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Actions+and+affordances+in+syntactic+ambiguity+resolution%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Learning+Memory+and+Cognition%22%5BJournal%5D)">Actions and affordances in syntactic ambiguity resolution.</a> Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).</li>
<li>Tanenhaus, M. K., Trueswell, J. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aTanenhaus%2C+MK+%22Approaches+to+Studying+World-Situated+Language+Use%3A+Bridging+the+Language-as-Product+and+Language-as-Action+Traditions%22">Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions</a>. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).</li>
</ol>

O autor declara que ele tem sem interesses financeiros concorrentes.

Para realizar um estudo do mundo visual, existem várias etapas essenciais a seguir. Primeiro, os pesquisadores pretendem deduzir a interpretação da língua inibirem apresentada através de movimentos dos olhos dos participantes do mundo visual. De agora em diante, em projetar o layout dos estímulos visuais, as propriedades dos movimentos oculares em uma tarefa natural que potencialmente afetam os movimentos oculares dos participantes devem ser controladas. Então pode ser reconhecido o efeito da língua falada em movimentos ...

Língua falada é um fluxo de informações rápido e contínuo, que desaparece imediatamente. É um desafio para estudar experimentalmente neste temporal, rapidamente mudar o sinal de fala. Movimentos oculares gravados no paradigma mundo visual podem ser usados para superar este desafio. Em um típico olho rastreamento estudo utilizando o paradigma de mundo visual, movimentos oculares dos participantes para fotos em uma exibição ou objetos reais em um espaço de trabalho visual são monitorados como eles ouvir, ou produzem, língua falada, representando o conteúdo do mundo visual1 ,2,3,4. A lógica básica, ou a hipótese de vinculação, por trás desse paradigma é que compreender ou planejando um enunciado (abertamente ou dissimuladamente) mudará atenção visual dos participantes para um determinado objeto no mundo visual. Esta mudança de atenção terá uma alta probabilidade de iniciar um movimento ocular de sacádicos para trazer a área assistida para a visão central. Com este paradigma, os pesquisadores pretendem determinar em que momento temporal, com relação a algum Marco acústico no sinal de fala, ocorre uma mudança na atenção visual do participante, como medido por um movimento ocular de sacádicos para um objeto ou um retrato no visual mundo. Quando e onde os movimentos oculares sacádicos são lançados em relação ao sinal de discurso são usados para deduzir o processamento da linguagem on-line. O paradigma do mundo visual pode ser usado para estudar a língua falada compreensão1,2 e a produção5,6. Este artigo metodológico incidirá sobre estudos de compreensão. Em um estudo de compreensão utilizando o paradigma de mundo visual, olho dos participantes movimentos na tela visual são monitorados como eles escutam as declarações faladas, falando sobre a exibição visual.
Sistemas de rastreamento de olho diferentes foram projetados na história. O mais simples, menos caro e mais portátil sistema é apenas uma câmera de vídeo normal, que registra uma imagem dos olhos do participante. Movimentos oculares são então manualmente codificados através de exame do frame-por-frame da gravação do video. No entanto, a taxa de amostragem de tal um olho-tracker é relativamente baixa, e o processo de codificação é demorado. Assim, um olho comercial contemporâneo, sistema de rastreamento normalmente usa sensores ópticos, medindo a orientação do olho em sua órbita7,8,9. Para entender como funciona um sistema de acompanhamento de olho comercial contemporâneo, os seguintes pontos devem ser considerados. Primeiro, a medir corretamente o sentido da visão central, um iluminador infravermelho (normalmente com o comprimento de onda em torno de 780-880 nm) é normalmente definido junto ou fora do eixo óptico da câmera, tornando a imagem da pupila distintamente mais clara ou mais escura do que a íris circundante. A imagem da pupila e/ou do reflexo corneal aluno (normalmente a primeira Purkinje imagem) é usada para calcular a orientação do olho em sua órbita. Em segundo lugar, a localização de olhar o mundo visual é realmente contingente não só sobre a orientação de olho no que diz respeito a cabeça, mas também sobre a orientação da cabeça em relação ao mundo visual. Para inferir com precisão o olhar de respeito da orientação do olho, a fonte de luz e a câmera do olho-trackers são fixos em relação a cabeça dos participantes (capacetes olho-trackers) ou são fixos em relação ao mundo visual (montado na mesa ou remotos olho-trackers). Em terceiro lugar, cabeça orientação dos participantes deve ser fixos em relação ao mundo visual ou computacionalmente ser compensada se a cabeça dos participantes é livre para se mover. Quando um olho-tracker remoto é usado em um modo de cabeça-livre-a-move, posição de cabeça dos participantes é gravada normalmente colocando um pequeno adesivo na testa dos participantes. A orientação da cabeça então é computacionalmente subtraída a orientação de olho para recuperar o local de olhar o mundo visual. Em quarto lugar, uma calibração e um processo de validação são então necessárias para mapear a orientação do olho para o olhar de respeito no mundo visual. No processo de calibração, registam-se amostras de fixação dos participantes de pontos de destino conhecido para mapear os dados brutos olho para olhar a posição do mundo visual. No processo de validação, os participantes são apresentados com os mesmos pontos de destino como o processo de calibração. A diferença existente entre a posição de fixação computadas nos resultados calibrado e a posição real do alvo fixado no mundo visual são usados para avaliar a exatidão da calibração. Para confirmar ainda mais a precisão do processo de mapeamento, uma seleção de tração é normalmente aplicada em cada tentativa, onde um destino único de fixação é apresentado aos participantes para medir a diferença entre a posição de fixação computadas e a posição real do destino atual.
Os dados primários de um estudo do mundo visual são um fluxo de locais de olhar o mundo visual gravado na taxa de amostragem do olho-controlador, variando sobre a totalidade ou parte da duração da julgamento. A variável dependente utilizada em um estudo do mundo visual é, normalmente, a proporção de amostras que fixações dos participantes estão situadas em determinada região espacial do mundo visual em uma determinada janela de tempo. Para analisar os dados, uma janela de tempo tem em primeiro lugar a ser selecionado, muitas vezes referida como períodos de interesse. A janela de tempo é geralmente tempo-bloqueado para a apresentação de alguns eventos linguísticos na entrada do auditório. Além disso, o mundo visual também é necessário dividir em várias regiões de interesse (ROIs), cada uma das quais é associada com um ou mais objetos. Uma tal região contém o objeto correspondente para a correta compreensão da língua falada e, portanto, é muitas vezes chamada a área-alvo. Uma maneira comum para visualizar os dados é uma trama de proporção-de-fixação, onde em cada bin em uma janela de tempo, a proporção de amostras com um olhar para cada região de interesse são em média entre os participantes e itens.
Usando os dados obtidos de um estudo do mundo visual, pesquisa de diferentes questões pode ser respondidas: um) sobre o nível de grãos grosseiros, são os movimentos oculares dos participantes no mundo visual afetado pela entrada linguística auditiva diferente? b) se houver um efeito, qual é a trajetória do efeito ao longo do julgamento? É um efeito linear ou um efeito de alto-ordem? e c) se existe um efeito, em seguida, sobre o nível de grão fino, quando é o mais antigo ponto temporal onde emerge tal efeito e quanto tempo dura este efeito último?
Para analisar estatisticamente os resultados, os seguintes pontos devem ser considerados. Primeiro, a variável de resposta, ou seja, proporções de fixações, tanto abaixo como acima limitada (entre 0 e 1), que seguirá uma distribuição multinomial, ao invés de uma distribuição normal. De agora em diante, métodos estatísticos tradicionais com base na distribuição normal como teste t, ANOVA e modelos lineares (efeito misturado)10, não podem ser diretamente utilizados até as proporções foram transformadas para ilimitado variáveis tais como com logit empírica fórmula11 ou foram substituídos por ilimitado dependente de variáveis como distância euclidiana12. Também podem ser usadas técnicas estatísticas que não exigem que o pressuposto de distribuição normal tão generalizada de modelos lineares (efeito misturado)13 . Em segundo lugar, para explorar a trajetória de mudança do efeito observado, uma variável que indicam a série de tempo tem a ser adicionado para o modelo. Essa variável de série temporal é, originalmente, o olho-tracker é realinhados ao aparecimento da linguagem de entrada os pontos de amostragem. Desde que a trajetória de mudança normalmente não é linear, uma função polinomial de ordem superior do tempo-série normalmente é adicionada para o (generalizado) (efeito misturado) modelo linear, ou seja, de análises de curva de crescimento14. Além disso, as posições de olho dos participantes no atual ponto de amostragem é altamente dependente pontos de amostragem anterior, especialmente quando a frequência de gravação é alta, resultando no problema da autocorrelação. Para reduzir a autocorrelação entre os pontos de amostragem adjacentes, dados originais são frequentemente incluídos na amostra para baixo ou binned. Nos últimos anos, os modelos de efeito misturado aditivo generalizada (GAMM) também utilizámos para combater a autocorrelated erros12,15,16. A largura das caixas varia entre diferentes estudos, variando de vários milissegundos para várias centenas de milissegundos. O bin mais estreita, que um estudo pode escolher é limitada pela taxa de amostragem do controlador olho utilizado no estudo específico. Por exemplo, se um tracker do olho tem uma taxa de amostragem de 500 Hz, então a largura da janela de tempo não pode ser menor do que 2 ms = 1000/500. Em terceiro lugar, quando uma análise estatística é repetidamente aplicada a cada bin de tempo dos períodos de interesse, o erro do familywise induzido de estas que comparações múltiplas devem ser combatidas. Como descrevemos anteriormente, a análise da trajetória informa o pesquisador se o efeito observado sobre o nível de grãos grosseiros é linear em relação a mudança do tempo, mas não mostra os efeitos observados, quando começa a emergir e como tempo observado efeito dura. Para determinar a posição temporal quando a diferença observada começa a divergir e para descobrir a duração do período temporal que dura o efeito observado, uma análise estatística tem que ser aplicado repetidamente a bin cada vez. Estas comparações múltiplas introduzirá o so-called familywise erro, não importa qual método estatístico é usado. O erro do familywise tradicionalmente é corrigido com ajuste de Bonferroni17. Recentemente, um método chamado teste não paramétrico de permutação originalmente usado em neuroimagem arquivada18 foi aplicado ao visual da palavra paradigma19 de controle para o erro do familywise.
Os pesquisadores utilizando o paradigma de mundo visual pretendem inferir a compreensão de uma língua falada de movimentos dos olhos dos participantes do mundo visual. Para garantir a validade desta dedução, outros fatores que possivelmente influenciam os movimentos oculares devem ser descartados ou controlados. Os seguintes dois fatores estão entre os mais comuns que precisam ser considerados. O primeiro fator envolve alguns padrões sistemáticos em fixações de explicativas dos participantes independentes do idioma de entrada, tais como a tendência para se fixar na parte superior esquerda quadrat do mundo visual e os olhos se movendo na direção horizontal, sendo mais fácil do que em a direção vertical, etc.12,20 para certificar-se que os padrões observados de fixação estão relacionados com os objetos, não para os locais espaciais, onde se encontram os objetos, as posições espaciais de um objeto devem ser contrabalançadas em ensaios diferentes ou diferentes participantes. O segundo fator que pode afetar os movimentos oculares dos participantes é as características básicas da imagem dos objetos do mundo visual, tais como orientação luminância, contraste, cor e borda, entre outros21. Para diagnosticar esse potencial confusão, a exibição visual é geralmente apresentada antes do início da língua falada, ou antes do início do marcador acústico crítico da língua falada, para cerca de 1000 MS. durante o período temporal desde o início da imagem de teste para o início da gravação de teste, o idioma de entrada ou o ponto de desambiguação do idioma de entrada ainda não foi ouvida. Qualquer diferença observada entre as diferentes condições deve ser deduzida de outros fatores de confusão como a exibição visual por si, em vez do idioma de entrada. Doravante, movimentos oculares observados neste período de visualização fornecem uma linha de base para determinar o efeito da entrada linguística. Este período de visualização também permite que os participantes para se familiarizar com a exibição visual e para reduzir o viés sistemático das fixações explicativas, quando a língua falada é apresentada.
Para ilustrar como um típico olho rastreamento estudo utilizando o paradigma de mundo visual é conduzido, o protocolo seguinte descreve um experimento adaptado de L. Zhan17 para explorar o processamento on-line de instruções semanticamente complexas, ou seja, declarações disjuntiva (S1 ou S2), declarações de conjuntivas (S1 e S2) e mas-declarações (S1 mas não-S2). Em conservação ordinária, as informações expressadas por algumas declarações são realmente mais fortes do que seu significado literal. Disjuntas declarações como caixa do Xiaoming contém uma vaca ou um galo são tais declarações. Logicamente, a instrução disjuntiva é verdade, enquanto as dois disjunções caixa do Xiaoming contém uma vaca e caixa do Xiaoming contém um galo não são ambos falsos. Portanto, a instrução disjuntiva é verdadeira quando as duas proposições são ambos verdadeiros, onde a instrução conjuntiva correspondente caixa do Xiaoming contém uma vaca e um galo também é verdade. Em comum conversa, no entanto, ouvindo que a instrução disjuntiva frequentemente sugere que a correspondente declaração de conjuntiva é false (implicature escalar); e sugere que os valores de verdade das duas proposições são desconhecidos pelo orador (inferência de ignorância). Difiram na literatura em se duas inferências são processos gramaticais ou pragmática22,23,24,25,26. A experiência mostra como paradigma o mundo visual pode ser usado para julgar entre essas contas, explorando o processamento on-line de três instruções complexas.

<table><tbody><tr><td>Pixelmator</td><td>Pixelmator Team</td><td>http://www.pixelmator.com/pro/</td> <td>aplicativo de edição de imagem</td></tr><tr><td>Praat</td><td>Open Sourse</td><td>http://www.fon.hum.uva.nl/praat/</td> <td>Software de análise e edição de som</td></tr><tr><td>Eyelink 1000plus</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/products/eyelink-1000-plus/</td> <td>rastreador ocular infravermelho remoto&nbsp;</td></tr><tr><td>Experimental Builder</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/experiment-builder/</td> <td>software rastreador ocular&nbsp;</td></tr><tr><td>Data Viewer</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/data-viewer/</td> <td>software de rastreamento ocular&nbsp;</td></tr><tr><td>R</td><td>Open Sourse</td><td>https://www.r-project.org</td><td>ambiente de software livre para computação estatística e gráficos</td></tr></tbody></table>

usando movimentos oculares gravados no paradigma visual do mundo para explorar o processamento on-line de língua falada

Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language

Em um típico olho rastreamento estudo utilizando o paradigma de mundo visual, dos participantes dos olhos movimentos de objetos ou fotos na área de trabalho visual são registradas através de um tracker do olho como o participante produz ou compreende uma língua falada, descrevendo o visual simultâneo mundo. Este paradigma tem grande versatilidade, como ele pode ser usado em uma ampla gama de populações, incluindo aqueles que não sabem ler e/ou quem abertamente não pode dar suas respostas comportamentais, tais como pré-letrados crianças, adultos idosos e doentes. Mais importante, o paradigma é extremamente sensível a manipulações grained fino do sinal de fala, e pode ser usada para estudar o processamento on-line da maioria dos tópicos na compreensão da linguagem em vários níveis, tais como o acústico grained fino fonético características, as propriedades das palavras e das estruturas linguísticas. O protocolo descrito neste artigo ilustra como um olho mundo visual típico estudo de rastreamento é conduzido, com um exemplo mostrando como o processamento on-line de algumas declarações semanticamente complexas pode ser explorado com o paradigma do mundo visual.

Respostas comportamentais dos participantes estão resumidas na Figura 4. Como descrevemos anteriormente, a resposta correta para uma declaração de conjuntiva (S1 e S2) é a grande caixa aberta, tais como A caixa na Figura 1. A resposta correta para um mas-declaração (S1 mas não S2) é a pequena caixa aberta contendo o primeiro animal mencionado, tais como a caixa D na Figura 1</strong...

O paradigma do mundo visual monitora os movimentos oculares dos participantes na área de trabalho visual, como eles estão ouvindo ou falando uma língua falada. Este paradigma pode ser usada para investigar o processamento on-line de uma vasta gama de questões linguísticas, incluindo instruções semanticamente complexas, tais como declarações disjuntiva.

Usando movimentos oculares gravados no paradigma Visual do mundo para explorar o processamento on-line de língua falada

In a typical eye tracking study using the visual world paradigm, participants' eye movements to objects or pictures in the visual workspace are recorded ...

Esse método pode ajudar a responder a perguntas-chave no processamento on-line da língua falada, incluindo frases semanticamente complexas, como disjunções e condicionals. A principal vantagem dessa técnica é que ela pode ser realizada em uma ampla gama de populações para estudar a maioria dos temas em áreas de processamento linguístico. Demonstrando o procedimento será Xu Jing, um estudante de pós-graduação.Cao Yifan, Wang Meng, Yang Xiaotong, Zhan Min e Zhou Xuehan são os alunos do meu grupo de pesquisa. Para preparar os estímulos visuais, baixe 60 imagens de arte de clipe gratuitos de direitos autorais de animais da Internet e abra as imagens em um editor de imagens apropriado. Clique em Ferramentas e use a seleção rápida para selecionar e excluir o plano de fundo de cada imagem.Clique em Imagem e Tamanho da Imagem para redimensionar as imagens para 120 por 120 pixels e desenhar uma grande caixa aberta de 320 x 240 pixels, uma pequena caixa fechada de 160 x 160 pixels, e duas pequenas caixas abertas de 160 x 240 pixels. Abra um novo arquivo para criar um modelo de 1.024 por 768 pixels para a primeira imagem de teste e arraste as caixas para os locais indicados. Arraste duas imag

using-eye-movements-recorded-visual-world-paradigm-to-explore-online

Research

JoVE Journal

Behavior

Comportamento

Controle Neural e processos cognitivos podem ser estudados por meio de movimentos oculares. O software VisualEyes permite que um operador para programar estímulos em duas telas de computador usando de forma independente uma linguagem simples, scripts personalizados. O sistema pode estimular os movimentos oculares em tandem (saccades e exercício suave) ou movimentos oculares opostas (vergence) ou qualquer combinação.

VisualEyes: Um sistema de software modular para Experimentação Oculomotor

O presente artigo descreve como usar metodologias de rastreamento ocular para estudar os processos cognitivos envolvidos na compreensão de texto. Descrições de equipamentos de rastreamento ocular, como desenvolver estímulos experimentais e recomendações processuais estão incluídas. As informações apresentadas podem ser aplicadas à maioria dos estudos utilizando estímulos verbais.

Usando movimentos oculares para avaliar os processos cognitivos envolvidos na compreensão de texto

O presente artigo clientes uma metodologia de acompanhamento de olho para estudos na compreensão da linguagem. Para obter dados fiáveis, etapas-chave do protocolo devem ser seguidas. Entre estes estão a afinação correta do tracker do olho (por exemplo, garantindo a boa qualidade das imagens olhos e cabeça) e calibração precisa.

Olho de monitoramento durante a compreensão de linguagem visualmente situado: Flexibilidade e limitações no descobrindo contexto Visual Effects

O método foi projetado para investigar o papel da inibição do retorno (IOR) em movimentos de olhos regressivos durante a leitura. O foco é na diferenciação entre regressões desencadeadas como resultado de compreensão dificuldade contra aqueles acionado por erro oculomotor, incluindo o papel de IOR em dois tipos de regressões.

Eye-tracking para distinguir os movimentos oculares regressivo compreensão-Oculomotor baseados e durante a leitura

Apresentamos um protocolo para examinar o uso de pistas morfológicas durante a compreensão da frase em tempo real por crianças com autismo.

Usando o paradigma de mundo Visual para estudar a compreensão da frase em língua Mandarim de crianças com autismo

Os estudos de seguimento do olho usando um paradigma de vista preferencial podem ser usados para estudar a compreensão emergente dos infantes de, e a atenção a, seu mundo Visual externo.

Explorando a sensibilidade infantil à linguagem visual usando o rastreamento de olhos e o paradigma de aparência preferencial

Aqui, apresentamos um protocolo empregando tarefas de interferência Dual-modal para examinar o processamento on-line de frases relativas à cláusula relativa chinesa falada. Duas experiências do exemplar que envolvem o processamento auditivo com interferências intra e extrasentential são descritas. O paradigma fornece uma metodologia para abordar a natureza da memória de trabalho e seus efeitos no processamento de sentenças.

Examinando o processamento sintático online de frases complexas faladas em Chinês usando tarefas de interferência de modal duplo

O estudo propõe um modelo de ativação compatível para estudar como a solidão é atenuada quando um público solitário assiste a vídeos de barragem de apelos racionais e emocionais. O protocolo utiliza o rastreamento ocular para documentar a duração e fixação, contabilizando o grau de satisfação quando as necessidades emocionais são apaziguadas pelo conteúdo e pela barragem.

Solidão Augenrrada: Acompanhando o Público assistindo vídeos de Barragem

Apresentamos um protocolo para explorar a sequência relativa de ativação da fonologia e semântica no reconhecimento visual da palavra. Os resultados mostram que consistentes com contas interativas, representações semânticas e fonológicas podem ser processadas de forma interativa, e representações linguísticas de nível superior podem afetar o processamento precoce.

Interação entre Processos Fonológicos e Semânticos no Reconhecimento de Palavras Visuais usando Eletrofisiologia

Apresentamos um protocolo que emprega o rastreamento ocular para monitorar os movimentos oculares durante uma tarefa de comparação intervalar (percepção de duração) baseada em eventos visuais. O objetivo é fornecer um guia preliminar para separar as respostas oculomotoras às tarefas de percepção de duração (comparação ou discriminação de intervalos de tempo) das respostas ao estímulo em si.

Movimentos Oculares na Percepção Visual da Duração: Desembaraçando o Estímulo do Tempo em Processos Pré-Decisórios

Aprenda o paradigma do mundo visual para processamento de linguagem falada em tempo real usando rastreamento ocular. Este método revela como pessoas compreendem frases semanticamente complexas, incluindo disjunções e condicionais.

Usando movimentos oculares gravados no paradigma Visual do mundo para explorar o processamento on-line de língua falada

Explorar mais vídeos