Name: 利用视觉世界范式中的眼球运动探索口语的在线处理 (视频) | JoVE Journal
Uploaded: 2018-10-13T12:30:00.000+00:00
Duration: 9 min 27 s
Description: 了解视觉世界范式中眼动追踪技术如何实时监测口语处理过程。该方法适用于研究复杂语义句子的理解机制，为心理语言学提供重要的实验工具。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本研究由中央高校基本科研业务费专项资金北京语言大学科研基金资助（批准号 15YJ050003）。

<ol><li>Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Integration+of+visual+and+linguistic+information+in+spoken+language+comprehension%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Integration of visual and linguistic information in spoken language comprehension.</a> Science. 268 (5217), 1632-1634 (1995).</li>
<li>Cooper, R. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/001002857490005X">The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing.</a> Cognitive Psychology. 6 (1), 84-107 (1974).</li>
<li>Salverda, A. P., Tanenhaus, M. K. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aSalverda%2C+AP+%22Research+methods+in+psycholinguistics+and+the+neurobiology+of+language%3A+A+practical+guide%22">Research methods in psycholinguistics and the neurobiology of language: A practical guide</a>. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).</li>
<li>Huettig, F., Rommers, J., Meyer, A. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+the+visual+world+paradigm+to+study+language+processing%3A+A+review+and+critical+evaluation%5BTitle%5D)+AND+%22Acta+Psychologica%22%5BJournal%5D)">Using the visual world paradigm to study language processing: A review and critical evaluation.</a> Acta Psychologica. 137 (2), 151-171 (2011).</li>
<li>Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Viewing+and+naming+objects%3A+Eye+movements+during+noun+phrase+production%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Viewing and naming objects: Eye movements during noun phrase production.</a> Cognition. 66 (2), B25-B33 (1998).</li>
<li>Griffin, Z. M., Bock, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((What+the+eyes+say+about+speaking%5BTitle%5D)+AND+%22Psychological+Science%22%5BJournal%5D)">What the eyes say about speaking.</a> Psychological Science. 11 (4), 274-279 (2000).</li>
<li>Young, L. R., Sheena, D. <a target="_blank" href="https://link.springer.com/article/10.3758/BF03201553">Survey of eye movement recording methods.</a> Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).</li>
<li>Conklin, K., Pellicer-Sánchez, A., Carrol, G. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aConklin%2C+K+%22Eye-tracking%3A+A+guide+for+applied+linguistics+research%22">Eye-tracking: A guide for applied linguistics research</a>. , Cambridge University Press. (2018).</li>
<li>Duchowski, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDuchowski%2C+A+%22Eye+tracking+methodology%3A+Theory+and+practice%22">Eye tracking methodology: Theory and practice</a>. , 2, Springer. (2007).</li>
<li>Baayen, R. H., Davidson, D. J., Bates, D. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001398">Mixed-effects modeling with crossed random effects for subjects and items.</a> Journal of Memory and Language. 59 (4), 390-412 (2008).</li>
<li>Barr, D. J. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001015">Analyzing 'visual world' eyetracking data using multilevel logistic regression.</a> Journal of Memory and Language. 59 (4), 457-474 (2008).</li>
<li>Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16000280">The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception.</a> Journal of Memory and Language. 90, 103-125 (2016).</li>
<li>Bolker, B. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Generalized+linear+mixed+models%3A+A+practical+guide+for+ecology+and+evolution%5BTitle%5D)+AND+%22Trends+in+Ecology+and+Evolution%22%5BJournal%5D)">Generalized linear mixed models: A practical guide for ecology and evolution.</a> Trends in Ecology and Evolution. 24 (3), 127-135 (2009).</li>
<li>Mirman, D., Dixon, J. A., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Statistical+and+computational+models+of+the+visual+world+paradigm%3A+Growth+curves+and+individual+differences%5BTitle%5D)+AND+%22Journal+of+Memory+and+Language%22%5BJournal%5D)">Statistical and computational models of the visual world paradigm: Growth curves and individual differences.</a> Journal of Memory and Language. 59 (4), 475-494 (2008).</li>
<li>Baayen, H., Vasishth, S., Kliegl, R., Bates, D. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16302467">The cave of shadows: Addressing the human factor with generalized additive mixed models.</a> Journal of Memory and Language. 94, 206-234 (2017).</li>
<li>Baayen, R. H., van Rij, J., de Cat, C., Wood, S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aBaayen%2C+RH+%22Mixed-Effects+Regression+Models+in+Linguistics%22">Mixed-Effects Regression Models in Linguistics</a>. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).</li>
<li>Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Scalar+and+ignorance+inferences+are+both+computed+immediately+upon+encountering+the+sentential+connective%3A+The+online+processing+of+sentences+with+disjunction+using+the+visual+world+paradigm%5BTitle%5D)+AND+%22Frontiers+in+Psychology%22%5BJournal%5D)">Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm.</a> Frontiers in Psychology. 9, (2018).</li>
<li>Maris, E., Oostenveld, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Nonparametric+statistical+testing+of+EEG-+and+MEG-data%5BTitle%5D)+AND+%22Journal+of+Neuroscience+Methods%22%5BJournal%5D)">Nonparametric statistical testing of EEG- and MEG-data.</a> Journal of Neuroscience Methods. 164 (1), 177-190 (2007).</li>
<li>Barr, D. J., Jackson, L., Phillips, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+a+voice+to+put+a+name+to+a+face%3A+The+psycholinguistics+of+proper+name+comprehension%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-General%22%5BJournal%5D)">Using a voice to put a name to a face: The psycholinguistics of proper name comprehension.</a> Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).</li>
<li>van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDahan%2C+D+%22Eye+movements%3A+A+window+on+mind+and+brain%22">Eye movements: A window on mind and brain</a>. , Elsevier. Ch. 21 471-486 (2007).</li>
<li>Parkhurst, D., Law, K., Niebur, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+role+of+salience+in+the+allocation+of+overt+visual+attention%5BTitle%5D)+AND+%22Vision+Research%22%5BJournal%5D)">Modeling the role of salience in the allocation of overt visual attention.</a> Vision Research. 42 (1), 107-123 (2002).</li>
<li>Grice, H. P. Vol. 3 Speech Acts. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGrice%2C+HP+%22Syntax+and+semantics%22">Syntax and semantics</a>. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).</li>
<li>Sauerland, U. <a target="_blank" href="http://semantics.uchicago.edu/kennedy/classes/w14/implicature/readings/sauerland04.pdf">Scalar implicatures in complex sentences.</a> Linguistics and Philosophy. 27 (3), 367-391 (2004).</li>
<li>Chierchia, G. <a target="_blank" href="https://www.annualreviews.org/doi/abs/10.1146/annurev-linguistics-011516-033846">Scalar implicatures and their interface with grammar.</a> Annual Review of Linguistics. 3 (1), 245-264 (2017).</li>
<li>Fox, D. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aFox%2C+D+%22Presupposition+and+Implicature+in+Compositional+Semantics%22">Presupposition and Implicature in Compositional Semantics</a>. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).</li>
<li>Meyer, M. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Ignorance+and+grammar%22">Ignorance and grammar</a>. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22SR+Research+Experiment+Builder+User+Manual+%28Version+2.1.140%29%22">SR Research Experiment Builder User Manual (Version 2.1.140)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+Technical+Specifications%22">EyeLink® 1000 Plus Technical Specifications</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink-1000-Plus-Brochure%22">EyeLink-1000-Plus-Brochure</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+User+Manual+%28Version+1.0.12%29%22">EyeLink® 1000 Plus User Manual (Version 1.0.12)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+Data+Viewer+User%E2%80%99s+Manual+%28Version+3.1.97%29%22">EyeLink® Data Viewer User’s Manual (Version 3.1.97)</a>. , Ottawa, Canada. (2017).</li>
<li>McQueen, J. M., Viebahn, M. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tracking+recognition+of+spoken+words+by+tracking+looks+to+printed+words%5BTitle%5D)+AND+%22The+Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Tracking recognition of spoken words by tracking looks to printed words.</a> The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Incremental+interpretation+at+verbs%3A+restricting+the+domain+of+subsequent+reference%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Incremental interpretation at verbs: restricting the domain of subsequent reference.</a> Cognition. 73 (3), 247-264 (1999).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07000101">The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing.</a> Journal of Memory and Language. 57 (4), 502-518 (2007).</li>
<li>Snedeker, J., Trueswell, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+developing+constraints+on+parsing+decisions%3A+The+role+of+lexical-biases+and+referential+scenes+in+child+and+adult+sentence+processing%5BTitle%5D)+AND+%22Cognitive+Psychology%22%5BJournal%5D)">The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing.</a> Cognitive Psychology. 49 (3), 238-299 (2004).</li>
<li>Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X97925584">Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models.</a> Journal of Memory and Language. 38 (4), 419-439 (1998).</li>
<li>Zhan, L., Crain, S., Zhou, P. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/20445911.2015.1016527">The online processing of only if and even if conditional statements: Implications for mental models.</a> Journal of Cognitive Psychology. 27 (3), 367-379 (2015).</li>
<li>Zhan, L., Zhou, P., Crain, S. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/23273798.2018.1448935">Using the visual-world paradigm to explore the meaning of conditionals in natural language.</a> Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).</li>
<li>Brown-Schmidt, S., Tanenhaus, M. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+investigation+of+referential+domains+in+unscripted+conversation%3A+A+targeted+language+game+approach%5BTitle%5D)+AND+%22Cognitive+Science%22%5BJournal%5D)">Real-time investigation of referential domains in unscripted conversation: A targeted language game approach.</a> Cognitive Science. 32 (4), 643-684 (2008).</li>
<li>Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. <a target="_blank" href="http://journals.sagepub.com/doi/abs/10.1111/1467-9280.00044">Rapid gains in speed of verbal processing by infants in the 2nd year.</a> Psychological Science. 9 (3), 228-231 (1998).</li>
<li>Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+kindergarten-path+effect%3A+studying+on-line+sentence+processing+in+young+children%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">The kindergarten-path effect: studying on-line sentence processing in young children.</a> Cognition. 73 (2), 89-134 (1999).</li>
<li>Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+use+of+phonological+information+in+ambiguity+resolution%3A+a+view+from+Mandarin+Chinese%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese.</a> Journal of Child Language. 39 (4), 687-730 (2012).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Grammatical+aspect+and+event+recognition+in+children%27s+online+sentence+comprehension%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Grammatical aspect and event recognition in children's online sentence comprehension.</a> Cognition. 133 (1), 262-276 (2014).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X12000277">Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing.</a> Journal of Memory and Language. 67 (1), 149-164 (2012).</li>
<li>Moscati, V., Zhan, L., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+on-line+processing+of+epistemic+modals%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's on-line processing of epistemic modals.</a> Journal of Child Language. 44 (5), 1025-1040 (2017).</li>
<li>Helfer, K. S., Staub, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Competing+speech+perception+in+older+and+younger+adults%3A+Behavioral+and+eye-movement+evidence%5BTitle%5D)+AND+%22Ear+and+Hearing%22%5BJournal%5D)">Competing speech perception in older and younger adults: Behavioral and eye-movement evidence.</a> Ear and Hearing. 35 (2), 161-170 (2014).</li>
<li>Dickey, M. W., Choy, J. W. J., Thompson, C. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+comprehension+of+wh-movement+in+aphasia%3A+Evidence+from+eyetracking+while+listening%5BTitle%5D)+AND+%22Brain+and+Language%22%5BJournal%5D)">Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening.</a> Brain and Language. 100 (1), 1-22 (2007).</li>
<li>Magnuson, J. S., Nusbaum, H. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Acoustic+differences%2C+listener+expectations%2C+and+the+perceptual+accommodation+of+talker+variability%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Human+Perception+and+Performance%22%5BJournal%5D)">Acoustic differences, listener expectations, and the perceptual accommodation of talker variability.</a> Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).</li>
<li>Reinisch, E., Jesse, A., McQueen, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Early+use+of+phonetic+information+in+spoken+word+recognition%3A+Lexical+stress+drives+eye+movements+immediately%5BTitle%5D)+AND+%22Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately.</a> Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).</li>
<li>Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Actions+and+affordances+in+syntactic+ambiguity+resolution%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Learning+Memory+and+Cognition%22%5BJournal%5D)">Actions and affordances in syntactic ambiguity resolution.</a> Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).</li>
<li>Tanenhaus, M. K., Trueswell, J. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aTanenhaus%2C+MK+%22Approaches+to+Studying+World-Situated+Language+Use%3A+Bridging+the+Language-as-Product+and+Language-as-Action+Traditions%22">Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions</a>. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).</li>
</ol>

作者声明其不存在竞争性经济利益。

进行视觉世界研究时，需遵循若干关键步骤。首先，研究人员旨在通过参与者在视觉世界中的眼动来推断其对听觉呈现语言的理解。因此，在设计视觉刺激的布局时，应控制自然任务中可能影响参与者眼动的眼动特性，从而能够识别出言语对参与者眼动的影响。其次，口语中的声学线索具有瞬态性，且不存在仅对应于特定语言类别的声学特征。为了将参与者的眼动与某一语言标记的起始时间精确同步，研究人员需要找到一种客观且一致的方法来界定某种语言结构的边界。第三，为了准确地将参与者眼球相对于头部的旋转映射到其在视觉世界中的注视点，研究人员需要执行一次或多次校准、验证和漂移校正过程。第四，视觉世界研究获得的数据具有一些特殊性质，例如存在上下界限制以及误差自相关等。在选择统计分析方法时，应充分考虑这些特殊性质。
视觉世界研究包含三个基本组成部分：视觉显示、口语刺激和实验任务。研究者可根据具体研究目的对其中任一组分进行调整。首先，视觉显示通常是一个呈现多幅图片的屏幕画面，但也可能是一个呈现多个印刷词汇的屏幕32、一个示意图景33<sup...

口语是一种快速、持续的信息流，转瞬即逝。对这种具有时间性且快速变化的言语信号进行实验研究具有挑战性。通过视觉世界范式中记录的眼动数据，可以克服这一挑战。在典型的采用视觉世界范式的眼动研究中，当参与者聆听或产出描述视觉场景内容的口语时，研究人员会监测他们对显示屏中图片或视觉工作区中真实物体的眼动情况1,2,3,4。该范式背后的基本逻辑，即关联假设，是理解或计划说出某个语句时，会（外显或内隐地）将参与者的视觉注意力转移到视觉世界中的某个特定物体上。这种注意力的转移极有可能引发扫视眼动，使被注意的区域进入中央凹视野。借助这一范式，研究人员旨在确定相对于言语信号中某一听觉标志点，在什么时间点会出现参与者视觉注意力的转移，该转移通过向视觉世界中某个物体或图片的扫视眼动来测量。扫视眼动在何时、何地随着言语信号的发生而启动，可用于推断语言的在线加工过程。视觉世界范式既可用于研究口语理解1,2，也可用于研究口语产出5,6。本文将重点介绍理解过程的研究。在采用视觉世界范式的理解研究中，研究人员在参与者聆听描述视觉显示内容的口语语句时，监测其在视觉显示界面上的眼动行为。
历史上设计了多种眼动追踪系统。其中最简单、成本最低且最便携的系统仅使用一台普通摄像机，记录被试眼睛的图像。随后通过逐帧回放视频录像，人工编码眼动行为。然而，这种眼动仪的采样率相对较低，且编码过程耗时较长。因此，现代商用眼动追踪系统通常采用光学传感器来测量眼球在眼眶中的方位7,8,9。为了理解现代商用眼动追踪系统的工作原理，需考虑以下几点。首先，为了准确测量中央凹视觉的方向，通常将一个红外照明器（波长通常在780-880 nm左右）置于摄像机光轴上或偏离光轴的位置，使瞳孔图像明显比周围虹膜更亮或更暗。然后利用瞳孔图像和/或瞳孔角膜反射（通常为第一普尔金耶像）来计算眼球在眼眶中的方位。其次，视觉世界中的注视位置实际上不仅取决于眼睛相对于头部的方向，还取决于头部相对于视觉世界的方向。为了从眼球方位准确推断出注视方向，眼动仪的光源和摄像机要么相对于被试头部固定（头戴式眼动仪），要么相对于视觉世界固定（桌面式或远程眼动仪）。第三，被试的头部方位必须相对于视觉世界保持固定，或在头部可自由移动时通过计算进行补偿。当在头部可自由移动模式下使用远程眼动仪时，通常通过在被试前额贴一个小标记来记录其头部位置。然后通过计算将头部方位从眼球方位中扣除，从而恢复视觉世界中的注视位置。第四，需要进行校准和验证过程，以将眼球方位映射到视觉世界中的注视方向。在校准过程中，记录被试对已知目标点的注视样本，将原始眼动数据映射到视觉世界中的注视位置。在验证过程中，向被试呈现与校准过程相同的靶点。通过比较校准结果计算出的注视位置与视觉世界中实际靶点位置之间的差异，来评估校准的准确性。为进一步确认映射过程的准确性，通常在每次试验中进行漂移检查，即向被试呈现单个注视靶点，以测量计算出的注视位置&#160;与当前靶点实际位置之间的差异。
视觉世界研究的主要数据是在眼动仪的采样频率下记录的、贯穿整个或部分试验时长的视觉场景中的一系列注视位置。视觉世界研究中使用的因变量通常是，在特定时间窗口内，参与者注视位于视觉场景中某一特定空间区域的样本所占的比例。为了分析数据，首先需要选择一个时间窗口，通常称为感兴趣时间段。该时间窗口通常与听觉输入中某些语言事件的呈现时间点对齐。此外，还需要将视觉场景划分为若干个感兴趣区域（ROIs），每个区域对应一个或多个物体。其中一个区域包含与口语理解正确的物体相对应的内容，因此&#160;常被称为目标区域。一种典型的数据可视化方法是注视比例图，即在时间窗口内的每个时间 bin 中，对每位参与者和每个实验项目在各个感兴趣区域上的注视样本比例进行平均。
利用视觉世界研究获得的数据，可以回答不同的研究问题：a) 在粗粒度层面上，参与者的视觉世界眼动是否受到不同听觉语言输入的影响？&#160;b) 如果存在影响，这种影响在试验过程中的发展轨迹是怎样的？是线性效应还是高阶效应？&#160;c) 如果存在影响，那么在细粒度层面上，这种效应最早在什么时间点出现，持续时间有多长？
为了对结果进行统计分析，应考虑以下几点。首先，响应变量， 即，注视比例在0到1之间，具有上下界，服从多项分布而非正态分布。因此，基于正态分布的传统统计方法，如t检验、方差分析以及线性（混合效应）模型10，除非将比例数据通过经验logit公式等方法转换为无界变量，否则无法直接使用11 或已被替换为无界因变量，例如欧几里得距离12不需要正态分布假设的统计技术，例如广义线性（混合效应）模型13 也可使用其他方法。其次，为了探究所观察效应的动态变化轨迹，需要在模型中加入一个表示时间序列的变量。该时间序列变量最初是将眼动仪的采样点重新对齐至语言输入的起始点。由于变化轨迹通常并非线性，因此一般会在（广义）线性（混合效应）模型中加入时间序列的高阶多项式函数。 即，生长曲线分析14此外，参与者在当前采样点的眼动位置在很大程度上依赖于之前的采样点，尤其是在记录频率较高的情况下，这会导致自相关问题。为了降低相邻采样点之间的自相关性，原始数据通常会被降采样或分箱处理。近年来，广义加性混合效应模型（GAMM）也被用于处理自相关误差。12,15,16时间窗口的宽度在不同研究中有所差异，范围从几毫秒到几百毫秒不等。某项研究可选择的最窄时间窗口受到该研究中所使用眼动仪采样率的限制。例如，若眼动仪的采样率为500 Hz，则时间窗口的宽度不能小于2 ms = 1000/500。第三，当对感兴趣时间段内的每个时间窗口重复进行统计分析时，必须处理由这些多次比较所引起的族系误差（familywise error）。如前所述，轨迹分析可告知研究者在粗粒度水平上观察到的效应是否随时间变化呈线性关系，但无法显示该效应从何时开始出现以及持续多长时间。为了确定观察到的差异开始分化的具体时间点，并明确该效应所持续的时间段长度，需要对每个时间窗口重复进行统计分析。这些多次比较将引入所谓的族系误差，无论采用何种统计方法均无法避免。传统上，族系误差通过邦弗罗尼校正（Bonferroni adjustment）进行校正。17最近，一种称为非参数置换检验的方法，最初用于神经影像学领域18 已应用于视觉词汇范式19 以控制族系误差。
采用视觉世界范式的科研人员旨在通过参与者在视觉场景中的眼动来推断其对口语的理解情况。为确保这一推论的有效性，必须排除或控制其他可能影响眼动的因素。以下两个因素是需要考虑的常见因素之一。第一个因素涉及参与者在无语言输入条件下眼动注视的某些系统性模式，例如倾向于注视视觉场景的左上象限，以及水平方向的眼动比垂直方向更容易等12,20。为确保所观察到的注视模式与物体本身相关，而非由物体所在的空间位置引起，应在不同试验或不同参与者之间对物体的空间位置进行平衡设计。可能影响参与者眼动的第二个因素是视觉世界中物体的基本图像特征，例如亮度对比度、颜色和边缘朝向等21。为了检验这一潜在的混杂效应，通常在口语呈现开始之前，或在关键语音标记出现之前约1000毫秒，先呈现视觉显示画面。从测试图像呈现开始到测试音频开始之间的这一时间段内，参与者尚未听到语言输入或语言的歧义消解点。在此期间不同条件下观察到的任何差异，应归因于视觉显示本身等其他混杂因素，而非语言输入。因此，该预览阶段所记录的眼动数据可作为判断语言输入效应的基线。此外，该预览阶段还使参与者能够熟悉视觉显示内容，从而在口语呈现时减少解释性注视的系统性偏差。
为了说明如何开展一项采用视觉世界范式的典型眼动追踪研究，以下方案描述了一项改编自 L. Zhan 的实验。&#160;17&#160;探索语义复杂语句的在线加工过程 即， 析取语句S1 或 S2），联合陈述（S1 和 S2），以及 但-陈述（S1 但非 S2）。在通常的语用推理中，某些话语所表达的信息实际上比其字面含义更强。诸如析取式的陈述 小明的盒子里有一头牛或一只公鸡 只要两个析取支为真，析取命题在逻辑上即为真 小明的盒子里有一头牛 和 小明的盒子里有一只公鸡 不同时为假。因此，当两个析取支均为真时，析取命题为真，而相应的合取命题 小明的盒子里有一头牛和一只公鸡 这一点也成立。然而在日常对话中，听到析取命题通常暗示相应的合取命题为假。标量含义推断）；并表明说话者不知道这两个析取项的真值无知推断）。文献中的观点在两种推断属于语法过程还是语用过程的问题上存在分歧22,23,24,25,26该实验通过探究三个复杂语句的在线加工过程，展示了视觉世界范式如何用于判定上述不同理论解释。

<table><tbody><tr><td>Pixelmator</td><td>Pixelmator Team</td><td>http://www.pixelmator.com/pro/</td><td>图像编辑应用程序</td></tr><tr><td>Praat</td><td>开源软件</td><td>http://www.fon.hum.uva.nl/praat/</td><td>声音分析与编辑软件</td></tr><tr><td>Eyelink 1000plus</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/products/eyelink-1000-plus/</td><td>远程红外眼动仪&amp;nbsp;</td></tr><tr><td>Experimental Builder</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/experiment-builder/</td><td>眼动仪软件&amp;nbsp;</td></tr><tr><td>Data Viewer</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/data-viewer/</td><td>眼动仪软件&amp;nbsp;</td></tr><tr><td>R</td><td>开源软件</td><td>https://www.r-project.org</td><td>用于统计计算和图形的免费软件环境</td></tr></tbody></table>

利用视觉世界范式中记录的眼动数据探究口语的在线加工过程

Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language

在使用视觉世界范式的典型眼动追踪研究中，当参与者产出或理解描述当前视觉场景的口语时，眼动仪会记录他们对视觉工作区内物体或图片的眼动。该范式具有高度的适用性，可用于多种人群，包括无法阅读和/或无法明确给出行为反应的个体，例如前阅读期儿童、老年成人以及患者。更重要的是，该范式对言语信号的细微操控极为敏感，可用于研究语言理解中大多数主题的在线加工过程，涵盖多个层面，如精细的声学语音特征、词汇属性以及语言结构。本文所描述的实验方案展示了如何开展一项典型的视觉世界眼动追踪研究，并通过一个实例说明如何利用视觉世界范式探究某些语义复杂语句的在线加工过程。

参与者的行为反应总结如下 图4. 正如我们先前所述，对一个合取命题的正确反应（S1 和 S2）是较大的开口箱，例如A箱 图1对一个的正确反应 但-声明（S1 而非 S2) 是包含前述动物的小型开放盒，例如 D 盒 图1. 关键在于，哪一个盒子被选中作为析取命题S1 或 S2) 取决于析取命题的处理方式：小的封闭盒子，例如盒子 B 中的 图1只有当计算了与析取陈述相关的标量含义和无知推论时，才选择该选项。 图4 说明在理解一个析取命题（S1 或 S2），参与者会同时计算这两种推论。
<p class="jove_content" fo:keep-together.within-pag...

视觉世界范式通过监测参与者在倾听或说出口语时其在视觉工作区中的眼动，来研究心理语言学中的多种在线加工问题，包括诸如析取语句等语义复杂的陈述。

在采用视觉世界范式的典型眼动追踪研究中，会记录参与者在视觉工作区内对物体或图片的眼动。

该方法有助于回答在线处理口语语言中的关键问题，包括语义复杂的句子，例如析取句和条件句。该技术的主要优势在于，其可应用于广泛的人群，以研究语言处理领域的大多数课题。演示该实验流程的将是研究生徐 Jing。曹一凡、王萌、杨晓彤、詹敏和周雪涵是我研究小组的学生。为准备视觉刺激材料，请从互联网下载60张无版权的动物剪贴画图像，并在合适的图像编辑软件中打开这些图像。点击“工具”，使用快速选择功能选中每张图像的背景并将其删除。单击“图像”和“图像大小”，将图像调整为 120 × 120 像素，并绘制一个大的开放式 320 × 240 像素方框、一个小的闭合式 160 × 160 像素方框，以及两个小的开放式 160 × 240 像素方框。新建一个文件，创建一幅 1,024 × 768 像素的模板作为第一张测试图像，并将方框拖动至指定位置。将两个剪贴画图像拖入大的开放式方框中，再将相同的两个图像各一个分别拖入两个小的开放式方框中。然后按照上述方法再创建59张测试图像，每张动物图像在每张测试图像中使用两次，并在各图像间对四个方框的空间位置进行反平衡。为了准备口语刺激材料，需用参与者的母语为每张测试图像设计四句对应的测试句子，共需录制240句测试句子，其中至少包含四句中的三句，以及如示例所示的每种句型各一句。招募一名母语为该语言的女性 speaker 录制四个示例陈述句，以及实验中使用的所有动物的音频。将240个测试句子分为四组，每组包含15个联合句、15个析取句、15个转折句以及15个填充句。然后将有关测试刺激的所有重要信息保存为制表符分隔的文本文件，每一行对应一个测试试验，共240个试验。为构建实验序列，请打开实验设计软件并创建一个新项目。将一个显示屏幕对象拖入工作区，并将该工作区重命名为“Instruction”。点击插入多行文本资源，然后双击以打开块序列，构建块序列。将一个EI Camera Setup节点拖入块序列中，以便在EyeLink主机PC上弹出摄像头设置界面，从而辅助完成摄像头的设置、校准与验证。在属性面板中点击“校准类型”字段，从下拉列表中选择 HV5。要构建试验序列，请将一个“显示屏幕”节点拖入试验序列中，并将其重命名为 Animal_1_Image。再将一个“播放声音”节点拖入试验序列中，并将其重命名为 Animal_1_Audio。将一个计时器节点拖入试验序列，并将其重命名为 Animal_1_Audio_Length。继续拖拽并重命名额外的显示屏幕、播放声音和计时器节点到试验序列中，直到为每张剪贴画图像创建三个节点。然后将一个漂移校正节点拖入试验序列，以引入漂移校正。要构建录制序列，将一个新的“显示屏幕”节点拖入录制序列中，并将该节点重命名为 Test_Image。双击“显示屏幕”节点以打开屏幕构建器，点击“插入矩形兴趣区域”，然后绘制四个矩形兴趣区域。将一个计时器节点拖入工作区，将该节点重命名为暂停，并将持续时间属性更改为500毫秒。将一个播放声音节点拖入工作区，并将其重命名为测试_音频，再将一个计时器节点拖入工作区并重命名为测试_音频_长度。然后在工作区中添加一个键盘节点，将其重命名为行为_响应，并将可接受按键属性设置为上、下、右、左。进行实验时，首先在主机PC上启动系统以运行相机的主机应用程序，然后在显示PC上点击实验项目的可执行版本。输入参与者姓名，点击“选择条件值”以从提示窗口中选择一个组。在参与者额头上贴一个小目标贴纸，以便在瞳孔图像丢失时（如眨眼或突然移动期间）仍能追踪头部位置。让参与者坐在距离21英寸4:3彩色显示器约60厘米的位置，该显示器分辨率为1,024 × 768像素，其中27像素对应1度视角。调整显示用电脑显示器的高度，确保受试者平视时，视线垂直对准显示器中上部75%的区域；然后旋转桌面支架上的对焦臂，使眼睛图像清晰对焦。接下来，在主机电脑上点击“校准”（Calibrate），并要求受试者依次随机注视五个注视目标（无需明显的外在行为反应），以建立受试者眼动与其视觉世界中注视方向的映射关系。随后点击“验证”（Validate），并要求受试者再次注视相同的五个注视目标，以验证校准结果。通过要求参与者在注视屏幕中央的黑点时按下键盘上的空格键来进行漂移检查。然后通过显示用PC显示器呈现视觉刺激，同时通过位于显示器左右两侧的外部扬声器播放听觉刺激。进行数据编码和分析时，打开数据查看软件，点击“文件”、“导入文件”，并选择“导入多个EyeLink数据文件”以导入所有记录的眼动仪数据文件。将文件保存为单个 evs 文件，然后打开该 evs 文件，点击分析、报告和样本报告，以导出未经汇总的原始样本数据。对于并列关系陈述句，正确反应是选择大的开口方框；而对于转折关系陈述句，正确反应是选择包含陈述中首先提到的动物的小开口方框。关键在于，针对并列关系陈述句选择哪个方框，取决于条件句的加工方式。例如，只有当计算出标量含义和无知推论时，才会选择小的封闭盒子，这是理解析取语句的结果。如图所示，除非连接词是析取连接词，或在析取连接词结束之前没有开始增加，否则对小封闭盒子的眼动注视不会增加。视觉世界范式是一种多功能的眼动追踪技术，可通过参与者在真实世界中眼动的变化来推断其对口语的实时理解过程。招募参与者时需注意，其视力应正常或矫正至正常水平，且听力功能正常。为了设计一项符合实际的有效研究，应控制或排除其他可能影响参与者眼动行为的因素。在对结果进行统计分析时，应考虑由有界响应、自相关或自动比较可能引发的问题。

using-eye-movements-recorded-visual-world-paradigm-to-explore-online

Research

科研

JoVE Journal

Behavior

行为

利用视觉世界范式中的眼球运动探索口语的在线处理

可以通过眼动来研究神经控制和认知过程。VisualEyes...

VisualEyes：一个用于眼动实验的模块化软件系统

本文介绍了如何使用眼动追踪方法来研究文本理解过程中的认知活动。内容包括眼动追踪设备的描述、实验刺激材料的设计方法以及实验操作建议。文中提供的信息适用于大多数使用语言刺激材料的研究。...

利用眼动追踪评估文本理解中的认知过程

本文综述了一种用于语言理解研究的眼动追踪方法。为了获得可靠的数据，必须遵循该方案中的关键步骤，其中包括正确设置眼动仪（例如，确保眼图像和头像质量良好）以及精确的校准。...

在视觉情境下的语言理解过程中进行眼动追踪：揭示视觉情境效应的灵活性与局限性

该方法旨在研究返回抑制（IOR）在阅读过程中回视眼动中的作用，重点区分因理解困难而引发的回视类型 与...

利用眼动追踪区分阅读过程中基于理解的和基于眼动控制的回视眼动

我们提出了一项方案，用于研究自闭症儿童在实时句子理解过程中对形态学线索的使用情况。...

使用视觉世界范式研究汉语母语自闭症儿童的句子理解能力

采用偏好注视范式的眼动追踪研究可用于探究婴儿对外部视觉世界的初步认知及其注意力发展。...

使用眼动追踪与偏好注视范式探究婴儿对视觉语言的敏感性

本文介绍了一种利用双模干扰任务来研究汉语口语关系从句句子在线加工的实验方案。文中描述了两个涉及听觉加工并包含句内和句外干扰因素的示例实验。该范式为探讨工作记忆的本质及其对句子加工的影响提供了方法学基础。...

使用双模态干扰任务考察汉语口语复杂句的在线句法加工

该研究提出了一种激活-匹配模型，用于探讨当孤独的观众观看包含理性诉求和情感诉求的弹幕视频时，孤独感如何得到缓解。本方案采用眼动追踪技术记录注视时长和注视点，以评估当内容和弹幕满足情感需求时的满足程度。...

孤独的慰藉：眼动追踪观众观看弹幕视频的研究

我们提出了一种研究视觉词汇识别中音韵与语义相对激活顺序的实验方案。结果表明，语义和音韵表征的加工过程可能具有交互性，且高层语言表征可能影响早期加工过程，这与交互作用理论相一致。...

利用脑电生理学研究视觉词汇识别中音韵与语义加工过程的交互作用

我们提出了一种利用眼动追踪技术监测受试者在基于视觉事件的时间间隔比较（时长感知）任务中眼动行为的实验方案。该方案旨在初步指导如何将受试者在时长感知任务（时间间隔的比较或分辨）中的眼动反应与对刺激本身的眼动反应区分开来。...

视觉时长感知中的眼动：在决策前过程中分离刺激与时间因素

了解视觉世界范式中眼动追踪技术如何实时监测口语处理过程。该方法适用于研究复杂语义句子的理解机制，为心理语言学提供重要的实验工具。

利用视觉世界范式中记录的眼动数据探究口语的在线加工过程

探索更多视频