Name: 음성된 언어의 온라인 처리를 탐험 시각적인 세계 패러다임에 기록 하는 눈 움직임을 사용 하 여 (동영상) | JoVE Journal
Uploaded: 2018-10-13T12:30:00.000+00:00
Duration: 9 min 27 s
Description: 탐색하세요 시각적 세계 패러다임을 활용한 음성 언어 온라인 처리 방법을 배우세요. 눈 움직임 추적으로 복잡한 심리언어학적 구조를 실시간 분석하여 언어 이해 메커니즘을 규명합니다.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

이 연구는 과학 재단 베이징 언어와 문화 대학 중앙 대학 (승인 번호 15YJ050003)에 대 한 근본적인 연구 자금에 의해 지원 되었다.

<ol><li>Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Integration+of+visual+and+linguistic+information+in+spoken+language+comprehension%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Integration of visual and linguistic information in spoken language comprehension.</a> Science. 268 (5217), 1632-1634 (1995).</li>
<li>Cooper, R. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/001002857490005X">The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing.</a> Cognitive Psychology. 6 (1), 84-107 (1974).</li>
<li>Salverda, A. P., Tanenhaus, M. K. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aSalverda%2C+AP+%22Research+methods+in+psycholinguistics+and+the+neurobiology+of+language%3A+A+practical+guide%22">Research methods in psycholinguistics and the neurobiology of language: A practical guide</a>. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).</li>
<li>Huettig, F., Rommers, J., Meyer, A. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+the+visual+world+paradigm+to+study+language+processing%3A+A+review+and+critical+evaluation%5BTitle%5D)+AND+%22Acta+Psychologica%22%5BJournal%5D)">Using the visual world paradigm to study language processing: A review and critical evaluation.</a> Acta Psychologica. 137 (2), 151-171 (2011).</li>
<li>Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Viewing+and+naming+objects%3A+Eye+movements+during+noun+phrase+production%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Viewing and naming objects: Eye movements during noun phrase production.</a> Cognition. 66 (2), B25-B33 (1998).</li>
<li>Griffin, Z. M., Bock, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((What+the+eyes+say+about+speaking%5BTitle%5D)+AND+%22Psychological+Science%22%5BJournal%5D)">What the eyes say about speaking.</a> Psychological Science. 11 (4), 274-279 (2000).</li>
<li>Young, L. R., Sheena, D. <a target="_blank" href="https://link.springer.com/article/10.3758/BF03201553">Survey of eye movement recording methods.</a> Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).</li>
<li>Conklin, K., Pellicer-Sánchez, A., Carrol, G. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aConklin%2C+K+%22Eye-tracking%3A+A+guide+for+applied+linguistics+research%22">Eye-tracking: A guide for applied linguistics research</a>. , Cambridge University Press. (2018).</li>
<li>Duchowski, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDuchowski%2C+A+%22Eye+tracking+methodology%3A+Theory+and+practice%22">Eye tracking methodology: Theory and practice</a>. , 2, Springer. (2007).</li>
<li>Baayen, R. H., Davidson, D. J., Bates, D. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001398">Mixed-effects modeling with crossed random effects for subjects and items.</a> Journal of Memory and Language. 59 (4), 390-412 (2008).</li>
<li>Barr, D. J. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001015">Analyzing 'visual world' eyetracking data using multilevel logistic regression.</a> Journal of Memory and Language. 59 (4), 457-474 (2008).</li>
<li>Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16000280">The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception.</a> Journal of Memory and Language. 90, 103-125 (2016).</li>
<li>Bolker, B. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Generalized+linear+mixed+models%3A+A+practical+guide+for+ecology+and+evolution%5BTitle%5D)+AND+%22Trends+in+Ecology+and+Evolution%22%5BJournal%5D)">Generalized linear mixed models: A practical guide for ecology and evolution.</a> Trends in Ecology and Evolution. 24 (3), 127-135 (2009).</li>
<li>Mirman, D., Dixon, J. A., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Statistical+and+computational+models+of+the+visual+world+paradigm%3A+Growth+curves+and+individual+differences%5BTitle%5D)+AND+%22Journal+of+Memory+and+Language%22%5BJournal%5D)">Statistical and computational models of the visual world paradigm: Growth curves and individual differences.</a> Journal of Memory and Language. 59 (4), 475-494 (2008).</li>
<li>Baayen, H., Vasishth, S., Kliegl, R., Bates, D. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16302467">The cave of shadows: Addressing the human factor with generalized additive mixed models.</a> Journal of Memory and Language. 94, 206-234 (2017).</li>
<li>Baayen, R. H., van Rij, J., de Cat, C., Wood, S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aBaayen%2C+RH+%22Mixed-Effects+Regression+Models+in+Linguistics%22">Mixed-Effects Regression Models in Linguistics</a>. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).</li>
<li>Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Scalar+and+ignorance+inferences+are+both+computed+immediately+upon+encountering+the+sentential+connective%3A+The+online+processing+of+sentences+with+disjunction+using+the+visual+world+paradigm%5BTitle%5D)+AND+%22Frontiers+in+Psychology%22%5BJournal%5D)">Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm.</a> Frontiers in Psychology. 9, (2018).</li>
<li>Maris, E., Oostenveld, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Nonparametric+statistical+testing+of+EEG-+and+MEG-data%5BTitle%5D)+AND+%22Journal+of+Neuroscience+Methods%22%5BJournal%5D)">Nonparametric statistical testing of EEG- and MEG-data.</a> Journal of Neuroscience Methods. 164 (1), 177-190 (2007).</li>
<li>Barr, D. J., Jackson, L., Phillips, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+a+voice+to+put+a+name+to+a+face%3A+The+psycholinguistics+of+proper+name+comprehension%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-General%22%5BJournal%5D)">Using a voice to put a name to a face: The psycholinguistics of proper name comprehension.</a> Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).</li>
<li>van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDahan%2C+D+%22Eye+movements%3A+A+window+on+mind+and+brain%22">Eye movements: A window on mind and brain</a>. , Elsevier. Ch. 21 471-486 (2007).</li>
<li>Parkhurst, D., Law, K., Niebur, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+role+of+salience+in+the+allocation+of+overt+visual+attention%5BTitle%5D)+AND+%22Vision+Research%22%5BJournal%5D)">Modeling the role of salience in the allocation of overt visual attention.</a> Vision Research. 42 (1), 107-123 (2002).</li>
<li>Grice, H. P. Vol. 3 Speech Acts. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGrice%2C+HP+%22Syntax+and+semantics%22">Syntax and semantics</a>. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).</li>
<li>Sauerland, U. <a target="_blank" href="http://semantics.uchicago.edu/kennedy/classes/w14/implicature/readings/sauerland04.pdf">Scalar implicatures in complex sentences.</a> Linguistics and Philosophy. 27 (3), 367-391 (2004).</li>
<li>Chierchia, G. <a target="_blank" href="https://www.annualreviews.org/doi/abs/10.1146/annurev-linguistics-011516-033846">Scalar implicatures and their interface with grammar.</a> Annual Review of Linguistics. 3 (1), 245-264 (2017).</li>
<li>Fox, D. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aFox%2C+D+%22Presupposition+and+Implicature+in+Compositional+Semantics%22">Presupposition and Implicature in Compositional Semantics</a>. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).</li>
<li>Meyer, M. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Ignorance+and+grammar%22">Ignorance and grammar</a>. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22SR+Research+Experiment+Builder+User+Manual+%28Version+2.1.140%29%22">SR Research Experiment Builder User Manual (Version 2.1.140)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+Technical+Specifications%22">EyeLink® 1000 Plus Technical Specifications</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink-1000-Plus-Brochure%22">EyeLink-1000-Plus-Brochure</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+User+Manual+%28Version+1.0.12%29%22">EyeLink® 1000 Plus User Manual (Version 1.0.12)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+Data+Viewer+User%E2%80%99s+Manual+%28Version+3.1.97%29%22">EyeLink® Data Viewer User’s Manual (Version 3.1.97)</a>. , Ottawa, Canada. (2017).</li>
<li>McQueen, J. M., Viebahn, M. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tracking+recognition+of+spoken+words+by+tracking+looks+to+printed+words%5BTitle%5D)+AND+%22The+Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Tracking recognition of spoken words by tracking looks to printed words.</a> The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Incremental+interpretation+at+verbs%3A+restricting+the+domain+of+subsequent+reference%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Incremental interpretation at verbs: restricting the domain of subsequent reference.</a> Cognition. 73 (3), 247-264 (1999).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07000101">The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing.</a> Journal of Memory and Language. 57 (4), 502-518 (2007).</li>
<li>Snedeker, J., Trueswell, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+developing+constraints+on+parsing+decisions%3A+The+role+of+lexical-biases+and+referential+scenes+in+child+and+adult+sentence+processing%5BTitle%5D)+AND+%22Cognitive+Psychology%22%5BJournal%5D)">The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing.</a> Cognitive Psychology. 49 (3), 238-299 (2004).</li>
<li>Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X97925584">Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models.</a> Journal of Memory and Language. 38 (4), 419-439 (1998).</li>
<li>Zhan, L., Crain, S., Zhou, P. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/20445911.2015.1016527">The online processing of only if and even if conditional statements: Implications for mental models.</a> Journal of Cognitive Psychology. 27 (3), 367-379 (2015).</li>
<li>Zhan, L., Zhou, P., Crain, S. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/23273798.2018.1448935">Using the visual-world paradigm to explore the meaning of conditionals in natural language.</a> Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).</li>
<li>Brown-Schmidt, S., Tanenhaus, M. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+investigation+of+referential+domains+in+unscripted+conversation%3A+A+targeted+language+game+approach%5BTitle%5D)+AND+%22Cognitive+Science%22%5BJournal%5D)">Real-time investigation of referential domains in unscripted conversation: A targeted language game approach.</a> Cognitive Science. 32 (4), 643-684 (2008).</li>
<li>Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. <a target="_blank" href="http://journals.sagepub.com/doi/abs/10.1111/1467-9280.00044">Rapid gains in speed of verbal processing by infants in the 2nd year.</a> Psychological Science. 9 (3), 228-231 (1998).</li>
<li>Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+kindergarten-path+effect%3A+studying+on-line+sentence+processing+in+young+children%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">The kindergarten-path effect: studying on-line sentence processing in young children.</a> Cognition. 73 (2), 89-134 (1999).</li>
<li>Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+use+of+phonological+information+in+ambiguity+resolution%3A+a+view+from+Mandarin+Chinese%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese.</a> Journal of Child Language. 39 (4), 687-730 (2012).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Grammatical+aspect+and+event+recognition+in+children%27s+online+sentence+comprehension%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Grammatical aspect and event recognition in children's online sentence comprehension.</a> Cognition. 133 (1), 262-276 (2014).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X12000277">Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing.</a> Journal of Memory and Language. 67 (1), 149-164 (2012).</li>
<li>Moscati, V., Zhan, L., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+on-line+processing+of+epistemic+modals%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's on-line processing of epistemic modals.</a> Journal of Child Language. 44 (5), 1025-1040 (2017).</li>
<li>Helfer, K. S., Staub, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Competing+speech+perception+in+older+and+younger+adults%3A+Behavioral+and+eye-movement+evidence%5BTitle%5D)+AND+%22Ear+and+Hearing%22%5BJournal%5D)">Competing speech perception in older and younger adults: Behavioral and eye-movement evidence.</a> Ear and Hearing. 35 (2), 161-170 (2014).</li>
<li>Dickey, M. W., Choy, J. W. J., Thompson, C. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+comprehension+of+wh-movement+in+aphasia%3A+Evidence+from+eyetracking+while+listening%5BTitle%5D)+AND+%22Brain+and+Language%22%5BJournal%5D)">Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening.</a> Brain and Language. 100 (1), 1-22 (2007).</li>
<li>Magnuson, J. S., Nusbaum, H. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Acoustic+differences%2C+listener+expectations%2C+and+the+perceptual+accommodation+of+talker+variability%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Human+Perception+and+Performance%22%5BJournal%5D)">Acoustic differences, listener expectations, and the perceptual accommodation of talker variability.</a> Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).</li>
<li>Reinisch, E., Jesse, A., McQueen, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Early+use+of+phonetic+information+in+spoken+word+recognition%3A+Lexical+stress+drives+eye+movements+immediately%5BTitle%5D)+AND+%22Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately.</a> Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).</li>
<li>Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Actions+and+affordances+in+syntactic+ambiguity+resolution%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Learning+Memory+and+Cognition%22%5BJournal%5D)">Actions and affordances in syntactic ambiguity resolution.</a> Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).</li>
<li>Tanenhaus, M. K., Trueswell, J. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aTanenhaus%2C+MK+%22Approaches+to+Studying+World-Situated+Language+Use%3A+Bridging+the+Language-as-Product+and+Language-as-Action+Traditions%22">Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions</a>. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).</li>
</ol>

저자는 그 아무 경쟁 금융 관심사가 선언 합니다.

시각적 세계 연구를 실시, 따라 몇 가지 중요 한 단계가 있다. 첫째, 연구원은 시각적 세계에 참가자의 눈 움직임을 통해 청각적 표시 언어의 해석으로 추정할 것입니다. 이제부터, 시각적 자극의 레이아웃 디자인, 자연 작업 참가자의 눈 움직임에 영향을 줄 눈 움직임의 속성을 제어 한다. 참가자의 눈 움직임에 말한 언어의 효과 다음 인식할 수 있습니다. 음성된 언어에서 두 번째, 음향 신호는 과도 되며 아무 음향 서명을 특정 언어 범주에만 해당. 올바르게 시간 잠금 참가자의 눈-일부 언어 표시의 개시와 움직임, 객관적이 고 일관 된 방식으로 일부 언어 구조의 경계를 정의 하 연구원 찾아야한다. 셋째, 참가자의 눈 회전 머리 그들의 시선으로 영상 세계에서 관계의, 올바르게 지도 하 연구원은 하나 또는 여러 개의 교정, 유효성 검사, 및 드리프트 보정 프로세스의 실행을 수행 해야 합니다. 넷째, 시각적 세계 연구에서 얻은 데이터는 낮은 제한, 위 등의 독특한 속성을 autocorrelated 오류 등을 데 고. 이러한 독특한 속성 데이...

음성된 언어는 빠르고, 지속적인 정보 흐름을 바로 사라집니다. 실험적으로 시간 연구, 음성 신호를 빠르게 변경 하는 도전 이다. 이 문제를 극복 하기 위해 시각적인 세계 패러다임에 기록 된 안구의 움직임을 사용할 수 있습니다. 전형적인 눈 추적 연구 시각적인 세계 패러다임을 사용 하 여, 그들은 듣고, 또는 생산, 음성된 언어 영상 세계1의 내용을 묘사한 참가자의 눈 움직임 디스플레이에서 사진 또는 visual 작업 영역에서 실제 개체는 모니터링 ,2,,34. 기본적인 논리 또는 연결 가설,이 패러다임의 뒤에 이해 또는 계획 한 말 (공공연히 또는 은밀 하 게) 이동 합니다 시각적 세계에 특정 개체에 참가자의 시각적 주의 이다. 이 주의 변화 시야 비전으로 참석된 영역을가지고 saccadic 눈 운동 시작 하는 높은 확률을 가질 것 이다. 이 패러다임 연구 개체 또는 시각에 있는 그림에 saccadic 눈 운동에 의해 측정 된 음성 신호에서 일부 음향 랜드마크에 관하여 어떤 시간 시점에서 참가자의 시각적 관심에 변화 발생, 결정 하려는 세계입니다. 음성 신호에 관하여 saccadic 눈 운동 시작은 언제 그리고 어디 다음 온라인 언어 처리를 추론 하는 데 사용 됩니다. 시각적인 세계 패러다임 음성된 언어 이해1,2 과 생산5,6을 사용할 수 있습니다. 이 방법론 문서 이해 연구에 집중할 것 이다. 독 해 공부에 시각적인 세계 패러다임, 영상 디스플레이에 움직임은 그들이 말한 발언 영상 디스플레이 대 한 얘기를 들어 서 모니터링 참가자의 눈을 사용 하 여.
역사에서 다른 눈 추적 시스템 설계 되었습니다. 간단한, 가장 저렴 하 고 가장 휴대용 시스템은 그냥 일반 비디오 카메라, 참가자의 눈의 이미지를 기록 하. 안구의 움직임 다음 비디오 녹화의 프레임에 의해 심사를 통해 수동으로 코딩 됩니다. 그러나, 이러한 한 눈-추적의 샘플링 속도 상대적으로 낮은, 그리고 코딩 절차 시간이 소요 됩니다. 따라서, 현대 상업적인 눈 추적 시스템 일반적으로 그것의 궤도7,,89눈의 방향을 측정 하는 광학 센서를 사용 합니다. 현대 상업적인 눈 추적 시스템의 작동 방식을 이해 하려면 다음 사항은 고려해 야 합니다. 먼저, 올바르게 시야 비전, 적외선 조명 기의 방향을 측정 (파장 주위와 일반적으로 780-880 nm) 따라 또는 distinguishably 밝은 또는 어두운 눈동자의 이미지를 만드는 카메라의 광 축에서 일반적으로 누워 주변의 아이리스 보다. 이미지의 눈동자 및 눈동자 각 막 반사 (일반적으로 첫 번째 Purkinje 이미지)의 다음 궤도에 눈의 방향을 계산 하는 데 사용 됩니다. 둘째, 영상 세계에 시선 위치는 시각적 세계에 관하여 머리 방향에 뿐만 아니라 머리에 관하여 눈 방향에 뿐만 아니라 실제로 파견. 정확 하 게 유추할 눈 방향에서 관계의 시선, 광원 및 카메라 눈 추적의 참가자의 머리 (눈 추적자 머리 탑재)에 대해 고정 또는 시각적 세계에 대해 고정 (테이블 장착 또는 원격 눈-추적)입니다. 셋째, 참가자의 머리 방향 중 영상 세계에 관하여 고정 해야 합니다 또는 참가자의 머리는 자유롭게 이동 하는 경우 보상 계산. 원격 눈 추적자 머리 무료-이동 모드에서 사용 될 때 참가자의 머리 위치는 일반적으로 참가자의이 마에 작은 스티커를 배치 하 여 기록 됩니다. 머리 방향 다음 계산 영상 세계의 시선 위치를 검색 하 눈 방향에서 뺍니다. 넷째, 교정과 검증 프로세스 다음 시각적 세계에서 관계의 시선 앞에 눈의 방향을 지도 하 요구 된다. 교정 과정에서 알려진된 대상 포인트에서 참가자의 고정 샘플 원시 눈 데이터 시선 시각적 세계에서 위치를에 기록 됩니다. 유효성 검사 프로세스에서 참가자 보정 과정으로 동일한 대상 포인트 되 게 됩니다. 보정된 결과에서 계산된 고정 위치와 영상 세계에 집착된 하는 대상의 실제 위치 사이 기존 하는 차이 다음 교정의 정확도 판단 하는 데 사용 됩니다. 추가 매핑 프로세스의 정확성을 재확인, 드리프트 검사 일반적으로 적용 되는 단일 고정 대상 계산된 고정 위치와 실제 위치 사이의 차이 측정 하는 참가자에 게 제공 됩니다, 각 재판에는 현재 대상입니다.
영상 세계 연구의 기본 데이터의 전체 또는 일부의 시험 기간에 이르기까지 눈 추적기의 샘플링 레이트에서 기록 영상 세계에 시선 위치 시내 이다. 영상 세계 연구에 사용 된 종속 변수는 일반적으로 특정 시간대에 걸쳐 참가자 fixations 영상 세계에 특정 공간 영역에 위치는 샘플의 비율. 데이터를 분석 하려면 시간 창은 첫째로 선택할 수 관심의 기간이 라고도 한다. 시간대는 일반적으로 시간 청각 입력에서 일부 언어 이벤트의 프레 젠 테이 션에 잠겨. 또한, 영상 세계의 관심사 (ROIs), 각각의 하나 이상의 개체와 연결 된 여러 영역으로 분할 하 또한 필요 합니다. 같은 지역 한 음성된 언어의 올바른 이해에 해당 하는 개체를 포함 하 고 따라서 대상 영역 이라고 자주. 데이터를 시각화 하는 일반적인 방법은 어디 시간 창에서 각 빈에 관심의 각 지역에 얼굴로 샘플 비율 평균 참가자 및 항목 고정 비율 계획입니다.
영상 세계 연구에서 얻은 데이터를 사용 하 여, 다양 한 연구 질문 응답 될 수 있다: a) 성긴 수준에 다른 청각 언어 입력에 의해 영향을 받는 영상 세계에 참가자의 눈 움직임은? b) 경우 효과, 재판의 과정을 통해 효과의 궤적을 무엇입니까? 그것은 선형 효과 또는 상위 효과? 그리고 c) 효과, 세부적인 수준에서 다음 경우 때 이며 초기 일시적인 포인트 같은 효과 나온다이 효과 얼마나 마지막?
결과 통계적으로 분석 하려면 다음 사항은 고려해 야 합니다. 첫째, 응답 변수, 즉, fixations의 비율은 아래와 위의 제한 (0과 1 사이)는 정규 분포 보다는 다항 분포를 따를 것 이다. 이제부터, 전통적인 통계적 방법 t 시험, ANOVA, 선형 (혼합 효과) 모델10, 등 정규 분포에 따라 수 없습니다 직접 활용 비율와 같은 무제한 변수를 변형 되었습니다 때까지 경험적 로짓 수식11 유클리드 거리12같은 종속 변수를 무제한으로 대체 되었습니다. 이러한 정규 분포의 가정을 일반화 선형 (혼합 효과) 모델13 를 필요로 하지 않는 통계적 기법 또한 사용할 수 있습니다. 둘째, 관찰 된 효과의 변화 궤적을 탐구 하는 시계열을 나타내는 변수 모델에 추가할 수 있다. 이 시계열 변수는 원래 눈 추적자 입력 언어의 발병에 realigned 포인트 샘플링의. 이후 변화 궤적 일반적으로 선형 않다, 시간 시리즈의 높은 순서 다항식 함수 (일반화 된) 선형 (혼합 효과) 모델, 즉, 성장 곡선 분석14에 일반적으로 추가 됩니다. 또한, 현재 샘플링 포인트에서 참가자의 눈 위치는 매우 의존 이전 샘플링 포인트, 녹음 주파수가 높은 경우에 특히 자기 상관의 문제에서 발생 합니다. 인접 한 샘플링 포인트 사이의 상관을 줄이기 위해, 원본 데이터는 종종 다운 샘플링 또는 범주화 된. 최근 몇 년 동안, 일반적인된 첨가제 혼합된 효과 모델 (GAMM) 또한 autocorrelated 오류12,,1516를 해결 하기 위해 사용 되었습니다. 쓰레기통의 폭 몇 밀리초에서 몇 백 밀리초 까지의 다른 연구 마다 다릅니다. 연구를 선택할 수 있습니다 하는 좁은 빈의 눈 추적자 특정 연구에 사용 된 샘플링 속도 의해 제한 됩니다. 예를 들어 눈 추적자는 500 Hz의 샘플링 속도 하는 경우 다음 시간 창의 너비 보다 2 ms = 1000/500 작을 수 없습니다. 셋째, 통계 분석은 반복적으로에 적용 하면 각 시간 빈 관심의 기간, familywise 오류 여러 비교를 태 클 한다 이들에서 유도 한다. 우리가 앞에서 설명한, 궤적 분석 알리고 연구원 성긴 수준에 관찰 하는 효과 시간의 변화에 관하여 선형 인지 관찰된 효과 등장 하기 시작 하는 때 표시 되지 않습니다 하지만 얼마나 오래 관찰 효과 지속. 관찰 된 차이 갈리는, 일시적인 기간 관찰 된 효과 지속 기간을 파악 하 고 시작할 때 임시 위치를 결정, 통계 분석 각 시간 빈에 반복적으로 적용할 수 있다. 이러한 여러 비교 통계 방법을 사용 하 든 소위 familywise 오류를 소개 합니다. Familywise 오류는 Bonferroni 조정17전통적으로 수정 되었습니다. 최근에, 원래 neuroimaging18 에 신청에서 사용 하는 비패라메트릭 순열 테스트 라는 메서드 familywise 오류에 대 한 제어를 시각적 단어 패러다임19 에 적용 되었습니다.
연구원은 시각적인 세계 패러다임을 사용 하 여 시각적 세계에 참가자의 눈 움직임에서 음성된 언어의 이해를 유추 하고자 합니다. 이 공제의 유효성을 보장 하기 위해, 아마도 안구의 움직임에 영향을 주는 다른 요인 배제 하거나 제어 되어야 한다. 다음 두 가지 요소를 고려해 야 할 일반적인 것 들 중입니다. 첫 번째 요인은 포함 한다 참가자 들 설명 fixations 입력에 보다 쉽게 되 고 수평 한 방향에서의 시각적 세계, 그리고 움직이는 눈 quadrat를 왼쪽 상단에 흥분 하는 경향이 같은 언어에 어떤 체계적인 패턴을 수직 방향, 관찰된 고정 패턴 개체에 관련 된, 아니라 개체 위치는 공간 위치에 개체의 공간적 위치 한다 counterbalanced 될 다는 것을 확인 하는 등12,20 다른 실험에서 또는 다른 참가자 간에. 참가자의 눈 움직임에 영향을 미칠 수 있습니다 두 번째 요소는 다른 사람의 사이에서 휘도 대비, 색상 및 가장자리 방향 등 시각적 세계에서 개체의 기본 이미지 기능21. 진단 하려면이 잠재적인 혼란, 시각적 디스플레이 제시 일반적으로 말한 언어의 발병 이전 또는 발병의 임시 기간 동안 약 1000 씨에 대 한 음성된 언어의 중요 한 음향 표시의 발병 전에 테스트 이미지 테스트 오디오, 입력 언어 또는 입력 언어의 동음이의 포인트의 발병에는 아직 듣고 되어 있다. 다른 조건 사이 관찰 하는 어떤 다름 든 지 입력 하는 언어 보다 시각적 디스플레이 등 다른 혼동 요인 라기보다, 추론 한다. 이제부터,이 미리 보기 기간에 관찰 하는 눈 움직임 언어 입력의 효과 결정 하기 위한 기준을 제공 합니다. 이 미리 보기 기간 참가자를 얻을 시각적 디스플레이 익숙하게 하 고 말한 언어 제시 설명 fixations의 체계적인 바이어스를 줄일 수 있습니다.
전형적인 눈 추적 연구 시각적인 세계 패러다임을 사용 하 여 실시 하는 방법을 설명 하기 위해 다음 프로토콜 L. Zhan17 의미상으로 복잡 한 계산, 즉, 의 온라인 처리를 탐험에서 적응 하는 실험을 설명 합니다. 분리형 문 (S1 또는 S2), 접속 어 문 (S1 및 S2), 그리고 만-문 (S1 하지만 하지 S2). 일반 절약, 일부 발언에 의해 표현 된 정보에서는 실제로 그것의 문자 적 의미 보다 더 강한입니다. Xiaoming의 상자 포함 암소 또는 수 탉 처럼 분리형 문은 같은 발언입니다. 논리적으로, 분리형 문이 사실이 두 disjuncts Xiaoming의 상자 포함 암소와 Xiaoming의 상자 포함 수 탉은 모두 거짓. 따라서, 분리형 문을 두 disjuncts는 모두 true Xiaoming의 상자는 암소와 수 탉을 포함 하는 해당 접속 어 문이 사실이 또한 사실 이다. 그러나 일반 대화에서, 분리형 문을 자주 나왔다 해당 접속 어 문이 잘못 듣고 (스칼라 implicature); 두 개의 disjuncts의 진리 값 (무지 유추) 스피커에 의해 알려지지 않은 것을 암시 한다. 문학에서 계정 두 추론 문법 또는 실용적인 프로세스22,23,,2425,26인지에 차이가 있습니다. 실험 3 개의 복잡 한 계산의 온라인 처리를 탐색 하 여 이러한 계정 간에 판결에 시각적인 세계 패러다임을 사용 하는 방법을 보여 줍니다.

<table><tbody><tr><td>Pixelmator</td><td>Pixelmator Team</td><td>http://www.pixelmator.com/pro/</td> <td>이미지 편집 앱</td></tr><tr><td>Praat</td><td>Open Sourse</td><td>http://www.fon.hum.uva.nl/praat/</td> <td>사운드 분석 및 편집 소프트웨어</td></tr><tr><td>Eyelink 1000plus</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/products/eyelink-1000-plus/</td> <td>원격 적외선 아이 트래커&nbsp;</td></tr><tr><td>Experimental Builder</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/experiment-builder/</td> <td>아이 트래커 소프트웨어&nbsp;</td></tr><tr><td>Data Viewer</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/data-viewer/</td> <td>아이트래커 소프트웨어&nbsp;</td></tr><tr><td>R</td><td>Open Sourse</td><td>https://www.r-project.org</td><td>통계 컴퓨팅 및 그래픽을 위한 무료 소프트웨어 환경</td></tr></tbody></table>

음성된 언어의 온라인 처리를 탐험 시각적인 세계 패러다임에 기록 하는 눈 움직임을 사용 하 여

Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language

전형적인 눈 추적 연구 시각적인 세계 패러다임을 사용 하 여, 참가자의 눈 움직임을 개체 또는 visual 작업 영역에서 그림 참가자 생산 또는 동시 시각을 설명 하는 음성된 언어를 이해는 눈 추적기를 통해 기록 됩니다. 세계입니다. 이 패러다임의 인구, 읽을 수 없습니다 또는 누구 공공연히 preliterate 어린이, 노인, 어른과 환자 같은 행동 그들의 응답을 줄 수 없는 포함 하 여 넓은 범위에서 사용할 수 있는 높은 다양성이 있다. 더 중요 한 것은, 패러다임의 음성 신호 잘 배어 든된 조작에 매우 민감한 이며 공부 언어 이해 잘 배어 든된 음향 소리 등 여러 수준에서 항목을 대부분의 온라인 처리를 사용할 수 있습니다. 기능, 단어, 속성 및 언어 구조 이 문서에서 설명 하는 프로토콜 어떻게 일반적인 시각 세계 눈 추적 연구 실시, 어떻게 어떤 의미가 복잡 한 문의 온라인 처리 시각적인 세계 패러다임으로 탐험 수 있습니다 보여 주는 예제와 함께 보여 줍니다.

참가자의 행동 응답 그림 4에 요약 되어 있습니다. 우리가 앞에서 설명한, 접속 어 문 (S1 및 S2)에 대 한 올바른 응답 상자 A 그림1과 같은 큰 열기 상자입니다. 하지만올바른 응답-문 (S1 하지만 하지 S2) 작은 열기 상자 상자 D 그림 1에서 같이 첫 번째 언급 한 동물을 포함 하는. 비판적, 분리형 문을 처리 하는 방법에 따라 어떤 상자가 분리 정책 (S1 또는 S2) 선택: 상자 B 그림 1에서 같은 작은 닫힌된 상자 경우에만 선택은 스칼라 implicature와 무지 추론 분리형 문에 관련 된 둘 다 계산 됩니다. 그림 4 ...

그들은을 듣고는 또는 음성된 언어를 말하기로 시각적인 세계 패러다임 visual 작업 영역에서 참가자의 눈 움직임을 모니터링 합니다. 이 패러다임 조사 psycholinguistic 질문, 분리형 문과 같은 의미가 복잡 한 문을 포함 하 여 광범위의 온라인 처리를 사용할 수 있습니다.

In a typical eye tracking study using the visual world paradigm, participants' eye movements to objects or pictures in the visual workspace are recorded ...

이 방법은 명령 및 조건부와 같은 복잡한 문장을 포함하여 음성 언어의 온라인 처리의 주요 질문에 답하는 데 도움이 될 수 있습니다. 이 기술의 주요 장점은 언어 처리 분야에서 대부분의 주제를 연구하기 위해 광범위한 인구에서 수행 할 수 있다는 것입니다. 절차를 시연하는 것은 대학원생인 쉬징(Xu Jing)이 될 것입니다.카오 이판, 왕멩, 양샤오통, 잔민, 저우쉬한은 제 연구 그룹의 학생들입니다. 시각적 자극을 준비하려면 인터넷에서 동물의 60 저작권 무료 클립 아트 이미지를 다운로드하고 적절한 이미지 편집기에서 이미지를 엽니 다. 도구를 클릭하고 빠른 선택을 사용하여 각 이미지에서 배경을 선택하고 삭제합니다.이미지 및 이미지 크기를 클릭하여 이미지를 120x 120픽셀로 조정하고 하나의 큰 열기 320 x 240 픽셀 상자, 1개의 작은 닫힌 160 x 160 픽셀 상자, 두 개의 작은 열기 160 x 240 픽셀 상자를 그립니다. 새 파일을 열어 첫 번째 테스트 이미지에 대해 1, 024 x 768 픽셀 템플릿을 만들고 상자를 표시된 위치로 드래그합니다. 두 개의 클립 아트 이미지를 큰 열린 상자에 드래그하고 동일한 두 개의 이미지를 각각 두 개의 작은 열린 상자에 넣습니다.그런 다음 각 동물 이미지가 테스트 이미지당 두 번 사용되어 이미지 간에 4개의 상자의 공간 위치를 재조정하여 입증된 것처럼 59개의 테스트 이미지를 더 만듭니다. 음성 언어 자극을 준비하기 위해, 총 240 개의 테스트 문장을 기록 할 참가자의 모국어로 각 테스트 이미지에 해당하는 네 개의 테스트 문장을 설계하고, 네 문장 중 적어도 3 문장과 각 형태의 하나를 그림으로 기록할 수 있습니다. 실험에 사용되는 모든 동물에 대한 오디오뿐만 아니라 네 가지 예제 진술을 기록하기 위해 여성 원어민을 모집합니다.240개의 시험 문장을 4개 그룹으로 나누고, 각 그룹에는 결막 문 15개, 결막 진술 15개, 진술 15개, 필러 문장 15개를 포함합니다. 그런 다음 테스트 자극에 관한 모든 중요한 정보를 탭 구분 텍스트 파일에 저장하고 각 행은 각각 240 시험에 해당합니다. 실험 순서를 작성하려면 실험 빌더를 열고 새 프로젝트를 만듭니다.디스플레이 화면 개체를 작업 공간으로 드래그하고 작업 영역 명령의 이름을 바꿉니다. 다중 선 텍스트 리소스 삽입을 클릭하고 두 번 클릭하여 블록 시퀀스를 열어 블록 시퀀스를 빌드합니다. EI 카메라 설정 노드를

using-eye-movements-recorded-visual-world-paradigm-to-explore-online

Research

연구

JoVE Journal

Behavior

행동

신경 제어 및인지 과정은 눈동자의 움직임을 통해 공부하실 수 있습니다. VisualEyes 소프트웨어는 작업자가 독립적 간단한 커스텀 스크립트 언어를 사용하여 두 개의 컴퓨터 화면에 자극을 프로그래밍 할 수있다. 이 시스템은 탠덤 안구 운동 (안구 단속 운동과 부드러운 추구) 또는 반대 안구 운동 (이향) 또는 이들의 조합을 자극 할 수 있습니다.

VisualEyes : 안구 운동 실험을위한 모듈 형 소프트웨어 시스템

본 기사는 아이트래킹 방법론을 사용하여 텍스트 이해와 관련된 인지 과정을 연구하는 방법을 설명합니다. 아이트래킹 장비, 실험 자극 개발 방법 및 절차 권장 사항에 대한 설명이 포함되어 있습니다. 제시된 정보는 구두 자극을 사용하여 대부분의 모든 연구에 적용될 수 있습니다.

눈 의 움직임을 사용하여 텍스트 이해에 관련된 인지 프로세스를 평가합니다.

실험실 설정을 복제하기 위해 시각적 작업을 위한 온라인 데이터 수집 방법은 자극 프레젠테이션에 대한 엄격한 제어가 필요합니다. 웹 애플리케이션을 사용하여 두 가지 시각적 주의 테스트에서 성능 데이터를 수집하는 방법을 간략하게 설명합니다.

방법은 온라인 비주얼주의를 테스트하려면

현재 문서 언어 이해에 대 한 연구에 대 한 눈-추적 방법론을 검토합니다. 신뢰할 수 있는 데이터를 얻기 위해 프로토콜의 주요 단계를 따라 해야 합니다. 이 중 눈 추적자 (예를 들어, 눈 및 머리 이미지의 좋은 품질 보장) 및 정확한 교정의 올바른 설정이 있습니다.

시각적으로 위치한 언어 이해 동안 눈 추적: 유연성과 잠복 시각적 컨텍스트 효과에 한계

메서드는 읽는 동안 역행 하는 눈 운동에 반환 (IOR)의 억제의 역할을 조사 하도록 설계 되었습니다. 초점은 regressions 이해 어려움 대 그 IOR의 역할을 포함 하 여 재발의 두 가지 유형에서 oculomotor 오류에서 발생 하는 결과로 발생 사이의 차별화에 있습니다.

눈-추적 읽기 중 이해 및 기반 Oculomotor 역행 하는 안구의 움직임을 구별 하

우리는 자폐증을 가진 아이 들에 의해 실시간으로 문장 이해 하는 동안 형태학 단서의 사용을 검사 하는 프로토콜을 제시.

자폐증을 가진 아이 들 중국어 말하기에서 문장 독 해 공부를 시각적인 세계 패러다임을 사용 하 여

우선적으로 보이는 패러다임을 이용한 아이트래킹 연구는 유아의 외부 시각 세계에 대한 새로운 이해와 관심을 연구하는 데 사용할 수 있습니다.

아이 트래킹과 우대 보이는 패러다임을 사용하여 시각적 언어에 대한 유아감도 탐색

여기서는 이중 모달 간섭 작업을 사용하여 중국어 음성 상대 절 문장의 온라인 처리를 검사하는 프로토콜을 제시합니다. 경내 및 외부 간섭을 가진 청각 처리를 포함하는 2개의 예시적인 실험이 기술됩니다. 패러다임은 작업 메모리의 특성과 문장 처리에 미치는 영향을 해결하는 방법론을 제공합니다.

이중 모달 간섭 작업을 사용하여 중국어로 음성 복잡한 문장의 온라인 구문 처리 검토

이 연구는 외로운 청중이 합리적이고 감정적인 호소의 공세 비디오를 볼 때 외로움이 어떻게 완화되는지 연구하기 위해 활성화 경기 모델을 제안합니다. 이 프로토콜은 아이트래킹을 사용하여 지속 시간과 고정을 문서화하여 콘텐츠와 공세로 정서적 요구가 완화될 때 만족도를 고려합니다.

외로움 설득: 눈을 추적 하는 관객을 보고 공세 동영상

시각적 이벤트를 기반으로 하는 간격 비교(지속 시간 인식) 작업 중에 눈의 움직임을 모니터링하기 위해 시선 추적을 사용하는 프로토콜을 제시합니다. 목표는 지속 시간 인식 작업에 대한 안구 운동 반응(시간 간격의 비교 또는 구별)을 자극 자체에 대한 반응과 분리하기 위한 예비 가이드를 제공하는 것입니다.

시각 지속 시간 지각에서의 안구 운동: 사전 결정 과정에서 시간으로부터의 자극 해소

탐색하세요 시각적 세계 패러다임을 활용한 음성 언어 온라인 처리 방법을 배우세요. 눈 움직임 추적으로 복잡한 심리언어학적 구조를 실시간 분석하여 언어 이해 메커니즘을 규명합니다.

음성된 언어의 온라인 처리를 탐험 시각적인 세계 패러다임에 기록 하는 눈 움직임을 사용 하 여

더 많은 동영상 탐색