Name: Konuşulan dil çevrimiçi işlenmesi keşfetmek için görsel dünya paradigmada kaydedilen göz hareketleri kullanarak (Video) | JoVE Journal
Uploaded: 2018-10-13T12:30:00.000+00:00
Duration: 9 min 27 s
Description: Keşfedin görsel dünya paradigması ile konuşulan dilin çevrimiçi işlenmesini. Bu göz izleme yöntemi, anlamsal olarak karmaşık cümlelerin anlaşılmasını ve psikodilbilimsel süreçleri gerçek zamanlı olarak inceler.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Bu araştırma bilim Vakfı Pekin dil ve Kültür Üniversitesi Merkez üniversiteler (onay numarası 15YJ050003) için temel araştırma fonu tarafından desteklenmiştir.

<ol><li>Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Integration+of+visual+and+linguistic+information+in+spoken+language+comprehension%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Integration of visual and linguistic information in spoken language comprehension.</a> Science. 268 (5217), 1632-1634 (1995).</li>
<li>Cooper, R. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/001002857490005X">The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing.</a> Cognitive Psychology. 6 (1), 84-107 (1974).</li>
<li>Salverda, A. P., Tanenhaus, M. K. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aSalverda%2C+AP+%22Research+methods+in+psycholinguistics+and+the+neurobiology+of+language%3A+A+practical+guide%22">Research methods in psycholinguistics and the neurobiology of language: A practical guide</a>. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).</li>
<li>Huettig, F., Rommers, J., Meyer, A. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+the+visual+world+paradigm+to+study+language+processing%3A+A+review+and+critical+evaluation%5BTitle%5D)+AND+%22Acta+Psychologica%22%5BJournal%5D)">Using the visual world paradigm to study language processing: A review and critical evaluation.</a> Acta Psychologica. 137 (2), 151-171 (2011).</li>
<li>Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Viewing+and+naming+objects%3A+Eye+movements+during+noun+phrase+production%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Viewing and naming objects: Eye movements during noun phrase production.</a> Cognition. 66 (2), B25-B33 (1998).</li>
<li>Griffin, Z. M., Bock, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((What+the+eyes+say+about+speaking%5BTitle%5D)+AND+%22Psychological+Science%22%5BJournal%5D)">What the eyes say about speaking.</a> Psychological Science. 11 (4), 274-279 (2000).</li>
<li>Young, L. R., Sheena, D. <a target="_blank" href="https://link.springer.com/article/10.3758/BF03201553">Survey of eye movement recording methods.</a> Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).</li>
<li>Conklin, K., Pellicer-Sánchez, A., Carrol, G. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aConklin%2C+K+%22Eye-tracking%3A+A+guide+for+applied+linguistics+research%22">Eye-tracking: A guide for applied linguistics research</a>. , Cambridge University Press. (2018).</li>
<li>Duchowski, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDuchowski%2C+A+%22Eye+tracking+methodology%3A+Theory+and+practice%22">Eye tracking methodology: Theory and practice</a>. , 2, Springer. (2007).</li>
<li>Baayen, R. H., Davidson, D. J., Bates, D. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001398">Mixed-effects modeling with crossed random effects for subjects and items.</a> Journal of Memory and Language. 59 (4), 390-412 (2008).</li>
<li>Barr, D. J. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001015">Analyzing 'visual world' eyetracking data using multilevel logistic regression.</a> Journal of Memory and Language. 59 (4), 457-474 (2008).</li>
<li>Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16000280">The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception.</a> Journal of Memory and Language. 90, 103-125 (2016).</li>
<li>Bolker, B. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Generalized+linear+mixed+models%3A+A+practical+guide+for+ecology+and+evolution%5BTitle%5D)+AND+%22Trends+in+Ecology+and+Evolution%22%5BJournal%5D)">Generalized linear mixed models: A practical guide for ecology and evolution.</a> Trends in Ecology and Evolution. 24 (3), 127-135 (2009).</li>
<li>Mirman, D., Dixon, J. A., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Statistical+and+computational+models+of+the+visual+world+paradigm%3A+Growth+curves+and+individual+differences%5BTitle%5D)+AND+%22Journal+of+Memory+and+Language%22%5BJournal%5D)">Statistical and computational models of the visual world paradigm: Growth curves and individual differences.</a> Journal of Memory and Language. 59 (4), 475-494 (2008).</li>
<li>Baayen, H., Vasishth, S., Kliegl, R., Bates, D. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16302467">The cave of shadows: Addressing the human factor with generalized additive mixed models.</a> Journal of Memory and Language. 94, 206-234 (2017).</li>
<li>Baayen, R. H., van Rij, J., de Cat, C., Wood, S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aBaayen%2C+RH+%22Mixed-Effects+Regression+Models+in+Linguistics%22">Mixed-Effects Regression Models in Linguistics</a>. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).</li>
<li>Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Scalar+and+ignorance+inferences+are+both+computed+immediately+upon+encountering+the+sentential+connective%3A+The+online+processing+of+sentences+with+disjunction+using+the+visual+world+paradigm%5BTitle%5D)+AND+%22Frontiers+in+Psychology%22%5BJournal%5D)">Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm.</a> Frontiers in Psychology. 9, (2018).</li>
<li>Maris, E., Oostenveld, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Nonparametric+statistical+testing+of+EEG-+and+MEG-data%5BTitle%5D)+AND+%22Journal+of+Neuroscience+Methods%22%5BJournal%5D)">Nonparametric statistical testing of EEG- and MEG-data.</a> Journal of Neuroscience Methods. 164 (1), 177-190 (2007).</li>
<li>Barr, D. J., Jackson, L., Phillips, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+a+voice+to+put+a+name+to+a+face%3A+The+psycholinguistics+of+proper+name+comprehension%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-General%22%5BJournal%5D)">Using a voice to put a name to a face: The psycholinguistics of proper name comprehension.</a> Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).</li>
<li>van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDahan%2C+D+%22Eye+movements%3A+A+window+on+mind+and+brain%22">Eye movements: A window on mind and brain</a>. , Elsevier. Ch. 21 471-486 (2007).</li>
<li>Parkhurst, D., Law, K., Niebur, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+role+of+salience+in+the+allocation+of+overt+visual+attention%5BTitle%5D)+AND+%22Vision+Research%22%5BJournal%5D)">Modeling the role of salience in the allocation of overt visual attention.</a> Vision Research. 42 (1), 107-123 (2002).</li>
<li>Grice, H. P. Vol. 3 Speech Acts. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGrice%2C+HP+%22Syntax+and+semantics%22">Syntax and semantics</a>. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).</li>
<li>Sauerland, U. <a target="_blank" href="http://semantics.uchicago.edu/kennedy/classes/w14/implicature/readings/sauerland04.pdf">Scalar implicatures in complex sentences.</a> Linguistics and Philosophy. 27 (3), 367-391 (2004).</li>
<li>Chierchia, G. <a target="_blank" href="https://www.annualreviews.org/doi/abs/10.1146/annurev-linguistics-011516-033846">Scalar implicatures and their interface with grammar.</a> Annual Review of Linguistics. 3 (1), 245-264 (2017).</li>
<li>Fox, D. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aFox%2C+D+%22Presupposition+and+Implicature+in+Compositional+Semantics%22">Presupposition and Implicature in Compositional Semantics</a>. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).</li>
<li>Meyer, M. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Ignorance+and+grammar%22">Ignorance and grammar</a>. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22SR+Research+Experiment+Builder+User+Manual+%28Version+2.1.140%29%22">SR Research Experiment Builder User Manual (Version 2.1.140)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+Technical+Specifications%22">EyeLink® 1000 Plus Technical Specifications</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink-1000-Plus-Brochure%22">EyeLink-1000-Plus-Brochure</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+User+Manual+%28Version+1.0.12%29%22">EyeLink® 1000 Plus User Manual (Version 1.0.12)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+Data+Viewer+User%E2%80%99s+Manual+%28Version+3.1.97%29%22">EyeLink® Data Viewer User’s Manual (Version 3.1.97)</a>. , Ottawa, Canada. (2017).</li>
<li>McQueen, J. M., Viebahn, M. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tracking+recognition+of+spoken+words+by+tracking+looks+to+printed+words%5BTitle%5D)+AND+%22The+Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Tracking recognition of spoken words by tracking looks to printed words.</a> The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Incremental+interpretation+at+verbs%3A+restricting+the+domain+of+subsequent+reference%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Incremental interpretation at verbs: restricting the domain of subsequent reference.</a> Cognition. 73 (3), 247-264 (1999).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07000101">The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing.</a> Journal of Memory and Language. 57 (4), 502-518 (2007).</li>
<li>Snedeker, J., Trueswell, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+developing+constraints+on+parsing+decisions%3A+The+role+of+lexical-biases+and+referential+scenes+in+child+and+adult+sentence+processing%5BTitle%5D)+AND+%22Cognitive+Psychology%22%5BJournal%5D)">The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing.</a> Cognitive Psychology. 49 (3), 238-299 (2004).</li>
<li>Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X97925584">Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models.</a> Journal of Memory and Language. 38 (4), 419-439 (1998).</li>
<li>Zhan, L., Crain, S., Zhou, P. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/20445911.2015.1016527">The online processing of only if and even if conditional statements: Implications for mental models.</a> Journal of Cognitive Psychology. 27 (3), 367-379 (2015).</li>
<li>Zhan, L., Zhou, P., Crain, S. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/23273798.2018.1448935">Using the visual-world paradigm to explore the meaning of conditionals in natural language.</a> Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).</li>
<li>Brown-Schmidt, S., Tanenhaus, M. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+investigation+of+referential+domains+in+unscripted+conversation%3A+A+targeted+language+game+approach%5BTitle%5D)+AND+%22Cognitive+Science%22%5BJournal%5D)">Real-time investigation of referential domains in unscripted conversation: A targeted language game approach.</a> Cognitive Science. 32 (4), 643-684 (2008).</li>
<li>Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. <a target="_blank" href="http://journals.sagepub.com/doi/abs/10.1111/1467-9280.00044">Rapid gains in speed of verbal processing by infants in the 2nd year.</a> Psychological Science. 9 (3), 228-231 (1998).</li>
<li>Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+kindergarten-path+effect%3A+studying+on-line+sentence+processing+in+young+children%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">The kindergarten-path effect: studying on-line sentence processing in young children.</a> Cognition. 73 (2), 89-134 (1999).</li>
<li>Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+use+of+phonological+information+in+ambiguity+resolution%3A+a+view+from+Mandarin+Chinese%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese.</a> Journal of Child Language. 39 (4), 687-730 (2012).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Grammatical+aspect+and+event+recognition+in+children%27s+online+sentence+comprehension%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Grammatical aspect and event recognition in children's online sentence comprehension.</a> Cognition. 133 (1), 262-276 (2014).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X12000277">Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing.</a> Journal of Memory and Language. 67 (1), 149-164 (2012).</li>
<li>Moscati, V., Zhan, L., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+on-line+processing+of+epistemic+modals%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's on-line processing of epistemic modals.</a> Journal of Child Language. 44 (5), 1025-1040 (2017).</li>
<li>Helfer, K. S., Staub, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Competing+speech+perception+in+older+and+younger+adults%3A+Behavioral+and+eye-movement+evidence%5BTitle%5D)+AND+%22Ear+and+Hearing%22%5BJournal%5D)">Competing speech perception in older and younger adults: Behavioral and eye-movement evidence.</a> Ear and Hearing. 35 (2), 161-170 (2014).</li>
<li>Dickey, M. W., Choy, J. W. J., Thompson, C. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+comprehension+of+wh-movement+in+aphasia%3A+Evidence+from+eyetracking+while+listening%5BTitle%5D)+AND+%22Brain+and+Language%22%5BJournal%5D)">Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening.</a> Brain and Language. 100 (1), 1-22 (2007).</li>
<li>Magnuson, J. S., Nusbaum, H. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Acoustic+differences%2C+listener+expectations%2C+and+the+perceptual+accommodation+of+talker+variability%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Human+Perception+and+Performance%22%5BJournal%5D)">Acoustic differences, listener expectations, and the perceptual accommodation of talker variability.</a> Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).</li>
<li>Reinisch, E., Jesse, A., McQueen, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Early+use+of+phonetic+information+in+spoken+word+recognition%3A+Lexical+stress+drives+eye+movements+immediately%5BTitle%5D)+AND+%22Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately.</a> Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).</li>
<li>Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Actions+and+affordances+in+syntactic+ambiguity+resolution%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Learning+Memory+and+Cognition%22%5BJournal%5D)">Actions and affordances in syntactic ambiguity resolution.</a> Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).</li>
<li>Tanenhaus, M. K., Trueswell, J. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aTanenhaus%2C+MK+%22Approaches+to+Studying+World-Situated+Language+Use%3A+Bridging+the+Language-as-Product+and+Language-as-Action+Traditions%22">Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions</a>. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).</li>
</ol>

Yazar hiçbir rakip mali çıkarlarının olduğunu bildirir.

Bir görsel dünya çalışma yapmak için izlenmesi gereken birkaç kritik adım vardır. İlk olarak, araştırmacılar auditorily sunulan dil yolu ile katılımcıların göz hareketleri görsel dünyanın yorumlanması anlamak niyetinde. Şu andan itibaren görsel uyaranlara düzenini tasarlarken, potansiyel tesir katılımcıların göz hareketleri göz hareketleri doğal bir görev özelliklerini kontrol edilmelidir. Konuşulan dil etkisi katılımcıların göz hareketleri sonra kabul edilebilir. Konuşulan dil ikinci, akustik cues geçici ve akustik imza...

Hemen kaybolur bir hızlı, sürekli bilgi akışı konuşulan dildir. Deneysel olarak bu geçici çalışma, konuşma sinyali hızla değiştirmek için bir mücadeledir. Göz hareketleri görsel dünya paradigmada kaydedilen bu zorluğu aşmak için kullanılabilir. Onlar dinlemek, ya da üretmek, konuşulan dil görsel dünya1 içeriğini gösteren görsel dünya paradigması kullanarak çalışma izleme tipik bir gözüne katılımcıların göz hareketleri resimleri bir görüntüleme veya görsel çalışma alanındaki gerçek nesneler için izlenir ,2,3,4. Temel mantığı veya Bu paradigma arkasında bağlama hipotez kavrama veya bir söyleyiş planlama (açıktan veya gizlice) katılımcıların görsel dikkat görsel dünyanın belirli bir nesneye kayacak var. Bu dikkat değişim katılımlı alanı foveal vizyon getirmek için sakkadik göz hareketleri başlatmak için yüksek bir olasılık var. Bu paradigma ile araştırmacılar konuşma sinyalinde akustik bazı simgesel yapı ile ilgili olarak zamansal hangi noktada katılımcının görsel dikkat bir kayma oluşur, bir nesneye veya bir resimde görsel sakkadik göz hareketleri tarafından ölçülen belirlemek niyetinde Dünya. Ne zaman ve nerede sakkadik göz hareketleri ile ilgili olarak konuşma sinyal piyasaya sürüldü sonra online dil işleme anlamak için kullanılır. Görsel Dünya paradigma konuşulan dil anlama1,2 ve üretim5,6çalışma için kullanılabilir. Metodolojik Bu makalede anlama çalışmaları üzerinde durulacak. Bir anlama çalışmada katılımcıların göz görsel görüntü hakkında konuşuyor söylenen sözler için dinlerken görsel ekran hareketleri izlenir görsel dünya paradigması kullanarak.
Farklı göz izleme sistemleri tarihinin tasarladık. Basit, sadece normal video katılımcının gözleri bir görüntü kayıtları kamera, en ucuz ve en taşınabilir sistemidir. Göz hareketleri video kaydı kare kare incelenmesi el ile kodlanmıştır. Ancak, böyle bir göz-izci örnekleme oranı nispeten düşüktür ve kodlama zaman alıcı bir işlemdir. Böylece, çağdaş bir ticari göz izleme sistemi normalde optik sensörler gözlerinin içine onun yörünge7,8,9yönünü ölçme kullanır. Çağdaş ticari göz izleme sisteminin nasıl işlediğini anlamak için aşağıdaki hususlar dikkate alınmalıdır. İlk doğru foveal vizyon, bir kızılötesi ışığı yönünü ölçmek için (normal dalga boyu ile 780-880 nm) normalde boyunca veya distinguishably daha parlak veya daha koyu hale getirir öğrencinin kameranın optik eksen kapalı yatırılır çevreleyen Iris. Öğrencinin ve/veya öğrenci kornea yansıma (normalde ilk Purkinje görüntü) görüntü daha sonra gözlerinin içine onun yörüngesinde yönünü hesaplamak için kullanılır. İkinci olarak, görsel dünyanın bakışları yeri sadece göz yönelimi ile ilgili baş aynı zamanda baş yönelimi ile ilgili görsel dünya aslında şartlı olduğunu. Doğru bir şekilde konuda göz yönlendirme üzerinden bakışları anlaması için ışık kaynağı ve kameranın göz-izci ve katılımcıların kafa (başa takılan göz-izci) ile ilgili olarak sabit veya görsel dünya ile ilgili olarak sabit (tablo monte edilmiş veya Uzaktan göz-izci). Üçüncü olarak, katılımcıların baş yönlendirme ile ilgili görsel dünya da düzeltilmesi gereken veya katılımcıların kafasını serbest ise hesaplama açısından telafi edilebilir. Uzaktan göz İzleyicisi'ni bir baş-ücretsiz-için-taşı modunda kullanıldığında, katılımcıların pozisyonu genellikle katılımcıların alnında küçük bir etiket koyarak kaydedilir. Baş yönlendirme hesaplama açısından görsel dünyanın bakışları yeri almak için göz yönünü dan çıkarılır. Dördüncü olarak, bir kalibrasyon ve doğrulama işlemi sonra göz yönünü görsel dünya bağlamda bakışları eşleştirmek için gereklidir. Kalibrasyon sürecinde katılımcıların fiksasyon örnekleri bilinen hedef noktalarından harita konum görsel dünyanın gözünü dikmek için ham göz veri kaydedilir. Doğrulama işleminde katılımcılar aynı hedef noktaları kalibrasyon işlemi olarak sunulur. Kalibre edilmiş sonuçları hesaplanan fiksasyon konumdan ve görsel dünyanın saplantısı hedefinin konumu gerçek arasında var olan fark sonra kalibrasyon doğruluğunu yargılamak için kullanılır. Daha fazla eşleme işlemi doğruluğunu onaylamak için bir drift onay normalde nerede bir tek fiksasyon hedef sunulan hesaplanan fiksasyon konumu ve gerçek konumunu arasındaki fark ölçmek katılımcılara her denemedeki uygulanır geçerli hedef.
Bir görsel dünya çalışmanın birincil veri göz izci tamamını veya kısmını deneme süresi içinde değişen, örnekleme hızında kaydedilen görsel dünya yerlerde bakışları akışıdır. Bağımlı değişken bir görsel dünya çalışmada kullanılan genellikle katılımcıların tespitlerin görsel dünya kayma belirli bölgede, belirli bir zaman penceresi arasında bulunmaktadır örnekleri oranıdır. Verileri çözümlemek için bir zaman penceresi ilk olarak seçilecek, genellikle faiz dönemi adlandırılan vardır. Zaman penceresi işitsel girişi dile ait bazı olayları tanıtımı için genellikle zaman-kilitli. Ayrıca, görsel dünya da ilgi (ROIs), her biri bir veya daha fazla nesne ile ilişkili çeşitli bölgelere bölmek için gereklidir. Böyle bir bölge için konuşulan dil, anlama doğru karşılık gelen nesne içerir ve böylece sık sık hedef alan denir. Verileri görselleştirmek için tipik bir şekilde nerede bir zaman penceresi her bin, örnekleri ilgi her bölgesine bir bakışla oranı ortalama katılımcılar ve öğeleri arasında bir fiksasyon oran komplodur.
Bir görsel dünya çalışma alınan verileri kullanarak, farklı araştırma sorularını yanıtladı: bir) katılımcıların göz hareketleri görsel dünyanın farklı işitsel dil girişi tarafından etkilenen kaba Gren .bilgili misin? b) bir etkisi ise, duruşma boyunca etkisi yörünge nedir? Bir doğrusal veya yüksek sıralı efektini mi? ve c) bir etkisi ince gren seviyesi, daha sonra ise ne zaman erken zamansal noktası nerede böyle bir etkisi ortaya çıkar ve bu etkisi ne kadar sürer son?
İstatistiksel sonuçları analiz etmek için aşağıdaki noktaları dikkate alınmalıdır. İlk olarak, yanıt değişken, yani, oranlarını tespitlerin, altında ve üstünde (0 ile 1 arasında), hangi bir normal dağılım yerine Multinom dağılımı takip edecek sınırlıdır. Oranlar gibi sınırsız değişkenlerle dönüşmüşlerdir kadar Şu andan itibaren normal dağılım doğrusal (karışık-etkisi) modelleri10, t-testi ve ANOVA gibi temel geleneksel istatistiksel yöntemler doğrudan kullanılmak olamaz ampirik logit formül11 veya Öklid uzaklığı12gibi sınırsız bağımlı değişkenler ile yerini almış. Normal dağılım bu tür varsayımı Genelleştirilmiş Doğrusal (karışık-etkisi) modelleri13 gerektirmeyen istatistiksel teknikler de kullanılabilir. İkinci olarak, gözlenen etkisi değişen yörüngesini keşfetmek için modele eklenecek zaman serileri ifade eden bir değişken vardır. Bu zaman serileri aslında göz-izci değişkendir giriş dili başlangıcı için realigned puan örnekleme'nın. Değişen yörünge genellikle doğrusal olmadığına göre bir yüksek dereceden polinom işlev serisi zaman normalde (genel) doğrusal (karışık-etkisi) modeli, yani, büyüme eğrisi analizleri14eklenir. Ayrıca, katılımcıların göz pozisyonlar geçerli örnekleme noktasını önceki örnekleme noktalarının üzerinde son derece bağımlı özellikle zaman kayıt sıklığı yüksek, otokorelasyon sorun kaynaklanan. Otokorelasyon bitişik örnekleme noktaları arasında azaltmak için özgün verileri kez aşağı örnek veya dönüştüm. Son yıllarda, genelleştirilmiş katkı karma etkisi modelleri (GAMM) da autocorrelated hataları12,15,16mücadele için kullanılmıştır. Depo gözleri genişliğini birkaç milisaniye için birkaç yüz milisaniye arasında değişen farklı çalışmalar arasında değişir. Bir çalışma seçebilirsiniz en dar bin örnekleme oranı belirli çalışmada kullanılan göz izci tarafından kısıtlanır. Bir göz izci 500 Hz örnekleme hızı varsa, örneğin, o zaman zaman pencerenin genişliğini 2 ms = 1000/500 daha küçük olamaz. Üçüncü olarak, istatistiksel çözümleme art arda faiz geçen süreler her zaman depo gözü uygulandığında, familywise hata birden fazla karşılaştırmalar ele alınması bunlardan indüklenen. Daha önce açıkladığımız gibi yörünge Analizi araştırmacı kaba Gren düzeyde gözlenen etkisi zaman, değiştirme ile ilgili doğrusal olup gözlenen etkisi ortaya çıkmaya başladığı göstermiyor ama nasıl bilgilendirir ve uzun gözlenen etkisi sürer. Gözlenen fark sapmak ve gözlenen etkisi sürer geçici süre süre anlamaya başlatıldığında geçici konumu belirlemek için art arda her zaman depo gözü için uygulanacak bir istatistik analiz vardır. Bu birden fazla karşılaştırmalar sözde familywise hata olursa olsun ne istatistik yöntemi kullanılır, tanıtacak. Familywise hata geleneksel Bonferroni düzeltmesi17ile giderilmiştir. Son zamanlarda, başlangıçta kullanılan18 under nörogörüntüleme parametrik olmayan permütasyon testi adı verilen bir yöntem familywise hata için denetime görsel kelime paradigma19 uygulandı.
Araştırmacılar görsel dünya paradigması kullanarak katılımcıların göz hareketleri görsel dünyanın bazı konuşulan dil anlayışı çıkarmak niyetinde. Bu indirimi geçerliliğini sağlamak için muhtemelen göz hareketleri etkileyen diğer faktörler ekarte veya kontrollü. Aşağıdaki iki dikkat edilmesi gereken ortak olanlar arasında etmenlerdir. İlk faktör katılımcıların açıklayıcı tespitlerin bağımsız üst içinde daha kolay olmak yatay yönde quadrat görsel dünya ve hareketli gözleri soldaki bağlayacaktın eğilimi gibi giriş dilinin sistematik bazı desenler içerir dikey yön, vb12,20 gözlenen fiksasyon desen nesneleri ile ilgili, değil nerede nesneleri bulunmaktadır uzamsal konumları için bir nesne mekansal konumlarını karşı dengeli emin olmak için farklı denemeler veya farklı katılımcılar. Katılımcıların göz hareketleri etkileyen ikinci faktör parlaklık kontrast, renk ve kenar yönlendirme, diğerleri arasında gibi görsel dünyanın içindeki nesneler temel görüntü özelliklerinden olan21. Bu potansiyel karıştırıcı tanılamak için görsel ekran normalde konuşulan dil başlangıcı öncesinde veya konuşulan dil, kritik akustik işaretin başlangıcından zamansal döneminde yaklaşık 1000 Bayan için başlangıcı öncesinde sunulur Sınama görüntüsü test ses, giriş dil ve anlam ayrımı noktası giriş dilinin başlangıcı için henüz duymamıştır. Farklı koşullar arasında gözlenen herhangi bir fark karıştırıcı diğer faktörler gibi görsel ekran başına, giriş dili yerine çıkarılabilir. Şu andan itibaren bu önizleme dönemde gözlenen göz hareketleri dilsel giriş etkisini belirlemek için bir temel sağlar. Bu önizleme dönemi aynı zamanda katılımcılar görsel göstermek ile tanımaya ve konuşulan dil sunulduğunda açıklayıcı tespitlerin sistematik önyargı azaltmak için sağlar.
Tipik bir göz görsel dünya paradigması kullanarak çalışma izleme nasıl yapılır göstermek için aşağıdaki protokolünü açıklar anlam olarak karmaşık ifadeler, Yani, çevrimiçi işlenmesi keşfetmek için L. Zhan17 uyarlanmış bir deney ayırt edici ifadeler (S1 veya S2), Birleşik bildirimleri (S1 ve S2) ve ama-ifadeleri (S1 ama değil-S2). Sıradan koruma bazı sözler tarafından ifade edilen bilgi aslında onun gerçek anlamı daha güçlüdür. Bir inek veya bir horoz Xiaoming'ın kutusu içerir gibi ayırt edici ifadeler böyle sözler vardır. İki disjuncts bir inek Xiaoming'ın kutusu içerir ve bir horoz Xiaoming'ın kutusu içerir her ikisi are değil sürece mantıksal olarak, ayırt edici ifade doğrudur yanlış. Bu nedenle, iki disjuncts ilgili Birleşik deyiminde bir inek ve bir horoz Xiaoming'ın kutusu içerir da gerçek olduğu her ikisi de true olduğunda ayırt edici ifade doğrudur. Genellikle ayırt edici deyim karşılık gelen Birleşik deyimi yanlış olduğunu göstermektedir işitme normal konuşma, ancak, (skaler implicature); ve iki disjuncts gerçek değerini hoparlör (cehalet çıkarımı) tarafından bilinmeyen olduğunu göstermektedir. Literatürde hesapları iki çıkarımlar gramer veya pragmatik işlemleri22,23,24,25,26olup içinde farklı. Deneme görsel dünya paradigma çevrimiçi işleme karmaşık deyimleri keşfetmek tarafından bu hesaplar arasında hakemlik için nasıl kullanılabileceğini gösterir.

<table><tbody><tr><td>Pixelmator</td><td>Pixelmator Team</td><td>http://www.pixelmator.com/pro/</td> <td>görüntü düzenleme uygulaması</td></tr><tr><td>Praat</td><td>Open Sourse</td><td>http://www.fon.hum.uva.nl/praat/</td> <td>Ses analizi ve düzenleme yazılımı</td></tr><tr><td>Eyelink 1000plus</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/products/eyelink-1000-plus/</td> <td>uzaktan kızılötesi göz izleyici&nbsp;</td></tr><tr><td>Experimental Builder</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/experiment-builder/</td> <td>göz takip yazılımı&nbsp;</td></tr><tr><td>Data Viewer</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/data-viewer/</td> <td>göz takip yazılımı&nbsp;</td></tr><tr><td>R</td><td>Open Sourse</td><td>https://www.r-project.org</td><td>istatistiksel hesaplama ve grafikler için ücretsiz yazılım ortamıdır</td></tr></tbody></table>

konuşulan dil çevrimiçi işlenmesi keşfetmek için görsel dünya paradigmada kaydedilen göz hareketleri kullanarak

Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language

Görsel Dünya paradigması kullanarak çalışma izleme tipik bir göz hareketleri nesnelere katılımcıların göz veya katılımcı üretir veya eş zamanlı görsel açıklayan bir konuşulan dil kavrar gibi resimler görsel çalışma alanındaki bir göz izci ile kaydedilir Dünya. Bu paradigma yüksek çok yönlülük, nüfus, okuyamıyorum ve/veya kim açıktan açığa preliterate çocuk, yaşlı yetişkinler ve hastalar gibi davranışsal yanıt veremem de dahil olmak üzere geniş bir alanda kullanılabilir vardır. Daha da önemlisi, konuşma sinyali ince taneli manipülasyonlar için son derece hassas bir örnektir ve en ince taneli akustik fonetik gibi birden çok düzeyde dil anlama konularında çevrimiçi işlenmesi eğitim için kullanılabilir Özellikleri, kelime özelliklerini ve dilsel yapıları. Bu makalede açıklanan protokol nasıl çalışma izleme tipik görsel dünya göz, nasıl bazı anlam olarak karmaşık ifadeleri çevrimiçi işlenmesi görsel dünya paradigma ile keşfedilmeyi olabilir gösteren bir örnek ile yürütülen göstermektedir.

Katılımcıların davranışsal yanıt-e doğru Şekil 4' te özetlenmiştir. Daha önce açıkladığımız gibi doğru (S1 ve S2) Birleşik bir deyim kutusu A Şekil 1' deki gibi büyük Aç kutusuna yanıttır. Bir amadoğru yanıt-(S1 ama değil S2) ifadedir küçük açık kutu kutu D Şekil 1' deki gibi ilk bahsedilen hayvan içeren. Eleştirel, hangi kutuda ayırt edici deyimi (S1 veya S2) seçi...

Dinlerken veya konuşulan bir dil konuşan görsel dünya paradigma katılımcıların göz hareketleri görsel çalışma alanında izler. Bu paradigma psycholinguistic sorular, ayırt edici deyimi gibi anlam olarak karmaşık ifadeler de dahil olmak üzere çok çeşitli çevrimiçi işlenmesi araştırmak için kullanılabilir.

Konuşulan dil çevrimiçi işlenmesi keşfetmek için görsel dünya paradigmada kaydedilen göz hareketleri kullanarak

In a typical eye tracking study using the visual world paradigm, participants' eye movements to objects or pictures in the visual workspace are recorded ...

Bu yöntem, konuşma dilinin çevrimiçi işlenmesinde, kesişmeler ve koşullu luklar gibi anlamsal olarak karmaşık cümleler de dahil olmak üzere anahtar soruların yanıtlanmasına yardımcı olabilir. Bu tekniğin en büyük avantajı, dil işleme alanlarında ki konuların çoğunu incelemek için çok çeşitli popülasyonlarda yapılabilmektir. Prosedürü gösteren Xu Jing, bir lisansüstü öğrenci olacaktır.Cao Yifan, Wang Meng, Yang Xiaotong, Zhan Min ve Zhou Xuehan araştırma grubumun öğrencileri. Görsel uyaranları hazırlamak için, Internet'ten hayvanların 60 telif hakkı ücretsiz küçük resim görüntüleri indirin ve uygun bir görüntü editörü görüntüleri açın. Araçlar'ı tıklatın ve her resimden arka planı seçmek ve silmek için hızlı seçimi kullanın.Görüntüleri 120 x 120 piksele yeniden boyutlandırmak ve büyük bir açık 320 x 240 piksel lik kutu, küçük bir kapalı 160 x 160 piksel lik kutu ve iki küçük, açık 160 x 240 piksel kutu çizmek için Resim ve Görüntü Boyutu'nu tıklatın. İlk test görüntüsü için 1, 024'e 768 piksel şablonoluşturmak için yeni bir dosya açın ve kutuları belirtilen konumlara sürükleyin. İki küçük resim görüntüsünü büyük açık kutuya ve aynı iki görüntünün her birini iki küçük açık kutuya sür

using-eye-movements-recorded-visual-world-paradigm-to-explore-online

Research

JoVE Journal

Behavior

Davranış

Sinir kontrolü ve bilişsel süreçleri göz hareketleri ile ele alınabilir. VisualEyes yazılım bir operatör bağımsız bir basit, özel betik dili kullanarak iki bilgisayar ekranlarında uyaranlara programlamak için izin verir. Sistem tandem göz hareketleri (sakkadlar ve düzgün takip) veya karşılıklı göz hareketleri (verjans) veya herhangi bir kombinasyonu uyarabilir.

VisualEyes: Okülomotor Deney için Modüler Yazılım Sistemi

Bu makalede, metin anlamada yer alan bilişsel süreçleri incelemek için göz izleme metodolojilerinin nasıl kullanılacağı açıklanmaktadır. Göz takip ekipmanlarının tanımları, deneysel uyaranların nasıl geliştirileceği ve prosedür önerileri dahildir. Sunulan bilgiler çoğu çalışmaya sözel uyaranlar kullanılarak uygulanabilir.

Metin Anlamada Yer Alan Bilişsel Süreçleri Değerlendirmek için Göz Hareketlerini Kullanma

Laboratuvar ayarlarını çoğaltmak için, görsel görevler için çevrimiçi veri toplama yöntemleri, uyaran sunumu üzerinde sıkı kontrol gerektirir. İki görsel dikkat testinde performans verilerini toplamak için bir web uygulamasının kullanımına ilişkin yöntemleri özetliyoruz.

Yöntemleri Online Görsel Dikkat Test

Mevcut madde bir göz izleme metodoloji dil anlama çalışmaları için değerlendirmeleri. Güvenilir veri elde etmek için Protokolü'nün önemli adımlar izlenmesi gerekir. Bunlar arasında göz tracker (göz ve baş görüntülerin iyi kalitenin korunmasını sağlamayaÖrneğin,) ve doğru kalibrasyon doğru up.

Göz izleme sırasında görsel olarak yer alan dil anlama: Esneklik ve sınırlamalar ortaya çıkarılması görsel bağlam etkileri

Yöntem gerileyen göz hareketleri (IOR) karşılığında inhibisyonu okuma sırasında rolünü araştırmak için tasarlanmıştır. Bu gerileme iki tür IOR rolü dahil olmak üzere oculomotor hatadan tetiklenen anlama zorluk karşı sonucu olarak tetiklenen eksiklikleri arasında differentiating odaklanmıştır.

Okuma sırasında anlama ve Oculomotor tabanlı gerileyen göz hareketleri ayırt etmek için göz izleme

Biz gerçek zamanlı cümle anlama otistik çocuklar tarafından sırasında morfolojik ipuçları kullanımını incelemek için bir protokol mevcut.

Cümle anlama Mandarin konuşan çocuklarda otizm eğitim için görsel dünya paradigması kullanarak

Tercihli görünümlü bir paradigma kullanarak göz izleme çalışmaları, bebeklerin ortaya çıkan anlayışını ve dış görsel dünyasına dikkat etmek için kullanılabilir.

Göz Izleme ve Tercihli görünümlü paradigma kullanarak görsel dile bebek hassasiyetini keşfetme

Burada, konuşulan Çin bağıl yan tümcelerinin çevrimiçi işlenmesini incelemek için çift modal girişim görevlerini kullanan bir protokol salıyoruz. İşitsel işleme ile intra- ve ekstrasentential parazitleri içeren iki örnek deney tanımlanmıştır. Paradigma, çalışma belleği doğası ve cümle işleme üzerindeki etkilerini ele almak için bir metodoloji sağlar.

Çift Modal Girişim Görevleri Kullanarak Çince Konuşulan Karmaşık Cümlelerin Online Sintaktik İşlemelerinin İncelenmesi

Çalışma, yalnız bir izleyici rasyonel ve duygusal temyiz baraj videoları izlerken yalnızlık hafifletilir nasıl çalışmak için bir aktivasyon-maç modeli öneriyor. Protokol, süre ve fiksasyonu belgelemek için göz takibini kullanır, duygusal ihtiyaçlar içerik ve yaylım ateşiyle yatıştırıldığında memnuniyet derecesini hesaba katarak.

Yalnızlık Assuaged: Göz-İzle bir İzleyici Baraj Videoları izlerken

Görsel olaylara dayalı bir aralık karşılaştırma (süre algısı) görevi sırasında göz hareketlerini izlemek için göz izlemeyi kullanan bir protokol sunuyoruz. Amaç, süre algısı görevlerine (zaman aralıklarının karşılaştırılması veya ayırt edilmesi) okülomotor tepkileri uyaranın kendisine verilen yanıtlardan ayırmak için bir ön kılavuz sağlamaktır.

Görsel Süre Algısında Göz Hareketleri: Karar Öncesi Süreçlerde Uyaranın Zamandan Ayrılması

Keşfedin görsel dünya paradigması ile konuşulan dilin çevrimiçi işlenmesini. Bu göz izleme yöntemi, anlamsal olarak karmaşık cümlelerin anlaşılmasını ve psikodilbilimsel süreçleri gerçek zamanlı olarak inceler.

Konuşulan dil çevrimiçi işlenmesi keşfetmek için görsel dünya paradigmada kaydedilen göz hareketleri kullanarak

Daha fazla video keşfet