Name: באמצעות תנועות עיניים טלקוה הפרדיגמה העולם הויזואלי לחקור את עיבוד מקוון של השפה המדוברת (וידאו) | JoVE Journal
Uploaded: 2018-10-13T12:30:00.000+00:00
Duration: 9 min 27 s
Description: חקור עיבוד מקוון של שפה מדוברת באמצעות מעקב אחר תנועות עיניים בפרדיגמת העולם הויזואלי. שיטה זו מאפשרת לחוקרים לבחון משפטים סמנטיים מורכבים כמו פסוקי הפרדה ותנאי בזמן אמת.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

מחקר זה נתמך על ידי קרן המדע של בייג'ין לשפה ואוניברסיטת התרבותית תחת המימון למחקר יסוד האוניברסיטאות סנטרל (אישור מספר 15YJ050003).

<ol><li>Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Integration+of+visual+and+linguistic+information+in+spoken+language+comprehension%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Integration of visual and linguistic information in spoken language comprehension.</a> Science. 268 (5217), 1632-1634 (1995).</li>
<li>Cooper, R. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/001002857490005X">The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing.</a> Cognitive Psychology. 6 (1), 84-107 (1974).</li>
<li>Salverda, A. P., Tanenhaus, M. K. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aSalverda%2C+AP+%22Research+methods+in+psycholinguistics+and+the+neurobiology+of+language%3A+A+practical+guide%22">Research methods in psycholinguistics and the neurobiology of language: A practical guide</a>. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).</li>
<li>Huettig, F., Rommers, J., Meyer, A. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+the+visual+world+paradigm+to+study+language+processing%3A+A+review+and+critical+evaluation%5BTitle%5D)+AND+%22Acta+Psychologica%22%5BJournal%5D)">Using the visual world paradigm to study language processing: A review and critical evaluation.</a> Acta Psychologica. 137 (2), 151-171 (2011).</li>
<li>Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Viewing+and+naming+objects%3A+Eye+movements+during+noun+phrase+production%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Viewing and naming objects: Eye movements during noun phrase production.</a> Cognition. 66 (2), B25-B33 (1998).</li>
<li>Griffin, Z. M., Bock, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((What+the+eyes+say+about+speaking%5BTitle%5D)+AND+%22Psychological+Science%22%5BJournal%5D)">What the eyes say about speaking.</a> Psychological Science. 11 (4), 274-279 (2000).</li>
<li>Young, L. R., Sheena, D. <a target="_blank" href="https://link.springer.com/article/10.3758/BF03201553">Survey of eye movement recording methods.</a> Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).</li>
<li>Conklin, K., Pellicer-Sánchez, A., Carrol, G. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aConklin%2C+K+%22Eye-tracking%3A+A+guide+for+applied+linguistics+research%22">Eye-tracking: A guide for applied linguistics research</a>. , Cambridge University Press. (2018).</li>
<li>Duchowski, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDuchowski%2C+A+%22Eye+tracking+methodology%3A+Theory+and+practice%22">Eye tracking methodology: Theory and practice</a>. , 2, Springer. (2007).</li>
<li>Baayen, R. H., Davidson, D. J., Bates, D. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001398">Mixed-effects modeling with crossed random effects for subjects and items.</a> Journal of Memory and Language. 59 (4), 390-412 (2008).</li>
<li>Barr, D. J. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001015">Analyzing 'visual world' eyetracking data using multilevel logistic regression.</a> Journal of Memory and Language. 59 (4), 457-474 (2008).</li>
<li>Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16000280">The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception.</a> Journal of Memory and Language. 90, 103-125 (2016).</li>
<li>Bolker, B. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Generalized+linear+mixed+models%3A+A+practical+guide+for+ecology+and+evolution%5BTitle%5D)+AND+%22Trends+in+Ecology+and+Evolution%22%5BJournal%5D)">Generalized linear mixed models: A practical guide for ecology and evolution.</a> Trends in Ecology and Evolution. 24 (3), 127-135 (2009).</li>
<li>Mirman, D., Dixon, J. A., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Statistical+and+computational+models+of+the+visual+world+paradigm%3A+Growth+curves+and+individual+differences%5BTitle%5D)+AND+%22Journal+of+Memory+and+Language%22%5BJournal%5D)">Statistical and computational models of the visual world paradigm: Growth curves and individual differences.</a> Journal of Memory and Language. 59 (4), 475-494 (2008).</li>
<li>Baayen, H., Vasishth, S., Kliegl, R., Bates, D. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16302467">The cave of shadows: Addressing the human factor with generalized additive mixed models.</a> Journal of Memory and Language. 94, 206-234 (2017).</li>
<li>Baayen, R. H., van Rij, J., de Cat, C., Wood, S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aBaayen%2C+RH+%22Mixed-Effects+Regression+Models+in+Linguistics%22">Mixed-Effects Regression Models in Linguistics</a>. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).</li>
<li>Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Scalar+and+ignorance+inferences+are+both+computed+immediately+upon+encountering+the+sentential+connective%3A+The+online+processing+of+sentences+with+disjunction+using+the+visual+world+paradigm%5BTitle%5D)+AND+%22Frontiers+in+Psychology%22%5BJournal%5D)">Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm.</a> Frontiers in Psychology. 9, (2018).</li>
<li>Maris, E., Oostenveld, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Nonparametric+statistical+testing+of+EEG-+and+MEG-data%5BTitle%5D)+AND+%22Journal+of+Neuroscience+Methods%22%5BJournal%5D)">Nonparametric statistical testing of EEG- and MEG-data.</a> Journal of Neuroscience Methods. 164 (1), 177-190 (2007).</li>
<li>Barr, D. J., Jackson, L., Phillips, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+a+voice+to+put+a+name+to+a+face%3A+The+psycholinguistics+of+proper+name+comprehension%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-General%22%5BJournal%5D)">Using a voice to put a name to a face: The psycholinguistics of proper name comprehension.</a> Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).</li>
<li>van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDahan%2C+D+%22Eye+movements%3A+A+window+on+mind+and+brain%22">Eye movements: A window on mind and brain</a>. , Elsevier. Ch. 21 471-486 (2007).</li>
<li>Parkhurst, D., Law, K., Niebur, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+role+of+salience+in+the+allocation+of+overt+visual+attention%5BTitle%5D)+AND+%22Vision+Research%22%5BJournal%5D)">Modeling the role of salience in the allocation of overt visual attention.</a> Vision Research. 42 (1), 107-123 (2002).</li>
<li>Grice, H. P. Vol. 3 Speech Acts. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGrice%2C+HP+%22Syntax+and+semantics%22">Syntax and semantics</a>. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).</li>
<li>Sauerland, U. <a target="_blank" href="http://semantics.uchicago.edu/kennedy/classes/w14/implicature/readings/sauerland04.pdf">Scalar implicatures in complex sentences.</a> Linguistics and Philosophy. 27 (3), 367-391 (2004).</li>
<li>Chierchia, G. <a target="_blank" href="https://www.annualreviews.org/doi/abs/10.1146/annurev-linguistics-011516-033846">Scalar implicatures and their interface with grammar.</a> Annual Review of Linguistics. 3 (1), 245-264 (2017).</li>
<li>Fox, D. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aFox%2C+D+%22Presupposition+and+Implicature+in+Compositional+Semantics%22">Presupposition and Implicature in Compositional Semantics</a>. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).</li>
<li>Meyer, M. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Ignorance+and+grammar%22">Ignorance and grammar</a>. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22SR+Research+Experiment+Builder+User+Manual+%28Version+2.1.140%29%22">SR Research Experiment Builder User Manual (Version 2.1.140)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+Technical+Specifications%22">EyeLink® 1000 Plus Technical Specifications</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink-1000-Plus-Brochure%22">EyeLink-1000-Plus-Brochure</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+User+Manual+%28Version+1.0.12%29%22">EyeLink® 1000 Plus User Manual (Version 1.0.12)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+Data+Viewer+User%E2%80%99s+Manual+%28Version+3.1.97%29%22">EyeLink® Data Viewer User’s Manual (Version 3.1.97)</a>. , Ottawa, Canada. (2017).</li>
<li>McQueen, J. M., Viebahn, M. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tracking+recognition+of+spoken+words+by+tracking+looks+to+printed+words%5BTitle%5D)+AND+%22The+Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Tracking recognition of spoken words by tracking looks to printed words.</a> The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Incremental+interpretation+at+verbs%3A+restricting+the+domain+of+subsequent+reference%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Incremental interpretation at verbs: restricting the domain of subsequent reference.</a> Cognition. 73 (3), 247-264 (1999).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07000101">The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing.</a> Journal of Memory and Language. 57 (4), 502-518 (2007).</li>
<li>Snedeker, J., Trueswell, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+developing+constraints+on+parsing+decisions%3A+The+role+of+lexical-biases+and+referential+scenes+in+child+and+adult+sentence+processing%5BTitle%5D)+AND+%22Cognitive+Psychology%22%5BJournal%5D)">The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing.</a> Cognitive Psychology. 49 (3), 238-299 (2004).</li>
<li>Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X97925584">Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models.</a> Journal of Memory and Language. 38 (4), 419-439 (1998).</li>
<li>Zhan, L., Crain, S., Zhou, P. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/20445911.2015.1016527">The online processing of only if and even if conditional statements: Implications for mental models.</a> Journal of Cognitive Psychology. 27 (3), 367-379 (2015).</li>
<li>Zhan, L., Zhou, P., Crain, S. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/23273798.2018.1448935">Using the visual-world paradigm to explore the meaning of conditionals in natural language.</a> Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).</li>
<li>Brown-Schmidt, S., Tanenhaus, M. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+investigation+of+referential+domains+in+unscripted+conversation%3A+A+targeted+language+game+approach%5BTitle%5D)+AND+%22Cognitive+Science%22%5BJournal%5D)">Real-time investigation of referential domains in unscripted conversation: A targeted language game approach.</a> Cognitive Science. 32 (4), 643-684 (2008).</li>
<li>Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. <a target="_blank" href="http://journals.sagepub.com/doi/abs/10.1111/1467-9280.00044">Rapid gains in speed of verbal processing by infants in the 2nd year.</a> Psychological Science. 9 (3), 228-231 (1998).</li>
<li>Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+kindergarten-path+effect%3A+studying+on-line+sentence+processing+in+young+children%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">The kindergarten-path effect: studying on-line sentence processing in young children.</a> Cognition. 73 (2), 89-134 (1999).</li>
<li>Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+use+of+phonological+information+in+ambiguity+resolution%3A+a+view+from+Mandarin+Chinese%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese.</a> Journal of Child Language. 39 (4), 687-730 (2012).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Grammatical+aspect+and+event+recognition+in+children%27s+online+sentence+comprehension%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Grammatical aspect and event recognition in children's online sentence comprehension.</a> Cognition. 133 (1), 262-276 (2014).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X12000277">Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing.</a> Journal of Memory and Language. 67 (1), 149-164 (2012).</li>
<li>Moscati, V., Zhan, L., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+on-line+processing+of+epistemic+modals%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's on-line processing of epistemic modals.</a> Journal of Child Language. 44 (5), 1025-1040 (2017).</li>
<li>Helfer, K. S., Staub, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Competing+speech+perception+in+older+and+younger+adults%3A+Behavioral+and+eye-movement+evidence%5BTitle%5D)+AND+%22Ear+and+Hearing%22%5BJournal%5D)">Competing speech perception in older and younger adults: Behavioral and eye-movement evidence.</a> Ear and Hearing. 35 (2), 161-170 (2014).</li>
<li>Dickey, M. W., Choy, J. W. J., Thompson, C. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+comprehension+of+wh-movement+in+aphasia%3A+Evidence+from+eyetracking+while+listening%5BTitle%5D)+AND+%22Brain+and+Language%22%5BJournal%5D)">Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening.</a> Brain and Language. 100 (1), 1-22 (2007).</li>
<li>Magnuson, J. S., Nusbaum, H. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Acoustic+differences%2C+listener+expectations%2C+and+the+perceptual+accommodation+of+talker+variability%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Human+Perception+and+Performance%22%5BJournal%5D)">Acoustic differences, listener expectations, and the perceptual accommodation of talker variability.</a> Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).</li>
<li>Reinisch, E., Jesse, A., McQueen, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Early+use+of+phonetic+information+in+spoken+word+recognition%3A+Lexical+stress+drives+eye+movements+immediately%5BTitle%5D)+AND+%22Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately.</a> Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).</li>
<li>Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Actions+and+affordances+in+syntactic+ambiguity+resolution%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Learning+Memory+and+Cognition%22%5BJournal%5D)">Actions and affordances in syntactic ambiguity resolution.</a> Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).</li>
<li>Tanenhaus, M. K., Trueswell, J. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aTanenhaus%2C+MK+%22Approaches+to+Studying+World-Situated+Language+Use%3A+Bridging+the+Language-as-Product+and+Language-as-Action+Traditions%22">Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions</a>. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).</li>
</ol>

המחבר מצהיר שאין לו שום אינטרסים כלכליים מתחרים.

לערוך מחקר העולם הויזואלי, ישנם מספר שלבים קריטיים לעקוב. ראשית, חוקרים מתכוונים להסיק את הפרשנות של השפה auditorily שהוצגו באמצעות תנועות עיניים של המשתתפים בכל העולם החזותי. מעתה ואילך, לעצב את הפריסה של גירויים חזותיים, המאפיינים של תנועות עיניים במשימה טבעיים שעלולים להשפיע על תנועות עיניים של המשתתפים צריכה להיות נשלטת. לאחר מכן ניתן לזהות את ההשפעה של השפה המדוברת על תנועות עיניים של המשתתפים. שנית, אקוסטית רמזים בשפה המדוברת ארעי ויש אין חתימות אקוסטיים המתאים אך ורק קטגוריה לשונית מסוימת. כדי תנועות כראוי נעילת-ה...

השפה המדוברת היא זרימה מידע מהיר, מתמשך, הנעלמת מיד. זה אתגר השפעול ללמוד זה זמני, לשנות במהירות את אות דיבור. תנועות עיניים טלקוה הפרדיגמה העולם הויזואלי יכול לשמש כדי להתגבר על האתגר הזה. בעין טיפוסי מעקב במחקר באמצעות הפרדיגמה העולם הויזואלי, תנועות עיניים של המשתתפים תמונות תצוגה או אובייקטים אמיתיים בסביבת עבודה חזותיים מנוטרים להקשיב, או להפיק, השפה המדוברת המתארים את התוכן של העולם החזותי1 ,2,3,4. הלוגיקה הבסיסית, או ההנחה המקשרים, מאחורי תפיסה זו הוא כי בדיוק או תכנון של האמירה (בגלוי או בחשאי) יעבור תשומת לב המשתתפים לאובייקט מסוים בעולם החזותי. שינוי זה תשומת הלב תהיה הסתברות גבוהה ליזום תנועה העין saccadic להכניס את האזור השתתפו חזון foveal. עם הפרדיגמה הזו, מתכוונים החוקרים לקבוע באיזה שלב זמני, לגבי איזה ציון אקוסטית אות הדיבור, מתרחש מפנה תשומת לב ויזואלית של המשתתף, כפי שנמדד ע י תנועה saccadic העין לאובייקט או תמונה חזותית העולם. מתי ואיפה תנועות עיניים saccadic הם השיקה ביחס אות הדיבור משמשות לאחר מכן להסיק את עיבוד שפה באינטרנט. הפרדיגמה העולם הויזואלי ניתן ללמוד שפה מדוברת הבנה1,2 והן הפקה5,6. המאמר מתודולוגי יתמקדו הלימודים בהבנת הנקרא. מחקר הבנת הנקרא באמצעות הפרדיגמה העולם הויזואלי, העין של המשתתפים תנועות התצוגה החזותית מנוטרים כפי הם מקשיבים מבעים המדוברת מדבר על התצוגה החזותית.
מערכות מעקב עיניים שונות עוצבו בהיסטוריה. הפשוטה ביותר, לפחות יקר, הכי נייד מערכת היא פשוט רגילה מצלמת וידאו, אשר רשומות תמונה של העיניים של המשתתף. תנועות עיניים ואז מוצפנים באופן ידני באמצעות מסגרת בחינת הקלטת וידאו. עם זאת, קצב הדגימה של כזה עין-גשש היא נמוכה יחסית, ההליך קידוד זה זמן רב. לפיכך, יש עין מסחרית עכשווי מערכת מעקב בדרך כלל משתמשת חיישנים אופטיים מדידת הכיוון של העין שלו במסלול7,8,9. כדי להבין איך עובדת מערכת עקיבה מסחרי עכשווי, יש לשקול את הנקודות הבאות. ראשית, למדוד בצורה נכונה את הכיוון של חזון foveal, מאייר אינפרא-אדום (בדרך כלל עם הגל סביב 780-880 ננומטר) מונח בדרך כלל לאורך או לבטל את הציר האופטי של המצלמה, שהופך את התמונה של התלמיד distinguishably בהיר יותר או כהה יותר מאשר הקשתית שמסביב. התמונה של התלמיד ו/או של תלמיד הקרנית ההשתקפות (בדרך כלל התמונה הראשונה של Purkinje) משמש לאחר מכן כדי לחשב את הכיוון של העין במסלולו. שנית, המיקום ההתבוננות בעולם החזותי נמדדת למעשה לא רק על הכיוון עין לגבי הראש, אלא גם כיוון הראש ביחס העולם החזותי. להסיק במדויק מבטו של כבוד מן הכיוון העין, מקור האור של המצלמה של העין-עוקבים או קבועים ביחס לראש של המשתתפים (רכוב ראש העין-הגששים) או קבועים ביחס העולם החזותי (רכוב טבלה או מרחוק עין-הגששים). שלישית, כיוון הראש המשתתפים יש לתקן גם ביחס העולם החזותי או שהמפתחות לתשלום אם הראש של המשתתפים הוא לנוע בחופשיות. כאשר העין-גשש מרחוק משמשת במצב ראש-חינם-כדי-סע, העמדה בראש המשתתפים מתועד בדרך כלל על-ידי הצבת מדבקה קטנה על המצח של המשתתפים. כיוון הראש ואז יופחת שהמפתחות מן הכיוון העין לאחזר את המיקום ההתבוננות בעולם החזותי. רביעית, כיול, תהליך אימות נדרשים ואז כדי למפות את הכיוון של העין מבטו של כבוד בעולם החזותי. תהליך הכיול, קיבוע דגימות של המשתתפים נקודות יעד ידוע נרשמים כדי למפות את הנתונים העין raw להתבונן בעולם החזותי. בתהליך האימות, המשתתפים מוצגים עם אותן נקודות יעד כמו תהליך כיול. ההבדל הקיים בין תנוחת קיבוע מחושב מתוצאות מכוילת של מיקומו המעשי של המטרה מקובעים בעולם החזותי משמשות לאחר מכן לשפוט את הדיוק של הכיול. בהמשך מומלץ מאוד לאשר את הדיוק של תהליך המיפוי, המחאה להיסחף בדרך כלל חלה בכל ניסוי, שבו מטרה קיבוע יחיד הוא הציג למשתתפים כדי למדוד את ההבדל בין תנוחת קיבוע מחושב של מיקומו המעשי של . המטרה הנוכחית.
הנתונים העיקריים של מחקר העולם הויזואלי הוא זרם של המבט מיקומים בעולם החזותי הקליט בקצב דגימה של העין-המעקב, החל על כל או על חלק המשך המשפט. המשתנה התלוי השתמשו במחקר העולם הויזואלי הוא בדרך כלל הפרופורציה של דגימות הקיבועים של המשתתפים ממוקמים על אזור מסויים מרחבי העולם חזותית על פני חלון זמן מסוים. כדי לנתח את הנתונים, חלון זמן יש ראשית להיבחר, המכונה לעתים קרובות תקופות ריבית. חלון הזמן הוא בדרך כלל זמן נעול על המצגת של כמה אירועים הלשוני קלט שמיעתי. יתר על כן, העולם החזותי נחוץ גם כדי לפצל במספר אזורים מעניינים (ROIs), שכל אחד מהם מזוהה עם אובייקט אחד או יותר. אזור אחד כזה מכילה את האובייקט המתאים ההבנה הנכונה של השפה המדוברת, כך לעיתים קרובות נקרא אזור היעד. שיטה נפוצה כדי להמחיש את הנתונים היא מזימה פרופורציה-של-קיבוע, איפה לכל סל בחלון הזמן, חלקם של דגימות עם מראה על כל אזור בעל עניין הם בממוצע על פני המשתתפים ופריטים.
באמצעות הנתונים שהושגו ממחקר העולם הויזואלי, שאלות המחקר שונים יכולה לקבל מענה:) ברובד גס-דגן, הן תנועות עיניים של המשתתפים בעולם החזותי מושפע הקלט שמיעתי לשוני? b) אם יש אפקט, מהו המסלול של האפקט במהלך המשפט? זה אפקט ליניארי או אפקט גבוהים? ו- c) אם יש השפעה, ואז על רמת הקנס-דגן, כאשר היא נקודת טמפורלית המוקדם שבו מתגלה אפקט כזה ועושה כמה זמן את האפקט הזה האחרון?
מבחינה סטטיסטית לניתוח התוצאות, יש לשקול את הנקודות הבאות. ראשית, התגובה המשתנה, כלומר, הפרופורציות של הקיבועים, גם מתחת וגם מעל תחומה (בין 0 ל-1), אשר יעברו על התפלגות המולטינום ולא בהתפלגות רגילה. מעתה ואילך, שיטות סטטיסטיות מסורתי המבוסס על התפלגות נורמלית כגון מבחן t, ANOVA מודלים ליניאריים (מעורב-אפקט)10, לא יכול להיות ישירות מנוצל עד הפכו את הפרופורציות למשתני מאוגדות כגון עם נוסחה אמפירית logit11 או הוחלפו מאוגדות התלוי משתנים כגון מרחק אוקלידי12. ניתן להשתמש גם טכניקות סטטיסטיות שאינם מצריכים שההנחה של התפלגות נורמלית כזה מוכללת מודלים ליניאריים (מעורב-אפקט)13 . שנית, על מנת לחקור את המסלול משתנה של האפקט הנצפה, משתנה המציין את הזמן-הסדרה יש להוסיף לתוך המודל. משתנה זה הזמן-סדרת הוא במקור העין-המעקב של דגימה נקודות יושרו תחילתה של שפת קלט. כיוון המסלול משתנה בדרך כלל אינו ליניארי, פונקציה פולינום מסדר גבוה של סדרת ה הזמן-בדרך כלל נוסף לתוך (כללית) (מעורב-אפקט) המודל הוא ליניארי, כלומר, ניתוחים עקומת גדילה14. יתר על כן, העין בתפקידים של המשתתפים נקודת הדגימה הנוכחית תלויה מאוד נקודות הדגימה הקודמת, במיוחד כאשר תדירות ההקלטה הוא גבוה, והתוצאה היא הבעיה של autocorrelation. כדי להפחית את autocorrelation בין נקודות דגימה סמוכים, הנתונים המקוריים הם לעתים קרובות שנדגמו למטה או נשברתי. בשנים האחרונות, הדגמים מוכללת מוספים אפקט מעורב (GAMM) גם שימשו כדי להתמודד עם ה autocorrelated שגיאות12,15,16. הרוחב של סלים משתנה בין מחקרים שונים, ועד כמה מאות מילי שניות מספר אלפיות השניה. סל הצר שמחקר ניתן לבחור הוא מוגבל על ידי קצב הדגימה של רכיב המעקב העין השתמשו במחקר מסוים. לדוגמה, אם גשש העין יש קצב הדגימה של 500 הרץ, ואז מרוחב חלון הזמן לא יכולה להיות קטנה מ- 2 ms = 1000/500. שלישית, כאשר ניתוח סטטיסטי מוחל שוב ושוב כל הזמן סל של התקופות עניין, השגיאה familywise המושרה אלה שצריכה להיות מטופלת השוואות מרובות. כפי שהסברנו קודם לכן, מסלול הירי מודיע החוקר אם ההשפעה נצפתה רמה גס-תבואה הוא ליניארי לגבי שינוי של הזמן, אך אינם מציגים כאשר האפקט הנצפה מתחיל להסתמן וכיצד זמן שנצפו האפקט נמשך. כדי לקבוע את מיקום זמני כאשר ההבדל שנצפה מתחיל לסטות, וכדי להבין את משך התקופה זמני שנמשך האפקט הנצפה, ניתוחים סטטיסטיים כולל שיוחל שוב ושוב לכל סל זמן. השוואות מרובות אלה תציג את השגיאה familywise כביכול, לא משנה באיזו שיטה סטטיסטית משמש. השגיאה familywise היא תתוקן באופן מסורתי עם התאמה Bonferroni17. לאחרונה, שיטה הנקראת מבחן תמורה nonparametric שימשו במקור דימות מוחי הגיש18 הוחלה על הפרדיגמה המילה חזותי19 כדי לשלוט על השגיאה familywise.
חוקרים באמצעות הפרדיגמה העולם הויזואלי מתכוונים להסיק ההבנה של השפה המדוברת חלק מן המשתתפים תנועות עיניים בעולם החזותי. כדי להבטיח את תוקפו של התהליך הזה, גורמים אחרים המשפיעים על תנועות עיניים ואולי עליך להיות שללה או נשלט. שני הגורמים הבאים הם בין אלה נפוצים צריכים לקחת בחשבון. הגורם הראשון כרוך כמה דפוסים שיטתית הסבר הקיבועים של המשתתפים עצמאית של שפת קלט, כגון נטייה להתקבע על החלק העליון השאיר תתהלכו של העולם הויזואלי, והעיניים נע בכיוון אופקי לכך קל יותר מאשר ב- הכיוון האנכי,12,ועוד20 כדי לוודא כי הדפוסים שנצפו קיבוע קשורים לאובייקטים, שלא למיקומים מרחבית היכן ממוקמים העצמים, העמדות המרחבי של אובייקט צריך להיות אוזנו פני ניסויים שונים או על פני משתתפים שונים. הגורם השני העלולות להשפיע על תנועות עיניים של המשתתפים הוא תכונות התמונה הבסיסית של האובייקטים בעולם חזותיים, כגון כיוון ניגודיות, צבע, קצוות בוהק, בין היתר21. כדי לאבחן את פוטנציאל זה מבלבלים, התצוגה החזותית בדרך כלל מוצג לפני תחילתה של שפה מדוברת או לפני תחילתה של הסמן אקוסטית קריטי של השפה המדוברת, של גברת כ-1000 במהלך תקופת טמפורלית מראשית תמונת בדיקה תחילתה של מבחן השמע, את שפת הקלט או הנקודה פירושונים של שפת קלט היה עדיין לא שמע. כל הבדל שנצפה בין מצבים שונים צריך להסיק לגורמים מבלבלים אחרים כגון התצוגה החזותית כשלעצמה, ולא שפת קלט. מעתה ואילך, תנועות עיניים נצפתה בתקופה זו תצוגה מקדימה מספקים בסיס לקביעת השפעת הקלט הלשוני. תקופה זו התצוגה המקדימה מאפשר גם משתתפים כדי לקבל היכרות עם התצוגה החזותית, וכדי להפחית את האפליה השיטתית של הקיבועים הסבר כאשר השפה המדוברת מוצג.
כדי להמחיש כיצד מתנהל בעין טיפוסי מעקב במחקר באמצעות הפרדיגמה העולם הויזואלי, הפרוטוקול הבא מתאר ניסוי מקורי ל' Zhan17 לחקור את עיבוד מקוון של דוחות מורכבים סמנטי, קרי, מאמר משפטי (S1 או S2) הצהרות conjunctive (S1, S2), אבל-הצהרות (S1 אבל לא-S2). בשימור רגילים, המידע לידי מבעים כמה הוא יותר חזק מהמשמעות המילולית שלה. מאמר משפטי כמו של Xiaoming מהטורים פרה או תרנגול הם מבעים כזה. מבחינה הגיונית, המשפט מאמר זה נכון כל עוד disjuncts שני התיבה של Xiaoming מכילה פרה , התיבה של Xiaoming מכילה תרנגול אינם שניהם כוזבים. לפיכך, המשפט מאמר נכון כאשר disjuncts שני שניהם נכונים, איפה ההצהרה conjunctive המקביל של Xiaoming מהטורים פרה ו תרנגול הוא גם נכון. בשיחה רגילה, עם זאת, שמיעת שהמשפט מאמר לעתים קרובות מרמז כי ההצהרה conjunctive המתאים. שקר (implicature שיטתית); מציע כי ערכי האמת שני disjuncts הם מוכרים על ידי הרמקול (בורות מסקנה). חשבונות בספרות נבדלים מסקנות שני תהליכים דקדוקית או פרגמטי22,23,24,25,26. הניסוי מראה כיצד ניתן להשתמש הפרדיגמה העולם הויזואלי לדון בין חשבונות אלה, על-ידי חקירת עיבוד מקוון של שלוש הצהרות מורכבים.

<table><tbody><tr><td>Pixelmator</td><td>Pixelmator Team</td><td>http://www.pixelmator.com/pro/</td> <td>אפליקציית עריכת תמונות</td></tr><tr><td>Praat</td><td>Open Sourse</td><td>http://www.fon.hum.uva.nl/praat/</td> <td>תוכנת ניתוח ועריכת סאונד</td></tr><tr><td>Eyelink 1000plus</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/products/eyelink-1000-plus/</td> <td>מעקב עיניים אינפרא אדום מרחוק&nbsp;</td></tr><tr><td>Experimental Builder</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/experiment-builder/</td> <td>תוכנת מעקב עיניים&nbsp;</td></tr><tr><td>Data Viewer</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/data-viewer/</td> <td>תוכנת מעקב עיניים&nbsp;</td></tr><tr><td>R</td><td>Open Sourse</td><td>https://www.r-project.org</td><td>סביבת תוכנה חופשית למחשוב סטטיסטי וגרפיקה</td></tr></tbody></table>

באמצעות תנועות עיניים טלקוה הפרדיגמה העולם הויזואלי לחקור את עיבוד מקוון של השפה המדוברת

Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language

ב בלש טיפוסי מעקב במחקר באמצעות הפרדיגמה העולם הויזואלי, המשתתפים עין תנועות על אובייקטים או תמונות בסביבת העבודה החזותי של נרשמים באמצעות גשש העין המשתתף מייצרת או מקיף את שפה מדוברת המתארת את visual בו-זמניות העולם. פרדיגמה זו יש רב-תכליתיות, ניתן להשתמש במגוון רחב של אוכלוסיות, כולל אלה שלא יודעים לקרוא ו/או מי יכול לתת בגלוי שלהם תגובות התנהגותיות, כגון preliterate ילדים, מבוגרים קשישים ו חולים. חשוב מכך, הדפוס הוא רגיש מאוד מניפולציות בסדר אחרים של אות הדיבור, זה יכול לשמש כדי לחקור את עיבוד מקוון של רוב נושאים בהבנת השפה ברמות מרובות, כגון פונטי הגיטרה האקוסטית אחרים בסדר כולל את המאפיינים של מילים, המבנים הלשוניים. הפרוטוקול המתואר במאמר זה ממחיש כיצד מתנהל יש עין העולם הויזואלי טיפוסי מעקב במחקר, עם דוגמה מציג כיצד ניתן לסייר עיבוד מקוון של כמה אמירות מורכבות סמנטי עם הפרדיגמה העולם הויזואלי.

תגובות התנהגותיות של המשתתפים מסוכמות באיור4. כפי שהסברנו קודם לכן, התגובה הנכונה כדי הצהרה conjunctive (S1, S2) הוא בתיבת פתוח גדול, כגון תיבת A באיור1. התגובה הנכונה אבל-משפט (S1 אבל לא S2) היא התיבה פתוח המכיל החיה שהוזכרו קודם, כגון תיבת D באיור1. אנושות, באיזה קופסה נבחר למשפט מאמר (S1 או S2) תלוי כיצד הצהרה מאמר מעובד: התיבה סגור הקטנה, כגון תיבת B <strong cl...

הפרדיגמה העולם הויזואלי עוקב אחר תנועות עיניים של המשתתפים בסביבת העבודה חזותיים כפי שהם מאזינים או מדבר שפה מדוברת. פרדיגמה זו יכול לשמש כדי לחקור את עיבוד מקוון של מגוון רחב של שאלות psycholinguistic, כולל הצהרות סמנטי מורכבים, כגון מאמר משפטי.

In a typical eye tracking study using the visual world paradigm, participants' eye movements to objects or pictures in the visual workspace are recorded ...

שיטה זו יכולה לסייע לענות על שאלות מפתח בעיבוד מקוון של שפה מדוברת, כולל משפטים מורכבים מבחינה סמנטית, כגון ביטולי גינויים ותנאים. היתרון העיקרי של טכניקה זו הוא שניתן לבצע אותה במגוון רחב של אוכלוסיות כדי ללמוד את רוב הנושאים בתחומים של עיבוד שפה. הדגמת ההליך תהיה שו ג'ינג, סטודנטית לתואר שני.קאו ייפאן, וואנג מנג, יאנג שיאוטונג, ז'אן מין וג'ואו שוהאן הם הסטודנטים של קבוצת המחקר שלי. כדי להכין את הגירויים החזותיים, להוריד 60 תמונות אוסף תמונות חינם זכויות יוצרים של בעלי חיים מהאינטרנט ולפתוח את התמונות בעורך תמונה מתאים. לחץ על כלים ולהשתמש בבחירה מהירה כדי לבחור ולמחוק את הרקע מכל תמונה.לחץ על תמונה וגודל תמונה כדי לשנות את גודל התמונות ל- 120 על 120 פיקסלים ולצייר תיבה אחת גדולה ופתוחה של 320 x 240 פיקסלים, תיבת 160 x 160 פיקסלים סגורה אחת קטנה ושתי תיבות קטנות ופתוחות של 160 x 240 פיקסלים. פתח קובץ חדש כדי ליצור תבנית של 1, 024 על 768 פיקסלים עבור תמונת הבדיקה הראשונה, וגרור את התיבות למיקומים שצוינו. גרור שתי תמונות אוסף תמונות לתוך התיבה הפתוחה הגדולה ואחד מאותן שתי תמונות לתוך שתי התיבות הפתוחות הקטנות.לאחר מכן צרו עוד 59 תמונות בדיקה כפי שהודגמו רק כאשר כל תמונה של בעלי חיים משמשת פעמיים לכל תמונת בדיקה, ומזן את המיקומים המרחביים של ארבע הקופסאות בין התמונות. כדי להכין את גי

using-eye-movements-recorded-visual-world-paradigm-to-explore-online

Research

JoVE Journal

Behavior

התנהגות

שליטה עצבית ותהליכים קוגניטיביים ניתן ללמוד באמצעות תנועות עיניים. תוכנת VisualEyes מאפשרת למפעיל לתכנת גירויים על שני מסכי מחשב באופן עצמאי תוך שימוש בשפה פשוטה, scripting המותאם אישית. המערכת יכולה לעורר תנועות עיני טנדם (קפיצות האלה ומרדף חלק) או תנועות עיניים יריבה (התמיינות), או כל שילוב.

VisualEyes: מערכת המודולרית תוכנה לoculomotor ניסויים

המאמר הנוכחי מתאר כיצד להשתמש במתודולוגיות למעקב אחר העיניים כדי לחקור את התהליכים הקוגניטיביים המעורבים בהבנת טקסט. תיאורים של ציוד מעקב אחר העיניים, כיצד לפתח גירויים ניסיוניים, והמלצות פרוצדורליות כלולים. המידע המוצג יכול להיות מיושם על רוב המחקר באמצעות גירויים מילוליים.

שימוש בתנועות עיניים להערכת התהליכים הקוגניטיביים המעורבים בהבנת טקסט

כדי לשכפל הגדרות מעבדה, שיטות איסוף נתונים מקוונות למשימות חזותיות דורשות בקרה הדוקה על הצגת הגירוי. אנו מתארים שיטות לשימוש ביישום אינטרנט לאיסוף נתוני ביצועים בשני מבחנים של קשב חזותי.

שיטות לבדיקת קשב חזותי באינטרנט

המאמר הנוכחי ביקורות מתודולוגיה עקיבה במחקרים על השפה והבנת הנקרא. כדי לקבל מידע אמין, השלבים החשובים של הפרוטוקול חייב להיות במעקב. בין אלה הן הסידור הנכון של העין המטייל (למשל, הבטחת איכות טובה של תמונות העין והראש) לבין כיול מדויק.

מעקב עין במהלך שפה חזותית ממוקם בהבנת הנקרא: מגבלות חשיפת הקשר חזותי אפקטים וגמישות

השיטה נועדה לחקור את התפקיד של עיכוב השיבה (IOR) בתנועות עיניים רגרסיבית במהלך הקריאה. הדגש הוא על הבחנה בין regressions מופעלות כתוצאה בהבנת הנקרא קושי לעומת אלה מופעלות משגיאה תזוזת גלגל העין, כולל התפקיד של IOR ב שני סוגי regressions.

עקיבה כדי להבחין בין תנועות עיניים רגרסיבית המבוסס על הבנת הנקרא, מבוסס על תזוזת גלגל העין במהלך הקריאה

אנו מציגים פרוטוקול לבחון את השימוש ברמזים מורפולוגי במהלך משפט בזמן אמת הבנה על ידי ילדים עם אוטיזם.

באמצעות הפרדיגמה העולם הויזואלי ללמוד משפט הבנה בקרב דוברי מנדרינית ילדים עם אוטיזם

מחקרים מעקב אחר העין באמצעות פרדיגמה מראה מועדף יכולים לשמש כדי ללמוד הבנה מתעוררים של תינוקות, ותשומת לב, העולם החזותי החיצוני שלהם.

חקירת רגישות לתינוקות לשפה חזותית באמצעות מעקב עיניים והפרדיגמה הנראית מועדף

כאן, אנו מציגים פרוטוקול המעסיק משימות התערבות כפולות-מודאליות כדי לבחון עיבוד מקוון של משפטים יחסיים של משפט בסינית מדוברת. שני מחקרים מבוססי עיבוד שמיעתי עם הפרעות פנים וחוץ מתוארים. הפרדיגמה מספקת מתודולוגיה לטיפול באופיו של זיכרון העבודה והשפעותיו על עיבוד משפטים.

בחינת עיבוד תחבירי מקוון של משפטים מורכבים ומדוברים בסינית באמצעות משימות התערבות כפולות-מודאליות

המחקר מציע מודל התאמת הפעלה כדי ללמוד כיצד בדידות מתקלת כאשר קהל בודד צופה בסרטוני מטח של ערעורים רציונליים ורגשיים. הפרוטוקול משתמש במעקב עיניים כדי לתעד את משך הזמן והקיגוב, מתוך חשבונאות על מידת שביעות הרצון כאשר הצרכים הרגשיים מתפייסים על ידי תוכן ומטח.

בדידות מרוששת: מעקב אחר קהל צופה בסרטוני מטח

אנו מציגים פרוטוקול המשתמש במעקב עיניים כדי לנטר תנועות עיניים במהלך משימת השוואת מרווחים (תפיסת משך) בהתבסס על אירועים חזותיים. המטרה היא לספק מדריך ראשוני להפרדת תגובות אוקולומוטוריות למשימות תפיסת משך (השוואה או הבחנה של מרווחי זמן) מתגובות לגירוי עצמו.

תנועות עיניים בתפיסת משך הראייה: ניתוק גירוי מזמן בתהליכים טרום החלטיים

חקור עיבוד מקוון של שפה מדוברת באמצעות מעקב אחר תנועות עיניים בפרדיגמת העולם הויזואלי. שיטה זו מאפשרת לחוקרים לבחון משפטים סמנטיים מורכבים כמו פסוקי הפרדה ותנאי בזמן אמת.

באמצעות תנועות עיניים טלקוה הפרדיגמה העולם הויזואלי לחקור את עיבוד מקוון של השפה המדוברת

גלה סרטונים נוספים