Name: Met behulp van oogbewegingen die worden opgenomen in de visuele wereld paradigma te verkennen van de Online verwerking van gesproken taal (Video) | JoVE Journal
Uploaded: 2018-10-13T12:30:00.000+00:00
Duration: 9 min 27 s
Description: Verken het visuele wereldparadigma voor online verwerking van gesproken taal met oogbewegingsregistratie. Deze methode onthult hoe deelnemers complexe zinnen zoals disjuncties en conditionals begrijpen.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Dit onderzoek werd gesteund door Science Foundation van Peking taal en culturele universiteit onder de fundamentele middelen voor onderzoek voor de centrale universiteiten (goedkeuring nummer 15YJ050003).

<ol><li>Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Integration+of+visual+and+linguistic+information+in+spoken+language+comprehension%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Integration of visual and linguistic information in spoken language comprehension.</a> Science. 268 (5217), 1632-1634 (1995).</li>
<li>Cooper, R. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/001002857490005X">The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing.</a> Cognitive Psychology. 6 (1), 84-107 (1974).</li>
<li>Salverda, A. P., Tanenhaus, M. K. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aSalverda%2C+AP+%22Research+methods+in+psycholinguistics+and+the+neurobiology+of+language%3A+A+practical+guide%22">Research methods in psycholinguistics and the neurobiology of language: A practical guide</a>. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).</li>
<li>Huettig, F., Rommers, J., Meyer, A. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+the+visual+world+paradigm+to+study+language+processing%3A+A+review+and+critical+evaluation%5BTitle%5D)+AND+%22Acta+Psychologica%22%5BJournal%5D)">Using the visual world paradigm to study language processing: A review and critical evaluation.</a> Acta Psychologica. 137 (2), 151-171 (2011).</li>
<li>Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Viewing+and+naming+objects%3A+Eye+movements+during+noun+phrase+production%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Viewing and naming objects: Eye movements during noun phrase production.</a> Cognition. 66 (2), B25-B33 (1998).</li>
<li>Griffin, Z. M., Bock, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((What+the+eyes+say+about+speaking%5BTitle%5D)+AND+%22Psychological+Science%22%5BJournal%5D)">What the eyes say about speaking.</a> Psychological Science. 11 (4), 274-279 (2000).</li>
<li>Young, L. R., Sheena, D. <a target="_blank" href="https://link.springer.com/article/10.3758/BF03201553">Survey of eye movement recording methods.</a> Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).</li>
<li>Conklin, K., Pellicer-Sánchez, A., Carrol, G. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aConklin%2C+K+%22Eye-tracking%3A+A+guide+for+applied+linguistics+research%22">Eye-tracking: A guide for applied linguistics research</a>. , Cambridge University Press. (2018).</li>
<li>Duchowski, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDuchowski%2C+A+%22Eye+tracking+methodology%3A+Theory+and+practice%22">Eye tracking methodology: Theory and practice</a>. , 2, Springer. (2007).</li>
<li>Baayen, R. H., Davidson, D. J., Bates, D. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001398">Mixed-effects modeling with crossed random effects for subjects and items.</a> Journal of Memory and Language. 59 (4), 390-412 (2008).</li>
<li>Barr, D. J. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001015">Analyzing 'visual world' eyetracking data using multilevel logistic regression.</a> Journal of Memory and Language. 59 (4), 457-474 (2008).</li>
<li>Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16000280">The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception.</a> Journal of Memory and Language. 90, 103-125 (2016).</li>
<li>Bolker, B. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Generalized+linear+mixed+models%3A+A+practical+guide+for+ecology+and+evolution%5BTitle%5D)+AND+%22Trends+in+Ecology+and+Evolution%22%5BJournal%5D)">Generalized linear mixed models: A practical guide for ecology and evolution.</a> Trends in Ecology and Evolution. 24 (3), 127-135 (2009).</li>
<li>Mirman, D., Dixon, J. A., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Statistical+and+computational+models+of+the+visual+world+paradigm%3A+Growth+curves+and+individual+differences%5BTitle%5D)+AND+%22Journal+of+Memory+and+Language%22%5BJournal%5D)">Statistical and computational models of the visual world paradigm: Growth curves and individual differences.</a> Journal of Memory and Language. 59 (4), 475-494 (2008).</li>
<li>Baayen, H., Vasishth, S., Kliegl, R., Bates, D. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16302467">The cave of shadows: Addressing the human factor with generalized additive mixed models.</a> Journal of Memory and Language. 94, 206-234 (2017).</li>
<li>Baayen, R. H., van Rij, J., de Cat, C., Wood, S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aBaayen%2C+RH+%22Mixed-Effects+Regression+Models+in+Linguistics%22">Mixed-Effects Regression Models in Linguistics</a>. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).</li>
<li>Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Scalar+and+ignorance+inferences+are+both+computed+immediately+upon+encountering+the+sentential+connective%3A+The+online+processing+of+sentences+with+disjunction+using+the+visual+world+paradigm%5BTitle%5D)+AND+%22Frontiers+in+Psychology%22%5BJournal%5D)">Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm.</a> Frontiers in Psychology. 9, (2018).</li>
<li>Maris, E., Oostenveld, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Nonparametric+statistical+testing+of+EEG-+and+MEG-data%5BTitle%5D)+AND+%22Journal+of+Neuroscience+Methods%22%5BJournal%5D)">Nonparametric statistical testing of EEG- and MEG-data.</a> Journal of Neuroscience Methods. 164 (1), 177-190 (2007).</li>
<li>Barr, D. J., Jackson, L., Phillips, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+a+voice+to+put+a+name+to+a+face%3A+The+psycholinguistics+of+proper+name+comprehension%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-General%22%5BJournal%5D)">Using a voice to put a name to a face: The psycholinguistics of proper name comprehension.</a> Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).</li>
<li>van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDahan%2C+D+%22Eye+movements%3A+A+window+on+mind+and+brain%22">Eye movements: A window on mind and brain</a>. , Elsevier. Ch. 21 471-486 (2007).</li>
<li>Parkhurst, D., Law, K., Niebur, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+role+of+salience+in+the+allocation+of+overt+visual+attention%5BTitle%5D)+AND+%22Vision+Research%22%5BJournal%5D)">Modeling the role of salience in the allocation of overt visual attention.</a> Vision Research. 42 (1), 107-123 (2002).</li>
<li>Grice, H. P. Vol. 3 Speech Acts. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGrice%2C+HP+%22Syntax+and+semantics%22">Syntax and semantics</a>. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).</li>
<li>Sauerland, U. <a target="_blank" href="http://semantics.uchicago.edu/kennedy/classes/w14/implicature/readings/sauerland04.pdf">Scalar implicatures in complex sentences.</a> Linguistics and Philosophy. 27 (3), 367-391 (2004).</li>
<li>Chierchia, G. <a target="_blank" href="https://www.annualreviews.org/doi/abs/10.1146/annurev-linguistics-011516-033846">Scalar implicatures and their interface with grammar.</a> Annual Review of Linguistics. 3 (1), 245-264 (2017).</li>
<li>Fox, D. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aFox%2C+D+%22Presupposition+and+Implicature+in+Compositional+Semantics%22">Presupposition and Implicature in Compositional Semantics</a>. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).</li>
<li>Meyer, M. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Ignorance+and+grammar%22">Ignorance and grammar</a>. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22SR+Research+Experiment+Builder+User+Manual+%28Version+2.1.140%29%22">SR Research Experiment Builder User Manual (Version 2.1.140)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+Technical+Specifications%22">EyeLink® 1000 Plus Technical Specifications</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink-1000-Plus-Brochure%22">EyeLink-1000-Plus-Brochure</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+User+Manual+%28Version+1.0.12%29%22">EyeLink® 1000 Plus User Manual (Version 1.0.12)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+Data+Viewer+User%E2%80%99s+Manual+%28Version+3.1.97%29%22">EyeLink® Data Viewer User’s Manual (Version 3.1.97)</a>. , Ottawa, Canada. (2017).</li>
<li>McQueen, J. M., Viebahn, M. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tracking+recognition+of+spoken+words+by+tracking+looks+to+printed+words%5BTitle%5D)+AND+%22The+Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Tracking recognition of spoken words by tracking looks to printed words.</a> The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Incremental+interpretation+at+verbs%3A+restricting+the+domain+of+subsequent+reference%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Incremental interpretation at verbs: restricting the domain of subsequent reference.</a> Cognition. 73 (3), 247-264 (1999).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07000101">The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing.</a> Journal of Memory and Language. 57 (4), 502-518 (2007).</li>
<li>Snedeker, J., Trueswell, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+developing+constraints+on+parsing+decisions%3A+The+role+of+lexical-biases+and+referential+scenes+in+child+and+adult+sentence+processing%5BTitle%5D)+AND+%22Cognitive+Psychology%22%5BJournal%5D)">The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing.</a> Cognitive Psychology. 49 (3), 238-299 (2004).</li>
<li>Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X97925584">Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models.</a> Journal of Memory and Language. 38 (4), 419-439 (1998).</li>
<li>Zhan, L., Crain, S., Zhou, P. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/20445911.2015.1016527">The online processing of only if and even if conditional statements: Implications for mental models.</a> Journal of Cognitive Psychology. 27 (3), 367-379 (2015).</li>
<li>Zhan, L., Zhou, P., Crain, S. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/23273798.2018.1448935">Using the visual-world paradigm to explore the meaning of conditionals in natural language.</a> Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).</li>
<li>Brown-Schmidt, S., Tanenhaus, M. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+investigation+of+referential+domains+in+unscripted+conversation%3A+A+targeted+language+game+approach%5BTitle%5D)+AND+%22Cognitive+Science%22%5BJournal%5D)">Real-time investigation of referential domains in unscripted conversation: A targeted language game approach.</a> Cognitive Science. 32 (4), 643-684 (2008).</li>
<li>Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. <a target="_blank" href="http://journals.sagepub.com/doi/abs/10.1111/1467-9280.00044">Rapid gains in speed of verbal processing by infants in the 2nd year.</a> Psychological Science. 9 (3), 228-231 (1998).</li>
<li>Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+kindergarten-path+effect%3A+studying+on-line+sentence+processing+in+young+children%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">The kindergarten-path effect: studying on-line sentence processing in young children.</a> Cognition. 73 (2), 89-134 (1999).</li>
<li>Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+use+of+phonological+information+in+ambiguity+resolution%3A+a+view+from+Mandarin+Chinese%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese.</a> Journal of Child Language. 39 (4), 687-730 (2012).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Grammatical+aspect+and+event+recognition+in+children%27s+online+sentence+comprehension%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Grammatical aspect and event recognition in children's online sentence comprehension.</a> Cognition. 133 (1), 262-276 (2014).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X12000277">Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing.</a> Journal of Memory and Language. 67 (1), 149-164 (2012).</li>
<li>Moscati, V., Zhan, L., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+on-line+processing+of+epistemic+modals%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's on-line processing of epistemic modals.</a> Journal of Child Language. 44 (5), 1025-1040 (2017).</li>
<li>Helfer, K. S., Staub, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Competing+speech+perception+in+older+and+younger+adults%3A+Behavioral+and+eye-movement+evidence%5BTitle%5D)+AND+%22Ear+and+Hearing%22%5BJournal%5D)">Competing speech perception in older and younger adults: Behavioral and eye-movement evidence.</a> Ear and Hearing. 35 (2), 161-170 (2014).</li>
<li>Dickey, M. W., Choy, J. W. J., Thompson, C. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+comprehension+of+wh-movement+in+aphasia%3A+Evidence+from+eyetracking+while+listening%5BTitle%5D)+AND+%22Brain+and+Language%22%5BJournal%5D)">Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening.</a> Brain and Language. 100 (1), 1-22 (2007).</li>
<li>Magnuson, J. S., Nusbaum, H. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Acoustic+differences%2C+listener+expectations%2C+and+the+perceptual+accommodation+of+talker+variability%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Human+Perception+and+Performance%22%5BJournal%5D)">Acoustic differences, listener expectations, and the perceptual accommodation of talker variability.</a> Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).</li>
<li>Reinisch, E., Jesse, A., McQueen, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Early+use+of+phonetic+information+in+spoken+word+recognition%3A+Lexical+stress+drives+eye+movements+immediately%5BTitle%5D)+AND+%22Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately.</a> Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).</li>
<li>Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Actions+and+affordances+in+syntactic+ambiguity+resolution%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Learning+Memory+and+Cognition%22%5BJournal%5D)">Actions and affordances in syntactic ambiguity resolution.</a> Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).</li>
<li>Tanenhaus, M. K., Trueswell, J. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aTanenhaus%2C+MK+%22Approaches+to+Studying+World-Situated+Language+Use%3A+Bridging+the+Language-as-Product+and+Language-as-Action+Traditions%22">Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions</a>. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).</li>
</ol>

De auteur verklaart dat hij geen concurrerende financiële belangen heeft.

Als u wilt een visuele wereld onderzoek, zijn er verschillende kritische stappen te volgen. Eerst, willen onderzoekers afleiden van de interpretatie van de auditorily gepresenteerd taal via deelnemers oogbewegingen in de visuele wereld. Voortaan moeten bij het ontwerpen van de lay-out van de visuele stimuli, de eigenschappen van oogbewegingen in een natuurlijke taak die potentieel deelnemers oogbewegingen beïnvloeden worden gecontroleerd. Het effect van de gesproken taal op deelnemers oogbewegingen kan vervolgens worden ...

Gesproken taal is een snelle, continue informatiestroom, die meteen verdwijnt. Het is een uitdaging om experimenteel studeren dit temporele, snel wijzigen toespraak signaal. Oogbewegingen die worden opgenomen in de visuele wereld paradigma kunnen worden gebruikt om te overwinnen van deze uitdaging. In een typische eye tracking studie met behulp van de visuele wereld paradigma, worden oogbewegingen deelnemers foto's in een weergave of reële objecten in een visuele werkruimte gecontroleerd als ze naar luisteren, of produceren, gesproken taal beeltenis van de inhoud van de visuele wereld1 ,2,3,4. De fundamentele logica, of de koppeling hypothese, achter dit paradigma is dat begrijpen of een uiting van plan zal (openlijk of heimelijk) deelnemers visuele aandacht verschuiven naar een bepaald object in de visuele wereld. Deze verschuiving van de aandacht zal hebben een hoge waarschijnlijkheid tot een saccadic oog beweging het bezochte gebied om in te brengen de foveal visie. Met dit paradigma willen de onderzoekers bepalen op welk temporele punt, met betrekking tot sommige akoestische landmark in het signaal van de toespraak, een verschuiving in de visuele aandacht van de deelnemer optreedt, zoals gemeten door een saccadic oog beweging naar een object of een afbeelding in de visuele wereld. Waar en wanneer saccadic oogbewegingen worden gelanceerd in verband met de toespraak signaal worden vervolgens gebruikt om de online taalverwerking afleiden. De visuele wereld paradigma kan worden gebruikt om zowel de gesproken taal begrip1,2 en de productie5,6te studeren. Deze methodologische artikel zal zich richten op begrip studies. In een studie van het begrip met behulp van de visuele wereld paradigma, deelnemers oog bewegingen op de visuele weergave worden gecontroleerd als ze luisteren naar de gesproken uitingen over de visuele weergave.
Verschillende eye tracking-systemen zijn ontworpen in de geschiedenis. De eenvoudigste, goedkoopste en meest draagbaar systeem is gewoon een normale videocamera, die een beeld van de ogen van de deelnemer registreert. Oogbewegingen worden vervolgens handmatig gecodeerd door middel van onderzoek van de frame-voor-frame van de video-opname. Echter de samplefrequentie voor zo'n een oog-tracker is relatief laag, en de codering procedure is tijdrovend. Dus, een hedendaagse commerciële eye tracking systeem normaal gebruikt optische sensoren voor het meten van de richting van het oog in zijn baan7,8,9. Om te begrijpen hoe een moderne commerciële eye-tracking systeem werkt, moeten de volgende punten worden beschouwd. Eerste, voor het correct meten van de richting van de foveal visie en een infrarood verlichter (normaal met de golflengte rond 780-880 nm) normaal wordt gelegd langs of uit de optische as van de camera, waardoor de opname van de leerling distinguishably helderder of donkerder dan de omliggende iris. Het beeld van de leerling en/of de leerling hoornvlies reflectie (normaal gesproken de eerste Purkinje afbeelding) wordt vervolgens gebruikt voor het berekenen van de oriëntatie van het oog in zijn baan. Ten tweede, de locatie van de blik in de visuele wereld is eigenlijk afhankelijk zijn, niet alleen op het oog-oriëntatie ten opzichte van het hoofd, maar ook over de hoofd richting met betrekking tot de visuele wereld. Om nauwkeurig het afleiden van de blik van de verwijzing van de oriëntatie van het oog, de lichtbron en de camera van de oog-trackers worden opgelost met betrekking tot de deelnemers hoofd (hoofd gemonteerde oog-trackers) of zijn vastgesteld met betrekking tot de visuele wereld (tabel gemonteerde of afstand oog-trackers). Ten derde, de deelnemers hoofd geaardheid moet ofwel worden vastgesteld met betrekking tot de visuele wereld of rekenkundig worden gecompenseerd als hoofd van de deelnemers vrij om te bewegen. Wanneer een externe oog-tracker wordt gebruikt in de modus van een hoofd-gratis-te verplaatsen, is meestal de deelnemers hoofd standpunt opgenomen door het plaatsen van een kleine sticker op het voorhoofd van de deelnemers. De afdrukstand van de hoofd wordt vervolgens computationeel afgetrokken van de oog-oriëntatie voor het ophalen van de locatie van de blik in de visuele wereld. Ten vierde, een kalibratie- en een validatieprocedure dienen vervolgens toewijzen van de oriëntatie van het oog aan de blik van de verwijzing in de visuele wereld. In het kalibratieproces, deelnemers fixatie monsters van bekende doel punten vastgelegd, zodat de ruwe oog kaartgegevens om de blik van de positie in de visuele wereld. In het validatieproces, deelnemers gepresenteerd met dezelfde doelstelling punten als het kalibratieproces. Het verschil tussen de positie van de berekende fixatie van de gekalibreerde resultaten en de werkelijke positie van de doelmap voor gefixeerd in de visuele wereld bestaande worden vervolgens gebruikt om te beoordelen van de nauwkeurigheid van de kalibratie. Om te verder bevestigen de juistheid van het toewijzingsproces, een controle drift is normaal van toepassing voor elk afzonderlijk experiment, waar een interne fixatie doelwit wordt aangeboden aan de deelnemers voor het meten van het verschil tussen de berekende fixatie positie en de werkelijke positie van de huidige doelstelling.
De primaire gegevens van een visuele wereld studie is een stroom van blik locaties in de visuele wereld opgenomen in de samplefrequentie voor de oog-tracker, variërend over het geheel of een deel van de duur van de proef. De afhankelijke variabele gebruikt in de studie van een visuele wereld is doorgaans het aantal monsters dat deelnemers vastleggingen op bepaalde ruimtelijke regio in de visuele wereld over een bepaalde tijdsinterval liggen. Om de gegevens te analyseren, moet een tijd-venster ten eerste worden geselecteerd, vaak aangeduid als perioden van belang. Het tijdsinterval is meestal tijd vergrendeld aan de presentatie van bepaalde taalkundige gebeurtenissen in de auditieve input. Bovendien is de visuele wereld ook nodig om te splitsen in verschillende regio's van belang (ROIs), die gekoppeld aan een of meer objecten is. Één dergelijke regio bevat de object dat overeenkomt met het juiste begrip van de gesproken taal, en dus heet vaak het doelgebied. Een typische manier om te visualiseren van gegevens is een complot van de aandeel-voor-fixatie, waar op elke opslaglocatie in een venster van de tijd, het aantal monsters met een blik aan elk gebied van belang zijn gemiddeld over deelnemers en items.
Met behulp van de gegevens die zijn verkregen uit een studie van de visuele wereld, verschillende onderzoeksvragen kunnen worden beantwoord: een) op het niveau van grof-korrel, zijn deelnemers oogbewegingen in de visuele wereld beïnvloed door verschillende auditieve taalkundige input? b) als er een effect, wat is het traject van het effect in de loop van het proces? Is het een lineaire effect of Eersterangs effect? en c) als er een effect, dan op het niveau van de fine-korrel, wanneer is het vroegste temporele punt waar dergelijk effect naar voren komt en hoe lang duurt dit effect laatste?
Om de resultaten statistisch te analyseren, moeten de volgende punten worden beschouwd. Ten eerste, de reactie variabele, d.w.z., verhoudingen van vastleggingen, is zowel onder als boven begrensd (tussen 0 en 1), die zullen volgen een multinomiale verdeling in plaats van een normale verdeling. Voortaan, kunnen niet traditionele statistische methoden op basis van normale verdeling zoals t-test, ANOVA en lineaire modellen (gemengd-effect)10, rechtstreeks worden gebruikt, totdat de verhoudingen zijn getransformeerd naar onbegrensde variabelen zoals met empirische logit formule11 of onbegrensd afhankelijke variabelen zoals de Euclidische afstand12zijn vervangen. Statistische technieken die vereisen niet dat de veronderstelling van normaalverdeling dergelijke veralgemeende lineaire modellen (gemengd-effect)13 kunnen ook worden gebruikt. Ten tweede, voor het verkennen van het veranderende traject van de waargenomen effecten, een variabele ter aanduiding van de tijd-serie heeft om in het model worden toegevoegd. Deze variabele tijd-serie is oorspronkelijk de oog-tracker de monsternemingspunten verlegde aan het begin van de taal invoeren. Aangezien het veranderende traject meestal niet lineair is, is normaal gesproken een eersterangs polynomiale functie van de tijd-serie in de (algemene) lineair (gemengd-effect) model, dat wil zeggengroei curve analyses14toegevoegd. Bovendien deelnemers oog posities in het huidige monsterpunt is sterk afhankelijk van vorige bemonstering punt, vooral wanneer de opname frequentie is hoog, wat resulteert in het probleem van de autocorrelatiefunctie. Verklein de autocorrelatie tussen de aangrenzende meetpunten en zijn oorspronkelijke gegevens vaak neer in de steekproef opgenomen of weggegooid. In de afgelopen jaren zijn ook de modellen van de veralgemeende additieve gemengd effect (GAMM) gebruikt om aan te pakken van de autocorrelated fouten12,15,16. De breedte van opslaglocaties varieert tussen verschillende onderzoeken, variërend van enkele milliseconden tot enkele honderd milliseconden. De smalste bin die een studie kunt kiezen wordt beperkt door de samplefrequentie voor de eye tracker gebruikt in de specifieke studie. Bijvoorbeeld, als een eye tracker een sampling-frequentie van 500 Hz heeft, mag vervolgens de breedte van het venster van de tijd niet kleiner zijn dan 2 ms = 1000/500. Ten derde, wanneer een statistische analyse herhaaldelijk op elke opslaglocatie van de tijd van de periodes van belang toegepast wordt, de familywise fout veroorzaakte daaruit die meerdere vergelijkingen moeten worden aangepakt. Zoals we eerder beschreven, de analyse van het traject informeert de onderzoeker of het effect waargenomen op het niveau van grof-korrel is lineair met betrekking tot het wijzigen van de tijd, maar toont niet wanneer het waargenomen effect begint te ontstaan en hoe lang de waargenomen effect duurt. De temporele om positie te bepalen wanneer het geobserveerde verschil begint te wijken, en om erachter te komen de duur van de tijdelijke periode die duurt van de waargenomen effecten, heeft een statistische analyse herhaaldelijk worden toegepast op elke opslaglocatie van de tijd. Deze meerdere vergelijkingen zal introduceren op de zogenaamde familywise fout, ongeacht welke statistische methode wordt gebruikt. De familywise fout wordt traditioneel gecorrigeerd met Bonferroni aanpassing17. Onlangs, een methode genaamd niet-parametrische permutatie test oorspronkelijk gebruikt in neuroimaging geplaatst18 is vereffend met de visuele woord paradigma19 te controleren voor de familywise fout.
Onderzoekers met behulp van de visuele wereld paradigma willen afleiden van het begrijpen van een gesproken taal van deelnemers oogbewegingen in de visuele wereld. Om ervoor te zorgen de geldigheid van deze aftrek, moeten andere factoren die mogelijk invloed hebben op de oogbewegingen worden uitgesloten of gecontroleerd. De volgende twee factoren behoren tot de gemeenschappelijke regels die moeten worden overwogen. De eerste factor betreft enkele systematische patronen in deelnemers verklarende vastleggingen onafhankelijk van de taal invoeren, zoals de neiging om te fixeren op de linksboven quadrat van de visuele wereld, en de bewegende ogen in de horizontale richting wordt eenvoudiger dan in de verticale richting, etc.12,20 om ervoor te zorgen dat de waargenomen fixatie patronen zijn gerelateerd aan de objecten, niet naar de ruimtelijke locaties waar de objecten zich bevinden, de ruimtelijke positie van een object moeten worden gecompenseerd via verschillende proeven of via verschillende deelnemers. De tweede factor die van invloed kan zijn op de deelnemers oogbewegingen is de basisinstallatiekopie kenmerken van de objecten in de visuele wereld, zoals luminantie contrast, kleur en edge oriëntatie, o.a.21. Om te diagnosticeren van dit potentieel storende, de visuele weergave wordt normaal gepresenteerd voorafgaand aan het begin van de gesproken taal of vóór het begin van de kritische akoestische markering van de gesproken taal, voor ongeveer 1000 ms. tijdens de tijdelijke periode vanaf het begin van de Testafbeelding aan het begin van de test-audio, de taal invoeren of het doorverwijspagina punt van de taal ingang heeft nog niet gehoord. Geen verschil waargenomen tussen verschillende omstandigheden moet worden afgeleid naar andere storende factoren zoals de visuele weergave per se, in plaats van de taal invoeren. Voortaan, bieden oogbewegingen waargenomen in deze preview periode een basislijn voor het bepalen van het effect van de taalkundige input. Deze preview periode kunt ook deelnemers krijgen vertrouwd gemaakt met de visuele weergave, en de systematische vertekening van de verklarende vastleggingen verminderen wanneer de gesproken taal wordt gepresenteerd.
Om te illustreren hoe een typische eye tracking studie met behulp van de visuele wereld paradigma wordt uitgevoerd, beschrijft het volgende protocol een experiment aangepast van L. Zhan17 tot het verkennen van de online verwerking van semantisch complexe verklaringen, dat wil zeggen, Disjunctieve verklaringen (S1 of S2), conjunctieve instructies (S1 en S2) en maar-verklaringen (S1 maar niet-S2). In gewone instandhouding is de informatie die is uitgedrukt door sommige uitingen eigenlijk sterker dan de letterlijke betekenis. Disjunctieve verklaringen zoals Xiaoming van vak bevat een koe of een haan zijn dergelijke uitingen. Logisch, de disjunctieve bewering klopt zolang de twee disjuncts van Xiaoming vak bevat een koe en Xiaoming van vak een haan niet beide zijn onwaar. De disjunctieve bewering klopt dus, wanneer de twee disjuncts beide true zijn, waar de overeenkomstige conjunctieve instructie Xiaoming van vak bevat een koe en een haan ook waar is. In gewone gesprek, echter horen dat de disjunctieve instructie vaak suggereert dat de overeenkomstige conjunctieve instructie onwaar is (scalaire Implicatuur); en stelt dat de waarden van de waarheid van de twee disjuncts onbekend door de spreker (onwetendheid gevolgtrekking zijn). Rekeningen in de literatuur verschillen in of twee gevolgtrekkingen grammaticale of pragmatische processen22,23,24,25,26 zijn. Het experiment ziet u hoe de visuele wereld paradigma te berechten tussen deze rekeningen, door het verkennen van de online verwerking van drie complexe instructies kan worden gebruikt.

<table><tbody><tr><td>Pixelmator</td><td>Pixelmator Team</td><td>http://www.pixelmator.com/pro/</td><td>app voor beeldbewerking</td></tr><tr><td>Praat</td><td>Open Source</td><td>http://www.fon.hum.uva.nl/praat/</td><td>Software voor geluidsanalyse en -bewerking</td></tr><tr><td>Eyelink 1000plus</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/products/eyelink-1000-plus/</td><td>externe infrarood oogtracker&nbsp;</td></tr><tr><td>Experimental Builder</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/experiment-builder/</td><td>oogtracker software&nbsp;</td></tr><tr><td>Data Viewer</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/data-viewer/</td><td>oogtracker software&nbsp;</td></tr><tr><td>R</td><td>Open Source</td><td>https://www.r-project.org</td><td>gratis software-omgeving voor statistische berekeningen en grafische weergave</td></tr></tbody></table>

met behulp van oogbewegingen die worden opgenomen in de visuele wereld paradigma te verkennen van de online verwerking van gesproken taal

Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language

In een typische eye tracking studie met behulp van de visuele wereld paradigma, deelnemers oog bewegingen op objecten of afbeeldingen in de visuele werkruimte worden vastgelegd via een oog-tracker als de deelnemer produceert of omhelst een gesproken taal beschrijven de gelijktijdige visuele wereld. Dit paradigma heeft hoge veelzijdigheid, als het kan worden gebruikt in een breed scala van de bevolking, met inbegrip van degenen die niet kunnen lezen en/of die niet openlijk geven hun gedrags reacties, zoals ongeletterd kinderen, oudere volwassenen en patiënten. Nog belangrijker, het paradigma is zeer gevoelig voor fijnkorrelige manipulaties van het signaal van de toespraak, en het kan worden gebruikt voor het bestuderen van de online verwerking van de meeste onderwerpen in taalbegrip op meerdere niveaus, zoals de fijnkorrelige akoestische fonetische functies, de eigenschappen van de woorden en de taalkundige structuren. Het protocol beschreven in dit artikel ziet u hoe een typische visuele wereld eye tracking studie wordt uitgevoerd, met een voorbeeld waaruit blijkt hoe de online verwerking van sommige semantisch complexe instructies kan worden onderzocht met de visuele wereld paradigma.

Deelnemers gedrags reacties worden samengevat in Figuur 4. Zoals we eerder beschreven, is het juiste antwoord op een conjunctieve verklaring (S1 en S2) het grote open vak, zoals vak A in Figuur 1. Het juiste antwoord op een maar-verklaring (S1 maar niet S2) is het open vakje met de eerste genoemde dier, zoals vak D in Figuur 1. Kritisch, welke vak de disjunctieve verklaring...

De visuele wereld paradigma bewaakt deelnemers oogbewegingen in de visuele werkruimte als ze beluisteren of een gesproken taal te spreken. Dit paradigma kan worden gebruikt om te onderzoeken van de online verwerking van een breed scala aan psycholinguïstisch vragen, met inbegrip van semantisch complexe verklaringen, zoals de verklaringen van de disjunctieve.

Met behulp van oogbewegingen die worden opgenomen in de visuele wereld paradigma te verkennen van de Online verwerking van gesproken taal

In a typical eye tracking study using the visual world paradigm, participants' eye movements to objects or pictures in the visual workspace are recorded ...

Deze methode kan helpen bij het beantwoorden van belangrijke vragen in online verwerking van gesproken taal, met inbegrip van semantisch complexe zinnen, zoals disjuncties en conditionalen. Het belangrijkste voordeel van deze techniek is dat het kan worden uitgevoerd op een breed scala van populaties om de meeste onderwerpen te bestuderen op gebieden van taalverwerking. Het aantonen van de procedure zal Xu Jing, een postgraduaat student.Cao Yifan, Wang Meng, Yang Xiaotong, Zhan Min en Zhou Xuehan zijn de studenten van mijn onderzoeksgroep. Om de visuele stimuli voor te bereiden, download je 60 copyrightvrije illustraties van dieren van het internet en open je de afbeeldingen in een geschikte beeldeditor. Klik op Extra en gebruik snel selecteren om de achtergrond van elke afbeelding te selecteren en te verwijderen.Klik op Afbeelding en Afbeeldingsgrootte om het formaat van de afbeeldingen te wijzigen in 120 bij 120 pixels en teken een groot open vak van 320 x 240 pixels, een klein gesloten vak van 160 x 160 pixels en twee kleine vakken van 160 x 240 pixels. Open een nieuw bestand om een sjabloon van 1, 024 bij 768 pixels voor de eerste testafbeelding te maken en sleep de vakken naar

using-eye-movements-recorded-visual-world-paradigm-to-explore-online

Research

JoVE Journal

Behavior

Gedrag

Neurale controle en cognitieve processen kunnen worden bestudeerd door middel van oogbewegingen. De VisualEyes software maakt het mogelijk een operator om stimuli op twee computerschermen zelfstandig met behulp van een eenvoudig, douane scripttaal programmeren. Het systeem kan stimuleren bewegingen tandem oog (saccades en glad achtervolging) of tegengestelde oogbewegingen (convergentie) of een combinatie.

VisualEyes: Een modulair software systeem voor oogmotorische Experimenteren

Dit artikel beschrijft hoe u eye tracking-methodologieën kunt gebruiken om de cognitieve processen te bestuderen die betrokken zijn bij tekstbegrip. Beschrijvingen van oogvolgapparatuur, hoe experimentele stimuli te ontwikkelen en procedurele aanbevelingen zijn opgenomen. De gepresenteerde informatie kan worden toegepast op de meeste studies met behulp van verbale stimuli.

Oogbewegingen gebruiken om de cognitieve processen te evalueren die betrokken zijn bij tekstbegrip

Om laboratoriumomstandigheden te repliceren, vereisen online gegevensverzamelingsmethoden voor visuele taken een strakke controle over de presentatie van stimuli. We schetsen methoden voor het gebruik van een webapplicatie om prestatiegegevens te verzamelen over twee tests van visuele aandacht.

Methoden om visuele aandacht online test

Het huidige artikel bespreekt een eye-tracking-methode voor studies over taalbegrip. Voor het verkrijgen van betrouwbare gegevens, moeten de belangrijkste stappen van het protocol worden gevolgd. Onder deze zijn de juiste set-up van de eye tracker (bijvoorbeeld, garanderen van de goede kwaliteit van de beelden voor ogen en hoofd) en nauwkeurige kalibrering.

Eye Tracking tijdens visueel ligt taalbegrip: Flexibiliteit en beperkingen blootleggen visuele Context-effecten

De methode werd ontworpen om de onderzoeken van de rol van remming van terugkeer (IOR) in regressieve oogbewegingen tijdens het lezen. De focus ligt op het onderscheid tussen regressies geactiveerd als gevolg van begrip moeilijkheden ten opzichte van die van oculomotor fout, met inbegrip van de rol van IOR in de twee soorten regressies geactiveerd.

Eye-tracking te onderscheiden van begrip- en Oculomotor gebaseerde regressieve oogbewegingen tijdens lezing

We presenteren een protocol te onderzoeken van het gebruik van morfologische aanwijzingen tijdens real-time zin begrip door kinderen met autisme.

Met behulp van de visuele wereld paradigma te bestuderen zin begrip in Mandarijn sprekende kinderen met autisme

Eye tracking studies met een preferentieel uitziend paradigma kunnen worden gebruikt om het opkomende begrip van baby's en de aandacht voor hun externe visuele wereld te bestuderen.

Het verkennen van de gevoeligheid van de baby voor visuele taal met behulp van Eye tracking en de preferentiële uitziende paradigma

Hier presenteren we een protocol met dubbele-modale interferentie taken om online verwerking van gesproken-Chinese relatieve clausule zinnen te onderzoeken. Twee voorbeeld-experimenten met auditieve verwerking met intra-en extraveroordeling tiële interferenties worden beschreven. Het paradigma biedt een methodologie voor het aanpakken van de aard van het werkgeheugen en de effecten ervan op de verwerking van zinnen.

Het onderzoeken van online syntactische verwerking van gesproken complexe zinnen in het Chinees met behulp van Dual-modale interferentie taken

De studie stelt een activatie-gelijkemodel voor om te bestuderen hoe de eenzaamheid wordt verzacht wanneer een eenzaam publiek spervuurvideo's van rationele en emotionele beroep bekijkt. Het protocol maakt gebruik van eye tracking om de duur en fixatie document, goed voor de mate van tevredenheid wanneer emotionele behoeften worden gesust door inhoud en spervuur.

Eenzaamheid Assuaged: Eye-Tracking een publiek kijken Barrage Video's

We presenteren een protocol dat gebruik maakt van eye-tracking om oogbewegingen te volgen tijdens een intervalvergelijkingstaak (duurperceptie) op basis van visuele gebeurtenissen. Het doel is om een voorlopige gids te bieden om oculomotorische reacties op duurperceptietaken (vergelijking of discriminatie van tijdsintervallen) te scheiden van reacties op de stimulus zelf.

Oogbewegingen in visuele duurperceptie: ontwarring van stimulus uit tijd in predecisionele processen

Verken het visuele wereldparadigma voor online verwerking van gesproken taal met oogbewegingsregistratie. Deze methode onthult hoe deelnemers complexe zinnen zoals disjuncties en conditionals begrijpen.

Met behulp van oogbewegingen die worden opgenomen in de visuele wereld paradigma te verkennen van de Online verwerking van gesproken taal (Video) | JoVE Journal

Met behulp van oogbewegingen die worden opgenomen in de visuele wereld paradigma te verkennen van de Online verwerking van gesproken taal

Meer video's verkennen