Name: Verwendung von Augenbewegungen aufgezeichnet in der visuellen Welt Paradigma, die Online-Verarbeitung von gesprochener Sprache zu erkunden (Video) | JoVE Journal
Uploaded: 2018-10-13T12:30:00.000+00:00
Duration: 9 min 27 s
Description: Entdecken Sie das Visual-World-Paradigma zur Erforschung der Online-Sprachverarbeitung mit Eye-Tracking. Diese Methode ermöglicht die Analyse komplexer semantischer Strukturen in Echtzeit.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Diese Forschung wurde von Science Foundation der Beijing Language and Cultural University unter die grundlegenden Forschungsmittel für die zentralen Universitäten (Genehmigung Nr. 15YJ050003) unterstützt.

<ol><li>Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Integration+of+visual+and+linguistic+information+in+spoken+language+comprehension%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Integration of visual and linguistic information in spoken language comprehension.</a> Science. 268 (5217), 1632-1634 (1995).</li>
<li>Cooper, R. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/001002857490005X">The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing.</a> Cognitive Psychology. 6 (1), 84-107 (1974).</li>
<li>Salverda, A. P., Tanenhaus, M. K. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aSalverda%2C+AP+%22Research+methods+in+psycholinguistics+and+the+neurobiology+of+language%3A+A+practical+guide%22">Research methods in psycholinguistics and the neurobiology of language: A practical guide</a>. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).</li>
<li>Huettig, F., Rommers, J., Meyer, A. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+the+visual+world+paradigm+to+study+language+processing%3A+A+review+and+critical+evaluation%5BTitle%5D)+AND+%22Acta+Psychologica%22%5BJournal%5D)">Using the visual world paradigm to study language processing: A review and critical evaluation.</a> Acta Psychologica. 137 (2), 151-171 (2011).</li>
<li>Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Viewing+and+naming+objects%3A+Eye+movements+during+noun+phrase+production%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Viewing and naming objects: Eye movements during noun phrase production.</a> Cognition. 66 (2), B25-B33 (1998).</li>
<li>Griffin, Z. M., Bock, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((What+the+eyes+say+about+speaking%5BTitle%5D)+AND+%22Psychological+Science%22%5BJournal%5D)">What the eyes say about speaking.</a> Psychological Science. 11 (4), 274-279 (2000).</li>
<li>Young, L. R., Sheena, D. <a target="_blank" href="https://link.springer.com/article/10.3758/BF03201553">Survey of eye movement recording methods.</a> Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).</li>
<li>Conklin, K., Pellicer-Sánchez, A., Carrol, G. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aConklin%2C+K+%22Eye-tracking%3A+A+guide+for+applied+linguistics+research%22">Eye-tracking: A guide for applied linguistics research</a>. , Cambridge University Press. (2018).</li>
<li>Duchowski, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDuchowski%2C+A+%22Eye+tracking+methodology%3A+Theory+and+practice%22">Eye tracking methodology: Theory and practice</a>. , 2, Springer. (2007).</li>
<li>Baayen, R. H., Davidson, D. J., Bates, D. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001398">Mixed-effects modeling with crossed random effects for subjects and items.</a> Journal of Memory and Language. 59 (4), 390-412 (2008).</li>
<li>Barr, D. J. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001015">Analyzing 'visual world' eyetracking data using multilevel logistic regression.</a> Journal of Memory and Language. 59 (4), 457-474 (2008).</li>
<li>Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16000280">The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception.</a> Journal of Memory and Language. 90, 103-125 (2016).</li>
<li>Bolker, B. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Generalized+linear+mixed+models%3A+A+practical+guide+for+ecology+and+evolution%5BTitle%5D)+AND+%22Trends+in+Ecology+and+Evolution%22%5BJournal%5D)">Generalized linear mixed models: A practical guide for ecology and evolution.</a> Trends in Ecology and Evolution. 24 (3), 127-135 (2009).</li>
<li>Mirman, D., Dixon, J. A., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Statistical+and+computational+models+of+the+visual+world+paradigm%3A+Growth+curves+and+individual+differences%5BTitle%5D)+AND+%22Journal+of+Memory+and+Language%22%5BJournal%5D)">Statistical and computational models of the visual world paradigm: Growth curves and individual differences.</a> Journal of Memory and Language. 59 (4), 475-494 (2008).</li>
<li>Baayen, H., Vasishth, S., Kliegl, R., Bates, D. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16302467">The cave of shadows: Addressing the human factor with generalized additive mixed models.</a> Journal of Memory and Language. 94, 206-234 (2017).</li>
<li>Baayen, R. H., van Rij, J., de Cat, C., Wood, S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aBaayen%2C+RH+%22Mixed-Effects+Regression+Models+in+Linguistics%22">Mixed-Effects Regression Models in Linguistics</a>. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).</li>
<li>Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Scalar+and+ignorance+inferences+are+both+computed+immediately+upon+encountering+the+sentential+connective%3A+The+online+processing+of+sentences+with+disjunction+using+the+visual+world+paradigm%5BTitle%5D)+AND+%22Frontiers+in+Psychology%22%5BJournal%5D)">Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm.</a> Frontiers in Psychology. 9, (2018).</li>
<li>Maris, E., Oostenveld, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Nonparametric+statistical+testing+of+EEG-+and+MEG-data%5BTitle%5D)+AND+%22Journal+of+Neuroscience+Methods%22%5BJournal%5D)">Nonparametric statistical testing of EEG- and MEG-data.</a> Journal of Neuroscience Methods. 164 (1), 177-190 (2007).</li>
<li>Barr, D. J., Jackson, L., Phillips, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+a+voice+to+put+a+name+to+a+face%3A+The+psycholinguistics+of+proper+name+comprehension%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-General%22%5BJournal%5D)">Using a voice to put a name to a face: The psycholinguistics of proper name comprehension.</a> Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).</li>
<li>van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDahan%2C+D+%22Eye+movements%3A+A+window+on+mind+and+brain%22">Eye movements: A window on mind and brain</a>. , Elsevier. Ch. 21 471-486 (2007).</li>
<li>Parkhurst, D., Law, K., Niebur, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+role+of+salience+in+the+allocation+of+overt+visual+attention%5BTitle%5D)+AND+%22Vision+Research%22%5BJournal%5D)">Modeling the role of salience in the allocation of overt visual attention.</a> Vision Research. 42 (1), 107-123 (2002).</li>
<li>Grice, H. P. Vol. 3 Speech Acts. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGrice%2C+HP+%22Syntax+and+semantics%22">Syntax and semantics</a>. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).</li>
<li>Sauerland, U. <a target="_blank" href="http://semantics.uchicago.edu/kennedy/classes/w14/implicature/readings/sauerland04.pdf">Scalar implicatures in complex sentences.</a> Linguistics and Philosophy. 27 (3), 367-391 (2004).</li>
<li>Chierchia, G. <a target="_blank" href="https://www.annualreviews.org/doi/abs/10.1146/annurev-linguistics-011516-033846">Scalar implicatures and their interface with grammar.</a> Annual Review of Linguistics. 3 (1), 245-264 (2017).</li>
<li>Fox, D. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aFox%2C+D+%22Presupposition+and+Implicature+in+Compositional+Semantics%22">Presupposition and Implicature in Compositional Semantics</a>. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).</li>
<li>Meyer, M. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Ignorance+and+grammar%22">Ignorance and grammar</a>. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22SR+Research+Experiment+Builder+User+Manual+%28Version+2.1.140%29%22">SR Research Experiment Builder User Manual (Version 2.1.140)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+Technical+Specifications%22">EyeLink® 1000 Plus Technical Specifications</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink-1000-Plus-Brochure%22">EyeLink-1000-Plus-Brochure</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+User+Manual+%28Version+1.0.12%29%22">EyeLink® 1000 Plus User Manual (Version 1.0.12)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+Data+Viewer+User%E2%80%99s+Manual+%28Version+3.1.97%29%22">EyeLink® Data Viewer User’s Manual (Version 3.1.97)</a>. , Ottawa, Canada. (2017).</li>
<li>McQueen, J. M., Viebahn, M. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tracking+recognition+of+spoken+words+by+tracking+looks+to+printed+words%5BTitle%5D)+AND+%22The+Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Tracking recognition of spoken words by tracking looks to printed words.</a> The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Incremental+interpretation+at+verbs%3A+restricting+the+domain+of+subsequent+reference%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Incremental interpretation at verbs: restricting the domain of subsequent reference.</a> Cognition. 73 (3), 247-264 (1999).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07000101">The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing.</a> Journal of Memory and Language. 57 (4), 502-518 (2007).</li>
<li>Snedeker, J., Trueswell, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+developing+constraints+on+parsing+decisions%3A+The+role+of+lexical-biases+and+referential+scenes+in+child+and+adult+sentence+processing%5BTitle%5D)+AND+%22Cognitive+Psychology%22%5BJournal%5D)">The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing.</a> Cognitive Psychology. 49 (3), 238-299 (2004).</li>
<li>Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X97925584">Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models.</a> Journal of Memory and Language. 38 (4), 419-439 (1998).</li>
<li>Zhan, L., Crain, S., Zhou, P. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/20445911.2015.1016527">The online processing of only if and even if conditional statements: Implications for mental models.</a> Journal of Cognitive Psychology. 27 (3), 367-379 (2015).</li>
<li>Zhan, L., Zhou, P., Crain, S. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/23273798.2018.1448935">Using the visual-world paradigm to explore the meaning of conditionals in natural language.</a> Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).</li>
<li>Brown-Schmidt, S., Tanenhaus, M. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+investigation+of+referential+domains+in+unscripted+conversation%3A+A+targeted+language+game+approach%5BTitle%5D)+AND+%22Cognitive+Science%22%5BJournal%5D)">Real-time investigation of referential domains in unscripted conversation: A targeted language game approach.</a> Cognitive Science. 32 (4), 643-684 (2008).</li>
<li>Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. <a target="_blank" href="http://journals.sagepub.com/doi/abs/10.1111/1467-9280.00044">Rapid gains in speed of verbal processing by infants in the 2nd year.</a> Psychological Science. 9 (3), 228-231 (1998).</li>
<li>Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+kindergarten-path+effect%3A+studying+on-line+sentence+processing+in+young+children%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">The kindergarten-path effect: studying on-line sentence processing in young children.</a> Cognition. 73 (2), 89-134 (1999).</li>
<li>Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+use+of+phonological+information+in+ambiguity+resolution%3A+a+view+from+Mandarin+Chinese%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese.</a> Journal of Child Language. 39 (4), 687-730 (2012).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Grammatical+aspect+and+event+recognition+in+children%27s+online+sentence+comprehension%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Grammatical aspect and event recognition in children's online sentence comprehension.</a> Cognition. 133 (1), 262-276 (2014).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X12000277">Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing.</a> Journal of Memory and Language. 67 (1), 149-164 (2012).</li>
<li>Moscati, V., Zhan, L., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+on-line+processing+of+epistemic+modals%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's on-line processing of epistemic modals.</a> Journal of Child Language. 44 (5), 1025-1040 (2017).</li>
<li>Helfer, K. S., Staub, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Competing+speech+perception+in+older+and+younger+adults%3A+Behavioral+and+eye-movement+evidence%5BTitle%5D)+AND+%22Ear+and+Hearing%22%5BJournal%5D)">Competing speech perception in older and younger adults: Behavioral and eye-movement evidence.</a> Ear and Hearing. 35 (2), 161-170 (2014).</li>
<li>Dickey, M. W., Choy, J. W. J., Thompson, C. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+comprehension+of+wh-movement+in+aphasia%3A+Evidence+from+eyetracking+while+listening%5BTitle%5D)+AND+%22Brain+and+Language%22%5BJournal%5D)">Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening.</a> Brain and Language. 100 (1), 1-22 (2007).</li>
<li>Magnuson, J. S., Nusbaum, H. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Acoustic+differences%2C+listener+expectations%2C+and+the+perceptual+accommodation+of+talker+variability%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Human+Perception+and+Performance%22%5BJournal%5D)">Acoustic differences, listener expectations, and the perceptual accommodation of talker variability.</a> Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).</li>
<li>Reinisch, E., Jesse, A., McQueen, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Early+use+of+phonetic+information+in+spoken+word+recognition%3A+Lexical+stress+drives+eye+movements+immediately%5BTitle%5D)+AND+%22Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately.</a> Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).</li>
<li>Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Actions+and+affordances+in+syntactic+ambiguity+resolution%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Learning+Memory+and+Cognition%22%5BJournal%5D)">Actions and affordances in syntactic ambiguity resolution.</a> Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).</li>
<li>Tanenhaus, M. K., Trueswell, J. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aTanenhaus%2C+MK+%22Approaches+to+Studying+World-Situated+Language+Use%3A+Bridging+the+Language-as-Product+and+Language-as-Action+Traditions%22">Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions</a>. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).</li>
</ol>

Der Autor erklärt, dass er keine konkurrierenden finanziellen Interessen hat.

Um eine visuelle Welt Studie durchzuführen, gibt es einige wichtige Schritte zu folgen. Erstens wollen die Forscher die Interpretation der auditiv präsentiert Sprache über Teilnehmer Augenbewegungen der visuellen Welt abzuleiten. Von nun an sollte bei der Gestaltung des Layouts von visuellen Reizen, die Eigenschaften der Augenbewegungen in eine natürliche Aufgabe, die Teilnehmer Augenbewegungen betreffen gesteuert werden. Die Wirkung der gesprochenen Sprache auf Teilnehmer Augenbewegungen kann dann erkannt werden. Zweite...

Gesprochene Sprache ist eine schnelle und kontinuierliche Informationsfluss, die sofort verschwindet. Es ist eine Herausforderung, experimentell zu diesem zeitlichen studieren, Sprachsignal sehr schnell ändern. Augenbewegungen aufgezeichnet in der visuellen Welt Paradigma können verwendet werden, um diese Herausforderung zu meistern. In eine typische Eyetracking-Studie mit dem Paradigma der visuellen Welt werden Teilnehmer Augenbewegungen, Bilder in einer Anzeige oder reale Objekte in einem visuellen Arbeitsbereich überwacht, wie sie hören oder produzieren, gesprochenen Sprache, die Darstellung der Inhalte der visuellen Welt1 ,2,3,4. Die grundlegende Logik oder die Verknüpfung Hypothese hinter diesem Paradigma ist, dass zu begreifen oder Planung einer Äußerung (offen oder verdeckt) visuelle Aufmerksamkeit der Teilnehmer auf ein bestimmtes Objekt in der visuellen Welt verlagern wird. Diese Verschiebung der Aufmerksamkeit haben eine hohe Wahrscheinlichkeit, sakkadische Augenbewegungen die besuchte Gegend in der Fovea Vision bringen zu initiieren. Mit diesem Paradigma wollen Forscher bestimmen, an welchem zeitlichen Punkt in Bezug auf einige akustische Wahrzeichen in das Sprachsignal eine Verlagerung der visuellen Aufmerksamkeit des Teilnehmers auftritt, gemessen an einem sakkadische Augenbewegungen auf ein Objekt oder ein Bild in der visuellen Welt. Wann und wo sakkadische Augenbewegungen in Bezug auf das Sprachsignal gestartet werden werden verwendet, um die Online-Sprachverarbeitung ableiten. Die visuelle Welt Paradigma kann verwendet werden, um die gesprochene Sprache verstehen1,2 und Produktion5,6zu studieren. Dieser methodische Artikel konzentriert sich auf Verständnis Studien. In einer Studie Verständnis mit der Bildwelt Paradigma, Teilnehmer Auge Bewegungen auf die visuelle Anzeige überwacht werden, während sie die gesprochenen Äußerungen über die visuelle Darstellung sprechen hören.
Verschiedenen Eye-Tracking-Systeme wurden in der Geschichte entwickelt. Die einfachste, kostengünstigste und mobilste System ist nur eine normale Videokamera, die ein Bild des Teilnehmers Augen erfasst. Augenbewegungen werden dann manuell durch Frame-by-Frame-Prüfung der video-Aufnahme kodiert. Jedoch die Sampling-Rate von solchen Eye-Trackers ist relativ gering, und die Codierung Verfahren ist zeitaufwendig. So nutzt eine moderne kommerzielle Eye-tracking System normalerweise optische Sensoren messen die Orientierung des Auges in seiner Umlaufbahn7,8,9. Um zu verstehen, wie ein zeitgenössische kommerzielle Eyetracking-System funktioniert, sollten folgende Punkte beachtet werden. Erstens, um die Richtung der fovealen Vision, einen Infrarot-Illuminator korrekt Messen (normalerweise mit der Wellenlänge um 780-880 nm) wird normalerweise gelegt entlang oder aus der optischen Achse der Kamera, so dass das Bild des Schülers unterscheidbar heller oder dunkler als die umliegenden Iris. Das Bild des Schülers oder der Schülerin Hornhaut Reflexion (normalerweise das erste Purkinje-Bild) wird dann zur Berechnung der Orientierung des Auges in seiner Umlaufbahn. Zweitens ist der Blick-Standort in der visuellen Welt tatsächlich hängt nicht nur von der Auge-Orientierung in Bezug auf den Kopf, sondern auch auf die Ausrichtung des Kopfes in Bezug auf die visuelle Welt. Um genau den Blick aus dem Auge Ausrichtung ableiten, die Lichtquelle und die Kamera des Eye-Trackers sind in Bezug auf Teilnehmer Kopf (Head mounted Eye-Tracker) befestigt oder in Bezug auf die visuelle Welt fixiert sind (Tabelle montiert oder Remote Eye-Tracker). Drittens: die Teilnehmer Kopf Ausrichtung entweder in Bezug auf die visuelle Welt korrigiert werden muss oder rechnerisch kompensiert werden, wenn Teilnehmer Kopf frei beweglich ist. Wenn ein remote Eye-Tracker in einem Kopf-frei-zu-Move-Modus verwendet wird, wird die Teilnehmer Kopfposition in der Regel aufgezeichnet, indem ein kleiner Aufkleber auf Teilnehmer Stirn. Die Ausrichtung des Kopfes wird dann rechnerisch vom Auge Ausrichtung zu den Blick-Speicherort in der visuellen Welt abrufen subtrahiert. Viertens sind eine Kalibrierung und einen Validierungsprozess dann verpflichtet, die Orientierung des Auges den Blicken der Berücksichtigung der visuellen Welt abbilden. Bei der Kalibrierung sind Teilnehmer Fixierung Samples von bekannten Zielpunkte aufgenommen, um die rohe Auge Datenzuordnung, um die Position in der visuellen Welt bestaunen. In den Validierungsprozess präsentieren sich die Teilnehmer mit der gleichen Zielpunkte wie die Kalibrierung. Die Differenz zwischen der berechneten Fixierung Position aus die kalibrierten Ergebnisse und die aktuelle Position des fixierten Ziel der visuellen Welt werden dann verwendet, um die Genauigkeit der Kalibrierung zu beurteilen. Um die Genauigkeit des Zuordnungsprozesses noch einmal zu bestätigen, ein Drift-Scheck gilt normalerweise auf jeden Versuch, wo ein einzelnes Fixierung Ziel Teilnehmer um die Differenz zwischen der berechneten Fixierung-Position und der tatsächlichen Position des Messen vorgestellt wird die Aktuelles Ziel.
Die primären Daten einer visuellen Welt-Studie ist ein Stream Blick Standorte der visuellen Welt, aufgenommen in die Sampling-Rate des Eye-Trackers, über der gesamten oder eines Teils der Studie Dauer bis hin. Die abhängige Variable verwendet in einer visuellen Welt-Studie ist in der Regel der Anteil der Proben, dass Teilnehmer Fixierungen an bestimmten räumlichen Bereich der visuellen Welt in einem bestimmten Zeitfenster befinden. Um die Daten zu analysieren, muss ein Zeitfenster zunächst ausgewählt werden, oft als Perioden von Interesse. Das Zeitfenster beträgt in der Regel Zeit gesperrt, um die Präsentation von einigen sprachlichen Veranstaltungen im auditiven Input. Darüber hinaus ist die visuelle Welt mussten auch in mehreren Regionen von Interesse (ROIs), aufgeteilt jeweils mit einem oder mehreren Objekten zugeordnet ist. Eine solche Region enthält das Objekt, das richtige Verständnis der gesprochenen Sprache entspricht und somit nennt man oft den Zielbereich. Eine typische Methode, die Daten zu visualisieren ist ein Anteil der Fixierung Grundstück, wo bei jedem Lagerplatz in einem Zeitfenster, der Anteil der Proben mit einem Blick die einzelnen Regionen von Interesse sind, gemittelt über Teilnehmer und Gegenstände.
Mit einer visuellen Welt Studie gewonnenen Daten, verschiedene Forschungsfragen beantwortet werden können: eine) auf den grobkörnigen Ebene sind Teilnehmer Augenbewegungen der visuellen Welt von verschiedenen auditiven sprachlichen Input betroffen? (b) wenn es eine Wirkung, was ist die Flugbahn des Effekts im Laufe des Prozesses? Ist es einen linearen Effekt oder High-Order-Effekt? und c) eine Wirkung, dann auf die feinkörnige, wann ist der früheste zeitliche Punkt wo solche Wirkung entsteht und wie lange dauert dieser Effekt letzten?
Um die Ergebnisse statistisch zu analysieren, sollten folgende Punkte beachtet werden. Erstens ist die Antwortvariable, d.h.Anteile der Fixierungen, oben und unten (zwischen 0 und 1) begrenzt einer multinomialen Verteilung anstatt einer Normalverteilung folgen. Traditionelle statistischen Methoden basierend auf Normalverteilung wie t-Test, ANOVA und lineare Modelle (gemischt-Effekt)10, können nicht von nun an direkt genutzt werden, bis die Proportionen auf ungebundene Variablen wie z. B. mit umgewandelt wurden empirischen Logit Formel11 oder mit unbegrenzten abhängigen Variablen wie z. B. euklidische Entfernung12ersetzt worden. Statistische Methoden, die nicht erfordern, dass die Annahme der Normalverteilung, so verallgemeinerte lineare Modelle (gemischt-Effekt)13 können auch verwendet werden. Zweitens muss eine Variable für die Zeitreihen zur Erkundung der wechselnden Flugbahn des beobachteten Effekts in das Modell aufgenommen werden. Diese Zeitreihen Variable ist ursprünglich der Eye-Tracker der Probenahmestellen auf den Ausbruch der Sprache Eingang neu ausgerichtet. Da die wechselnden Flugbahn in der Regel nicht linear ist, wird eine höhere Ordnung Polynomfunktion der Zeitreihen-normalerweise in die (verallgemeinerte) linear (gemischt-Effekt) Modell, d.h.Wachstum Kurve Analysen14hinzugefügt. Darüber hinaus Endpositionen Auge in die aktuelle Aufnahmepunkt hängt stark vorherige Bemusterung Punkt(e) vor allem, wenn die Aufnahmefrequenz hoch, wodurch das Problem der Autokorrelation. Um die Autokorrelation zwischen den benachbarten Messpunkte zu reduzieren, sind die Originaldaten oft nach unten in die Stichprobe einbezogenen oder gebinnten. In den letzten Jahren nutzten die generalisierte additive Wirkung gemischte Modelle (GAMM) auch gegen die Referenzpositionen Fehler12,15,16. Die Breite der Lagerplätze variiert zwischen den verschiedenen Studien, die von mehreren Millisekunden bis hin zu mehreren hundert Millisekunden. Die schmalste bin können, eine Studie wählen wird durch die Sampling-Rate von der Eye-Tracker in der speziellen Studie verwendeten eingeschränkt. Zum Beispiel wenn eine Eye-Tracker eine Sampling-Rate von 500 Hz hat, kann nicht dann die Breite des Zeitfensters kleiner als 2 ms = 1000/500 sein. Drittens, wenn eine statistische Analyse wiederholt zu jeder Zeit bin der Perioden von Interesse angewendet wird, induziert der familywise Fehler aus diesen Mehrfachvergleiche beseitigt werden sollten. Wie zuvor beschrieben, informiert die Flugbahn Analyse den Forscher, ob die Wirkung auf die grobe Körnung Ebene beobachtet linear in Bezug auf die Veränderung der Zeit, ist aber nicht angezeigt wird, wenn der beobachtete Effekt beginnt zu entstehen, und wie lange die beobachteten der Effekt hält. Um die zeitliche Lage bestimmen, wann der beobachtete Unterschied beginnt auseinander, und um herauszufinden, die zeitliche Dauer, die die beobachtete Wirkung hält, hat eine statistische Auswertung zu jeder Zeit bin wiederholt angewendet werden. Diese Mehrfachvergleiche führen wir den sogenannten familywise Fehler, egal welche statistischen Methode verwendet wird. Die familywise Fehler wird traditionell mit Bonferroni Anpassung17korrigiert. Vor kurzem wurde eine Methode namens Nichtparametrische Permutationstest ursprünglich in Neuroimaging eingereicht18 auf die visuelle Wort Paradigma19 zu steuern für den familywise Fehler angewendet.
Das Verständnis für einige gesprochene Sprache von TeilnehmerInnen Augenbewegungen der visuellen Welt ableiten wollen Forscher mit dem Paradigma der visuellen Welt. Um die Gültigkeit dieser Abzug zu gewährleisten, sollten andere Faktoren, die möglicherweise Einfluss auf die Augenbewegungen werden entweder ausgeschlossen oder gesteuert. Die folgenden zwei Faktoren gehören zu den gebräuchlichsten, die berücksichtigt werden müssen. Der erste Faktor beinhaltet einige systematische Muster in Teilnehmer erklärende Fixierungen unabhängig von der Sprache eingeben, wie z. B. die Tendenz, in der oberen linken Quadrat der visuellen Welt und bewegliche Augen in horizontaler Richtung wird einfacher als in fixieren vertikaler Richtung etc.12,20 , um sicherzustellen, dass die beobachteten Fixierung Muster beziehen sich auf die Objekte, die nicht zu den räumlichen Orten, wo sich die Gegenstände befinden, die räumliche Position eines Objekts ausgeglichen werden sollte in verschiedenen Studien oder über andere Teilnehmer. Der zweite Faktor, der Teilnehmer Augenbewegungen auswirken kann ist die grundlegende Bild Eigenschaften der Objekte in der visuellen Welt, wie z. B. Helligkeit Kontrast, Farbe und Edge Ausrichtung, unter anderem21. Um dieses Potenzial verwirrende zu diagnostizieren, die visuelle Darstellung wird normalerweise dargestellt, vor dem Beginn der gesprochenen Sprache oder vor dem Beginn der kritischen akustischen Markierung der gesprochenen Sprache, für ca. 1000 ms den zeitlichen Zeitraum vom Beginn des der Testbild zum Ausbruch von Test Audio, die Sprache eingeben oder die Disambiguierung Punkt der Sprache Eingang hat noch nicht gehört. Keinen Unterschied zwischen unterschiedlichen Bedingungen beobachtet sollte zu anderen Störfaktoren wie die visuelle Anzeige schlechthin, anstatt die Sprache Eingang abgeleitet werden. Von nun an bereitstellen Augenbewegungen beobachtet in dieser Vorschau einer Basis zur Bestimmung der Wirkung von den sprachlichen Input. Diese Vorschauzeitraum kann auch Teilnehmer mit der optischen Anzeige vertraut zu machen und die systematische Vorspannung des erklärenden Fixierungen reduzieren, wenn die gesprochene Sprache präsentiert wird.
Um zu veranschaulichen, wie eine typische Eyetracking-Studie mit dem visuellen Welt Paradigma durchgeführt wird, beschreibt das folgende Protokoll ein Experiment adaptiert von L. Zhan17 , die Online-Verarbeitung von semantisch komplexe Aussagen, d. h. zu erkunden disjunktive Aussagen (S1 oder S2), konjunktive Aussagen (S1 und S2) und aber-Aussagen (S1, aber nicht-S2). In gewöhnlichen Konservierung sind die Informationen, die einige Äußerungen zum Ausdruck gebrachten wirklich stärker als seine wörtliche Bedeutung. Disjunktive Aussagen wie Xiaoming Box enthält eine Kuh oder ein Hahn sind solche Äusserungen. Logisch, die disjunktive Aussage ist wahr, solange die zwei Disjuncts Xiaoming Box enthält eine Kuh und Xiaoming Box enthält einen Hahn nicht beide sind falsch. Daher ist die disjunktive Aussage wahr, wenn die zwei Disjuncts beide True sind wo ist die entsprechende konjunktive Aussage Xiaoming Box enthält eine Kuh und ein Hahn auch wahr. Im gewöhnlichen Gespräch, jedoch hören, dass die disjunktive Aussage oft deutet darauf hin, dass die entsprechende konjunktive Aussage falsch ist (skalare Implicature); und schlägt vor, dass die Wahrheitswerte der beiden Disjuncts durch den Lautsprecher (Unwissenheit Inferenz) unbekannt sind. Konten in der Literatur unterscheiden sich in ob zwei Schlüsse grammatische oder pragmatische Prozesse22,23,24,25,26 sind. Das Experiment zeigt, wie die visuelle Welt Paradigma verwendet werden kann, zwischen diesen Konten durch die Erforschung der Online-Verarbeitung von drei komplexe Anweisungen erledigt.

<table><tbody><tr><td>Pixelmator</td><td>Pixelmator Team</td><td>http://www.pixelmator.com/pro/</td> <td>Bildbearbeitungs-App</td></tr><tr><td>Praat</td><td>Open Sourse</td><td>http://www.fon.hum.uva.nl/praat/</td> <td>Klanganalyse- und Bearbeitungssoftware</td></tr><tr><td>Eyelink 1000plus</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/products/eyelink-1000-plus/</td> <td>ferngesteuerter Infrarot-Eyetracker&nbsp;</td></tr><tr><td>Experimental Builder</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/experiment-builder/ Eyetracker-Software</td><td>&nbsp;</td></tr><tr><td>Data Viewer</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/data-viewer/ Eyetracker-Software</td><td>&nbsp;</td></tr><tr><td>R</td><td>Open Sourse</td><td>https://www.r-project.org</td><td>freie Softwareumgebung für statistische Berechnungen und Grafiken</td></tr></tbody></table>

verwendung von augenbewegungen aufgezeichnet in der visuellen welt paradigma, die online-verarbeitung von gesprochener sprache zu erkunden

Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language

Eine typische Eyetracking-Studie mit dem Paradigma der visuellen Welt, Teilnehmer Augenbewegungen auf Objekte oder Bilder im visuellen Arbeitsbereich sind über eine Eye-Tracker aufgezeichnet, wie die Teilnehmer produziert oder begreift eine gesprochene Sprache beschreibt das gleichzeitige visuelle Welt. Dieses Paradigma hat hohe Vielseitigkeit, wie es in den unterschiedlichsten Bevölkerungsgruppen, einschließlich derjenigen, die nicht lesen und/oder wer kann nicht offen geben ihre Verhaltensreaktionen wie preliterate Kinder und ältere Erwachsene Patienten, verwendet werden kann. Noch wichtiger ist, das Paradigma ist extrem empfindlich gegenüber feinkörnige Manipulationen des Sprachsignals, und es kann verwendet werden, um die Online-Verarbeitung von die meisten Themen im Sprachverständnis auf mehreren Ebenen, wie z. B. die feinkörnige akustische phonetische studieren Funktionen, die Eigenschaften der Wörter und sprachlichen Strukturen. Das Protokoll in diesem Artikel beschriebenen veranschaulicht, wie eine typische Bildwelt Eyetracking-Studie durchgeführt wird, anhand eines Beispiels zeigen, wie die Online-Verarbeitung von einige semantisch komplexen Anweisungen mit dem Paradigma der visuellen Welt erkundet werden kann.

In Abbildung 4sind Teilnehmer Verhaltensreaktionen zusammengefasst. Wie wir bereits erwähnt, ist die richtige Antwort auf eine konjunktive Erklärung (S1 und S2) großen Feld Öffnen, z. B. Box A in Abbildung 1. Die richtige Antwort auf eine aber-Anweisung (S1 aber nicht S2) ist das kleine Feld Öffnen, enthält das erste genannten Tier wie Box D in Abbildung 1. Kritisch, welche...

Die visuelle Welt Paradigma überwacht Teilnehmer Augenbewegungen im visuellen Arbeitsbereich anhören oder eine gesprochene Sprache. Dieses Paradigma kann verwendet werden, um die Online-Verarbeitung einer breiten Palette von Psycholinguistische Fragen, einschließlich semantisch komplexe Anweisungen, wie z. B. disjunktive Aussagen zu untersuchen.

Verwendung von Augenbewegungen aufgezeichnet in der visuellen Welt Paradigma, die Online-Verarbeitung von gesprochener Sprache zu erkunden

In a typical eye tracking study using the visual world paradigm, participants' eye movements to objects or pictures in the visual workspace are recorded ...

Diese Methode kann helfen, wichtige Fragen bei der Online-Verarbeitung von gesprochener Sprache zu beantworten, einschließlich semantisch komplexer Sätze, wie Zwierzwischenungen und Conditionals. Der Hauptvorteil dieser Technik ist, dass sie an einer Vielzahl von Populationen durchgeführt werden kann, um die meisten Themen in Bereichen der Sprachverarbeitung zu studieren. Demonstriert wird das Verfahren von Xu Jing, einem Postgraduiertenstudenten.Cao Yifan, Wang Meng, Yang Xiaotong, Zhan Min und Zhou Xuehan sind die Studenten meiner Forschungsgruppe. Um die visuellen Reize vorzubereiten, laden Sie 60 urheberrechtlich geschützte ClipArt-Bilder von Tieren aus dem Internet herunter und öffnen Sie die Bilder in einem entsprechenden Bildeditor. Klicken Sie auf Extras, und verwenden Sie die Schnellauswahl, um den Hintergrund aus jedem Bild auszuwählen und zu löschen.Klicken Sie auf Bild und Bildgröße, um die Größe der Bilder auf 120 x 120 Pixel zu ändern und eine große offene 320 x 240 Pixel-Box, eine kleine geschlossene 160 x 160 Pixel-Box und zwei kleine, offene 160 x 240 Pixel-Boxen zu zeichnen. Öffnen Sie eine neue Datei, um eine Vorlage von 1, 024 x 768 Pixeln für das erste Testbild

using-eye-movements-recorded-visual-world-paradigm-to-explore-online

Research

Forschung

JoVE Journal

Behavior

Verhalten

Neuronale Steuerung und kognitive Prozesse durch Augenbewegungen untersucht werden. Die Visualeyes Software ermöglicht es dem Bediener, Reize auf zwei Computer-Bildschirme unabhängig voneinander mit Hilfe eines einfachen, benutzerdefinierten Skriptsprache programmieren. Das System kann Tandemaugenbewegungen (Sakkaden und glatten Streben) oder gegenüberliegende Augenbewegungen (Konvergenz) oder eine beliebige Kombination stimulieren.

Visualeyes: ein modulares Softwaresystem für oculomotorius Experimentieren

Der vorliegende Artikel beschreibt, wie Man Eye-Tracking-Methoden verwenden, um die kognitiven Prozesse zu studieren, die am Textverständnis beteiligt sind. Beschreibungen von Eye-Tracking-Geräten, die Entwicklung experimenteller Reize und Verfahrensempfehlungen sind enthalten. Die dargestellten Informationen können auf die meisten Studien mit verbalen Reizen angewendet werden.

Verwenden von Augenbewegungen zur Bewertung der kognitiven Prozesse, die an der Textverständigung beteiligt sind

Um Laborumgebungen zu replizieren, erfordern Online-Datenerfassungsmethoden für visuelle Aufgaben eine strenge Kontrolle über die Reizpräsentation. Wir skizzieren Methoden für die Verwendung einer Webanwendung, um Leistungsdaten zu zwei Tests der visuellen Aufmerksamkeit zu sammeln.

Methoden zur Visuelle Aufmerksamkeit Online Testen

Der vorliegende Artikel Bewertungen eine Eyetracking-Methodik für Studien über Sprachverständnis. Um verlässliche Daten zu erhalten, sind die wichtigsten Schritte des Protokolls einzuhalten. Dazu gehören die richtigen Aufbau des Eye Trackers (z.B., gute Qualität der Augen- und Kopfbewegungen Bilder) und genaue Kalibrierung.

Eyetracking während visuell liegt Sprachverständnis: Flexibilität und Einschränkungen bei der Aufdeckung visuellen Kontext Effekte

Die Methode wurde entwickelt, um die Rolle der Hemmung der Rückkehr (IOR) in regressive Augenbewegungen beim Lesen zu untersuchen. Der Schwerpunkt liegt auf der Unterscheidung zwischen Regressionen ausgelöst durch Verständnis Schwierigkeiten im Vergleich zu denen von okulomotorischen Fehler, einschließlich der Rolle des IOR auf zwei Arten von Regressionen ausgelöst.

Eye-Tracking, Verständnis und okulomotorischen-basierten Regressive Augenbewegungen beim Lesen zu unterscheiden

Wir präsentieren Ihnen ein Protokoll, um die Verwendung von morphologischen Hinweise während der Echtzeit-Satz Verständnis von Kindern mit Autismus untersuchen.

Mit Hilfe der visuellen Welt Paradigma Satz Verständnis in Mandarin-sprachigen Kindern mit Autismus zu studieren

Eye-Tracking-Studien mit einem bevorzugt aussehenden Paradigma können verwendet werden, um das aufkommende Verständnis und die Aufmerksamkeit von Säuglingen über ihre äußere visuelle Welt zu untersuchen.

Erforschen der Sensibilität für visuelle Sprache durch Eye Tracking und das Preferential Looking Paradigm

Hier stellen wir ein Protokoll vor, das dual-modale Interferenzaufgaben verwendet, um die Online-Verarbeitung von gesprochen-chinesischen relativen Klauselsätzen zu untersuchen. Zwei Exemplarexperimente mit auditiver Verarbeitung mit intra- und übersprachlichen Interferenzen werden beschrieben. Das Paradigma bietet eine Methodik, um die Art des Arbeitsgedächtnisses und seine Auswirkungen auf die Satzverarbeitung zu adressieren.

Untersuchen der syntaktischen Online-Verarbeitung gesprochener komplexer Sätze auf Chinesisch mithilfe von Dual-Modal Interferenzaufgaben

Die Studie schlägt ein Aktivierungsmodell vor, um zu untersuchen, wie Einsamkeit gemildert wird, wenn ein einsames Publikum sperrige Videos rationaler und emotionaler Appelle betrachtet. Das Protokoll verwendet Eye-Tracking, um Dauer und Fixierung zu dokumentieren, wobei der Grad der Zufriedenheit berücksichtigt wird, wenn emotionale Bedürfnisse durch Inhalt und Sperre beschwichtigt werden.

Einsamkeit assuaged: Eye-Tracking ein Publikum beobachten Barrage Videos

Wir stellen ein Protokoll vor, das Eye-Tracking verwendet, um Augenbewegungen während einer Intervallvergleichsaufgabe (Dauerwahrnehmung) basierend auf visuellen Ereignissen zu überwachen. Ziel ist es, einen vorläufigen Leitfaden zu geben, um okulomotorische Reaktionen auf Dauerwahrnehmungsaufgaben (Vergleich oder Unterscheidung von Zeitintervallen) von Reaktionen auf den Reiz selbst zu trennen.

Augenbewegungen in der visuellen Dauerwahrnehmung: Entwirrung von Reizen aus der Zeit in vorentscheidenden Prozessen

Entdecken Sie das Visual-World-Paradigma zur Erforschung der Online-Sprachverarbeitung mit Eye-Tracking. Diese Methode ermöglicht die Analyse komplexer semantischer Strukturen in Echtzeit.

Verwendung von Augenbewegungen aufgezeichnet in der visuellen Welt Paradigma, die Online-Verarbeitung von gesprochener Sprache zu erkunden (Video) | JoVE Journal

Verwendung von Augenbewegungen aufgezeichnet in der visuellen Welt Paradigma, die Online-Verarbeitung von gesprochener Sprache zu erkunden

Weitere Videos entdecken