Name: À l’aide de mouvements oculaires enregistrées dans le paradigme de l’univers visuel d’explorer le traitement en ligne de la langue parlée (Vidéo) | JoVE Journal
Uploaded: 2018-10-13T12:30:00.000+00:00
Duration: 9 min 27 s
Description: Découvrez le paradigme du monde visuel pour étudier le traitement en ligne du langage parlé. Cette méthode d'eye tracking révèle comment les locuteurs comprennent les phrases sémantiquement complexes en temps réel.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Cette recherche a été financée par Science Foundation of Beijing Language et l’Université culturelle au titre des fonds de recherche fondamentale pour les universités de centrale (agrément numéro 15YJ050003).

<ol><li>Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Integration+of+visual+and+linguistic+information+in+spoken+language+comprehension%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Integration of visual and linguistic information in spoken language comprehension.</a> Science. 268 (5217), 1632-1634 (1995).</li>
<li>Cooper, R. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/001002857490005X">The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing.</a> Cognitive Psychology. 6 (1), 84-107 (1974).</li>
<li>Salverda, A. P., Tanenhaus, M. K. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aSalverda%2C+AP+%22Research+methods+in+psycholinguistics+and+the+neurobiology+of+language%3A+A+practical+guide%22">Research methods in psycholinguistics and the neurobiology of language: A practical guide</a>. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).</li>
<li>Huettig, F., Rommers, J., Meyer, A. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+the+visual+world+paradigm+to+study+language+processing%3A+A+review+and+critical+evaluation%5BTitle%5D)+AND+%22Acta+Psychologica%22%5BJournal%5D)">Using the visual world paradigm to study language processing: A review and critical evaluation.</a> Acta Psychologica. 137 (2), 151-171 (2011).</li>
<li>Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Viewing+and+naming+objects%3A+Eye+movements+during+noun+phrase+production%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Viewing and naming objects: Eye movements during noun phrase production.</a> Cognition. 66 (2), B25-B33 (1998).</li>
<li>Griffin, Z. M., Bock, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((What+the+eyes+say+about+speaking%5BTitle%5D)+AND+%22Psychological+Science%22%5BJournal%5D)">What the eyes say about speaking.</a> Psychological Science. 11 (4), 274-279 (2000).</li>
<li>Young, L. R., Sheena, D. <a target="_blank" href="https://link.springer.com/article/10.3758/BF03201553">Survey of eye movement recording methods.</a> Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).</li>
<li>Conklin, K., Pellicer-Sánchez, A., Carrol, G. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aConklin%2C+K+%22Eye-tracking%3A+A+guide+for+applied+linguistics+research%22">Eye-tracking: A guide for applied linguistics research</a>. , Cambridge University Press. (2018).</li>
<li>Duchowski, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDuchowski%2C+A+%22Eye+tracking+methodology%3A+Theory+and+practice%22">Eye tracking methodology: Theory and practice</a>. , 2, Springer. (2007).</li>
<li>Baayen, R. H., Davidson, D. J., Bates, D. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001398">Mixed-effects modeling with crossed random effects for subjects and items.</a> Journal of Memory and Language. 59 (4), 390-412 (2008).</li>
<li>Barr, D. J. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001015">Analyzing 'visual world' eyetracking data using multilevel logistic regression.</a> Journal of Memory and Language. 59 (4), 457-474 (2008).</li>
<li>Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16000280">The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception.</a> Journal of Memory and Language. 90, 103-125 (2016).</li>
<li>Bolker, B. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Generalized+linear+mixed+models%3A+A+practical+guide+for+ecology+and+evolution%5BTitle%5D)+AND+%22Trends+in+Ecology+and+Evolution%22%5BJournal%5D)">Generalized linear mixed models: A practical guide for ecology and evolution.</a> Trends in Ecology and Evolution. 24 (3), 127-135 (2009).</li>
<li>Mirman, D., Dixon, J. A., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Statistical+and+computational+models+of+the+visual+world+paradigm%3A+Growth+curves+and+individual+differences%5BTitle%5D)+AND+%22Journal+of+Memory+and+Language%22%5BJournal%5D)">Statistical and computational models of the visual world paradigm: Growth curves and individual differences.</a> Journal of Memory and Language. 59 (4), 475-494 (2008).</li>
<li>Baayen, H., Vasishth, S., Kliegl, R., Bates, D. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16302467">The cave of shadows: Addressing the human factor with generalized additive mixed models.</a> Journal of Memory and Language. 94, 206-234 (2017).</li>
<li>Baayen, R. H., van Rij, J., de Cat, C., Wood, S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aBaayen%2C+RH+%22Mixed-Effects+Regression+Models+in+Linguistics%22">Mixed-Effects Regression Models in Linguistics</a>. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).</li>
<li>Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Scalar+and+ignorance+inferences+are+both+computed+immediately+upon+encountering+the+sentential+connective%3A+The+online+processing+of+sentences+with+disjunction+using+the+visual+world+paradigm%5BTitle%5D)+AND+%22Frontiers+in+Psychology%22%5BJournal%5D)">Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm.</a> Frontiers in Psychology. 9, (2018).</li>
<li>Maris, E., Oostenveld, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Nonparametric+statistical+testing+of+EEG-+and+MEG-data%5BTitle%5D)+AND+%22Journal+of+Neuroscience+Methods%22%5BJournal%5D)">Nonparametric statistical testing of EEG- and MEG-data.</a> Journal of Neuroscience Methods. 164 (1), 177-190 (2007).</li>
<li>Barr, D. J., Jackson, L., Phillips, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+a+voice+to+put+a+name+to+a+face%3A+The+psycholinguistics+of+proper+name+comprehension%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-General%22%5BJournal%5D)">Using a voice to put a name to a face: The psycholinguistics of proper name comprehension.</a> Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).</li>
<li>van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDahan%2C+D+%22Eye+movements%3A+A+window+on+mind+and+brain%22">Eye movements: A window on mind and brain</a>. , Elsevier. Ch. 21 471-486 (2007).</li>
<li>Parkhurst, D., Law, K., Niebur, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+role+of+salience+in+the+allocation+of+overt+visual+attention%5BTitle%5D)+AND+%22Vision+Research%22%5BJournal%5D)">Modeling the role of salience in the allocation of overt visual attention.</a> Vision Research. 42 (1), 107-123 (2002).</li>
<li>Grice, H. P. Vol. 3 Speech Acts. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGrice%2C+HP+%22Syntax+and+semantics%22">Syntax and semantics</a>. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).</li>
<li>Sauerland, U. <a target="_blank" href="http://semantics.uchicago.edu/kennedy/classes/w14/implicature/readings/sauerland04.pdf">Scalar implicatures in complex sentences.</a> Linguistics and Philosophy. 27 (3), 367-391 (2004).</li>
<li>Chierchia, G. <a target="_blank" href="https://www.annualreviews.org/doi/abs/10.1146/annurev-linguistics-011516-033846">Scalar implicatures and their interface with grammar.</a> Annual Review of Linguistics. 3 (1), 245-264 (2017).</li>
<li>Fox, D. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aFox%2C+D+%22Presupposition+and+Implicature+in+Compositional+Semantics%22">Presupposition and Implicature in Compositional Semantics</a>. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).</li>
<li>Meyer, M. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Ignorance+and+grammar%22">Ignorance and grammar</a>. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22SR+Research+Experiment+Builder+User+Manual+%28Version+2.1.140%29%22">SR Research Experiment Builder User Manual (Version 2.1.140)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+Technical+Specifications%22">EyeLink® 1000 Plus Technical Specifications</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink-1000-Plus-Brochure%22">EyeLink-1000-Plus-Brochure</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+User+Manual+%28Version+1.0.12%29%22">EyeLink® 1000 Plus User Manual (Version 1.0.12)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+Data+Viewer+User%E2%80%99s+Manual+%28Version+3.1.97%29%22">EyeLink® Data Viewer User’s Manual (Version 3.1.97)</a>. , Ottawa, Canada. (2017).</li>
<li>McQueen, J. M., Viebahn, M. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tracking+recognition+of+spoken+words+by+tracking+looks+to+printed+words%5BTitle%5D)+AND+%22The+Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Tracking recognition of spoken words by tracking looks to printed words.</a> The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Incremental+interpretation+at+verbs%3A+restricting+the+domain+of+subsequent+reference%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Incremental interpretation at verbs: restricting the domain of subsequent reference.</a> Cognition. 73 (3), 247-264 (1999).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07000101">The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing.</a> Journal of Memory and Language. 57 (4), 502-518 (2007).</li>
<li>Snedeker, J., Trueswell, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+developing+constraints+on+parsing+decisions%3A+The+role+of+lexical-biases+and+referential+scenes+in+child+and+adult+sentence+processing%5BTitle%5D)+AND+%22Cognitive+Psychology%22%5BJournal%5D)">The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing.</a> Cognitive Psychology. 49 (3), 238-299 (2004).</li>
<li>Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X97925584">Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models.</a> Journal of Memory and Language. 38 (4), 419-439 (1998).</li>
<li>Zhan, L., Crain, S., Zhou, P. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/20445911.2015.1016527">The online processing of only if and even if conditional statements: Implications for mental models.</a> Journal of Cognitive Psychology. 27 (3), 367-379 (2015).</li>
<li>Zhan, L., Zhou, P., Crain, S. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/23273798.2018.1448935">Using the visual-world paradigm to explore the meaning of conditionals in natural language.</a> Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).</li>
<li>Brown-Schmidt, S., Tanenhaus, M. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+investigation+of+referential+domains+in+unscripted+conversation%3A+A+targeted+language+game+approach%5BTitle%5D)+AND+%22Cognitive+Science%22%5BJournal%5D)">Real-time investigation of referential domains in unscripted conversation: A targeted language game approach.</a> Cognitive Science. 32 (4), 643-684 (2008).</li>
<li>Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. <a target="_blank" href="http://journals.sagepub.com/doi/abs/10.1111/1467-9280.00044">Rapid gains in speed of verbal processing by infants in the 2nd year.</a> Psychological Science. 9 (3), 228-231 (1998).</li>
<li>Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+kindergarten-path+effect%3A+studying+on-line+sentence+processing+in+young+children%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">The kindergarten-path effect: studying on-line sentence processing in young children.</a> Cognition. 73 (2), 89-134 (1999).</li>
<li>Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+use+of+phonological+information+in+ambiguity+resolution%3A+a+view+from+Mandarin+Chinese%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese.</a> Journal of Child Language. 39 (4), 687-730 (2012).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Grammatical+aspect+and+event+recognition+in+children%27s+online+sentence+comprehension%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Grammatical aspect and event recognition in children's online sentence comprehension.</a> Cognition. 133 (1), 262-276 (2014).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X12000277">Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing.</a> Journal of Memory and Language. 67 (1), 149-164 (2012).</li>
<li>Moscati, V., Zhan, L., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+on-line+processing+of+epistemic+modals%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's on-line processing of epistemic modals.</a> Journal of Child Language. 44 (5), 1025-1040 (2017).</li>
<li>Helfer, K. S., Staub, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Competing+speech+perception+in+older+and+younger+adults%3A+Behavioral+and+eye-movement+evidence%5BTitle%5D)+AND+%22Ear+and+Hearing%22%5BJournal%5D)">Competing speech perception in older and younger adults: Behavioral and eye-movement evidence.</a> Ear and Hearing. 35 (2), 161-170 (2014).</li>
<li>Dickey, M. W., Choy, J. W. J., Thompson, C. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+comprehension+of+wh-movement+in+aphasia%3A+Evidence+from+eyetracking+while+listening%5BTitle%5D)+AND+%22Brain+and+Language%22%5BJournal%5D)">Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening.</a> Brain and Language. 100 (1), 1-22 (2007).</li>
<li>Magnuson, J. S., Nusbaum, H. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Acoustic+differences%2C+listener+expectations%2C+and+the+perceptual+accommodation+of+talker+variability%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Human+Perception+and+Performance%22%5BJournal%5D)">Acoustic differences, listener expectations, and the perceptual accommodation of talker variability.</a> Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).</li>
<li>Reinisch, E., Jesse, A., McQueen, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Early+use+of+phonetic+information+in+spoken+word+recognition%3A+Lexical+stress+drives+eye+movements+immediately%5BTitle%5D)+AND+%22Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately.</a> Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).</li>
<li>Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Actions+and+affordances+in+syntactic+ambiguity+resolution%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Learning+Memory+and+Cognition%22%5BJournal%5D)">Actions and affordances in syntactic ambiguity resolution.</a> Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).</li>
<li>Tanenhaus, M. K., Trueswell, J. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aTanenhaus%2C+MK+%22Approaches+to+Studying+World-Situated+Language+Use%3A+Bridging+the+Language-as-Product+and+Language-as-Action+Traditions%22">Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions</a>. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).</li>
</ol>

L’auteur déclare qu’il n’a aucun intérêts financiers concurrents.

Pour effectuer une étude de l’univers visuel, il y a plusieurs étapes essentielles à suivre. Tout d’abord, les chercheurs ont l’intention d’en déduire l’interprétation de la langue audition présentée par l’intermédiaire de mouvements oculaires des participants dans l’univers visuel. Désormais, dans la conception de la présentation des stimuli visuels, les propriétés des mouvements des yeux dans une tâche naturelle qui pourrait affectent les mouvements des yeux des participants doivent être contrôlées. L’effet de la langu...

La langue parlée est un flux d’informations rapide et continu, qui disparaît tout de suite. C’est un défi d’étudier expérimentalement ce temporelle, de changer rapidement le signal de parole. Mouvements oculaires enregistrées dans le paradigme de l’univers visuel peuvent être utilisés pour relever ce défi. Dans un typique oculométrique étude utilisant le paradigme de l’univers visuel, les mouvements des yeux des participants aux images sur un écran ou à des objets réels dans un espace de travail visual sont surveillés qu’ils écoutent, ou produisent, langue parlée en décrivant le contenu de l’univers visuel1 ,2,3,4. La logique de base, ou l’hypothèse reliant, derrière ce paradigme est que comprendre ou qui prévoient un énoncé (ouvertement ou secrètement) passera attention visuelle des participants sur un certain objet dans l’univers visuel. Ce changement d’attention aura une probabilité élevée d’initier un mouvement par saccades des yeux pour amener la région fréquentée dans la vision fovéale. Avec ce paradigme, les chercheurs ont l’intention de déterminer à quel moment temporel, en ce qui concerne certains point de repère acoustique du signal de parole, un changement dans l’attention visuelle du participant se produit, tel que mesuré par un mouvement par saccades des yeux un objet ou une image dans le visuel monde. Quand et où les mouvements par saccades des yeux sont lancées en ce qui concerne le signal de parole sont ensuite utilisés pour déduire le traitement automatique des langues en ligne. Le paradigme de l’univers visuel peut être utilisé pour étudier la langue parlée compréhension1,2 et la production5,6. Cet article méthodologique se concentrera sur les études de compréhension. Dans une étude de la compréhension en utilisant le paradigme de l’univers visuel, les yeux des participants sur l’affichage visuel, les mouvements sont surveillés comme ils écoutent les paroles parlées parle l’affichage visuel.
Systèmes de suivi des yeux différents ont été conçus dans l’histoire. Le plus simple, moins coûteux et plus portable système est juste une caméra vidéo normale, qui enregistre une image des yeux du participant. Les mouvements oculaires sont ensuite manuellement codés par un examen de l’enregistrement vidéo image par image. Toutefois, le taux d’échantillonnage de tel un eye-tracker est relativement faible, et la procédure de codage prend du temps. Ainsi, un œil commercial contemporain normalement le système de suivi utilise des capteurs optiques de mesure l’orientation de le œil dans son orbite7,8,9. Pour comprendre comment fonctionne un système de suivi oculaire commercial contemporain, on devraient considérer les points suivants. Premièrement, pour mesurer correctement la direction de la vision fovéale, un illuminateur infrarouge (normalement avec la longueur d’onde autour de 780-880 nm) est normalement posée le long ou hors de l’axe optique de la caméra, ce qui rend l’image de la pupille distinguishably plus ou moins clairs que l’iris environnantes. L’image de l’élève ou du reflet cornéen (normalement la première image Purkinje) élève est ensuite utilisée pour calculer l’orientation de le œil dans son orbite. En second lieu, l’emplacement du regard dans l’univers visuel est en fait subordonnée non seulement sur l’orientation de l’oeil en ce qui concerne la tête, mais aussi sur l’orientation de tête en ce qui concerne l’univers visuel. Pour en déduire exactement le regard du respect de l’orientation de l’oeil, la source lumineuse et la caméra de l’oeil-trackers sont fixés en ce qui concerne la tête des participants (visiocasques eye-Tracker) ou ont été fixés en ce qui concerne l’univers visuel (monté sur table ou distance œil-trackers). Troisièmement, orientation tête des participants doit être attachée à l’égard de l’univers visuel ou être indemnisée par le calcul si la tête des participants est libre de ses mouvements. Quand un eye-tracker distant est utilisé dans un mode de tête-libre-à-coup, position de la tête des participants est généralement enregistrée en plaçant un petit autocollant sur le front des participants. L’orientation de la tête est ensuite par le calcul soustrait de l’orientation de l’oeil pour récupérer l’emplacement du regard dans l’univers visuel. Quatrièmement, un étalonnage et un processus de validation sont alors tenus pour mapper l’orientation de l’oeil au regard du respect dans le monde visuel. Dans le processus d’étalonnage, échantillons de fixation des participants provenant de points cibles connues sont enregistrées pour mapper les données brutes oeil pour contempler la position dans l’univers visuel. Dans le processus de validation, les participants sont présentent les mêmes points de la cible que le processus d’étalonnage. La différence existant entre la position de fixation calculée d’après les résultats étalonnés et la position réelle de l’objectif fixé dans l’univers visuel sont ensuite utilisés pour juger de la précision de l’étalonnage. De plus confirmer l’exactitude du processus de mappage, à une vérification de la dérive est normalement appliquée sur chaque procès, où une cible de fixation unique est présentée aux participants de mesurer la différence entre la position de la fixation et la position réelle de la cible actuelle.
Les données primaires d’une étude de l’univers visuel sont un ruisseau de regard lieux dans l’univers visuel enregistré à la fréquence d’échantillonnage de l’eye-tracker, s’étendant sur tout ou partie de la durée du procès. La variable dépendante, utilisée dans une étude de l’univers visuel est généralement la proportion des échantillons que les fixations des participants sont placées certaine région spatiale dans l’univers visuel à travers une fenêtre de temps certain. Pour analyser les données, une fenêtre de temps a tout d’abord d’être choisi, souvent appelées périodes d’intérêt. La durée de validité est généralement temps fermée à la présentation de certains événements linguistiques dans l’entrée auditive. En outre, l’univers visuel est également nécessaire de diviser en plusieurs zones d’intérêt (ROIs), dont chacun est associé à un ou plusieurs objets. Une telle région contient l’objet correspondant à la bonne compréhension de la langue parlée et donc est souvent appelée la zone cible. Une façon typique de visualiser les données est une parcelle de proportion-de-fixation, où à chaque emplacement dans une fenêtre de temps, la proportion des échantillons avec un coup d’oeil à chacune des régions d’intérêt sont en moyenne à travers les participants et les éléments.
En utilisant les données provenant d’une étude de l’univers visuel, recherche différentes questions peuvent être répondues : un) sur le niveau de céréales secondaires, sont des mouvements oculaires des participants dans l’univers visuel touchés par différentes entrées linguistiques auditives ? b) si il y a un effet, quelle est la trajectoire de l’effet au cours du procès ? Est-ce un effet linéaire ou ordre élevé ? et c) s’il y a un effet, puis sur le niveau de grain fin, quelle est le plus ancien point temporel où émerge un tel effet et combien cet effet en dernier ?
Pour analyser statistiquement les résultats, les points suivants devraient être considérés. Tout d’abord, la variable de réponse, c'est-à-dire, des proportions de fixations, est aussi bien inférieures et supérieures délimitée (entre 0 et 1), qui suivra une distribution multinomiale plutôt qu’une distribution normale. Désormais, des méthodes statistiques traditionnelles, basés sur une distribution normale comme t-test, analyse de la variance et des modèles linéaires (effet mélangé)10, ne peuvent pas être directement utilisés jusqu'à ce que les proportions ont été transformées aux variables illimitées comme avec formule empirique logit11 ou ont été remplacés par unbounded variables dépendantes telles que la distance euclidienne12. Techniques statistiques qui ne nécessitent pas que l’hypothèse d’une distribution normale telle généralisée des modèles linéaires (effet mélangé)13 peuvent également être utilisés. En second lieu, afin d’étudier la trajectoire changeante de l’effet observé, une variable indiquant la série chronologique doit être ajouté dans le modèle. Cette variable de série chronologique est à l’origine l’eye-tracker de points remises à l’apparition de la langue d’entrée de prélèvement. Puisque la trajectoire changeante en général n’est pas linéaire, une fonction polynomiale d’ordre élevé de la série chronologique est généralement incorporée dans le () modèle linéaire généralisé (effet mélangé), c'est-à-direla croissance courbe analyses14. En outre, postes oeil des participants dans le point d’échantillonnage actuel dépend fortement précédents points d’échantillonnage, surtout lorsque la fréquence d’enregistrement est élevée, ce qui entraîne le problème de l’autocorrélation. Pour réduire l’autocorrélation entre les points d’échantillonnage adjacent, données d’origine sont souvent sous-échantillonnée ou jumelées. Ces dernières années, les modèles d’effets mixtes additif généralisé (GAMM) ont également servis pour s’attaquer à l’autocorrélation erreurs12,15,16. La largeur des bacs varie selon les différentes études, allant de plusieurs millisecondes à plusieurs centaines de millisecondes. Le bac plus étroit que peut choisir une étude est limité par le taux d’échantillonnage du Traqueur oculaire utilisé dans l’étude spécifique. Par exemple, si un traqueur d’oeil a une fréquence d’échantillonnage de 500 Hz, alors la largeur de la fenêtre de temps ne peut pas être plus petite que 2 ms = 1000/500. Troisièmement, lorsqu’une analyse statistique est appliquée à plusieurs reprises à chaque emplacement de temps des périodes d’intérêt, l’erreur familywise induits à partir de ces que comparaisons multiples devraient être réglés. Comme nous avons décrit précédemment, l’analyse de la trajectoire informe le chercheur si l’effet observé sur le niveau de céréales secondaires est linéaire par rapport à l’évolution du temps, mais ne s’affiche ne pas lorsque l’effet observé commence à émerger et comment longtemps l’observé effet dure. Pour déterminer la position temporelle quand la différence observée commence à diverger et pour déterminer la durée de la période temporelle qui dure l’effet observé, une analyse statistique doit être appliqué à plusieurs reprises à chaque emplacement de temps. Ces comparaisons multiples introduira la dite erreur familywise, n’importe quelle méthode statistique est utilisée. Traditionnellement, l’erreur familywise est corrigée avec ajustement de Bonferroni17. Récemment, une méthode appelée test de permutation non paramétriques utilisé à l’origine en neuro-imagerie ont déposé18 a été appliquée au mot visual paradigm19 au contrôle de l’erreur familywise.
Chercheurs en utilisant le paradigme de l’univers visuel ont l’intention d’en déduire la compréhension d’une langue parlée de mouvements oculaires des participants dans l’univers visuel. Pour s’assurer de la validité de cette déduction, autres facteurs éventuellement influencer les mouvements des yeux devraient être écartées ou contrôlées. Les deux facteurs suivants sont parmi les plus communs qui doivent être prises en considération. Le premier facteur implique certaines tendances systématiques sur fixations explicatives des participants indépendants de la langue d’entrée, tels que la tendance à se focaliser sur la partie supérieure gauche de quadrat de l’univers visuel et les yeux mobiles dans le sens horizontal étant plus facile que dans la direction verticale, etc.12,20 pour s’assurer que les modes de fixation observées sont liées aux objets, pas aux emplacements spatiales où se trouvent les objets, les positions spatiales d’un objet doivent être contrebalancées travers différents procès ou à travers les différents participants. Le deuxième facteur pouvant affecter les mouvements des yeux des participants est les caractéristiques de l’image de base des objets dans l’univers visuel, comme l’orientation de contraste, couleur et edge luminance, entre autres21. Pour diagnostiquer ce potentiel de confusion, l’affichage est normalement présenté avant l’apparition de la langue parlée ou avant l’apparition du marqueur acoustique critique de la langue parlée, pour environ 1000 m au cours de la période temporelle de l’apparition de la image de test pour le début de l’essai audio, la langue d’entrée ou le point de l’homonymie de la langue d’entrée n’a pas encore été entendu. Toute différence observée entre les différentes conditions devrait être déduite d’autres facteurs de confusion tels que l’affichage visuel en soi, plutôt que la langue d’entrée. Désormais, les mouvements oculaires observées dans cette période d’essai a fournir une base pour déterminer l’effet de l’apport linguistique. Cette période d’essai permet également aux participants de se familiariser avec l’affichage visuel et afin de réduire le biais systématique des fixations explicatives quand la langue parlée est présentée.
Pour illustrer comment une étude utilisant le paradigme de l’univers visuel d’oculométrique typique se déroule, le protocole suivant décrit une expérience adaptée de L. Zhan17 pour explorer le traitement en ligne des instructions sémantiquement complexes, c'est-à-dire, les déclarations disjonctives (S1 ou S2), déclarations conjonctive (S1 et S2) et mais-déclarations (S1 mais non-S2). Dans la conservation de l’ordinaire, les informations exprimées par certaines déclarations sont réellement plus fortes que son sens littéral. Disjonctives déclarations comme boîte de Xiaoming contient une vache ou un coq sont ces énoncés. Logiquement, l’instruction disjonctive est vraie tant que le disposera de deux boîte de Xiaoming contient une vache et boîte de Xiaoming un coq n’est pas tous les deux false. Par conséquent, l’instruction disjonctive est true lorsque la disposera de deux est les deux vrai, où l’instruction correspondante de conjonctive boîte de Xiaoming contient une vache et un coq est également vraie. Dans la conversation ordinaire, cependant, entendant que la déclaration disjonctive souvent suggère que l’instruction conjonctive correspondante a la valeur false (implicature scalaire) ; et suggère que les valeurs de vérité de la disposera de deux sont ignorées par l’orateur (inférence de l’ignorance). Comptes dans la littérature se distinguent par deux conclusions sont grammaticale ou pragmatique des processus22,23,24,25,26. L’expérience montre comment le paradigme de l’univers visuel peut être utilisé pour trancher entre ces comptes, en explorant le traitement en ligne de trois instructions complexes.

<table><tbody><tr><td>Pixelmator</td><td>Pixelmator Team</td><td>http://www.pixelmator.com/pro/</td> <td>application d’édition d’images</td></tr><tr><td>Praat</td><td>Open Sourse</td><td>http://www.fon.hum.uva.nl/praat/</td> <td>Logiciel d’analyse et d’édition de sons</td></tr><tr><td>Eyelink 1000plus</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/products/eyelink-1000-plus/</td> <td>suivi oculaire infrarouge à distance&nbsp ;</td></tr><tr><td>Experimental Builder</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/experiment-builder/</td> <td>logiciel de suivi oculaire</td></tr>)<tr><td>Data Viewer</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/data-viewer/</td> <td>logiciel de suivi oculaire</td></tr>)<tr><td>R</td><td>Open Sourse</td><td>https://www.r-project.org</td><td>environnement logiciel libre pour le calcul statistique et le graphisme</td></tr></tbody></table>

À l’aide de mouvements oculaires enregistrées dans le paradigme de l’univers visuel d’explorer le traitement en ligne de la langue parlée

Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language

Dans un typique oculométrique étude utilisant le paradigme de l’univers visuel, des participants des yeux les mouvements d’objets ou images dans l’espace de travail visuel sont enregistrées via un traqueur d’oeil comme le participant produit ou comprend un langage parlé décrivant le visuel simultané monde. Ce paradigme a grande polyvalence, car il peut être utilisé dans un large éventail de populations, y compris celles qui ne peuvent pas lire ou qui ne peuvent pas donner ouvertement leurs réponses comportementales, telles que les enfants illettrées, âgées et les patients. Plus important encore, le paradigme est extrêmement sensible aux manipulations à grain fin du signal de parole, et il peut être utilisé pour étudier le traitement en ligne de la plupart des sujets dans la compréhension de la langue à plusieurs niveaux, tels que l’acoustique à grains fins phonétique caractéristiques, les propriétés de mots et les structures linguistiques. Le protocole décrit dans cet article illustre comment une étude d’oculométrique univers visuel typique est réalisée, avec un exemple qui indique comment le traitement en ligne de certaines déclarations sémantiquement complexes peut être exploré avec le paradigme du monde visuel.

Les réponses comportementales des participants sont résumées dans la Figure 4. Comme nous avons décrit précédemment, la bonne réponse à une déclaration conjointe (S1 et S2) est la grande boîte ouverte, comme la boîte A sur la Figure 1. La bonne réponse à un mais-déclaration (S1 mais pas S2) est la petite boîte ouverte contenant le premier animal mentionné, tels que boîte D sur la Fi...

Le paradigme de l’univers visuel surveille les mouvements des yeux des participants dans l’espace de travail visuel car ils sont à l’écoute ou parlant une langue parlée. Ce paradigme peut servir à enquêter sur le traitement en ligne d’un large éventail de questions psycholinguistiques, y compris les instructions sémantiquement complexes, telles que les instructions disjonctives.

In a typical eye tracking study using the visual world paradigm, participants' eye movements to objects or pictures in the visual workspace are recorded ...

Cette méthode peut aider à répondre aux questions clés dans le traitement en ligne de la langue parlée, y compris les phrases sémantiquement complexes, telles que les disjonctions et les conditions. Le principal avantage de cette technique est qu’elle peut être effectuée sur un large éventail de populations pour étudier la plupart des sujets dans les domaines du traitement linguistique. Xu Jing, étudiant de troisième cycle, démontrera la procédure.Cao Yifan, Wang Meng, Yang Xiaotong, Zhan Min et Zhou Xuehan sont les étudiants de mon groupe de recherche. Pour préparer les stimuli visuels, téléchargez 60 images de clip art gratuites d’animaux sur Internet et ouvrez les images dans un éditeur d’images approprié. Cliquez sur Outils et utilisez la sélection rapide pour sélectionner et supprimer l’arrière-plan de chaque image.Cliquez sur Image et Taille de l’image pour resize les images à 120 par 120 pixels et dessiner une grande boîte ouverte de 320 x 240 pixels, une petite boîte fermée de 160 x 160 pixels, et deux petites boîtes ouvertes de 160 x 240 pixels. Ouvrez un nouveau fichier pour créer un modèle de 1 024 par 768 pixels pour la première image de test, et faites glisser les case

using-eye-movements-recorded-visual-world-paradigm-to-explore-online

Research

Recherche

JoVE Journal

Behavior

Comportement

Contrôle neural et les processus cognitifs peuvent être étudiés par des mouvements oculaires. Le logiciel Visualeyes permet à un opérateur de programmer stimuli sur deux écrans d'ordinateurs utilisant indépendamment un langage simple, des scripts personnalisés. Le système peut stimuler les mouvements oculaires (tandem saccades et la poursuite en douceur) ou mouvements oculaires opposées (vergence) ou ne importe quelle combinaison.

Visualeyes: un système logiciel modulaire pour l&#39;expérimentation oculomoteurs

Le présent article décrit comment utiliser des méthodologies de suivi oculaire pour étudier les processus cognitifs impliqués dans la compréhension de texte. Des descriptions de l’équipement de suivi oculaire, comment développer des stimuli expérimentaux, et des recommandations procédurales sont incluses. Les informations présentées peuvent être appliquées à la plupart des études utilisant des stimuli verbaux.

Utilisation des mouvements oculaires pour évaluer les processus cognitifs impliqués dans la compréhension de texte

Le présent article examine une méthodologie de suivi oculaire pour les études sur la compréhension de la langue. Pour obtenir des données fiables, des étapes clés du protocole doivent être respectées. Parmi ceux-ci figurent la mise en place correcte du Traqueur d’oeil (par exemple, assurer la bonne qualité des images oeil et tête) et un étalonnage précis.

Eye Tracking au cours de la compréhension du langage visuel situé : Flexibilité et Limitations en découvrant des effets de contexte visuel

La méthode a été conçue pour étudier le rôle de l’inhibition de retour (IOR) en mouvements oculaires régressif au cours de la lecture. L’accent est mis sur la différencier les régressions déclenchées à la suite de compréhension difficile par rapport à ceux déclenchés par erreur oculomoteur, y compris le rôle de IOR dans les deux types de régressions.

Eye-tracking pour distinguer les mouvements oculaires régressive axée sur la compréhension et axée sur les oculomoteur lors de lecture

Nous présentons un protocole afin d’examiner l’utilisation d’indices morphologiques au cours de la compréhension de la phrase en temps réel par les enfants atteints d’autisme.

En utilisant le paradigme de l’univers visuel d’étudier la compréhension de la phrase en langue mandarine enfants atteints d’autisme

Les études de suivi des yeux utilisant un paradigme de regard préférentiel peuvent être employées pour étudier la compréhension et l'attention naissantes des enfants en bas âge de leur monde visuel externe.

Explorer la sensibilité des nourrissons au langage visuel à l'aide du suivi des yeux et du paradigme de la recherche préférentielle

Ici, nous présentons un protocole employant des tâches d'interférence bimodale pour examiner le traitement en ligne des phrases relatives parlées-chinoises de clause. Deux expériences exemplaires impliquant le traitement auditif avec des interférences intra- et extrasentiales sont décrites. Le paradigme fournit une méthodologie pour aborder la nature de la mémoire de travail et ses effets sur le traitement des phrases.

Examen du traitement syntaxique en ligne des phrases complexes parlées en chinois à l'aide de tâches d'interférence à double modal

L’étude propose un modèle d’activation-match pour étudier comment la solitude est atténuée quand un public solitaire regarde des vidéos barrage d’appels rationnels et émotionnels. Le protocole utilise le suivi oculaire pour documenter la durée et la fixation, ce qui représente le degré de satisfaction lorsque les besoins émotionnels sont apaisés par le contenu et le barrage.

Solitude apaisé: Eye-Tracking an Audience Watching Barrage Vidéos

Nous présentons un protocole pour explorer la séquence d’activation relative de la phonologie et de la sémantique dans la reconnaissance visuelle des mots. Les résultats montrent que, conformément aux comptes interactifs, les représentations sémantiques et phonologiques peuvent être traitées de manière interactive, et les représentations linguistiques de niveau supérieur peuvent affecter le traitement précoce.

Interaction entre les processus phonologiques et sémantiques dans la reconnaissance visuelle des mots à l’aide de l’électrophysiologie

Nous présentons un protocole qui utilise l’oculométrie pour surveiller les mouvements oculaires lors d’une tâche de comparaison d’intervalles (perception de la durée) basée sur des événements visuels. L’objectif est de fournir un guide préliminaire pour séparer les réponses oculomotrices aux tâches de perception de la durée (comparaison ou discrimination des intervalles de temps) des réponses au stimulus lui-même.

Mouvements oculaires dans la perception visuelle de la durée : démêler le stimulus du temps dans les processus prédécisionnels

Découvrez le paradigme du monde visuel pour étudier le traitement en ligne du langage parlé. Cette méthode d'eye tracking révèle comment les locuteurs comprennent les phrases sémantiquement complexes en temps réel.

À l’aide de mouvements oculaires enregistrées dans le paradigme de l’univers visuel d’explorer le traitement en ligne de la langue parlée (Vidéo) | JoVE Journal

À l’aide de mouvements oculaires enregistrées dans le paradigme de l’univers visuel d’explorer le traitement en ligne de la langue parlée

Explorer plus de vidéos