Name: Wykorzystanie ruchów gałek ocznych zarejestrowanych w paradygmacie świata wizualnego do zbadania przetwarzania języka mówionego online (Wideo) | JoVE Journal
Uploaded: 2018-10-13T12:30:00.000+00:00
Duration: 9 min 27 s
Description: Poznaj paradygmat świata wizualnego do badania przetwarzania języka mówionego online. Ta metoda śledzenia ruchów gałek ocznych pozwala analizować złożone struktury językowe w czasie rzeczywistym u różnych grup badawczych.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

To badanie było wspierane przez Fundację Naukową Pekińskiego Uniwersytetu Językowo-Kulturalnego w ramach Funduszy Badań Podstawowych dla Uniwersytetów Centralnych (numer zatwierdzenia 15YJ050003).

<ol><li>Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Integration+of+visual+and+linguistic+information+in+spoken+language+comprehension%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Integration of visual and linguistic information in spoken language comprehension.</a> Science. 268 (5217), 1632-1634 (1995).</li>
<li>Cooper, R. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/001002857490005X">The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing.</a> Cognitive Psychology. 6 (1), 84-107 (1974).</li>
<li>Salverda, A. P., Tanenhaus, M. K. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aSalverda%2C+AP+%22Research+methods+in+psycholinguistics+and+the+neurobiology+of+language%3A+A+practical+guide%22">Research methods in psycholinguistics and the neurobiology of language: A practical guide</a>. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).</li>
<li>Huettig, F., Rommers, J., Meyer, A. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+the+visual+world+paradigm+to+study+language+processing%3A+A+review+and+critical+evaluation%5BTitle%5D)+AND+%22Acta+Psychologica%22%5BJournal%5D)">Using the visual world paradigm to study language processing: A review and critical evaluation.</a> Acta Psychologica. 137 (2), 151-171 (2011).</li>
<li>Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Viewing+and+naming+objects%3A+Eye+movements+during+noun+phrase+production%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Viewing and naming objects: Eye movements during noun phrase production.</a> Cognition. 66 (2), B25-B33 (1998).</li>
<li>Griffin, Z. M., Bock, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((What+the+eyes+say+about+speaking%5BTitle%5D)+AND+%22Psychological+Science%22%5BJournal%5D)">What the eyes say about speaking.</a> Psychological Science. 11 (4), 274-279 (2000).</li>
<li>Young, L. R., Sheena, D. <a target="_blank" href="https://link.springer.com/article/10.3758/BF03201553">Survey of eye movement recording methods.</a> Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).</li>
<li>Conklin, K., Pellicer-Sánchez, A., Carrol, G. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aConklin%2C+K+%22Eye-tracking%3A+A+guide+for+applied+linguistics+research%22">Eye-tracking: A guide for applied linguistics research</a>. , Cambridge University Press. (2018).</li>
<li>Duchowski, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDuchowski%2C+A+%22Eye+tracking+methodology%3A+Theory+and+practice%22">Eye tracking methodology: Theory and practice</a>. , 2, Springer. (2007).</li>
<li>Baayen, R. H., Davidson, D. J., Bates, D. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001398">Mixed-effects modeling with crossed random effects for subjects and items.</a> Journal of Memory and Language. 59 (4), 390-412 (2008).</li>
<li>Barr, D. J. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001015">Analyzing 'visual world' eyetracking data using multilevel logistic regression.</a> Journal of Memory and Language. 59 (4), 457-474 (2008).</li>
<li>Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16000280">The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception.</a> Journal of Memory and Language. 90, 103-125 (2016).</li>
<li>Bolker, B. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Generalized+linear+mixed+models%3A+A+practical+guide+for+ecology+and+evolution%5BTitle%5D)+AND+%22Trends+in+Ecology+and+Evolution%22%5BJournal%5D)">Generalized linear mixed models: A practical guide for ecology and evolution.</a> Trends in Ecology and Evolution. 24 (3), 127-135 (2009).</li>
<li>Mirman, D., Dixon, J. A., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Statistical+and+computational+models+of+the+visual+world+paradigm%3A+Growth+curves+and+individual+differences%5BTitle%5D)+AND+%22Journal+of+Memory+and+Language%22%5BJournal%5D)">Statistical and computational models of the visual world paradigm: Growth curves and individual differences.</a> Journal of Memory and Language. 59 (4), 475-494 (2008).</li>
<li>Baayen, H., Vasishth, S., Kliegl, R., Bates, D. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16302467">The cave of shadows: Addressing the human factor with generalized additive mixed models.</a> Journal of Memory and Language. 94, 206-234 (2017).</li>
<li>Baayen, R. H., van Rij, J., de Cat, C., Wood, S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aBaayen%2C+RH+%22Mixed-Effects+Regression+Models+in+Linguistics%22">Mixed-Effects Regression Models in Linguistics</a>. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).</li>
<li>Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Scalar+and+ignorance+inferences+are+both+computed+immediately+upon+encountering+the+sentential+connective%3A+The+online+processing+of+sentences+with+disjunction+using+the+visual+world+paradigm%5BTitle%5D)+AND+%22Frontiers+in+Psychology%22%5BJournal%5D)">Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm.</a> Frontiers in Psychology. 9, (2018).</li>
<li>Maris, E., Oostenveld, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Nonparametric+statistical+testing+of+EEG-+and+MEG-data%5BTitle%5D)+AND+%22Journal+of+Neuroscience+Methods%22%5BJournal%5D)">Nonparametric statistical testing of EEG- and MEG-data.</a> Journal of Neuroscience Methods. 164 (1), 177-190 (2007).</li>
<li>Barr, D. J., Jackson, L., Phillips, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+a+voice+to+put+a+name+to+a+face%3A+The+psycholinguistics+of+proper+name+comprehension%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-General%22%5BJournal%5D)">Using a voice to put a name to a face: The psycholinguistics of proper name comprehension.</a> Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).</li>
<li>van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDahan%2C+D+%22Eye+movements%3A+A+window+on+mind+and+brain%22">Eye movements: A window on mind and brain</a>. , Elsevier. Ch. 21 471-486 (2007).</li>
<li>Parkhurst, D., Law, K., Niebur, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+role+of+salience+in+the+allocation+of+overt+visual+attention%5BTitle%5D)+AND+%22Vision+Research%22%5BJournal%5D)">Modeling the role of salience in the allocation of overt visual attention.</a> Vision Research. 42 (1), 107-123 (2002).</li>
<li>Grice, H. P. Vol. 3 Speech Acts. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGrice%2C+HP+%22Syntax+and+semantics%22">Syntax and semantics</a>. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).</li>
<li>Sauerland, U. <a target="_blank" href="http://semantics.uchicago.edu/kennedy/classes/w14/implicature/readings/sauerland04.pdf">Scalar implicatures in complex sentences.</a> Linguistics and Philosophy. 27 (3), 367-391 (2004).</li>
<li>Chierchia, G. <a target="_blank" href="https://www.annualreviews.org/doi/abs/10.1146/annurev-linguistics-011516-033846">Scalar implicatures and their interface with grammar.</a> Annual Review of Linguistics. 3 (1), 245-264 (2017).</li>
<li>Fox, D. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aFox%2C+D+%22Presupposition+and+Implicature+in+Compositional+Semantics%22">Presupposition and Implicature in Compositional Semantics</a>. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).</li>
<li>Meyer, M. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Ignorance+and+grammar%22">Ignorance and grammar</a>. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22SR+Research+Experiment+Builder+User+Manual+%28Version+2.1.140%29%22">SR Research Experiment Builder User Manual (Version 2.1.140)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+Technical+Specifications%22">EyeLink® 1000 Plus Technical Specifications</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink-1000-Plus-Brochure%22">EyeLink-1000-Plus-Brochure</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+User+Manual+%28Version+1.0.12%29%22">EyeLink® 1000 Plus User Manual (Version 1.0.12)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+Data+Viewer+User%E2%80%99s+Manual+%28Version+3.1.97%29%22">EyeLink® Data Viewer User’s Manual (Version 3.1.97)</a>. , Ottawa, Canada. (2017).</li>
<li>McQueen, J. M., Viebahn, M. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tracking+recognition+of+spoken+words+by+tracking+looks+to+printed+words%5BTitle%5D)+AND+%22The+Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Tracking recognition of spoken words by tracking looks to printed words.</a> The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Incremental+interpretation+at+verbs%3A+restricting+the+domain+of+subsequent+reference%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Incremental interpretation at verbs: restricting the domain of subsequent reference.</a> Cognition. 73 (3), 247-264 (1999).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07000101">The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing.</a> Journal of Memory and Language. 57 (4), 502-518 (2007).</li>
<li>Snedeker, J., Trueswell, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+developing+constraints+on+parsing+decisions%3A+The+role+of+lexical-biases+and+referential+scenes+in+child+and+adult+sentence+processing%5BTitle%5D)+AND+%22Cognitive+Psychology%22%5BJournal%5D)">The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing.</a> Cognitive Psychology. 49 (3), 238-299 (2004).</li>
<li>Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X97925584">Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models.</a> Journal of Memory and Language. 38 (4), 419-439 (1998).</li>
<li>Zhan, L., Crain, S., Zhou, P. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/20445911.2015.1016527">The online processing of only if and even if conditional statements: Implications for mental models.</a> Journal of Cognitive Psychology. 27 (3), 367-379 (2015).</li>
<li>Zhan, L., Zhou, P., Crain, S. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/23273798.2018.1448935">Using the visual-world paradigm to explore the meaning of conditionals in natural language.</a> Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).</li>
<li>Brown-Schmidt, S., Tanenhaus, M. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+investigation+of+referential+domains+in+unscripted+conversation%3A+A+targeted+language+game+approach%5BTitle%5D)+AND+%22Cognitive+Science%22%5BJournal%5D)">Real-time investigation of referential domains in unscripted conversation: A targeted language game approach.</a> Cognitive Science. 32 (4), 643-684 (2008).</li>
<li>Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. <a target="_blank" href="http://journals.sagepub.com/doi/abs/10.1111/1467-9280.00044">Rapid gains in speed of verbal processing by infants in the 2nd year.</a> Psychological Science. 9 (3), 228-231 (1998).</li>
<li>Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+kindergarten-path+effect%3A+studying+on-line+sentence+processing+in+young+children%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">The kindergarten-path effect: studying on-line sentence processing in young children.</a> Cognition. 73 (2), 89-134 (1999).</li>
<li>Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+use+of+phonological+information+in+ambiguity+resolution%3A+a+view+from+Mandarin+Chinese%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese.</a> Journal of Child Language. 39 (4), 687-730 (2012).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Grammatical+aspect+and+event+recognition+in+children%27s+online+sentence+comprehension%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Grammatical aspect and event recognition in children's online sentence comprehension.</a> Cognition. 133 (1), 262-276 (2014).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X12000277">Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing.</a> Journal of Memory and Language. 67 (1), 149-164 (2012).</li>
<li>Moscati, V., Zhan, L., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+on-line+processing+of+epistemic+modals%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's on-line processing of epistemic modals.</a> Journal of Child Language. 44 (5), 1025-1040 (2017).</li>
<li>Helfer, K. S., Staub, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Competing+speech+perception+in+older+and+younger+adults%3A+Behavioral+and+eye-movement+evidence%5BTitle%5D)+AND+%22Ear+and+Hearing%22%5BJournal%5D)">Competing speech perception in older and younger adults: Behavioral and eye-movement evidence.</a> Ear and Hearing. 35 (2), 161-170 (2014).</li>
<li>Dickey, M. W., Choy, J. W. J., Thompson, C. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+comprehension+of+wh-movement+in+aphasia%3A+Evidence+from+eyetracking+while+listening%5BTitle%5D)+AND+%22Brain+and+Language%22%5BJournal%5D)">Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening.</a> Brain and Language. 100 (1), 1-22 (2007).</li>
<li>Magnuson, J. S., Nusbaum, H. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Acoustic+differences%2C+listener+expectations%2C+and+the+perceptual+accommodation+of+talker+variability%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Human+Perception+and+Performance%22%5BJournal%5D)">Acoustic differences, listener expectations, and the perceptual accommodation of talker variability.</a> Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).</li>
<li>Reinisch, E., Jesse, A., McQueen, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Early+use+of+phonetic+information+in+spoken+word+recognition%3A+Lexical+stress+drives+eye+movements+immediately%5BTitle%5D)+AND+%22Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately.</a> Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).</li>
<li>Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Actions+and+affordances+in+syntactic+ambiguity+resolution%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Learning+Memory+and+Cognition%22%5BJournal%5D)">Actions and affordances in syntactic ambiguity resolution.</a> Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).</li>
<li>Tanenhaus, M. K., Trueswell, J. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aTanenhaus%2C+MK+%22Approaches+to+Studying+World-Situated+Language+Use%3A+Bridging+the+Language-as-Product+and+Language-as-Action+Traditions%22">Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions</a>. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).</li>
</ol>

Autor oświadcza, że nie ma konkurencyjnych interesów finansowych.

Aby przeprowadzić badanie świata wizualnego, należy wykonać kilka kluczowych kroków. Po pierwsze, naukowcy zamierzają wydedukować interpretację języka prezentowanego słuchowo na podstawie ruchów gałek ocznych uczestników w świecie wizualnym. Odtąd, projektując układ bodźców wzrokowych, należy kontrolować właściwości ruchów gałek ocznych w naturalnym zadaniu, które potencjalnie wpływają na ruchy gałek ocznych uczestników. Dzięki temu można rozpoznać wpływ języka mówionego na ruchy gałek ocznych uczestników. Po drugie, syg...

Język mówiony to szybki, ciągły przepływ informacji, który natychmiast znika. Wyzwaniem jest eksperymentalne zbadanie tego czasowego, szybko zmieniającego się sygnału mowy. Ruchy gałek ocznych zarejestrowane w paradygmacie świata wizualnego mogą być wykorzystane do pokonania tego wyzwania. W typowym badaniu eyetrackingowym wykorzystującym paradygmat świata wizualnego, ruchy gałek ocznych uczestników w stosunku do obrazów na wyświetlaczu lub rzeczywistych obiektów w wizualnej przestrzeni roboczej są monitorowane podczas słuchania lub tworzenia języka mówionego przedstawiającego zawartość świata wizualnego1,2,3,4. Podstawową logiką lub hipotezą łączącą ten paradygmat jest to, że zrozumienie lub zaplanowanie wypowiedzi (jawnie lub ukrycie) przeniesie uwagę wzrokową uczestników na określony obiekt w świecie wizualnym. To przesunięcie uwagi będzie miało duże prawdopodobieństwo, że zainicjuje sakkadowy ruch gałek ocznych, aby wprowadzić obserwowany obszar do widzenia dołka. Dzięki temu paradygmatowi naukowcy zamierzają określić, w którym momencie czasowym, w odniesieniu do jakiegoś akustycznego punktu orientacyjnego w sygnale mowy, następuje zmiana uwagi wzrokowej uczestnika, mierzona wychylnym ruchem gałek ocznych do obiektu lub obrazu w świecie wizualnym. Kiedy i gdzie uruchamiane są sakkadowe ruchy gałek ocznych w stosunku do sygnału mowy, wykorzystuje się je do wydedukowania przetwarzania języka online. Paradygmat świata wizualnego może być używany do badania zarówno rozumienia języka mówionego1,2, jak i production5,6. Ten artykuł metodologiczny skupi się na badaniach nad rozumieniem. W badaniu rozumienia z wykorzystaniem paradygmatu świata wizualnego ruchy gałek ocznych uczestników na wyświetlaczu wizualnym są monitorowane, gdy słuchają wypowiedzi mówionych mówiących o wyświetlaczu wizualnym.
W historii zaprojektowano różne systemy śledzenia ruchu gałek ocznych. Najprostszym, najtańszym i najbardziej przenośnym systemem jest po prostu zwykła kamera wideo, która rejestruje obraz oczu uczestnika. Ruchy gałek ocznych są następnie ręcznie kodowane poprzez analizę nagrania wideo klatka po klatce. Jednak częstotliwość próbkowania takiego eye-trackera jest stosunkowo niska, a procedura kodowania jest czasochłonna. Tak więc współczesny komercyjny system śledzenia ruchu gałek ocznych zwykle wykorzystuje czujniki optyczne mierzące orientację oka na jego orbicie7,8,9. Aby zrozumieć, jak działa współczesny komercyjny system śledzenia ruchu gałek ocznych, należy wziąć pod uwagę następujące punkty. Po pierwsze, aby prawidłowo zmierzyć kierunek widzenia dołkowego, oświetlacz podczerwieni (zwykle o długości fali około 780-880 nm) jest zwykle umieszczany wzdłuż lub poza osią optyczną kamery, dzięki czemu obraz źrenicy jest wyraźnie jaśniejszy lub ciemniejszy niż otaczająca tęczówka. Obraz źrenicy i/lub odbicia rogówki źrenicy (zwykle pierwszy obraz Purkinjego) jest następnie wykorzystywany do obliczenia orientacji oka na jego orbicie. Po drugie, umiejscowienie wzroku w świecie wizualnym zależy nie tylko od orientacji oka w stosunku do głowy, ale także od orientacji głowy w stosunku do świata wizualnego. Aby dokładnie wywnioskować spojrzenie oparte na spojrzeniu na podstawie orientacji oka, źródło światła i kamera urządzeń śledzących ruch gałek ocznych są albo nieruchome względem głowy uczestników (urządzenia śledzące ruch gałek ocznych montowane na głowie), albo są nieruchome względem świata wizualnego (urządzenia śledzące ruch gałek ocznych montowane na stole lub zdalnie). Po trzecie, orientacja głowy uczestników musi być albo ustalona w stosunku do świata wizualnego, albo musi być kompensowana obliczeniowo, jeśli głowa uczestników może się swobodnie poruszać. Gdy zdalny eye-tracker jest używany w trybie swobodnego poruszania głową, pozycja głowy uczestników jest zwykle rejestrowana poprzez umieszczenie małej naklejki na czole uczestników. Orientacja głowy jest następnie obliczeniowo odejmowana od orientacji oka, aby uzyskać lokalizację spojrzenia w świecie wizualnym. Po czwarte, wymagany jest proces kalibracji i walidacji, aby odwzorować orientację oka na spojrzenie pełne szacunku w świecie wizualnym. W procesie kalibracji próbki fiksacji uczestników ze znanych punktów docelowych są rejestrowane w celu odwzorowania surowych danych wzrokowych na pozycję spojrzenia w świecie wizualnym. W procesie walidacji uczestnikom prezentowane są te same punkty docelowe, co w procesie kalibracji. Różnica istniejąca między obliczoną pozycją fiksacji na podstawie skalibrowanych wyników a rzeczywistą pozycją zfiksowanego celu w świecie wizualnym jest następnie wykorzystywana do oceny dokładności kalibracji. Aby jeszcze bardziej potwierdzić dokładność procesu mapowania, w każdej próbie zwykle stosuje się kontrolę dryftu, w której uczestnikom prezentowany jest pojedynczy cel fiksacji w celu zmierzenia różnicy między obliczoną pozycją fiksacji a rzeczywistą pozycją bieżącego celu.
Podstawowe dane z badania świata wizualnego to strumień miejsc spojrzenia w świecie wizualnym, zarejestrowany z częstotliwością próbkowania przez eye-tracker, obejmujący cały czas trwania próby lub jej część. Zmienną zależną używaną w badaniu świata wizualnego jest zazwyczaj proporcja próbek, w których fiksacje uczestników znajdują się w określonym regionie przestrzennym świata wizualnego w określonym oknie czasowym. Aby przeanalizować dane, należy najpierw wybrać okno czasowe, często nazywane okresami zainteresowania. Okno czasowe jest zazwyczaj ograniczone czasowo do prezentacji niektórych zdarzeń językowych w bodźcu słuchowym. Co więcej, świat wizualny musi również podzielić się na kilka regionów zainteresowania (ROI), z których każdy jest powiązany z jednym lub kilkoma obiektami. Jeden z takich obszarów zawiera obiekt odpowiadający prawidłowemu rozumieniu języka mówionego i dlatego często nazywany jest obszarem docelowym. Typowym sposobem wizualizacji danych jest wykres proporcji fiksacji, na którym dla każdego przedziału czasu proporcja próbek z wyglądem dla każdego obszaru zainteresowania jest uśredniana dla uczestników i pozycji.
Korzystając z danych uzyskanych z badania świata wizualnego, można odpowiedzieć na różne pytania badawcze: a) Na poziomie gruboziarnistym, czy na ruchy gałek ocznych uczestników w świecie wizualnym wpływają różne dźwiękowe bodźce językowe? b) Jeśli występuje efekt, jaka jest trajektoria efektu w trakcie badania? Czy jest to efekt liniowy, czy efekt wyższego rzędu? oraz c) Jeśli występuje skutek, to na poziomie drobnoziarnistym, kiedy jest najwcześniejszy punkt czasowy, w którym taki efekt się pojawia i jak długo ten efekt się utrzymuje?
Aby statystycznie przeanalizować wyniki, należy wziąć pod uwagę następujące punkty. Po pierwsze, zmienna zależna, tj. proporcje fiksacji, jest zarówno poniżej, jak i powyżej granicy (od 0 do 1), która będzie zgodna z rozkładem wielomianowym, a nie normalnym. Odtąd tradycyjne metody statystyczne oparte na rozkładzie normalnym, takie jak test t, ANOVA i modele liniowe (z efektem mieszanym), 10, nie mogą być bezpośrednio stosowane, dopóki proporcje nie zostaną przekształcone w zmienne nieograniczone, takie jak za pomocą empirycznej formuły logitowej11 lub nie zostaną zastąpione nieograniczonymi zmiennymi zależnymi, takimi jak Euclidean distance12. Można również stosować techniki statystyczne, które nie wymagają założenia rozkładu normalnego<, takie jak uogólnione modele liniowe (z efektem mieszanym), takie jak uogólnione modele liniowe (z efektem mieszanym), class="xref">13. Po drugie, aby zbadać zmieniającą się trajektorię obserwowanego efektu, do modelu należy dodać zmienną oznaczającą szereg czasowy. Ta zmienna szeregów czasowych jest pierwotnie punktami próbkowania urządzenia śledzącego ruch gałek ocznych dopasowanymi do początku danych wejściowych języka. Ponieważ zmieniająca się trajektoria zazwyczaj nie jest liniowa, funkcja wielomianowa wysokiego rzędu szeregów czasowych jest zwykle dodawana do (uogólnionego) modelu liniowego (z efektem mieszanym), tj. analizy krzywej wzrostu14. Co więcej, pozycja oczu uczestników w bieżącym punkcie próbkowania jest w dużym stopniu zależna od poprzednich punktów próbkowania, zwłaszcza gdy częstotliwość zapisu jest wysoka, co powoduje problem autokorelacji. Aby zmniejszyć autokorelację między sąsiednimi punktami próbkowania, oryginalne dane są często próbkowane w dół lub kategoryzowane. W ostatnich latach uogólnione addytywne modele mieszane (GAMM) były również wykorzystywane do rozwiązywania problemów z automatycznie skorelowanymi błędami12,15,16. Szerokość pojemników różni się w zależności od badania, od kilku milisekund do kilkuset milisekund. Najwęższy przedział, jaki może wybrać badanie, jest ograniczony częstotliwością próbkowania urządzenia śledzącego ruch gałek ocznych użytego w konkretnym badaniu. Na przykład, jeśli eye tracker ma częstotliwość próbkowania 500 Hz, to szerokość okna czasowego nie może być mniejsza niż 2 ms = 1000/500. Po trzecie, gdy analiza statystyczna jest wielokrotnie stosowana do każdego przedziału czasowego okresów będących przedmiotem zainteresowania, należy zająć się błędem rodzinnym wynikającym z tych wielokrotnych porównań. Jak opisaliśmy wcześniej, analiza trajektorii informuje badacza, czy efekt obserwowany na poziomie gruboziarnistym jest liniowy w odniesieniu do zmiany czasu, ale nie pokazuje, kiedy obserwowany efekt zaczyna się pojawiać i jak długo utrzymuje się obserwowany efekt. Aby określić pozycję czasową, w której obserwowana różnica zaczyna się rozchodzić, i aby określić czas trwania okresu czasowego, w którym trwa obserwowany efekt, należy wielokrotnie zastosować analizę statystyczną do każdego przedziału czasowego. Te wielokrotne porównania wprowadzą tzw. błąd rodzinny, bez względu na to, jaka metoda statystyczna zostanie zastosowana. Błąd rodzinny jest tradycyjnie korygowany za pomocą Bonferroni adjustment17. Ostatnio metoda zwana nieparametrycznym testem permutacji, pierwotnie stosowana w polu neuroobrazowania18, została zastosowana do wizualnego paradygmatu słownego19 w celu kontroli błędu rodzinnego.
Badacze korzystający z paradygmatu świata wizualnego zamierzają wywnioskować zrozumienie niektórych języków mówionych na podstawie ruchów gałek ocznych uczestników w świecie wizualnym. Aby zapewnić ważność tego wnioskowania, inne czynniki, które mogą wpływać na ruchy gałek ocznych, powinny być albo wykluczone, albo kontrolowane. Poniższe dwa czynniki należą do najczęstszych, które należy wziąć pod uwagę. Pierwszy czynnik obejmuje pewne systematyczne wzorce w fiksacjach wyjaśniających uczestników, niezależne od danych wejściowych języka, takie jak tendencja do fiksacji na lewym górnym kwadracie świata wizualnego i poruszanie oczami w kierunku poziomym jest łatwiejsze niż w kierunku pionowym, itp.12,20 Aby upewnić się, że obserwowane wzorce fiksacji są związane z obiektami, a nie z lokalizacjami przestrzennymi, w których znajdują się obiekty, pozycje przestrzenne obiektu powinny być równoważone w różnych próbach lub u różnych uczestników. Drugim czynnikiem, który może wpływać na ruchy gałek ocznych uczestników, są podstawowe cechy obrazu obiektów w świecie wizualnym, takie jak m.in. kontrast luminancji, kolor i orientacja krawędzi21. Aby zdiagnozować ten potencjalny czynnik zakłócający, obraz jest zwykle prezentowany przed wystąpieniem języka mówionego lub przed wystąpieniem krytycznego markera akustycznego języka mówionego, przez około 1000 ms. W okresie od pojawienia się obrazu testowego do rozpoczęcia dźwięku testowego dane wejściowe języka lub punkt ujednoznacznienia danych wejściowych języka nie były jeszcze słyszane. Wszelkie różnice zaobserwowane między różnymi warunkami należy wydedukować do innych czynników zakłócających, takich jak sam wyświetlacz wizualny, a nie dane wejściowe języka. Odtąd ruchy gałek ocznych obserwowane w tym okresie podglądu stanowią punkt odniesienia dla określenia wpływu danych językowych. Ten okres podglądu pozwala również uczestnikom zapoznać się z wizualnym wyświetlaczem i zmniejszyć systematyczną stronniczość wyjaśniających fiksacji, gdy prezentowany jest język mówiony.
Aby zilustrować, jak przeprowadzane jest typowe badanie śledzenia ruchu gałek ocznych przy użyciu paradygmatu świata wizualnego, poniższy protokół opisuje eksperyment zaadaptowany z L. Zhan 17 w celu zbadania przetwarzania online semantycznie złożonych zdań, tj. zdań rozłącznych (S1 lub S2), zdań łączących (S1 i S2) oraz instrukcji but-statement (S1, ale nie S2)). W zwykłym zachowawstwie informacja wyrażona w niektórych wypowiedziach jest w rzeczywistości silniejsza niż jej dosłowne znaczenie. Takimi wypowiedziami są rozłączne stwierdzenia, takie jak pudełko Xiaominga zawiera krowę lub koguta. Logicznie rzecz biorąc, stwierdzenie rozłączne jest prawdziwe, o ile dwa rozłączne pola Xiaominga zawierają krowę i pudełko Xiaominga zawierają koguta, nie są fałszywe. Dlatego zdanie rozłączne jest prawdziwe, gdy oba rozłączne są prawdziwe, gdzie odpowiadające mu zdanie koniunkcyjne pudełko Xiaominga zawiera krowę i koguta, jest również prawdziwe. Jednak w zwykłej rozmowie usłyszenie zdania rozłącznego często sugeruje, że odpowiadające mu zdanie koniunktywne jest fałszywe (implikatura skalarna); i sugeruje, że wartości prawdy dwóch rozłącznych elementów są nieznane mówcy (wnioskowanie o niewiedzy). Opisy w literaturze różnią się tym, czy dwa wnioski są procesami gramatycznymi, czy pragmatycznymi22,23,24,25,26. Eksperyment pokazuje, w jaki sposób paradygmat świata wizualnego może być wykorzystany do rozstrzygania między tymi relacjami, badając przetwarzanie online trzech złożonych stwierdzeń.

<table><tbody><tr><td>Pixelmator</td><td>Pixelmator Team</td><td>http://www.pixelmator.com/pro/</td> <td>aplikacja do edycji obrazów</td></tr><tr><td>Praat</td><td>Open Sourse</td><td>http://www.fon.hum.uva.nl/praat/</td> <td>Oprogramowanie do analizy i edycji dźwięku</td></tr><tr><td>Eyelink 1000plus</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/products/eyelink-1000-plus/</td> <td>zdalny monitor ruchu gałek ocznych na podczerwień&nbsp;</td></tr><tr><td>Eksperymentalny konstruktor</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/experiment-builder/</td> <td>oprogramowanie do śledzenia oczu&nbsp;</td></tr><tr><td>Przeglądarka danych</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/data-viewer/</td> <td>oprogramowanie do śledzenia oczu&nbsp;</td></tr><tr><td>R</td><td>Open Sourse</td><td>https://www.r-project.org</td><td>wolne środowisko oprogramowania do obliczeń statystycznych i grafiki</td></tr></tbody></table>

wykorzystanie ruchów gałek ocznych zarejestrowanych w paradygmacie świata wizualnego do zbadania przetwarzania języka mówionego online

Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language

W typowym badaniu śledzenia ruchu gałek ocznych z wykorzystaniem paradygmatu świata wizualnego, ruchy gałek ocznych uczestników do obiektów lub obrazów w wizualnej przestrzeni roboczej są rejestrowane za pomocą eye trackera, gdy uczestnik tworzy lub rozumie język mówiony opisujący jednocześnie świat wizualny. Ten paradygmat ma dużą wszechstronność, ponieważ może być stosowany w szerokim zakresie populacji, w tym u tych, którzy nie potrafią czytać i/lub nie mogą jawnie reagować behawioralnie, takich jak dzieci w wieku przedpiśmiennym, osoby starsze i pacjenci. Co ważniejsze, paradygmat ten jest niezwykle wrażliwy na precyzyjne manipulacje sygnałem mowy i może być używany do badania przetwarzania online większości tematów ze rozumienia języka na wielu poziomach, takich jak drobnoziarniste akustyczne cechy fonetyczne, właściwości słów i struktury językowe. Protokół opisany w tym artykule ilustruje, w jaki sposób przeprowadza się typowe badanie śledzenia ruchu gałek ocznych w świecie wizualnym, na przykładzie pokazującym, w jaki sposób przetwarzanie online niektórych semantycznie złożonych stwierdzeń może być badane za pomocą paradygmatu świata wizualnego.

Reakcje behawioralne uczestników przedstawiono w podsumowaniu na Rysunku 4. Jak opisano wcześniej, poprawną odpowiedzią na zdanie koniunkcyjne (S1 i S2) jest duże otwarte pole, takie jak pole A na Rysunku 1. Poprawną odpowiedzią na zdanie z operatorem ale (S1, ale nie S2) jest małe otwarte pole zawierające pierwsze wymienione zwierzę, takie jak pole D na Rysunku 1. Co istot...

Paradygmat świata wizualnego monitoruje ruchy gałek ocznych uczestników w przestrzeni wizualnej, gdy słuchają lub mówią w języku mówionym. Paradygmat ten może być wykorzystany do zbadania przetwarzania online szerokiego zakresu pytań psycholingwistycznych, w tym stwierdzeń semantycznie złożonych, takich jak zdania rozłączne.

Wykorzystanie ruchów gałek ocznych zarejestrowanych w paradygmacie świata wizualnego do zbadania przetwarzania języka mówionego online

In a typical eye tracking study using the visual world paradigm, participants' eye movements to objects or pictures in the visual workspace are recorded ...

Ta metoda może pomóc odpowiedzieć na kluczowe pytania dotyczące przetwarzania online języka mówionego, w tym semantycznie złożonych zdań, takich jak dysjunkcje i instrukcje warunkowe. Główną zaletą tej techniki jest to, że można ją wykonywać na szerokim zakresie populacji w celu zbadania większości tematów w obszarach przetwarzania języka. Procedurę zademonstruje Xu Jing, student studiów podyplomowych.Cao Yifan, Wang Meng, Yang Xiaotong, Zhan Min i Zhou Xuehan to studenci z mojej grupy badawczej. Aby przygotować bodźce wizualne, pobierz z Internetu 60 wolnych od praw autorskich obrazów clipart przedstawiających zwierzęta i otwórz je w odpowiednim edytorze obrazów. Kliknij Narzędzia i użyj szybkiego zaznaczania, aby wybrać i usunąć tło z każdego obrazu.Kliknij opcję Obraz i rozmiar obrazu, aby zmienić rozmiar obrazów na 120 na 120 pikseli i narysować jedno duże otwarte pole o wymiarach 320 x 240 pikseli, jedno małe zamknięte pole o wymiarach 160 x 160 pikseli i dwa małe, otwarte pola o wymiarach 160 x 240 pikseli. Otwórz nowy plik, aby utworzyć szablon o wymiarach 1 024 na 768 pikseli dla pierwszego obrazu testowego, a następnie przeciągnij pola do wskazanych lokalizacji. Przeciągni

using-eye-movements-recorded-visual-world-paradigm-to-explore-online

Research

JoVE Journal

Behavior

Zachowanie

Kontrolę neuronalną oraz procesy poznawcze można badać poprzez ruchy gałek ocznych. Oprogramowanie VisualEyes umożliwia operatorowi niezależne programowanie bodźców na dwóch ekranach komputera przy użyciu prostego, niestandardowego języka skryptowego. System może stymulować tandemowe ruchy oczu (sakady i pościg płynny), ruchy przeciwstawne (wergencję) lub dowolną ich kombinację.

VisualEyes: modularny system oprogramowania do eksperymentów okulomotorycznych

Niniejszy artykuł opisuje, jak używać metodologii śledzenia ruchu gałek ocznych do badania procesów poznawczych związanych ze zrozumieniem tekstu. Dołączono opisy sprzętu do śledzenia ruchu gałek ocznych, sposób opracowywania bodźców eksperymentalnych oraz zalecenia proceduralne. Przedstawione informacje można zastosować do większości badań z wykorzystaniem bodźców werbalnych.

Wykorzystanie ruchów gałek ocznych do oceny procesów poznawczych związanych ze zrozumieniem tekstu

Aby odtworzyć ustawienia laboratoryjne, metody zbierania danych online do zadań wizualnych wymagają ścisłej kontroli nad prezentacją bodźców. Przedstawiamy metody wykorzystania aplikacji internetowej do zbierania danych o wydajności w dwóch testach uwagi wzrokowej.

Metody testowania uwagi wzrokowej online

Niniejszy artykuł omawia metodologię śledzenia wzroku w badaniach nad rozumieniem języka. Aby uzyskać wiarygodne dane, należy postępować zgodnie z kluczowymi krokami protokołu. Należą do nich m.in. prawidłowa konfiguracja eye trackera (np. zapewniająca dobrą jakość obrazów oka i głowy) oraz dokładna kalibracja.

Śledzenie ruchu gałek ocznych podczas wizualnego rozumienia języka: elastyczność i ograniczenia w odkrywaniu wizualnych efektów kontekstowych

Metoda została zaprojektowana w celu zbadania roli hamowania powrotu (IOR) w regresyjnych ruchach gałek ocznych podczas czytania. Nacisk kładziony jest na rozróżnienie między regresjami wywołanymi w wyniku trudności ze zrozumieniem a tymi wywołanymi błędem okoruchowym, w tym na roli IOR w tych dwóch typach regresji.

Śledzenie ruchu gałek ocznych w celu rozróżnienia regresywnych ruchów gałek ocznych opartych na rozumieniu i okoruchowych podczas czytania

Przedstawiamy protokół do badania wykorzystania wskazówek morfologicznych podczas rozumienia zdań w czasie rzeczywistym przez dzieci z autyzmem.

Wykorzystanie paradygmatu świata wizualnego do badania rozumienia zdań u dzieci z autyzmem mówiących po mandaryńsku

Badania śledzenia ruchu gałek ocznych wykorzystujące paradygmat preferencyjnego patrzenia mogą być wykorzystane do badania nowego rozumienia i zwracania uwagi na ich zewnętrzny świat wizualny przez niemowlęta.

Badanie wrażliwości niemowląt na język wizualny za pomocą śledzenia ruchu gałek ocznych i paradygmatu preferencyjnego patrzenia

Tutaj prezentujemy protokół wykorzystujący zadania interferencji dwumodalnej do badania przetwarzania online zdań względnych mówionych w języku chińskim. Opisano dwa przykładowe eksperymenty polegające na przetwarzaniu słuchowym z interferencjami wewnątrz- i zewnątrzsennymi. Paradygmat zapewnia metodologię zajmowania się naturą pamięci roboczej i jej wpływem na przetwarzanie zdań.

Badanie przetwarzania składniowego online mówionych zdań złożonych w języku chińskim przy użyciu zadań interferencji dwumodalnej

Badanie proponuje model aktywacji-dopasowania, aby zbadać, w jaki sposób samotność jest łagodzona, gdy samotna publiczność ogląda filmy z zaporą racjonalnych i emocjonalnych apeli. Protokół wykorzystuje śledzenie ruchu gałek ocznych do dokumentowania czasu trwania i fiksacji, uwzględniając stopień zadowolenia, gdy potrzeby emocjonalne są zaspokajane przez treść i zaporę.

Samotność złagodzona: śledzenie wzroku publiczności oglądającej filmy z zaporą

Prezentujemy protokół, który wykorzystuje śledzenie ruchów gałek ocznych do monitorowania ruchów gałek ocznych podczas zadania polegającego na porównywaniu interwałów (percepcji czasu trwania) na podstawie zdarzeń wizualnych. Celem jest dostarczenie wstępnego przewodnika do oddzielenia reakcji okoruchowych na zadania percepcji czasu trwania (porównanie lub rozróżnienie przedziałów czasowych) od reakcji na sam bodziec.

Ruchy gałek ocznych w percepcji czasu widzenia: rozplątywanie bodźca od czasu w procesach przeddecyzyjnych

Poznaj paradygmat świata wizualnego do badania przetwarzania języka mówionego online. Ta metoda śledzenia ruchów gałek ocznych pozwala analizować złożone struktury językowe w czasie rzeczywistym u różnych grup badawczych.

Wykorzystanie ruchów gałek ocznych zarejestrowanych w paradygmacie świata wizualnego do zbadania przetwarzania języka mówionego online (Wideo) | JoVE Journal

Wykorzystanie ruchów gałek ocznych zarejestrowanych w paradygmacie świata wizualnego do zbadania przetwarzania języka mówionego online

Przeglądaj więcej filmów