Name: 眼球運動の視覚世界のパラダイムに記録を使用して話されていた言語のオンライン処理を探索するには (動画) | JoVE Journal
Uploaded: 2018-10-13T12:30:00.000+00:00
Duration: 9 min 27 s
Description: 探索する視覚世界パラダイムを用いた話し言葉のオンライン処理の手法です。眼球運動を記録し、選択文や条件文などの意味的に複雑な文の理解過程をリアルタイムで調査できます。心理言語学研究に有用です。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本研究は、科学財団の北京言語および文化大学中央大学 (承認番号 15YJ050003) の基礎的研究資金によって支えられました。

<ol><li>Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Integration+of+visual+and+linguistic+information+in+spoken+language+comprehension%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Integration of visual and linguistic information in spoken language comprehension.</a> Science. 268 (5217), 1632-1634 (1995).</li>
<li>Cooper, R. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/001002857490005X">The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing.</a> Cognitive Psychology. 6 (1), 84-107 (1974).</li>
<li>Salverda, A. P., Tanenhaus, M. K. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aSalverda%2C+AP+%22Research+methods+in+psycholinguistics+and+the+neurobiology+of+language%3A+A+practical+guide%22">Research methods in psycholinguistics and the neurobiology of language: A practical guide</a>. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).</li>
<li>Huettig, F., Rommers, J., Meyer, A. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+the+visual+world+paradigm+to+study+language+processing%3A+A+review+and+critical+evaluation%5BTitle%5D)+AND+%22Acta+Psychologica%22%5BJournal%5D)">Using the visual world paradigm to study language processing: A review and critical evaluation.</a> Acta Psychologica. 137 (2), 151-171 (2011).</li>
<li>Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Viewing+and+naming+objects%3A+Eye+movements+during+noun+phrase+production%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Viewing and naming objects: Eye movements during noun phrase production.</a> Cognition. 66 (2), B25-B33 (1998).</li>
<li>Griffin, Z. M., Bock, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((What+the+eyes+say+about+speaking%5BTitle%5D)+AND+%22Psychological+Science%22%5BJournal%5D)">What the eyes say about speaking.</a> Psychological Science. 11 (4), 274-279 (2000).</li>
<li>Young, L. R., Sheena, D. <a target="_blank" href="https://link.springer.com/article/10.3758/BF03201553">Survey of eye movement recording methods.</a> Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).</li>
<li>Conklin, K., Pellicer-Sánchez, A., Carrol, G. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aConklin%2C+K+%22Eye-tracking%3A+A+guide+for+applied+linguistics+research%22">Eye-tracking: A guide for applied linguistics research</a>. , Cambridge University Press. (2018).</li>
<li>Duchowski, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDuchowski%2C+A+%22Eye+tracking+methodology%3A+Theory+and+practice%22">Eye tracking methodology: Theory and practice</a>. , 2, Springer. (2007).</li>
<li>Baayen, R. H., Davidson, D. J., Bates, D. M. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001398">Mixed-effects modeling with crossed random effects for subjects and items.</a> Journal of Memory and Language. 59 (4), 390-412 (2008).</li>
<li>Barr, D. J. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07001015">Analyzing 'visual world' eyetracking data using multilevel logistic regression.</a> Journal of Memory and Language. 59 (4), 457-474 (2008).</li>
<li>Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16000280">The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception.</a> Journal of Memory and Language. 90, 103-125 (2016).</li>
<li>Bolker, B. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Generalized+linear+mixed+models%3A+A+practical+guide+for+ecology+and+evolution%5BTitle%5D)+AND+%22Trends+in+Ecology+and+Evolution%22%5BJournal%5D)">Generalized linear mixed models: A practical guide for ecology and evolution.</a> Trends in Ecology and Evolution. 24 (3), 127-135 (2009).</li>
<li>Mirman, D., Dixon, J. A., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Statistical+and+computational+models+of+the+visual+world+paradigm%3A+Growth+curves+and+individual+differences%5BTitle%5D)+AND+%22Journal+of+Memory+and+Language%22%5BJournal%5D)">Statistical and computational models of the visual world paradigm: Growth curves and individual differences.</a> Journal of Memory and Language. 59 (4), 475-494 (2008).</li>
<li>Baayen, H., Vasishth, S., Kliegl, R., Bates, D. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X16302467">The cave of shadows: Addressing the human factor with generalized additive mixed models.</a> Journal of Memory and Language. 94, 206-234 (2017).</li>
<li>Baayen, R. H., van Rij, J., de Cat, C., Wood, S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aBaayen%2C+RH+%22Mixed-Effects+Regression+Models+in+Linguistics%22">Mixed-Effects Regression Models in Linguistics</a>. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).</li>
<li>Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Scalar+and+ignorance+inferences+are+both+computed+immediately+upon+encountering+the+sentential+connective%3A+The+online+processing+of+sentences+with+disjunction+using+the+visual+world+paradigm%5BTitle%5D)+AND+%22Frontiers+in+Psychology%22%5BJournal%5D)">Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm.</a> Frontiers in Psychology. 9, (2018).</li>
<li>Maris, E., Oostenveld, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Nonparametric+statistical+testing+of+EEG-+and+MEG-data%5BTitle%5D)+AND+%22Journal+of+Neuroscience+Methods%22%5BJournal%5D)">Nonparametric statistical testing of EEG- and MEG-data.</a> Journal of Neuroscience Methods. 164 (1), 177-190 (2007).</li>
<li>Barr, D. J., Jackson, L., Phillips, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+a+voice+to+put+a+name+to+a+face%3A+The+psycholinguistics+of+proper+name+comprehension%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-General%22%5BJournal%5D)">Using a voice to put a name to a face: The psycholinguistics of proper name comprehension.</a> Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).</li>
<li>van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDahan%2C+D+%22Eye+movements%3A+A+window+on+mind+and+brain%22">Eye movements: A window on mind and brain</a>. , Elsevier. Ch. 21 471-486 (2007).</li>
<li>Parkhurst, D., Law, K., Niebur, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+role+of+salience+in+the+allocation+of+overt+visual+attention%5BTitle%5D)+AND+%22Vision+Research%22%5BJournal%5D)">Modeling the role of salience in the allocation of overt visual attention.</a> Vision Research. 42 (1), 107-123 (2002).</li>
<li>Grice, H. P. Vol. 3 Speech Acts. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGrice%2C+HP+%22Syntax+and+semantics%22">Syntax and semantics</a>. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).</li>
<li>Sauerland, U. <a target="_blank" href="http://semantics.uchicago.edu/kennedy/classes/w14/implicature/readings/sauerland04.pdf">Scalar implicatures in complex sentences.</a> Linguistics and Philosophy. 27 (3), 367-391 (2004).</li>
<li>Chierchia, G. <a target="_blank" href="https://www.annualreviews.org/doi/abs/10.1146/annurev-linguistics-011516-033846">Scalar implicatures and their interface with grammar.</a> Annual Review of Linguistics. 3 (1), 245-264 (2017).</li>
<li>Fox, D. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aFox%2C+D+%22Presupposition+and+Implicature+in+Compositional+Semantics%22">Presupposition and Implicature in Compositional Semantics</a>. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).</li>
<li>Meyer, M. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Ignorance+and+grammar%22">Ignorance and grammar</a>. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22SR+Research+Experiment+Builder+User+Manual+%28Version+2.1.140%29%22">SR Research Experiment Builder User Manual (Version 2.1.140)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+Technical+Specifications%22">EyeLink® 1000 Plus Technical Specifications</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink-1000-Plus-Brochure%22">EyeLink-1000-Plus-Brochure</a>. , Mississauga, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+1000+Plus+User+Manual+%28Version+1.0.12%29%22">EyeLink® 1000 Plus User Manual (Version 1.0.12)</a>. , Ottawa, Canada. (2017).</li>
<li>SR Research Ltd. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22EyeLink%C2%AE+Data+Viewer+User%E2%80%99s+Manual+%28Version+3.1.97%29%22">EyeLink® Data Viewer User’s Manual (Version 3.1.97)</a>. , Ottawa, Canada. (2017).</li>
<li>McQueen, J. M., Viebahn, M. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tracking+recognition+of+spoken+words+by+tracking+looks+to+printed+words%5BTitle%5D)+AND+%22The+Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Tracking recognition of spoken words by tracking looks to printed words.</a> The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Incremental+interpretation+at+verbs%3A+restricting+the+domain+of+subsequent+reference%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Incremental interpretation at verbs: restricting the domain of subsequent reference.</a> Cognition. 73 (3), 247-264 (1999).</li>
<li>Altmann, G. T. M., Kamide, Y. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X07000101">The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing.</a> Journal of Memory and Language. 57 (4), 502-518 (2007).</li>
<li>Snedeker, J., Trueswell, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+developing+constraints+on+parsing+decisions%3A+The+role+of+lexical-biases+and+referential+scenes+in+child+and+adult+sentence+processing%5BTitle%5D)+AND+%22Cognitive+Psychology%22%5BJournal%5D)">The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing.</a> Cognitive Psychology. 49 (3), 238-299 (2004).</li>
<li>Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X97925584">Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models.</a> Journal of Memory and Language. 38 (4), 419-439 (1998).</li>
<li>Zhan, L., Crain, S., Zhou, P. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/20445911.2015.1016527">The online processing of only if and even if conditional statements: Implications for mental models.</a> Journal of Cognitive Psychology. 27 (3), 367-379 (2015).</li>
<li>Zhan, L., Zhou, P., Crain, S. <a target="_blank" href="https://www.tandfonline.com/doi/abs/10.1080/23273798.2018.1448935">Using the visual-world paradigm to explore the meaning of conditionals in natural language.</a> Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).</li>
<li>Brown-Schmidt, S., Tanenhaus, M. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+investigation+of+referential+domains+in+unscripted+conversation%3A+A+targeted+language+game+approach%5BTitle%5D)+AND+%22Cognitive+Science%22%5BJournal%5D)">Real-time investigation of referential domains in unscripted conversation: A targeted language game approach.</a> Cognitive Science. 32 (4), 643-684 (2008).</li>
<li>Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. <a target="_blank" href="http://journals.sagepub.com/doi/abs/10.1111/1467-9280.00044">Rapid gains in speed of verbal processing by infants in the 2nd year.</a> Psychological Science. 9 (3), 228-231 (1998).</li>
<li>Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+kindergarten-path+effect%3A+studying+on-line+sentence+processing+in+young+children%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">The kindergarten-path effect: studying on-line sentence processing in young children.</a> Cognition. 73 (2), 89-134 (1999).</li>
<li>Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+use+of+phonological+information+in+ambiguity+resolution%3A+a+view+from+Mandarin+Chinese%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese.</a> Journal of Child Language. 39 (4), 687-730 (2012).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Grammatical+aspect+and+event+recognition+in+children%27s+online+sentence+comprehension%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Grammatical aspect and event recognition in children's online sentence comprehension.</a> Cognition. 133 (1), 262-276 (2014).</li>
<li>Zhou, P., Crain, S., Zhan, L. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S0749596X12000277">Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing.</a> Journal of Memory and Language. 67 (1), 149-164 (2012).</li>
<li>Moscati, V., Zhan, L., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%27s+on-line+processing+of+epistemic+modals%5BTitle%5D)+AND+%22Journal+of+Child+Language%22%5BJournal%5D)">Children's on-line processing of epistemic modals.</a> Journal of Child Language. 44 (5), 1025-1040 (2017).</li>
<li>Helfer, K. S., Staub, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Competing+speech+perception+in+older+and+younger+adults%3A+Behavioral+and+eye-movement+evidence%5BTitle%5D)+AND+%22Ear+and+Hearing%22%5BJournal%5D)">Competing speech perception in older and younger adults: Behavioral and eye-movement evidence.</a> Ear and Hearing. 35 (2), 161-170 (2014).</li>
<li>Dickey, M. W., Choy, J. W. J., Thompson, C. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+comprehension+of+wh-movement+in+aphasia%3A+Evidence+from+eyetracking+while+listening%5BTitle%5D)+AND+%22Brain+and+Language%22%5BJournal%5D)">Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening.</a> Brain and Language. 100 (1), 1-22 (2007).</li>
<li>Magnuson, J. S., Nusbaum, H. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Acoustic+differences%2C+listener+expectations%2C+and+the+perceptual+accommodation+of+talker+variability%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Human+Perception+and+Performance%22%5BJournal%5D)">Acoustic differences, listener expectations, and the perceptual accommodation of talker variability.</a> Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).</li>
<li>Reinisch, E., Jesse, A., McQueen, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Early+use+of+phonetic+information+in+spoken+word+recognition%3A+Lexical+stress+drives+eye+movements+immediately%5BTitle%5D)+AND+%22Quarterly+Journal+of+Experimental+Psychology%22%5BJournal%5D)">Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately.</a> Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).</li>
<li>Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Actions+and+affordances+in+syntactic+ambiguity+resolution%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology-Learning+Memory+and+Cognition%22%5BJournal%5D)">Actions and affordances in syntactic ambiguity resolution.</a> Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).</li>
<li>Tanenhaus, M. K., Trueswell, J. C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aTanenhaus%2C+MK+%22Approaches+to+Studying+World-Situated+Language+Use%3A+Bridging+the+Language-as-Product+and+Language-as-Action+Traditions%22">Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions</a>. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).</li>
</ol>

著者は、競合する金銭的な利益が持たないを宣言します。

視覚世界の研究を行うにいくつかの重要な手順があります。最初に、研究者は、参加者の眼球運動、視覚的な世界を介して聴覚提示の言語の解釈を推測するつもりです。今後は、視覚刺激のレイアウトを設計するときに参加者の眼球運動に影響を与える可能性のある自然な仕事における眼球運動の特性を制御する必要があります。話されていた言語の参加者の眼球運動に及ぼす影響を認識しことができます。話されていた言語の 2 番目、音響手掛かりは一時的なものと、言語の特定のカテゴリにのみ対応する音響の署名がないです。いくつかの言語マーカーの発症と眼球運動を正しくタイムロック参加者の研究者は目的といくつかの言語構造の境界を定義する一貫した方法を見つける必要があります。第三に、参加者の目回りの回転頭視線と視覚世界の点を正しくマップするには、研究者は校正、検証、およびドリフト補正プロセスの 1 つまたはいくつかの実行を実行する必要があります。第四に、視覚的な世界の研究から得られたデータがある下限と上限境界などのいくつかの特徴的な性質と autocorrelated エラーなど。メソッドを選択するデータを統計的に分析するとき、これらの特徴的な性質を考慮必要があります。
<p ...

話されていた言語は、すぐに消えて高速、継続的な情報の流れです。この一時的な実験的研究、急速に変化する音声信号への挑戦です。眼球運動の視覚世界のパラダイムに記録は、このような課題を克服するために使用できます。聴く、または生成、話されていた言語、視覚的な世界1 の内容を描いた典型的な目追跡研究視覚世界のパラダイムを使用して、参加者の眼球運動表示で写真または視覚ワークスペースで実際のオブジェクトを監視します。 ,2,3,4。基本的なロジック、またはリンクの仮説は、このパラダイムの背後には、理解や発話を計画 (公然またはひそか) シフトする視覚的世界の特定のオブジェクトを参加者の視覚的注意。この注意のシフトでお越しの際にも高い確率で衝動性眼球運動、視に出席した領域をもたらすことを開始します。このパラダイムを研究者がオブジェクトまたは視覚的画像に衝動性眼球運動によって測定される音声信号のいくつかの音響ランドマークに関してどのような時間の時点で参加者の視覚的注意のシフトが発生しますを決定しよう世界。オンライン言語処理を推論するは、音声信号に関連して眼球運動を開始時と場所が使用されます。視覚世界のパラダイムを使用して、音声言語理解1,2と生産5,6の両方を勉強できます。この方法論的記事の理解に関する研究に焦点を当てます。理解における視覚的世界のパラダイムは、ビジュアル表示の動きが監視彼らは発話の視覚的な表示の話に耳を傾ける参加者の目を使用します。
別の目追跡システムは、歴史で設計されています。最も簡単な少なくとも高価で、ほとんどのポータブル システムは、ちょうど通常のビデオカメラ、参加者の目の画像を記録します。眼球運動がビデオ録画のフレームによる審査を経て、手動でコード化されました。しかし、このような視線トラッカーのサンプリング レートは比較的低い、コーディング プロシージャは時間がかかる。したがって、現代商業目の追跡システムを通常はその軌道7,8,9の目の方向を測定する光センサーを使用します。現代商業目の追跡システムのしくみを理解するため、次の点を検討してください。まず、正しく視、赤外線照明の方向を測定する (周りの波長と通常 780-880 nm) に沿ってまたはハッキリ明るい、または暗い瞳のイメージを作る、カメラの光軸を通常配置周囲のアイリス。生徒や生徒角膜反射 (通常最初のプルキンエ イメージ) の画像がその軌道の目の向きを計算する生成されます。第二に、ビジュアルの世界の視線の場所は、頭に対して眼の方向性だけでなくビジュアルの世界に関して頭の方向にも実際に偶発的です。点目方向からの視線を正確に推論、光源と目トラッカーのカメラに関して参加者の頭 (ヘッド マウント目トラッカー) 固定されてまたはビジュアルの世界に関して固定されて (テーブル マウントまたはリモート目-トラッカー)。第三に、参加者の頭の方向はビジュアルの世界に関しても修正しなければならないまたは参加者の頭は自由に移動する場合に補償される計算。移動無料頭モードでリモートの目トラッカーを使用すると、参加者の頭の位置は通常参加者の額に小さなステッカーを配置することによって記録されます。頭の方向計算引かれる視覚世界の視線位置を取得するために目の方向から。第四に、校正と検証のプロセス、ビジュアルの世界で点の視線に目の方向をマップする必要があります。校正プロセス視覚世界の位置を視線に生目データにマップする既知のターゲット ポイントから参加者の固定サンプルが記録されます。検証プロセスの参加者が校正プロセスと同じターゲット ポイントに表示されます。既存の校正結果から計算された固定位置と視覚世界の執着の対象の実際の位置との間の違いは、キャリブレーションの精度を判断する使用されます。さらにマッピング プロセスの精度を再確認、ドリフト チェックは通常が単一の固定ターゲット計算固定位置と実際の位置の違いを測定するための参加者に紹介されて、各試験に適用される、現在のターゲット。
視覚的な世界研究の主なデータは、試用期間の一部または全体に及ぶ視線トラッカーのサンプリング レートで記録された視覚的世界の視線位置のストリームです。視覚的な世界の研究で使用される従属変数は通常参加者の注視が特定のタイム ウィンドウ間でビジュアルの世界で特定の空間領域に位置していることのサンプルの割合です。データを分析するには、時間ウィンドウがまず選択する興味の期間と呼ばれます。タイム ウィンドウは、通常聴覚入力のいくつかの言語のイベントのプレゼンテーションに時間ロックです。さらに、視覚的な世界も関心 (ROIs)、それぞれが 1 つまたは複数のオブジェクトと関連付けられているいくつかの領域に分割する必要です。1 つのような地域は話されている言語の正しい理解に対応するオブジェクトが含まれています、こうしてターゲット領域と呼ばれます。データを視覚化するための一般的な方法は、場所、タイム ・ ウィンドウの各箱で興味の各地域のサンプルの割合が全体の平均参加者とアイテムの割合の固定プロットです。
視覚世界の研究から得られたデータを使用して、さまざまな研究の質問が回答できます。) 粗粒度のレベルが異なる聴覚言語入力によって影響を受けるビジュアルの世界で参加者の視線?b) 場合は裁判の経過、効果の軌道は、効果があるか。それは線形効果や高次効果?c) 細粒度レベルにし、効果があるときに最古の一時的なポイントそのような効果が出てくるし、この効果はどのくらい最後ですか?
結果を統計的に分析するには、次の点を検討してください。まず、応答変数、すなわち凝視の割合の下と上の両方制限されます (0 と 1) の間、正規分布ではなく、多項の配分を行います。今後、t 検定、分散分析、線形 (混合効果) モデル10など正規分布に基づく伝統的な統計的方法は、縦横比はで無制限変数に変換されているまで直接利用することはできません。経験的ロジット式11またはユークリッド距離12などの無制限の従属変数に置き換えられています。このような正規分布の仮定は一般化線形 (混合効果) モデル13を必要としない統計的手法を使用もできます。第二に、観測された効果の変化の軌道を探索する時系列を示す変数はモデルに追加しなければなりません。この時系列変数はもともと視線トラッカーのサンプリング ポイント入力言語の発症に再編します。通常変化の軌道は線形ではない、ので時系列データの高次多項式関数は通常 (一般化) 線形 (混合効果) モデル、すなわち、成長曲線解析14に追加されます。さらに、現在のサンプル ポイントで参加者の目の位置は以前のサンプリング ポイントに大きく依存して記録周波数が高い場合は特に自己相関の問題の結果します。隣接するサンプリング ポイントの自己相関を減らすためには、多くの場合元のデータがダウン サンプリングまたはビン分割です。近年、一般化加法混合効果モデル (GAMM) はまた、autocorrelated エラー12,15,16に取り組むために使用されています。箱の幅は、数ミリ秒から数百ミリ秒に至るまで、さまざまな研究によって異なります。研究を選択することができます狭いビンは、特定の研究で使用される目トラッカーのサンプリング レートによって制限されます。たとえば、アイト ラッカーの 500 Hz のサンプリング レートの場合はタイム ウィンドウの幅が小さくてより 2 ms = 1000/500 とはなりません。第三に、興味の期間の各時間箱に統計分析を繰り返し適用すると、これらの複数比較が取り組まれる必要がありますから familywise エラーが誘発されます。前述したように、軌道分析通知研究者粗粒度レベルで観察された効果が比例する時間を変更するかどうか観察された効果が出現し始めるときに表示されませんが、どのように長い観測効果は持続します。発散と観測の効果は持続する一時的な期間の期間を把握する観測された差の起動時の一時的な位置を決定する、統計解析は各時間箱に繰り返し適用しています。これら複数の比較は、どのような統計的手法の使用に関係なく、いわゆる familywise エラーになります。Familywise エラー伝統的ボンフェローニ調整17修正します。最近、familywise エラー コントロールに視覚単語パラダイム19に提出18ニューロ イメージングではもともとノンパラ メトリック順列テストと呼ばれるメソッドを適用されています。
視覚世界のパラダイムを使用して研究者は、ビジュアルの世界で参加者の視線からいくつかの話されていた言語の理解を推測するつもりです。この控除の有効性の確認、眼球運動に影響を与えるその他の要因が排除または制御します。次の 2 つの要因が考慮する必要がある一般的なものの間で。最初の要因は、参加者の説明注視の中でより簡単に水平方向の視覚世界と動いて目の方形を左上に固執する傾向など、入力言語に依存しないいくつかの体系的なパターン垂直方向、等12,20 , 固定パターンのオブジェクトに関連オブジェクトがある空間的な位置のオブジェクトの空間位置を相殺する必要がありますいないことを確認する複数の異なる試験または異なる参加者間で。参加者の目の動きに影響を与える可能性があります 2 番目の要因は、他の間で、輝度コントラスト、色とエッジの向きなど、視覚的な世界内のオブジェクトの基本的な画像特徴21。この潜在的な交絡の診断、視覚的な表示は通常提示話されていた言語の発症前や発症から時間の期間中に約 1000 ミリ秒の話されていた言語の重要な音響のマーカーの発症する前に、オーディオのテスト、入力言語や入力言語の曖昧さ回避ポイントの発症するテスト画像がまだ聞かれていません。入力言語というより任意の違いは、異なる条件の間観察表示など他の交絡要因に自体、推測する必要があります。今後は、このプレビュー期間にみられる眼球運動は言語入力の効果を決定するためのベースラインを提供します。このプレビュー期間参加者視覚表示に精通を取得し、話されていた言語が提示される説明の注視の組織的バイアスを減らすこともできます。
典型的な視線視覚世界のパラダイムを用いた研究の実施方法を説明するために次のプロトコルは、すなわち、意味的複雑なステートメントのオンライン処理を探索する L. 占17から適応実験を説明します。選言文 (S1 または S2)、連文 (S1 と S2)が、-ステートメント (S1、S2 はない)。普通の保全にいくつかの発言によって表現される情報は実際に文字通りの意味より強いです。選言文暁明のボックスには、牛や鶏が含まれているようなそのような発話。選言文が真暁明のボックスを含む牛と鶏が暁明のボックスに含まれている2 つの選言はどちらでされていない限り、論理的に、false。したがって、選言のステートメントは、2 つの選言が両方 true暁明のボックスに牛と鶏が含まれている対応する連言ステートメントが真も真です。普通の会話で、しかし、選言声明は頻繁接続助詞の対応するステートメントが間違っていることを示唆しているを聞いて (スカラーの含意);2 つの選言の真理値がスピーカー (無知の推論) で知られていないことを示唆しています。文献のアカウントかどうか 2 つの推論が文法的または実用的なプロセス22,23,24,25,26とは異なります。実験は、視覚世界のパラダイムを使用して、3 つの複雑なステートメントのオンライン処理を探索することで、これらのアカウントの間で審議する方法を示しています。

<table><tbody><tr><td>Pixelmator</td><td>Pixelmator Team</td><td>http://www.pixelmator.com/pro/</td> <td>画像編集アプリ</td></tr><tr><td>Praat</td><td>Open Sourse</td><td>http://www.fon.hum.uva.nl/praat/</td> <td>音声分析・編集ソフト</td></tr><tr><td>Eyelink 1000plus</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/products/eyelink-1000-plus/</td> <td>リモート赤外線アイトラッカー&nbsp;</td></tr><tr><td>Experimental Builder</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/experiment-builder/</td> <td>アイトラッカーソフトウェア&nbsp;</td></tr><tr><td>Data Viewer</td><td>SR-Research, Inc</td><td>https://www.sr-research.com/data-viewer/</td> <td>アイトラッカーソフトウェア&nbsp;</td></tr><tr><td>R</td><td>Open Sourse</td><td>https://www.r-project.org</td><td>統計計算とグラフィックスのためのフリーソフトウェア環境</td></tr></tbody></table>

眼球運動の視覚世界のパラダイムに記録を使用して話されていた言語のオンライン処理を探索するには

Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language

追跡研究視覚世界のパラダイムを使用して典型的な目、参加者の目のオブジェクトに動きや参加者を生成または同時視覚を記述する音声言語を理解しない視覚ワークスペースで写真は目トラッカー経由で記録されます。世界。このパラダイムは、それらの人が読み取ることができませんまたはあからさま偏向子供、高齢者、患者などの行動応答を与えることができない者を含む集団の広い範囲で使用できます、汎用性の高いです。もっと重要なは、パラダイムは、音声信号の細かい操作に非常に敏感と、細粒音響/音声など、複数のレベルで言語理解におけるほとんどのトピックのオンライン処理の研究に使えます機能、単語のプロパティおよび言語構造。この資料で説明されているプロトコルは、視覚世界のパラダイムを意味複雑なステートメントのオンライン処理を探索できる方法を示す例を典型的な視覚世界の視線に関する研究を実施する方法を示しています。

参加者の行動応答を図 4にまとめます。前述したように、結合ステートメント (S1 と S2) に対して正しい応答は図 1のボックスなどの大きなオープン ボックスです。が、正しいレスポンス-ステートメント (S1、S2 ではない) は図 1のボックス D など、最初の上記動物を含む小さなファイルを開くボックス。批判的に、選言ステートメントを処理する方法に依存どのボックスが選言文 (S1 または S2) を選択: 閉じた小箱ボックス B図 1など選択場合にのみスカラーの含意と無知の推論選言文に関して両方は計算されます。図 4は、選言文 (S1 または S2) を理解するとき参加者は 2 つの両...

視覚世界のパラダイムは、聴いても話されていた言語を話すビジュアル ワークスペースで参加者の目の動きを監視します。このパラダイムは、心理言語学的質問、選言文などの意味的複合ステートメントを含む広い範囲のオンライン処理を調査する使用できます。

In a typical eye tracking study using the visual world paradigm, participants' eye movements to objects or pictures in the visual workspace are recorded ...

この方法は、語話言語のオンライン処理における主要な質問 (命令や条件など、意味的に複雑な文を含む) に答える上で役立ちます。この手法の主な利点は、言語処理の分野でほとんどのトピックを研究するために、幅広い集団に対して実行できることです。この手順のデモンストレーションは、大学院生の徐景です。私の研究グループの学生は、曹義南、王孟、楊暁通、ザンミン、周玄です。視覚刺激を準備するには、インターネットから動物の60の著作権無料クリップアート画像をダウンロードし、適切な画像エディタで画像を開きます。[ツール] をクリックし、クイック選択を使用して、各画像の背景を選択して削除します。[イメージとイメージ サイズ] をクリックして、画像のサイズを 120 x 120 ピクセルに変更し、1 つの大きな 320 x 240 ピクセル ボックス、1 つの小さな閉じた 160 x 160 ピクセル のボックス、および 2 つの小さな 160 x 240 ピクセルのボックスを描画します。新しいファイルを開いて、最初のテストイメージ用に 1,024 x 768 ピクセルのテンプレートを作成し、ボックスを指定した場所にドラッグします。2 つのクリップ アート イメージを大きな開いたボックスにドラッグし、同じ 2 つのイメージをそれぞれ 1 つずつ 2 つの小さな開いたボックスにドラッグします。次に、各動物画像がテスト画像ごとに2回使用されている場合に示すように、さらに59個のテスト画像を作成し、画像間で4つのボックスの空間位置を相殺します。話し言葉の刺激を準備するために、参加者の母国語で各テスト画像に対応する4つのテスト文を設計し、合計240のテスト文を記録し、4つの文のうち少なくとも3つ、各フォームの1つを示します。女性ネイティブスピーカーを募集して、実験で使用されているすべての動物の4つの例の声明とオーディオを記録します。240のテスト文を4つのグループに分け、各グループには15の結腸文、15の差し止め命令、15の文、15のフィラー文が含まれます。次に、テスト刺激に関する重要な情報をすべてタブ区切りテキストファイルに保存し、各行は240回の試行に対応します。実験シーケンスをビルドするには、実験ビルダーを開き、新しいプロジェクトを作成します。表示画面オブジェクトをワークスペースにドラッグし、ワークスペースの命令の名前を変更します。[複数行テキスト リソースを挿入]をクリックし、ブロック シーケンスをダブルクリックしてブロック シーケンスを開き、ブロック シーケンスを作成します。EIカメラ設定ノードをブロックシーケンスにドラッグして、EyeLinkホストPCのカメラ設定画面を表示し、カメラの設定のキャリブレーションと検証を容易にします。プロパティパネルの「キャリブレーションタイプ」フィールドをクリックし、ドロップダウンリストから「HV5」を選択します。試用シーケンスを構築するには、ディスプレイ画面ノードを試用シーケンスにドラッグし、Animal_1_Image名前を変更します。「サウンドの再生」ノードを試用シーケンスにドラッグし、Animal_1_Audio名前を変更します。試用シーケンスにタイマーノードをドラッグし、Animal_1_Audio_Length名前を変更します。クリップ アート イメージごとに 3 つのノードが作成されるまで、追加のディスプレイ画面、サウンドの再生、およびタイマー ノードを引き続き試用シーケンスに変更します。次に、ドリフト補正ノードをトライアルシーケンスにドラッグして、ドリフト補正を導入します。録音シーケンスを作成するには、新しい画面表示ノードをレコードシーケンスにドラッグします。ノード Test_Imageの名前を変更します。[画面表示] ノードをダブルクリックしてスクリーン ビルダーを開き、[四角形の対象領域を挿入] をクリックして、4 つの四角形の領域を描画します。Timer ノードをワークスペースにドラッグし、ノードの名前を一時停止し、期間プロパティを 500 ミリ秒に変更します。[サウンドの再生] ノードをワークスペースにドラッグし、ノードの名前をTest_Audioし、タイマー ノードをワークスペースにドラッグしてTest_Audio_Length名前を変更します。次に、ワークスペースにキーボードノードを追加し、ノードの動作応答の名前を変更し、「許容キー」プロパティーを「上、下、右、左」に変更します。実験を行う場合は、ホストPCでシステムを起動してカメラのホストアプリケーションを起動し、ディスプレイPC上の実験プロジェクトの実行可能バージョンをクリックします。参加者の名前を入力し、[条件値の選択]をクリックして実行し、プロンプトウィンドウからグループを選択します。参加者の額に小さなターゲットステッカーを貼り、まばたきや突然の動きなど瞳の画像が失われた場合でも、頭の位置を追跡します。21 インチ 4:3 カラー モニターから約 60 センチメートルの参加者を 1,024 x 769 ピクセルの解像度で、27 ピクセルが 1 度の角度に等しい座席にします。ディスプレイ PC モニタの高さを調整して、参加者がまっすぐ前方を見ているときに、モニタの中央から上の 75% を垂直に見ている状態にし、机の上の焦点を合わせて目の画像をフォーカスするようにします。次に、ホストPCで「キャリブレーション」をクリックし、参加者に対して、5つの固定ターゲットのグリッドに、まからとりの行動応答を伴わないランダムな連続で固定し、参加者の目の動きを視覚世界の関心の視線にマッピングするよう依頼します。[検証] をクリックし、調整結果を検証するために、固定ターゲットの同じグリッドに固定するように参加者に依頼します。画面中央の黒い点を固定しながら、キーボードのスペースバーを押すように参加者に依頼して、ドリフトチェックを実行します。次に、モニターの左右に位置する外部スピーカーのペアを介して聴覚刺激を再生しながら、ディスプレイPCモニタを介して視覚刺激を提示します。データのコーディングと分析の場合は、データビューアーを開き、ファイル、ファイルのインポートをクリックし、複数のアイリンクデータファイルをインポートして、記録されたすべてのアイトラッカーファイルをインポートします。ファイルを単一の evs ファイルに保存し、evs ファイルを開いて[分析]、[レポート]、および [サンプル レポート] をクリックして、集計なしで生のサンプル データをエクスポートします。結膜ステートメントに対する正しい応答は大きなオープンボックスですが、しかしステートメントに対する正しい応答は、ステートメント内で最初に言及された動物を含む小さなオープンボックスです。重要なことに、どのボックスを結合ステートメントに選択するかは、条件ステートメントの処理方法によって異なります。たとえば、小さな閉じたボックスは、スカラーのインプリケーションと無知の推論の両方が計算され、その結果、分離ステートメントの理解から生じる場合にのみ選択されます。パネルに示すように、小さな閉じた箱の目の固定は、センティシャル結合が切断結合であるか、または切断結合のオフセットのオフセットよりも遅くない限り、増加しません。ビジュアルワールドパラダイムは、現実世界での目の動きから話し言葉の参加者のオンライン理解を推測するための汎用性の高いアイトラッキング技術です。参加者を募集するときは、正常または正しい正常な視覚能力と正常な聴覚能力を持っている必要があることを覚えておいてください。対象となる実世界の調査を設計するには、参加者の目の動きに影響を与える可能性のある他の要因を制御または除外する必要があります。結果を統計的に分析する場合、限られた応答から生じる可能性のある問題は、すべての自動相関または自動比較を考慮する必要があります。

using-eye-movements-recorded-visual-world-paradigm-to-explore-online

Research

JoVE Journal

Behavior

行動

神経制御および認知プロセスは、眼球運動を介して研究することができる。 VisualEyesソフトウェアは、オペレータが、独立して、単純な、カスタムスクリプト言語を使用して2つのコンピュータ画面上に刺激をプログラムすることができます。システムは、タンデム眼球運動（サッカードと円滑追跡）、または反対の眼の動き（輻輳）、または任意の組み合わせを刺激することができる。...

VisualEyes：眼球運動実験のためのモジュラ式のソフトウェアシステム

本稿では、アイトラッキング手法を用いて、テキストの理解に関わる認知プロセスを研究する方法について説明します。アイトラッキング装置の説明、実験的刺激の開発方法、手順に関する推奨事項が含まれています。提示された情報は、言葉による刺激を用いたほとんどの研究に適用することができる。...

眼球運動を用いてテキスト理解に関与する認知過程を評価する

現在の記事のレビュー言語理解研究の目追跡の方法論。信頼性の高いデータを取得するには、プロトコルの主要な手順に従わなければなりません。これらの中で、目の追跡者 (例えば目と頭の画像の品質の良い)...

視覚的に位置の言語理解の中に目の追跡: 柔軟性の視覚的文脈の発見の効果の制限

メソッドは、読み取り中に復帰 (IOR) 回帰眼球運動の抑制の役割を調査するため設計されました。理解難易度対回帰の 2 種類で IOR...

読書中に理解および眼球運動に基づく回帰眼球運動を区別するアイトラッ キング

自閉症児でリアルタイム文理の間に形態学的手がかりの利用を検討するためのプロトコルを提案します。...

北京語を話す自閉症児の文理を勉強する視覚的な世界のパラダイムを使用してください。

優遇的なパラダイムを用いてのアイトラッキング研究は、乳児の外見世界に対する新たな理解と注意を研究するために使用することができる。...

アイトラッキングと優遇的見た目のパラダイムを用いた視覚言語に対する幼児の感受性の探求

ここでは、話し言葉と中国語の相対句文のオンライン処理を調べるために、デュアルモーダル干渉タスクを用いたプロトコルを紹介する。内および非指向性干渉を伴う聴覚処理を伴う2つの例例実験について説明する。パラダイムは、ワーキングメモリの性質と文処理への影響に対処するための方法論を提供します。...

デュアルモーダル干渉タスクを使用した中国語での音声複雑な文章のオンライン構文処理の検証

この研究は、孤独な観客が合理的で感情的な魅力の集中砲火ビデオを見たときに孤独がどのように軽減されるかを研究するためのアクティベーションマッチモデルを提案しています。このプロトコルは、アイトラッキングを使用して期間と固定を文書化し、感情的なニーズがコンテンツや集中砲火によって緩和されたときに満足度を考慮します。...

孤独を引き起こす:集中砲火ビデオを見ている観客をアイトラッキング

我々は、視覚語認識におけるフォンロジーと意味論の相対的活性化シーケンスを探求するためのプロトコルを提示する。この結果は、インタラクティブなアカウントとの整合性、意味表現および音韻表現が対話的に処理され、より高レベルの言語表現が早期処理に影響を及ぼす可能性があることを示している。...

電気生理学を用いた視覚語認識における音韻論的過程と意味過程の相互作用

アイトラッキングを採用して、視覚イベントに基づく間隔比較(持続時間知覚)タスク中の眼球運動を監視するプロトコルを紹介します。目的は、持続時間知覚タスク(時間間隔の比較または識別)に対する眼球運動反応を刺激自体への反応から分離するための予備的なガイドを提供することです。...

視持続時間知覚における眼球運動:決定前過程における時間からの刺激の解脱

探索する視覚世界パラダイムを用いた話し言葉のオンライン処理の手法です。眼球運動を記録し、選択文や条件文などの意味的に複雑な文の理解過程をリアルタイムで調査できます。心理言語学研究に有用です。

眼球運動の視覚世界のパラダイムに記録を使用して話されていた言語のオンライン処理を探索するには

さらに動画を探す