Name: Göz izleme sırasında görsel olarak yer alan dil anlama: Esneklik ve sınırlamalar ortaya çıkarılması görsel bağlam etkileri (Video) | JoVE Journal
Uploaded: 2018-11-30T12:30:00.000+00:00
Duration: 7 min 36 s
Description: Öğrenin, dil anlama süreçlerini incelemek için göz izleme yöntemini kullanarak psikodilbilim araştırmalarında görsel bağlamın etkilerini keşfedin. Doğru kalibrasyon güvenilir veri toplamak için kritik öneme sahiptir.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Bu araştırma ZuKo (mükemmellik girişimi, Humboldt-Universität zu Berlin), mükemmellik küme 277 tarafından finanse edildi 'Bilişsel etkileşim teknoloji' (Alman Araştırma Konseyi, DFG) ve araştırma, Avrupa Birliği'nin yedinci çerçeve programı tarafından teknolojik gelişim ve gösteri Hibe Sözleşmesi n ° 316748 (LanPercept) altında. Yazarlar da mükemmellik merkezleri, proje FB0003 ilişkisel araştırma programı, CONICYT (Şili hükümeti) ve "FoTeRo" odak merkezi XPrag (DFG) proje için bazal fonlarından destek kabul. Makaleyi ilk taslağını Helene Kreysa Bielefeld Üniversitesi ve bu örneği bir laboratuvar iletişim kuralı tarafından haberdar sağlanan pia Knoeferle Humboldt-Universität zu Berlin kullanılmak üzere devam ediyor. Tüm yazarlar için içeriği yöntemleri ve sonuçları bir form veya başka bir giriş sağlayarak katkıda bulunmuştur. Camilo Rodríguez Ronderos ve Pia Knoeferle yazarlar girişten koordine ve iki yinelemelerde, ilk taslak önemli ölçüde yeniden düzenlendi. Ernesto Guerra üretilen rakamlar 2 - Katja Münster, Alba Rodríguez ve Ernesto Guerra girdi temel alan 4 . Helene Kreysa güncelleştirmek Şekil 1 ve Pia Knoeferle sağladı. Bildirilen sonuçlar kısımlarını bilişsel bilim Derneği yıllık toplantısı Proceedingsyayınlanmıştır.

Bu iletişim kuralı kurumun nerede veriler toplanmıştır, yani, bilişsel etkileşim teknoloji mükemmellik küme (CITEC) Bielefeld Üniversitesi ve Humboldt-Universität zu Berlin etik kuralları izler. Bielefeld Üniversitesi'nde yapılan deneylerde tek tek Bielefeld Üniversitesi'nin Etik Komitesi tarafından kabul edildi. Ruh laboratuvar, Humboldt-Universität zu Berlin, Deutsche Gesellschaft für Sprachwissenschaft, Almanca dil bilimi Derneği (DGfS) Etik Komitesi tarafından onaylanan laboratuvar etik iletişim kuralının vardır.
1. okul sırası Kur
Not: Aşağıda bir göz izleme deneyde anahtar adımlar yer almaktadır.
<ol><li>Enstrüman hazırlık
	<ol>
<li>Göz izleme fotoğraf makinesi ve belgili tanımlık ev sahibi PC açın (bkz. Şekil 1 Laboratuvar veri toplama ve ön işleme Kur bir çizimi için).</li>
		<li>Göz tracker yazılım başlatmak.</li>
		<li>PC görünmesini sağlamanız. Deneyler içeren klasörü açın.</li>
		<li>'Dağıtılan' sürümü çift tıklatarak .exe uzantısı ile başlayın.</li>
		<li>Kurulumuna bağlı olarak deneysel bir liste seçmek için bir istem görüntülenebilir, hangi genellikle bir sekmeyle ayrılmış.csv/.txt dosya koşulları, ses dosyası adları, yazılı cümleler ve/veya katılımcı maruz görüntüleri içeren iş. Listeden seçin ve program başlayacak. Sonuçlar depolandığı çıkış dosya adı. Not: Çıktı dosyası görüntü PC'de kaydedilir ve sırt yukarıya üstünde belgili tanımlık ev sahibi PC kaydedilir.</li>
		<li>Deney (giriş veya hoş geldiniz perde) ilk ekran açık bırakın.</li>
		<li>Koruyucu kapağı göz izci kameradan çıkartın.</li>
		<li>Hijyenik amaçlı bir doku yer çene tutucu üzerinde.</li>
		<li>İsteğe bağlı: bir yanıt yastık ve/veya bir klavye deney gerektirdiği hazırlayın.</li>
		<li>İsteğe bağlı: işitsel uyaranlara sunulması, hoparlörlerin ses seviyesini ve deneme çalıştırmadan önce sınav onları. Alternatif olarak, katılımcı tarafından kullanılmak üzere kulaklık işlevselliğini sınayın.</li>
		<li>Katılımcı tarafından imzalanması için gerekli formları hazırlayın.</li>
		<li>Veri toplama işlemi süresi boyunca sabit bir parlaklık ile loş ışıklı bir oda için laboratuvarda ışık yoğunluğunu ayarlayın.</li>
	</ol></li>
	<li>Katılımcılar için hazırlık
	<ol>
<li>Katılımcılar geldikten sonra kendinizi tanıtın.</li>
		<li>Yer bir rahatsız etmeyin laboratuvar kapıya oturum açın.</li>
		<li>Bir sandalye almak katılımcı sormak.</li>
		<li>Katılımcı bilgi formu ve gerekli izni ve demografik formları aracılığıyla rehberlik.</li>
		<li>Okuyun ve onay formu imzalamak katılımcı izin.</li>
		<li>Kısaca deney ve süresinin genel özelliklerini açıklamaktadır. Bu katılımcının bakışları davranış ve sonuçta elde edilen veriler etkisi bu yana deneme önce çok fazla bilgi sağlamaz.</li>
		<li>Yazılı talimatlar verir ve katılımcının soru sormak için bir fırsat veriyorum.</li>
		<li>Kısaca göz izci işlevini açıklar.</li>
		<li>Gerekirse, görev netleştirmek ve deneme sırasında attırılmak için gerekir herhangi bir düğme/anahtarlar işaret.</li>
		<li>Açıklamak nasıl çene gerisi kafa hareketi deneme sırasında en aza indirmek için tasarlanmıştır. Katılımcı herhangi bir hareket kışkırtabilecek cihazın en iyi çalıştığından söz.</li>
	</ol></li>
	<li>Göz İzleyicisi'ni ayarlama
	<ol>
<li>Katılımcı denemenin hazırlamak: masaya oturup kendi çene çene kalanını yerleştirin isteyin. Kendi alın yanlarında karşı yalın isteyin.</li>
		<li>Gerekirse yükseklik ve sandalye konumunu ayarlamak için katılımcı sormak: katılımcının kendi çene çene dinlenme ve onların alın yanlarında karşı rahat hissetmeniz gerekir.</li>
		<li>Kafası deneme sırasında yanlışlıkla taşımak için ortak olduğunu açıklamak ve bu-meli var olmak kaçmak. Kafa duruşu deneme sırasında düzeltilmesi gerekebilir açıklamak.</li>
		<li>Deneme düğmesine basın (Örneğin, yolu ile belgili tanımlık yanıt yastık) gerektiriyorsa, parmaklarını tuşların üzerinde dinlenme bırakmak için katılımcı talimat basılmasını ve seyir belgili tanımlık yanıt yastık ne zaman bir düğmeye basarak önlemek için.</li>
		<li>Hoşgeldiniz/giriş ekran okumak için katılımcı sormak.</li>
		<li>Ana bilgisayar önünde oturmak. Ekran kamera kurulumüzerinde değilse, sağ ekrana almak için Kamera ayarları tıklayın. Koruyucu kapağı kamera merceğinden kaldırıldı ve katılımcı çene gerisi doğru yerleştirilmiş, ekran katılımcının gözleri üç görüntüleri göstermelidir: üst ve sol ve sağ altındaki iki küçük olanlar daha büyük bir görüntü. Bu küçük resimleri her, sol ve sağ gözü için karşılık gelen bir göz göster.</li>
		<li>İzlenmesi gereken göz seçin. Katılımcının baskın göz izlemek için adettendir. Katılımcı hangi göz baskın olduğunu bilmiyor Eğer bir oküler egemenlik testi (adım 1.3.8) kuralları.</li>
		<li>Oküler egemenlik belirlemek. Bir kolunu çıkar genişletmek ve her iki gözü açık olan bir uzak nesne parmakla hizalamak için katılımcı sormak. Alternatif sağa sola göz kapatma katılımcıdan sor. Baskın göz göz açık35,36kendisi için başparmak nesnesi ile uyumlu kalır olanıdır.</li>
		<li>Tıklatın görüntü üzerinde | Ekran pc (ya da Entertuşuna basın) ve 1.3.6. adımda anlatılan görüntüleri de katılımcının göstermek perde, ama sadece tek tek görüntülenir.</li>
		<li>Sol/sağ ok göz daha küçük ve daha büyük görüntü arasında geçiş yapmak için deneyci'nın veya katılımcının bilgisayar klavye tuşuna basın. Küçük görüntü (göz) üzerinde odaklanın.</li>
		<li>Arama sınırlarını kutusunu öğrenci konumu üzerinde ortalamak için her iki klavye A (Hizala göz pencere) basın. Sonra göz çevresinde kırmızı bir kare bir turkuaz daire ['kornea yansıması', (cr)] öğrenci alt yakınlarında görüntülenmesi gerekir. Öğrenci kendisini mavi olmalıdır.</li>
		<li>İki haç ('artı') ekranda görünmesine — bir öğrenci ve kornea yansıma Ortadakinin ortasına. Kırmızı bir kutu ve iki haçlar göz izci öğrenci ve cr algılama demek. Not: kırmızı bir kutu ya da haçlar yok ise, gözün değil izlenir — bu durumda, hiçbir öğrenci deneyci'nın bilgisayarda görünür.</li>
		<li>Kameranın odak el ile odaklama lens çevirerek ayarlayın. Objektifin ön dokunmak dikkatli olun. En iyi odak noktası ulaşılana kadar objektif açın. Not: Turkuaz Daire (kornea yansıma) gibi küçük olduğunda en iyi odak noktası ulaşıldığında (Bu daire odakta olduğundayani,) mümkün olduğunca.</li>
		<li>Öğrenci eşik ayarlayın. Sadece resmi öğrencinin mavi olduğundan emin olun (Örneğin, kirpik olmamalıdır mavi) üstünde belgili tanımlık ev sahibi PC. Ayrıca, tüm öğrenci (sadece onun orta kesiminde) mavi olduğundan emin olun. Sadece kırmızı kare içinde ne olduğunu merak.</li>
		<li>A'yabasın. Bu öğrenci eşiği otomatik olarak ayarlar. Öğrencinin doğru mavi görüntülenmiyorsa, el ile artırmak için yukarı tuşuna ve mavi görüntü yüzeyi parçası azaltmak için aşağı anahtarı kullanarak eşik ayarlayın. Not: maskara (genellikle siyah, öğrenci gibi olan) eşik ayarlama ile girişime neden olabilir — göz izci koyu kirpikler için öğrenci alabilir. Bu durumda, onlara makyaj makyaj çıkarıcı doku sağlayarak kaldırmak için katılımcı sormak.</li>
		<li>Cr eşikayarlayın. A adım 1.3.15 bastığınızda cr eşiği otomatik olarak küme olması. Not: Tüm eşik ayarları için sayısal değerler görünür olması gerekir. Bir soru işareti hiçbirinde görüntülenirse, önceki adımlardan biri olarak bir sorun vardı ve eşikleri el ile ayarlamanız gerekir.</li>
	</ol></li>
	<li>Göz İzleyicisi'ni ayarlama Not: katılımcı ekranın diğer parçalar göründüğünde göz izci sürekli göz konumunu belirleyebilirsiniz olup olmadığını kontrol edin.<ol>
<li>Kamera Kurulumu penceresindeki görünüm ise dört bir yanına ekranın bir teker teker bakmak için katılımcı sormak. Bakmak dikkatli göz bakışları köşede yönlendirilir yükleyen kornea yansıması ile müdahale (bunlar turkuaz 'blob'ları ' ekranında gösterilir) herhangi bir düzensiz yansımaları için.</li>
		<li>Ekranın merkezinde bakmak ve göz ve hedef işaretini birini etrafında kırmızı bir kutu adım 1.4.1 sırasında herhangi bir noktada görünür değilse onların bakışları sorunlu köşedeki doğrudan katılımcı sormak. Bu sorunun kaynağını belirlemenize yardımcı olur.</li>
		<li>Katılımcının kafa konumunu yeniden ayarlamak ve bu herhangi bir iyileşme verimleri kontrol edin. Gerekirse bu adımı yineleyin. Hareketsiz yapamaz-e doğru birkaç denemeden sonra katılımcının bakışları izlemek bir aygıtsa, denemeyi iptal edin.</li>
		<li>Katılımcı göz izci kalibre edilmesi ve onlar ekranın farklı bölgelerine hareket siyah bir daire (ile küçük bir gri nokta) görmek için gidiyoruz bildirin. Yeni bir konuma taşır kadar daire sabitleştirmek için katılımcı talimat. Katılımcı gözlerini süzme önlemek için ve en iyi sonuçlar için siyah daire içinde küçük gri nokta odaklanmak için talimat.</li>
		<li>Katılımcı hala tutmak ve kalibrasyon sırasında sonraki daire konumunu tahmin için denemek için önemli olduğunu söyle. Onların gözleri ve onların kafa ile daireler takip etmelerini isteyin. Kalibrasyon işlemini başlatmak için Ayarla'ya üzerinde'yi tıklatın. Normalde, bir 9-nokta kalibrasyon prosedürü içinde seri bir şekilde dokuz konumlara siyah daire hamle kullanılır.</li>
		<li>Katılımcı doğru bir şekilde ekranın ortasında ilk nokta sabitlenmiş sonra bir otomatik kalibrasyon için ENTER tuşuna basın. ENTER tuşuna basarak her fiksasyon (katılımcının göz veya ne zaman çocuk gibi özel katılımcı ile ilgili gruplar izleme sorunları olduğundaÖrneğin,) manuel kalibrasyon, kabul (veya kabul et fiksasyontıklayarak / Ara çubuğutuşuna basın). Not: kalibrasyon işleminin sonunda neredeyse dikdörtgen bir desen deneyci'nın ekranda görünür olması gerekir. Bu göz bakışları desenleri katılımcının temsil eder. Ayrıca, iyi bir kalibrasyon sonuçlarını yeşil renkle vurgulanmış olmalıdır. Yoksa, (yani, kalibrasyontıklayın) kalibrasyon prosedürü tekrarlayın.</li>
		<li>Sonuçları doğrulayın. Katılımcı (noktalar bakarak) aynı prosedürü kalibrasyon işleminin sonuçlarını doğrulamak için gitmek için söyle. Onlara nokta, bakmak için ve hala olmak hatırlatmak. Not: Doğrulama işlemi kalibrasyon için benzer ve her iki sonuçları göz doğru izlenmekte olan emin olmak için göz ait diğer yazılımların karşılaştırılır.</li>
		<li>' I tıklatın doğrulamak.
</li>
		<li>Her fiksasyon ENTER tuşuna basarak (veya fiksasyon kabul Ara Çubuğu'nabasarak) kabul.</li>
		<li>Doğrulama sonra sonuçları deneyci'nın ekranda görünür. İki hata önlemleri, ortalama hata (Örneğin, 0,23 °) ve maksimal hata (Örneğin, 0.70 °) özellikle dikkat edin. Bunlar için izlenen görüntü bir katılımcının gerçek bakışları konumundan sapma derece temsil etmektedir.</li>
		<li>Bir görsel dünya paradigma kullanırken, ortalama hata (ilk numarası) 0.5 ° ile en fazla hata (İkinci sayı) altında tutmak küçük 1°.</li>
		<li>Hata değerleri eşik, kafalarını konumunu yeniden düzenlemek ve yeniden kalibrasyon prosedürü başlatmak için katılımcı sormak. Hiçbir gelişme gözlem yapılırsa, denemeyi iptal edin. Not: Katılımcı kontakt lensler giyer yüksek kalibrasyon hataları şunlardan gözlemlemek için yaygındır. Katılımcının kendi reçete gözlük, kontakt lens yerine getirmek için önceden istenmelidir.</li>
		<li>Kalibrasyon işlemi başarıyla tamamladıktan sonra denemeyi başlatmak için Çıkış/kayıt ' ı tıklatın. Katılımcı deney başlıyor bilgilendirmek.</li>
	</ol></li>
	<li>Deneme sırasında Not: (bağlı olarak bireysel bir deney nasıl programlanır, ama genellikle deneysel her davadan önce) deneme sırasında bir onay kayması veya drift doğru ekran bir nokta ekranın ortasında görüntüler. Deneme ve otomatik olarak ayarlamak için göz izci modeline bağlı olarak, geçerli için hesaplanan fiksasyon hata raporu için hazırlanmıştır.<ol>
<li>Öğretim aşamasında katılımcı her görüntülendiğinde bu merkez nokta sabitleştirmek için söylendiğini belirtti. Her drift onay/drift doğru aşamasında emin olun, katılımcılar tekrar nokta sabitliyor. Bu ana bilgisayar PC, katılımcının bakışları hareketli yeşil bir daire görünür nerede katılımcının bakışları izleyerek yapılabilir.</li>
		<li>Drift onay/drift doğru tamamlandığında ENTER (veya Ara çubuğu) nokta kaybolur ve sonraki deneme görüntülemek yapmak için tuşuna basın.</li>
		<li>Nasıl drift onay aşamasında kullanılan göz izci modeline göre geçmek için hata ile başa çıkmak için belirleyin. Modeline bağlı olarak, göz İzleyici'de bir otomatik Düzeltme drift merkez nokta uyum için bakışları'nın koordinatları ayarlayarak gerçekleştirir, ya da o-ecek yapmak için devam etmeden önce yeniden kalibre deneyci soracak bir bip sesi (onay drift) deneyin.</li>
		<li>Bir otomatik drift düzeltme kullanıyorsanız, çok fazla drift düzeltmeler ardışık denemeler ve/veya çok büyük bir ölçüde drift düzeltme sonuçları saptırmak ve aygıtı yeniden kalibrasyonu gerektirir unutmayın.</li>
	</ol></li>
	<li>Deney sırasında yeniden kalibrasyon
	<ol>
<li>Deney sırasında herhangi bir zamanda yeniden ayarlamak mümkündür. Düzeltme/drift onay Drift ekran sunumu sırasında kamera kurulumardından Ayarla'yaüzerinde tıklatın. Tatmin edici bir değere ulaşıncaya kadar kalibrasyon ve doğrulama işlemleri gidin ve sonra Çıkış/kayıt' ı tıklatın. Deneme deneme sırasındaki çıkış noktasından devam edecektir.</li>
	</ol></li>
	<li>Deneyden sonra
	<ol>
<li>Katılımcı anahtar deneysel manipülasyonlar tahmin etmek mümkün olsaydı değerlendirmek için bir soru formu sağlar. Burada, deney boyunca geliştirilen olası stratejileri hakkında sormak önemlidir.</li>
		<li>Katılımcı amacı deneme ile ilgili bilgi almak. Onlara onların katılım için teşekkür ve gerekli maddi tazminat sağlamak veya kredi atayın.</li>
	</ol></li>
</ol>2. Uzaktan Kurulum: kurulum çalışmaları için çocuklar ve yaşlı yetişkinler ile ayarlama
Not: Bu bölüm 1. adımda açıklandığı gibi yalnızca bir uzaktan kurulum ve bir Masaüstü Kurulum arasındaki farkları açıklar. Burada kabul için 1. adımda açıklanan yordamı aynı olması için açıkça belirtilen noktalarda.
<ol><li>Standart 35 mm göz izci kamera objektifi 16 mm lens değişimi.</li>
	<li>Tüm gerekli ekipmanları (ana bilgisayar PC, hoparlörler, göz izci ve bir dizüstü bilgisayar kullanılırsa, dizüstü bilgisayar) bağlayın.</li>
	<li>Laptop laptop ayakta durmak ve göz izleyici önünde yerleştirin (katılımcı ekranın üst %75 görmek mümkün olmalıdır).</li>
	<li>Bir "hedef etiketini" yerleştirin (tracker'ın üretici edinilebilir) katılımcının alnına (kaş sağ gözü veya alın çok ise sağ yanağına yukarıda küçük (yani, bebeklerde durumunda); Bu etiket yerine çene dinlenmek Masaüstü Kurulum ve bu göz İzleyicisi'nin doğru katılımcının kafa konumunu belirlemek için izin verir.</li>
	<li>Katılımcı 550-600 mm kamera (hedef etiket kameraya mesafe) uzak oturduğundan emin olun.</li>
	<li>Emin olun kelime "büyük açı" veya "göz yakın" üstünde belgili tanımlık ev sahibi PC görünmez. Eğer onlar yapmak, hedef etiket konumunu ideal olmadığı anlamına gelir. Bu durumda, hedef etiket yeniden ayarlayabilirsiniz. Bu da katılımcının alın özellikle küçük olduğu anlamına gelir. Bu durumda ise, etiket katılımcının yanağına yerleştirin. Not: etiket koyarsanız çok kulağa yakın, "büyük açı" mesajı görünür muhtemeldir ve etiket yeniden yerleştirilebileceğini gerekir.</li>
	<li>1.4. adımda anlatılan kalibrasyon işlemine başlamadan önce katılımcı rahat oturuyor emin olun. Bütün deneyin boyunca aynı yerini korumak ve göz izci bedensel hareketleri çok duyarlı olduğunu açıklamak isteyin. Onlar hala onların kafa tutmak için ısrar ediyorum. Katılımcı çok fazla hareket ederse, cihazın bir uğultu gürültü yayarlar. Not: uzaktan göz izci kurulum çocuk veya yaşlı yetişkinler gibi duyarlı nüfus sınamak için kullanılan Eğer manuel kalibrasyon prosedürü kullanmak için tavsiye edilir.</li>
</ol>3. kurulum çalışmaları okuma için ayarlama
Not: okuma görsel bağlam etkileri araştıran, özellikle dikkat edin kalibrasyon ve yeniden kalibrasyon işlemleri için gerekli olmasıdır. Aksine görsel dünya çalışmaları, okuma sırasında izleme göz cihaz hassas kelime kelime ve mektup mektup okuma kalıpları izlemek için gerekli hassasiyeti göz önüne alındığında, çok daha yüksek bir ölçüde gerektirir.
<ol><li>Hem hata doğrulama aşaması sırasında görüntülenen ortalama ve en fazla 0.5 ° altında kaldığından emin olun.</li>
	<li>En az bir 9 puanlık ölçek ayarlaması için kullandığınızdan emin olun. Bu daha doğru bir izleme okuma sırasında ilgi alanları küçük boyutlarını düşünürsek çok önemlidir, göz bakışları konumu sağlar.</li>
</ol>

Yazarlar ifşa gerek yok.

Özet olarak, görsel bir sahne dil anlama etkileyebilir birçok yolu görsel içerikleri ile izleme göz gözden geçirilmiş türevleri ortaya çıkardı. Bu yöntem tepki süreleri ölçme gibi yöntemlere göre önemli avantajlar sağlar. Örneğin, devam eden göz hareketleri içeren bir pencere dil anlama süreçleri ve nasıl bunlar görsel dünya bizim algı zaman içinde etkileşim içine bize. Ayrıca, katılımcıların mutlaka dil anlama (örneğin, grammaticality bir cümle ile bir düğme sıkıştırma yargılamak) sırasında açık bir görevi gerçekleştirmek için gerekli değildir. Bu araştırmacılar gibi bebekler, göz bakışları dışında açık davranışsal yanıt ile zorlanabilir nüfus ile yöntemini kullanmayı sağlar çocuklar ve bazı durumlarda, büyük yetişkin. İzleme göz olduğunu ekolojik geçerli katılımcıların ilgi yanıt yansıtır da — değil aksine daha fazla veya daha az özenli unfolding sözler için dinleme sırasında çevrelerindeki dünyada iletişim ilgili şeyler insanların görsel sorgulama.
Görsel Dünya paradigma sınırları (veya belki de özellikleri) tüm olaylar delikanlı ve kesin bir şekilde tasvir biridir. Somut nesne ve olaylar tabii, tasvir edilebilir. Ama ne kadar soyut kavramlar en iyi tasvir o kadar net değildir. Bu sınırı (tanımlamak dil işleme ve bir göz izleme görsel dünya paradigması kullanarak görsel dünya algısı arasındaki etkileşimi anlayışlar ya da). Daha fazla zorluklar gözlenen davranış ve anlama işlem arasındaki bağlantı hipotezler ilgilidir. Göz tespitlerin büyük olasılıkla dil anlama (Örneğin, sözcük erişim, başvuru işlemleri, dil-aracılı beklentileri, görsel bağlam etkileri, diğerleri arasında) sırasında birçok subprocesses yansıtan bir tek davranış yanıt vardır. Bu anlayış göz önüne alındığında, araştırmacılar dikkatli olmalıdır değil için aşırı veya gözlenen bakışları desen yanlış anlaşılabilir. Bu sorunu gidermek için önceki araştırma rolünü anlama alt görevlerin bakışları kayıt40yorumlanması netleştirmek için vurgulanmış bulunmaktadır.
Göz hareketleri interpretability geliştirmek için bir yol onları beyin olay-ilişkili potansiyeller (ERPs) gibi diğer tedbirler ile entegre etmektir. Aynı olay kendi zamansal taneciklik karşılaştırılabilir ve onların bağlantı hipotezler tamamlayıcı iki yöntem ile inceleyerek, araştırmacılar sonuçları alternatif açıklamalar kural ve her yorumlanması zenginleştirmek bireysel ölçü41. Bu yaklaşım deneyler43, ama daha, son zamanlarda, ayrıca içinde tek bir deney (bağlamlarda kesinlikle dile ait de olsa) takip edilmiştir44. Gelecekteki araştırma büyük ölçüde bu tür metodolojik tümleşmesini faydalı olacağını ve sonrası deneme ve sonrası deneysel görevleri ile birlikte devam etti.
Göz izleme yöntemi kurulan sonuçları çoğaltmak, aynı zamanda görsel ilgi gibi sahneler etkileşim dili anlama hakkında yeni hipotezler test. Hatta küçük deneyci hataları veri kalitesini etkileyebilir beri iletişim kuralında özetlenen yordamı dikkatle izlenmesi gerekir. Çalışmaları okuma, örneğin, ilgili analiz bölgeler genellikle tek tek sözcüklerin veya hatta mektuplar, hatta küçük kalibrasyon hataları şunlardan (Raney ve meslektaşları42tarafından başlıklı makaleye bakın) sonuçları deforme anlamına gelir vardır. Adım 1.4 ve 1.5 Protokolü'nün, göz izci ve drift onay/drift doğru kalibrasyonu doğrudan kayıt doğruluğu etkisi bu yana belirli önemi vardır. Doğru göz izci kalibre için hata tam olarak göz hareketleri için ilgi alanları önceden kurulmuş izleme izleyici neden olabilir. Bu tür izleme hatası eksik veri noktaları ve çok ince ve verimi küçük istatistiksel etkisi boyutları dünya dil ilişkileri araştıran sorunlu olabilir istatistiksel güç kaybına yol açacaktır (açıklamasına bakın deneyler Guerra ve Knoeferle32 ve Münster ve meslektaşları37 Temsilcisi sonuçlarıarasında).
Güç ve duyarlılık ekipman en üst düzeye çıkarmak için ihtiyaç göz önüne alındığında, Denemecileri nasıl rutin olarak deneysel bir oturum sırasında oluşan sorunları ile başa çıkmak için bilmek önemlidir. Örneğin, öğrenci konum ve gözlüklü katılımcılar hareketin kalibrasyon zorluklar nedeniyle bir katılımcının gözlük lens üzerinde ışık yansımaları neden olabilir. Bu sorunu çözmenin bir yolu katılımcının göz ekran PC görüntü ayna ve gözlük ışığın yansıması artık artık kamera tarafından yakalanan anlamına gelir onların ekranda görünene kadar onların kafası taşımak için onları teşvik etmektir. Kalibrasyon hatasının başka bir nedeni bir dozun ışığa karşı bir sonucu olabilir öğrenci daralma olabilir. Bu durumda, laboratuvar ışıkta karartma Gözbebeklerin büyümesinden artırmak ve, böylece, doğru bir şekilde tespit öğrenci içinde göz izci yardımcı olacak.
Son bir düşünce, ikinci dil öğrenimi hakkında araştırma için visual-dünya paradigma sahip potansiyel adres istiyorum. Paradigma zaten başarıyla psycholinguistic araştırmada diller arası sözlü ve Fonolojik etkileşim46,47,48gibi olayları araştırmak için kullanılmıştır. Buna ek olarak, görsel dikkat ve dil öğrenme arasında yakın bağlantı sık sık ikinci dil edinimi49,50,51üzerinde uygulamalı dil bilimi literatüründe vurgulanmış. İkinci dil öğrenimi gelecekteki araştırma büyük olasılıkla göz izleme milisaniyelik çözünürlükte görsel ilgi bir dizin sağlayan bir yöntem olarak avantajlı konumunu faydalanmak devam edecektir.

Psycholinguistic araştırma dil anlama karıştığı süreçleri anlamak içinde göz hareketi analizleri önemi vurgulanmış bulunmaktadır. Bakışları kayıt işlemlerini anlama çıkarım çekirdek biliş göz hareketleri5' e bağlanan bir hipotezdir. Göz hareketleri üç ana türü vardır: saccades, vestibulo-göz hareketleri ve düzgün takip hareketleri. Saccades çoğunlukla bilinçsizce olur ve güvenilir bir şekilde dikkat6nöbetleşe ile ilişkili olan hızlı ve balistik hareketleri vardır. Göreli bakışları istikrar saccades, aşırılıklara bilinen arasında anları dizin geçerli görsel dikkat kabul edilir. Locus aşırılıklara ve bilişsel süreçler ile ilgili olarak onların süre ölçme göz izleme yöntemi olarak bilinir. Okuduğunu anlama (bkz. Rayner7 bir daha gözden geçirme için) kesinlikle dilsel bağlamlarda incelemek için bu yöntemin erken uygulamaları hizmet. Bu yaklaşım, bir kelime ya da cümle bölge teftiş süresi zorluk işleme ile ilişkilidir. İzleme göz ancak, ayrıca olmuştur konuşulan dil anlama nesneleri dünyanın incelenmesi sırasında İnceleme (veya2bir bilgisayarda görüntülemek için) uygulanır. 'Görsel Dünya' göz izleme yeni sürümde nesneleri denetim dili tarafından yönlendirilir. Comprehenders zebra, örneğin, onların incelenmesi bir zebra üstünde belgili tanımlık perde ne zaman haber hakkında hayvan düşünüyorsun yansıtacak şekilde alınır. Ne görsel dünya paradigma olarak bilinir, bir comprehender'ın göz bakışları konuşulan dil anlama ve ilişkili bilgi aktivasyonu yansıtacak şekilde alınır (Örneğin, dinleyici de incelemek zebra otlatma, duyduklarında gösteren bir zebra tarafından gerçekleştirilen eylem)2. Bu tür denetimler arasında dil-dünya ilişkileri ve göz hareketleri2sistematik bir bağlantı öneririz. Bu bağlantıyı ölçmek için ortak bir yol görünüyor bir ekranda farklı önceden belirlenmiş bölgelere oranda bilgisayar tarafından programıdır. Bu belirli bir zaman ve nasıl bu değerleri milisaniyelik çözünürlüğünü değiştirmek farklı nesnelere verilen dikkat miktar doğrudan (arasında koşulları, katılımcılar ve öğeleri tarafından) karşılaştırmak için araştırmacılar sağlar.
Ruh araştırmada zihin1mimarisi ile ilgili ayrı rakip teorik hipotezler kızdırmak için görsel dünyanın içindeki göz izleme istismar. Göz tespitlerin görülen nesneler üzerinde Ayrıca, ortaya comprehenders olabilir — yeteri kadar kısıtlayıcı bir dilsel bağlamı varsayarak — artımlı anlamsal yorumu8 gerçekleştirmek ve hatta yaklaşan karakterler hakkında beklentileri geliştirmek 9. bu tür göz bakışları veri ayrıca çeşitli daha fazla anlama, sözlü belirsizlik çözünürlük10,11, zamir çözünürlük12, yapısal ve tematik rolünün anlam ayrımı gibi ışık atama ile bilgi görsel bağlam13,14,16ve pragmatik süreçleri15, diğerleri arasında4anlamına gelir. Açıkça, göz hareketleri sırasında dil anlama nesnelere sorumlu süreçleri bilgilendirici olabilir.
Göz izleme yöntemi non-invaziv ve bebekler, Genç ve yaşlı dil kullanıcılar ile kullanılabilir. Bir anahtar, sonda punctate yanıt aksine avantajdır veya doğrulama görevleri'nde, yanıt düğmeye basmadan bu sağlar anlayışlar-zaman içinde nasıl dil kılavuzları dikkat ve nasıl içine bir milisaniye çözünürlük (içinde nesneler, Eylemler, görsel bağlam olaylar, bir konuşmacının bakışları ve duygusal yüz ifadeleri, aynı zamanda kayma nesne yapılandırmaları) dil işleme için katkıda bulunur. Cümle anlama sırasında ölçü süreklilik gibi diğer sonrası cümle ve sonrası deneme önlemler açık resim/video-cümle doğrulama, okuduğunu anlama soruları ve bellek hatırlama görevleri ile iyi tamamlar. Açık bu görevleri yanıt-e doğru anlama süreci, hafıza ve öğrenme2sonucunu içgörü sağlayarak göz bakışları kaydı yorumu zenginleştirebilirsiniz. Göz izleme diğer görevler ile birleştirerek hangi ölçüde görsel bağlam farklı yönlerini görsel dikkat ve (hemen yanı sıra gecikmeli) anlama modüle ömrü ortaya çıkardı.
(Sözlü ya da yazılı) dil sunumunu ve sahneleri eşzamanlı veya sıralı olabilir. Örneğin, Knoeferle ve işbirlikçileri17 sahne sunulan sözlü cümle önce 1000 ms ve anlama sırasında mevcut kaldı. Eylem olaylar tasvirleri clipart katkıda kanıt nesne-fiil-konu (OVS) cümleler ile karşılaştırıldığında çözünürlük Alman özne-fiil-nesne (SVO) yerel yapısal belirsizlik için rapor ettiler. Knoeferle ve tığ işi18 önce yazılı bir cümle bir clipart sahne sunulan ve cümle anlama sırasında clipart olayların tümleştirme artımlı test. Bunlar Hatalı eşleşen zaman katılımcıların okuma kez cümle bileşenlerinin daha uzun anlam artımlı uyum etkileri, (eşleşenvs ) gözlenen önceki sahnede tasvir olay. Başka bir uyarıcı tanıtım versiyonu, katılımcıların ilk bir mekansal ilişki açıklayan bir cümleyi okuyup ve sonra nesne çizimler19içeren belirli bir mekansal düzenleme sahne gördüm. Bu çalışmada uygun sahne sorgulama sırasında kaydedilen göz hareketleri ile olay yerine verilen cümlenin oranı katılımcılara sorarak Hesaplamalı kayma dil modelleri öngörüleri değerlendirildi. Katılımcıların bakışları desenleri ile karşı karşıya nesnenin şeklini tarafından modülasyonlu — kısmen modeli Öngörüler onaylamak ve veri modeli arıtma için sağlama.
Birçok çalışma clipart tasvirleri17,18,19,20,21,22,23kullanmış, aynı zamanda gerçek birleştirilmesi de mümkün iken nesneleri, bu nesnelerin veya statik fotoğrafları ile konuşulan dil1,21,24,25,26,46videolar. Knoeferle ve arkadaşları bir gerçek ayarı24 ve Abaşidze ve iş arkadaşları bir videoya sunu biçimi eylem olaylar ve gergin etkileri25incelenmesi için kullanılan. Hassas içerik değişen sahnelerin (ya da değil eylemler tasvirÖrneğin,)22,27,38 mümkündür ve aynı zamanda görsel bir bağlam etkileri ortaya çıkarabilir. Rodríguez ve işbirlikçileri26 tarafından ilgili bir çalışma daha sonra sözlü cümle sunulan videoya görsel cinsiyet cues etkisi anlama araştırıldı. Katılımcılar klişeleşmiş cinsiyeti ile ilgili eylemi gerçekleştirmeden ya erkek ya da kadın eller görüntülemek videoları izledim. Sonra onlar bir cümle ya hakkında klişeleşmiş erkek veya kadın eylem olay aynı anda iki fotoğraf yan yana gösteren bir ekran bir erkek ve bir kadının diğer teftiş ederken duydum. Bu zengin görsel ve dilsel çevre ayrı dil-aracılı klişeleşmiş bilgi görsel olarak sunulan (el) cinsiyet cues etkilerinden anlama üzerinde etkileri kızdırmak yazarları izin.
Daha fazla uygulama Bu paradigma Gelişimsel dil işleme değişiklikleri hedef almıştır. Göz hareketleri konuşulan dil anlama sırasında nesnelere genç yetişkinler için karşılaştırıldığında görülen olaylar 4 - 5 - yaşındakiler27,28 ve gerçek zamanlı olarak büyük yetişkin29 ama biraz gecikmeli etkileri ortaya koydu. Kröger ve işbirlikçileri22 prosodic yardımlar ve deney içinde işaretleme ve bunlar üzerinde deneyler yetişkin ve çocuklarda karşılaştırıldığında durumda etkileri incelenmiştir. Katılımcılar için ilgili belirsizliğe yer bırakmadan durumda işaretlenmiş Alman cümle dinlerken bir belirsiz eylem-olay sahne inceledi. Göz hareketleri ayrı prosodic desen ne yetişkin ne de 4 ya da 5-yaş ne zaman kim-yok-ne-için-kime disambiguating yardım ettiğini ortaya koydu. İşaretleme, cümle-ilk durumda ancak, yetişkinlerin ama çocuk göz hareketleri etkilemiştir. Bu durumda işaretleme anlayış 5 yaş tematik rol ataması etkinleştirmek için yeterince güçlü değil göstermektedir (Özge ve işbirlikçileri30tarafından çalışma bakınız), en az değil ne zaman eylem olaylar değil disambiguate tematik rol ilişkileri. Bu sonuçlar ilginçtir, tematik rol atama31prosodic etkileri önceki sonuçları farklı olduğunu göz önüne alındığında. Kröger ve işbirlikçileri22 (az ya da destekleyici) görsel bağlam için zıt bulgular sorumlu önerilmiştir. Ölçüde bu bu yorumların tutun, ömrü dil anlama bağlamda rolü vurgulayın.
Ölçülerin resim - (veya video) cümle doğrulama görevleri18,20,26, resim-resim doğrulama görevleri32, corpus çalışmalar24, beğeni ile iyi göz izleme yöntemi birleştirir görevleri19veya sonrası deneysel hatırlama görevleri25,33. Abaşidze ve ortak çalışan34 ve Kreysa ve işbirlikçileri33 Interplay hoparlör bakışları ve gerçek eylem videolar34 ve hoparlör bakışları ve eylem tasvirleri33, anılan sıraya göre yardımlar için soruşturma yaklaşan cümle içerik. Göz bakışları bir sahnede izleme sırasında dil anlama sonrası deneysel bellek görev ile birleştirerek, onlar bir konuşmacının bakışları ve tasvir eylemler dinleyici algısını etkileşim ve her ikisi de etkiler yolu daha iyi bir anlayış kazandı Hemen dil işleme ve bellek hatırlama. Sonuçları eylemler karşı hoparlör bakışları sonrası deneme bellek hatırlama işlemlere karşı gerçek zamanlı anlama farklı katkısını ortaya koydu.
Göz izleme yöntemi ile büyük esneklik istihdam edilebilir, belirli standartlara anahtar vardır. Aşağıdaki protokol için farklı tür araştırma soruları araştırmacıların belirli ihtiyaçlarına göre ayarlanabilir genelleştirilmiş bir yordam özetlemektedir. Bu iletişim kuralı Humboldt-Universität zu Berlin Psycholinguistics laboratuarda yanı sıra eski dil ve biliş Laboratuvarı, bilişsel etkileşim teknoloji mükemmellik küme (CITEC), istihdam bir standart yordamdır Bielefeld Üniversitesi. Bir masaüstü ve bir uzaktan kurulum protokolünü açıklar. İkinci çocuk veya yaşlı yetişkinler ile çalışmalarda kullanım için önerilir. Tüm deneyler Temsilcisi sonuçları belirtilen 1000 Hz bir örneklendirme oranı olan ve bir kafa sabitleyici, katılımcılar (ekran PC) test etmek için bir PC ve deneme izleme için bir PC ile birlikte kullanılan bir göz izci aygıt kullanın ve katılımcıların göz hareketleri (ana bilgisayar PC). Bu aygıt temel fark selefi dürbün göz izleme için sağlanmıştır. Protokol yeterince kafa sabitleyici ve bir çift PC faydalanmak diğer göz izleme cihazları kullanılmak üzere genel olarak tasarlanmıştır kurulum (ana bilgisayar + ekran). Ancak, diğer kurulumları büyük olasılıkla kalibrasyon hataları veya dava deneyci kullanıcıya bakmalıdır parça kaybı gibi sorunları işlemek için farklı yöntemler olacak unutmayın onların belirli bir aygıtı el ile tutmak önemlidir.

<table><tbody><tr><td>Baş/çene desteği de dahil olmak üzere masaüstüne monte göz izleyici</td><td>SR Research Ltd.</td><td>EyeLink 1000 plus</td><td>http://www.sr-research.com/eyelink1000plus.html</td></tr><tr><td>Göz izleme deneyinin tasarımı ve yürütülmesi için yazılım</td><td>SR Research Ltd.</td><td>Deney Oluşturucu</td><td>http://www.sr-research.com/eb.html</td></tr></tbody></table>

göz izleme sırasında görsel olarak yer alan dil anlama: esneklik ve sınırlamalar ortaya çıkarılması görsel bağlam etkileri

Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects

Mevcut işi bir açıklama ve dil işleme ve görsel dünya algısı arasındaki etkileşimi farklı yönlerini ölçmek için tasarlanmış bir metodoloji değerlendirilmesi. Göz-bakışları kalıplarının kayıt için görsel bir bağlam ve dilsel/dünya bilgi dil anlama katkısını iyi kanıt sağlamıştır. İlk araştırma dil işleme modülerlik teorileri test etmek için nesne-bağlam etkileri değerlendirildi. Giriş bölümünde, biz tarif nasıl sonraki araştırmalar dil kendi başına bir araştırma konusu olarak işleme daha geniş görsel bağlam rol almış, soru böyle olayların ve hoparlörlerin bizim görsel algı katkıda ne kadar comprehenders deneyim tarafından haberdar anlama. Görsel bağlam muayene yönleri arasında eylemler, Etkinlikler, bir konuşmacının bakışları ve duygusal yüz ifadeleri, yanı sıra kayma nesne yapılandırmaları vardır. Göz izleme yöntemini ve farklı uygulamaları bakış, biz başarılı bir şekilde görsel olarak yer alan dil anlama çalışmak için nasıl kullanılacağını gösteren iletişim kuralı ' metodoloji önemli adımlar listelenmektedir. Son bölümünde üç temsilcisi sonuçları kümesi sunar ve faydaları ve sınırlamaları görsel dünya ve dil anlama ve algılama arasındaki etkileşimi soruşturma için göz izleme göstermektedir.

Münster ve işbirlikçileri37 tarafından yapılan bir çalışma cümle yapısı etkileşimi araştırdık, Eylemler ve yüz duygusal ipuçları dil anlama sırasında tasvir. Sağlam hem de eylem etkileri ve marjinal etkisi cümle anlama yüz duygusal sopasıyla tasvir gösterdi bu çalışmanın avantajları ve yönteminin sınırlamalarını göstermek için çok uygundur. Yazarlar bir dinlenme konumda bir mutlu veya üzgün bir ifade değiştirdi bir kadının yüz ifadesi 5 s videoları oluşturdu. Onlar aynı zamanda duygusal olarak olumlu valenced Alman nesne-fiil-zarf-konuyu (OVAdvS) oluşturan cümleler formunun ' [nesne/hastaaccusative durumda] [eylem] [olumlu Adverb] [konu/Ajanyalın durumda].' Via olumlu adverb cümleler 'mutlu' video uyumlu ve uyumsuz (kim gülümsüyordu ve oyunculuk olarak mutlu pozitif adverb tarafından açıklanan) Aracısı ilke beklentisiyle erişimine izin verme 'üzgün' video. Hoparlör video cümle bir ajan-hasta-şık clipart sahne iki sürümlerinden biri ile ortaya çıktı. Bir sürümde aracı şıkkı karakter gerçekleştirilen farklı bir eylem sırasında hastaya belirtilen eylemi gerçekleştirmeden olarak tasvir. Diğer sahne sürüm hiçbir eylem karakterler arasında tasvir. Göz hareketleri sahne efektleri eylemler ve cümle anlama konuşanın yüz ifadesinin ortaya koydu.
Eylem tasvir hızla katılımcıların görsel dikkat, belirtilen eylem yaşındayken katılımcılar Aracısı'nın şık, daha baktı anlam etkilenen (vs değildi) tasvir. Bu görünüyor beklentili (yani, Ajan sözü edilen almadan önce oluşması), cümle önce eylem tasvir aracı açıklık düşündüren. Eylem tasvir en erken etkisi fiil sırasında ortaya çıktı (yani, fiil eylem ilişkili Aracısı aracılı). Buna karşılık, önceki hoparlör gülümsedi veya mutsuz görünüyordu Ajan beklenti (Şekil 2) net etkisi vardı. İkinci sonuç arasında bir konuşmacının gülümseme ve tasvir ajanın eylem (eylem ilişkili bir ajan arabuluculuk doğrudan fiil-eylem başvuru ile karşılaştırıldığında) ile ilgili olumlu bir sentential zarf daha ince bağlantılarını yansıtacak. Alternatif olarak, belirli görev ve uyarıcı sunuya olabilir: Belki de duygu etkileri daha daha sosyal etkileşimli bir görev veya bir konuşmacının yüz sırasında (yerine önce) cümle anlama sunan telaffuz. Ancak, gülümseyen bir konuşmacının yüz sunma sırasında okuduğunu anlama odak katılımcılara diğer sahne içerik pahasına yüzündeki belki maskeleme Aksi takdirde gözlemlenebilir etkileri işlenmiş değişkenler sebep olabilir (Kaynak: yayınlanmamış veri).
Paradigma başka bir varyant Guerra ve Knoeferle32 anlamsal kayma dünya-dil ilişkileri anlama soyut anlamsal içerik okuma sırasında modüle olup olmadığını sordu. Guerra ve Knoeferle kayma mesafesi (Örneğin, yakınlık) soyut anlamsal ilişkileri (Örneğin, benzerlik) anlamını gerekçelerle fikir kavramsal metafor teorisi38 ödünç. Ne zaman onlar benzer (vs ters) anlam ve video bir taşıma yakınlık tarafından (vs mesafe; iskambil hareket daha yakın birlikte vs. öncesinde bu hipotezi doğrultusunda katılımcılar okunur soyut sözcükler daha hızlı koordine birbirinden daha uzak). Çalışmalar39ikinci bir küme, cümleler samimi veya düşmanca, önde gelen iki kart birbirine yaklaşan videoları sosyal aktarılmaktadır cümle bölgeleri okuma kadar hızlandırdı Discovery olarak iki kişi arasındaki etkileşim açıklanan. yakınlık/yakınlık. Kayma mesafesi gönüllülük hızla ve artımlı olarak bile ne zaman cümleler video nesnelerindeki başvurmuyor cümle etkilenen unutmayın. Videoları belirgin okuma kez kayma mesafe ve cümle anlamı semantik yanı sıra sosyal yönleri arasında uyum bir fonksiyonu olarak modüle. Bu efektleri ilk geçiş okuma zamanlarda (önceden belirlenmiş cümle bölgesinin ilk muayene süresi) her ikisi de ortaya çıktı ve o cümle bölgenin üzerinde harcanan toplam zaman ( Şekil 3 çalışmaları Guerra tarafından sonuçlarından bir örnek için bkz: ve Knoeferle)32. Ancak, analizleri de ince kart-mesafe etkileri gibi bir örnek söz fiil-eylem ilişkileri, efektleri olarak sağlam olmayabilir sonuç önde gelen katılımcılar arasında önemli değişim ortaya koydu.
Çalışmalar daha fazla bir dizi nasıl cümle yapısı varyasyon genelliği görsel bağlam etkileri değerlendirmek yardımcı olabilir göstermektedir. Abaşidze ve ortak çalışan34 ve Rodríguez ve işbirlikçileri26 sonraki işlem son eylemleri sözlü cümle etkilerini inceledi. Her iki çalışmalarda katılımcıların ilk bir eylem video kontrol (Örneğin, bir deneyci lezzet salatalık veya bir pasta pişirme eller). Sonra onlar da son eylem veya başka bir eylem yapılması için ilgili olarak Alman bir cümle dinledi (domates34lezzet; modeli26no'lu binaya) ileri. Anlama sırasında katılımcılar iki nesne (salatalık, domates)34 ya da iki ajan fotoğraflarını yüzler (bir kadın ve 'Susanna' ve 'Thomas', sırasıyla adlı bir erkek Ajan yüz) gösterilen bir sahne kontrol26. Çalışmayla Abaşidze ve işbirlikçileri34hoparlör ilk deneyci ve sonra fiil (Örneğin, lezzet), belirtilen bir tema (Örneğin, salatalık veya domates) ilgili beklentiler alabilme. Çalışmayla Rodríguez ve işbirlikçileri26hoparlör ilk bir tema (kek) ve sonra (pişirme), fiil eyleminin aracı hakkında beklentileri alabilme bahsedilen (kadın: Susanna veya erkek: Thomas, fotoğraflar üzerinden geçen bir kadın ve erkek bir yüz).
Her iki çalışmalarda, ister insanlar (görsel) Tema/aracı son eylem olay veya diğer tema/daha fazla anlama sırasında sağlanan bağlamsal ipuçları üzerinde tabanlı aracı tahmin istiyorsunuz konusu soruydu. Abaşidze ve işbirlikçileri34, deneyci'nın bakışları fiil başlangıcından gelecekteki tema nesnesini (domates) sildim (kelimenin tam anlamıyla Almanca'dan tercüme: 'deneyci aracının tatlar yakında...'). Tema ve fiil bahsedildi Rodríguez ve işbirlikçileri26' da cinsiyet bilgi klişeleşmiş eylem kullanılabilir oldu (Örneğin, Alman uyaranlara edebi çeviri yapıldı: 'kek-Tema yakında pişiren...'). Her iki kümesi çalışmalar katılımcılar tercihen alternatif (gelecek/diğer-cinsiyet) hedef (domates34 ya da Thomas26) hedef/Ajan son eylem (salatalık34 veya Susanna26) kontrol cümle sırasında.
Bu sözde 'olay son tercihi', böylece, cümle yapısı ve deneysel malzeme önemli değişim karşısında sağlam gibi görünüyor. Ajanların Ayrıca için cinsiyet fotoğrafları makul fotoğrafları fiil Temalar sunulması son zamanlarda kontrol eylem olaylar üzerine güven azaltılmış öyle ki bu, ancak, aynı anda sahne26, görsel kısıtlamalar tarafından modüle ve modüle edilmiş dikkat dil tarafından aktarılmaktadır cinsiyet-klişe bilgilerine göre. Şekil 4 ana bulgular deneyler Rodríguez ve işbirlikçileri26tarafından gösterilmektedir.
Bu yorum-in görsel-dünya paradigma sağlam sonuç vermedi iken, diğer çalışmalar bağlama hipotez karmaşıklığı (ve sınırlamalar) çizer. Burigo ve Knoeferle20 ele geçen bu katılımcılar — Die Box IST über der sosis gibi sözler dinlerken (' sosis kutusudur') — çoğunlukla bu nesneleri tasvirleri clipart teftiş içinde söyleyiş izledi. Ama denemeler oranının üzerinde katılımcıların bakışları neyden decoupled belirtilmiştir. 'Sosis' ve sosis en az bir kez kontrol işitme üzerine, katılımcıların sonraki denetim kutusu için çalışmaların hız doğrulama (deney 1) ve sonrası cümle doğrulama (çalışmalarda % 90'ı yaklaşık % 21 döndü Deneme 2). Bu bakışları desen başvuru (işitme ' sosis') sadece bazı (sosis teftiş) destekli ama tüm hareketleri (kutu teftiş) göz öneriyor. Bu tür tasarım ayrı sözlü başvuru işlemleri diğer (cümle düzeyinde yorumsal dahil) alay için kullanılabilir işlemleri. Ancak, araştırmacılar ne zaman dikkatli olmalıdır aykırılık iddialarını bilişsel dil işleme göz hareketi oranlarda göreceli farklılıklar göz bakışları için bağlamada belirsizlik verilen temel alan farklı düzeyleri hakkında ve anlama işlemleri.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/57694/57694fig1v3.jpg"> Şekil 1: veri toplama ortamı bakış. Grafik nasıl farklı yazılım ve donanım öğeleri veri toplamak için kullanılan ve ön işleme ilgili bir başkasına gösterir. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig1v3large.jpg" target="_blank">Bu rakam daha büyük bir versiyonunu görüntülemek için buraya tıklayınız.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/57694/57694fig2.jpg"> Resim 2: Temsilcisi sonuçları Münster ve işbirlikçileri37. Bu paneller konu tarafından ortalama günlük bakışları fiil bölge (için görülen eylem) ve (duygusal Başbakan etki için) kombine fiil-adverb bölgede koşul başına olasılık oranlarını gösteren. Ne zaman ne zaman değil tasvir cümle içinde belirtilen eylem daha tasvir görünüyor hedef görüntünün doğru çok önemli ölçüde yüksek oranda sonuçlar gösterir. Etkisi için sonuçları duygusal yüz asal daha az kesin: yüz Başbakan negatif değerlik (üzgün bir yüz) varken daha bir olumlu duygusal değerlik (bir gülümseme) varken görünüyor hedef için Ortalama günlük oranı sadece hafif bir artış önerdiler. Hata çubukları ortalama standart hatasını temsil eder. Bu rakam Münster ve ark. değiştirildi 37. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig2large.jpg" target="_blank">Bu rakam daha büyük bir versiyonunu görüntülemek için buraya tıklayınız.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/57694/57694fig3v2.jpg"> Şekil 3: Temsilcisi sonuçlar Guerra ve Knoeferle32. Bu panel (DIS) benzerlik sıfat ortalama ilk geçiş okuma zamanlarında (milisaniye cinsinden) gösterir. Birbirine yaklaştırın iki oyun kartları görmek daha uzağa ayrı karşılaştırıldığında sonra sonuçları benzerlik cümleler için daha kısa okuma zamanlarını göster. Hata çubukları ortalama standart hatasını temsil eder. Bu rakam Guerra ve Knoeferle32değiştirildi. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig3v2large.jpg" target="_blank">Bu rakam daha büyük bir versiyonunu görüntülemek için buraya tıklayınız.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/57694/57694fig4v3.jpg"> Şekil 4: Temsilcisi sonuçları Rodríguez ve işbirlikçileri26. Bu panel konu tarafından ortalama günlük bakışları fiil bölgede olasılık oranları koşul başına gösterir. Oranlarını görünüyor 0 Haritayı hedef Aracısı görüntü için bir tercih ve oranlarını 0 altındaki rakip Ajan görüntü için tercih göstermek. Sonuçlar katılımcılar nesne ve cümle içinde belirtilen fiil ne zaman onlar did değil daha önceki videoya olaylar eşleşen zaman hedef Aracısı resmi incelemek daha olası olduğunu gösterir. Ayrıca, daha fazla görünüyor hedef Aracısı görüntünün doğru cümle tarafından açıklanan eylem için kalıplaşmış cinsiyet standartlarla uyumlu zaman vardı. Hata çubukları ortalama standart hatasını temsil eder. Bu rakam Rodríguez vd değiştirildi 26. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig4v3large.jpg" target="_blank">Bu rakam daha büyük bir versiyonunu görüntülemek için buraya tıklayınız.</a>

Mevcut madde bir göz izleme metodoloji dil anlama çalışmaları için değerlendirmeleri. Güvenilir veri elde etmek için Protokolü'nün önemli adımlar izlenmesi gerekir. Bunlar arasında göz tracker (göz ve baş görüntülerin iyi kalitenin korunmasını sağlamayaÖrneğin,) ve doğru kalibrasyon doğru up.

Göz izleme sırasında görsel olarak yer alan dil anlama: Esneklik ve sınırlamalar ortaya çıkarılması görsel bağlam etkileri

The present work is a description and an assessment of a methodology designed to quantify different aspects of the interaction between language processing ...

Bu yöntem, psikolinguistik te dil anlama da dahil zihinsel süreçleri ile ilgili anahtar araştırma sorularının cevap yardımcı olabilir. Bu tekniğin avantajı, görme dünyası ve dil işleme arasındaki ilişkiyi incelemeye yönelik yüksek zamansal çözünürlüğe sahip görsel dikkat indeksi sağlamasıdır. Protokol yüksek derecede hassasiyetle yürütülmesi gerektiğinden, bu yönteme yeni gelen kişiler mücadele edebilir.Yöntemin doğru uygulanması genellikle geçici sorun giderme gerektirdiğinden, bu yöntemin görsel gösterimi çok önemlidir. Oküler hakimiyeti belirlemek için, katılımcıdan bir kolunu uzatmasını ve başparmağı her iki gözü açık uzak bir nesneyle hizalamasını isteyin. Katılımcının her gözü alternatif olarak kapatmasını.Baskın göz, o göz açıkken başparmağın nesneyle hizada kaldığı gözdür. Daha sonra, katılımcıdan çene sehpanın üzerinde çene ve alnını başlıklara dayaması ile masaya oturmasını isteyin. Ardından, BILGISAYARı görüntülemek için resmi tıklatın. Katılımcının gözlerinin bir büyük ve iki küçük görüntüsü görünmelidir.Daha küçük baskın göz görüntülerinden birini seçmek için klavye ok tuşlarını kullanın ve gözbebeği konumundaki arama limitleri kutusunu ortalamak için A tuşuna basın. Göz bebeğinin altına yakın turkuaz bir daire ile gözün etrafında kırmızı bir kare görünmelidir. Göz bebeğinin kendisi mavi olmalıdır.Ekranda biri öğrencinin merkezinde, diğeri kornea yansımasının merkezinde olmak üzere iki artı işaretinin varlığını doğrulayın. Kornea yansımasının boyutunuayarlamak çok önemlidir. Göz izleyicisinin iyi bir kalibrasyonunun temelidir.Kornea yansıması mümkün olduğunca küçük olana kadar lensin ön kısmına dokunmamaya dikkat edin, kamerayı gerektiği gibi ayarlamak için odak lensini manuel olarak çevirin. Ardından, tüm öğrencinin ve yalnızca öğrencinin mavi olması için öğrenciyi ve kornea eşiklerini ana bilgisayarda otomatik olarak ayarlamak için A tuşuna basın. Göz izleyicisini kalibre etmek için, katılımcının göz bakışı köşeye yönlendirildiğinde kornea yansımasını engelleyen düzensiz yansımaları dikkatlice ararken, kamera kurulum penceresi ile ekranın dört köşesine teker teker bakmasını isteyin.Gözün etrafındaki kırmızı kutu veya artı işaretinden herhangi biri herhangi bir noktada görülmüyorsa, katılımcıya önce ekranın ortasına, sonra da sorunun kaynağını belirlemek için sorunlu köşeye bakmasını sorun. Bu herhangi bir iyileşme sağlar olup olmadığını kontrol etmek için katılımcının başının konumunu hazırla. Daha sonra, katılımcıya göz izleyicisinin kalibre edilmeyeceğini ve daire ekranın farklı bölümlerine doğru ilerlerken daha büyük bir siyah daire içindeki küçük gri noktanın sabitleneceğini bildirin.Katılımcı hazır olduğunda, dokuz noktalı kalibrasyon işlemine başlamak için kalibrasyon'u tıklatın ve katılımcı otomatik kalibrasyon için ekranın ortasındaki ilk noktaya doğru bir şekilde sabitledikten sonra enter tuşuna basın. Kalibrasyon sürecinin sonunda, katılımcının göz bakışı desenlerini temsil eden deneycinin ekranında neredeyse dikdörtgen bir desen görünmelidir. İyi bir kalibrasyon sonuçları yeşil vurgulanır.Sonuçları doğrulamak için, katılımcının işlemi tekrarlamasını ve katılımcıya noktayı bakmasını ve hareketsiz kalmasını hatırlatın. Her fiksasyonu kabul etmek için doğrula'yı tıklatın ve girin. Sonuçlar ana bilgisayar monitöründe görünür.Ortalama ve maksimal hatalara dikkat edin. Bu veriler, izlenen görüntünün katılımcının gerçek bakış konumundan sapma derecelerini temsil eder. Ortalama hata 0,5 derecenin üzerindeyse ve/veya maksimum hata bir derecenin üzerindeyse, katılımcının kafa pozisyonunu yeniden ayarlamasını ve kalibrasyon prosedürünü yeniden başlatmasını sorun.Maksimum hata oranını bir derecenin altında tutmak, yüksek kaliteli veri toplama için çok önemlidir. Bunların, konuşma dili anlama sırasında nispeten büyük nesnelere bakışı izleme eşikleri olduğunu unutmayın. Okuma sırasında göz izleme eşikleri daha da düşüktür.Kalibrasyon işlemini başarıyla tamamladıktan sonra, denemeyi başlatmak için çıktı kaydına tıklayın. Yerokuma sırasında göz hareketlerini izlemek için bir örnek olarak, ilk olarak birbirine daha yakın veya birbirinden uzak hareket eden iki oyun kartı görüntüleyin. Daha sonra katılımcı, kartlar arasındaki mesafenin dildeki benzerliği modüle edip edemeyeceğini değerlendirmek için birbirine benzer veya farklı olarak temsil edilen iki kavram hakkında bir cümle okutsun.İşitsel dil anlama sırasında göz hareketlerini kaydetmek için bir örnek olarak, ilk katılımcı ilgi bir olay bir video gösterin. Ardından katılımcıya, aracının ve videodaki nesnelerin görüntülerini ve karşı cinsten bir aracının artı başka bir nesnenin görüntüsünü içeren bir hedef sahne gösterin. Aynı anda, önceki olaylarda bir ajanın ellerinin cinsiyetinin, katılımcının konuşma anlama sırasında tahmin edeceği hedef sahneden hangi yüzü etkileyebileceğini değerlendirmek için önceki videoyla eşleşen veya uyumsuz olan bir olayı açıklayan bir cümle oynayın.Bu temsili okuma göz izleme deneyinde, benzerlikler sıfatlarının ortalama ilk geçiş okuma süreleri, iki iskambil kartının birbirine yaklaştıktan sonra, kartların birbirinden daha uzağa taşındığı zamana göre daha kısaydı. Burada, işitsel bir anlama testinin fiil bölgesi ndeki ortalama günlük bakış oranlarının analizi, katılımcıların daha önce gösterilen bir videoda cinsiyeti olayları eşleşen aracının resmini inceleme olasılığının daha yüksek olduğunu ortaya koymaktadır. Bu yordamı yürürken, her adımı gerçekleştirirken hassasiyetin yüksek kaliteli veri toplama için çok önemli olduğunu unutmamak önemlidir.Bu şekilde, resim bağlamlarının gerçek zamanlı dil anlamasını aşamalı olarak ne ölçüde modüle ettiğine ilişkin öngörüler elde edebiliriz. Yanıt süreleri ve doğruluk gibi cümle sonrası veya deneme sonrası önlemler veya diğer çevrimdışı testlerden elde edilen veriler, çevrimiçi fiksasyon ölçümlerinden elde edilebilen öngörüleri zenginleştirebilir. Bu teknik, psikolinguistlerin dil anlama da dahil zihinsel temsilleri ve gerçek zamanlı süreçleri araştırmak için izin vetir.

eye-tracking-during-visually-situated-language-comprehension

Research

JoVE Journal

Behavior

Davranış

Bu makalede, metin anlamada yer alan bilişsel süreçleri incelemek için göz izleme metodolojilerinin nasıl kullanılacağı açıklanmaktadır. Göz takip ekipmanlarının tanımları, deneysel uyaranların nasıl geliştirileceği ve prosedür önerileri dahildir. Sunulan bilgiler çoğu çalışmaya sözel uyaranlar kullanılarak uygulanabilir.

Metin Anlamada Yer Alan Bilişsel Süreçleri Değerlendirmek için Göz Hareketlerini Kullanma

Dinlerken veya konuşulan bir dil konuşan görsel dünya paradigma katılımcıların göz hareketleri görsel çalışma alanında izler. Bu paradigma psycholinguistic sorular, ayırt edici deyimi gibi anlam olarak karmaşık ifadeler de dahil olmak üzere çok çeşitli çevrimiçi işlenmesi araştırmak için kullanılabilir.

Konuşulan dil çevrimiçi işlenmesi keşfetmek için görsel dünya paradigmada kaydedilen göz hareketleri kullanarak

Yöntem gerileyen göz hareketleri (IOR) karşılığında inhibisyonu okuma sırasında rolünü araştırmak için tasarlanmıştır. Bu gerileme iki tür IOR rolü dahil olmak üzere oculomotor hatadan tetiklenen anlama zorluk karşı sonucu olarak tetiklenen eksiklikleri arasında differentiating odaklanmıştır.

Okuma sırasında anlama ve Oculomotor tabanlı gerileyen göz hareketleri ayırt etmek için göz izleme

Biz gerçek zamanlı cümle anlama otistik çocuklar tarafından sırasında morfolojik ipuçları kullanımını incelemek için bir protokol mevcut.

Cümle anlama Mandarin konuşan çocuklarda otizm eğitim için görsel dünya paradigması kullanarak

Tercihli görünümlü bir paradigma kullanarak göz izleme çalışmaları, bebeklerin ortaya çıkan anlayışını ve dış görsel dünyasına dikkat etmek için kullanılabilir.

Göz Izleme ve Tercihli görünümlü paradigma kullanarak görsel dile bebek hassasiyetini keşfetme

Çalışma, yalnız bir izleyici rasyonel ve duygusal temyiz baraj videoları izlerken yalnızlık hafifletilir nasıl çalışmak için bir aktivasyon-maç modeli öneriyor. Protokol, süre ve fiksasyonu belgelemek için göz takibini kullanır, duygusal ihtiyaçlar içerik ve yaylım ateşiyle yatıştırıldığında memnuniyet derecesini hesaba katarak.

Yalnızlık Assuaged: Göz-İzle bir İzleyici Baraj Videoları izlerken

Belirli görsel modalitelere yanıt olarak dönüşlü göz hareketlerine dayalı görsel bilgi işlemenin kalitesini ölçmek için bir yöntem tanımlanmıştır. Reaksiyon süreleri ve fiksasyon çıktı parametreleri, 6 aylıktan itibaren görme bozukluğu olan ve olmayan çocuklarda görsel performansı karakterize etmek için kullanılır.

Bir Yöntem Göz İzleme Kullanarak Çocuklarda Görsel Bilgi İşleme belirlememize

Küçük çocuklar değil PASİF dünyayı, gözlemlemek ama oldukça aktif keşfetmek ve çevreleri ile meşgul. Bu iletişim kuralı yol gösterici ilkeler ve bebeklerde kaydetmek için başa takılan göz izci ve yeni yürümeye başlayan çocuklar dinamik görsel ortamlar ve görsel dikkat doğal davranış bağlamında kullanmak için pratik öneriler sağlar.

Gaze eylem: doğal davranış sırasında çocuk dinamik görsel dikkat başa takılan göz izleme

Burada okuduğunu anlama dili ve kod çözme benzersiz ve ortak Effects'e içinde farkı çürüyen bir protokol mevcut.

Okuduğunu anlama dil benzersiz ve ortak etkileri ortaya çıkarmak için varyans çürüyen ve kod çözme

Biz insanlarda eşzamanlı göz izleme ile tek nöron kayıtları yürütmek için bir yöntem açıklanmaktadır. Biz bu yöntemin yardımcı programı göstermek ve görsel bir arama hedefleri kodlamak insan medial temporal lob nöronlar elde etmek için bu yaklaşımı nasıl kullanıldığını göstermek.

Insan Epilepsi hastalarında eşzamanlı göz Izleme ve tek nöron kayıtları

Öğrenin, dil anlama süreçlerini incelemek için göz izleme yöntemini kullanarak psikodilbilim araştırmalarında görsel bağlamın etkilerini keşfedin. Doğru kalibrasyon güvenilir veri toplamak için kritik öneme sahiptir.

Göz izleme sırasında görsel olarak yer alan dil anlama: Esneklik ve sınırlamalar ortaya çıkarılması görsel bağlam etkileri

Daha fazla video keşfet