Method Article

Göz izleme sırasında görsel olarak yer alan dil anlama: Esneklik ve sınırlamalar ortaya çıkarılması görsel bağlam etkileri

DOI:

10.3791/57694

⸱

November 30th, 2018

 ,  ,  ,  ,  ,  ,  ,  ,  ,  , 
1Institute of German Studies and Linguistics, Humboldt-Universität zu Berlin, 2Center for Advanced Research in Education – CIAE, Universidad de Chile, 3Institute of Psychology, Friedrich Schiller University Jena, 4Cognitive Interaction Technology Excellence Cluster (CITEC), Faculty of Linguistics and Literature, Bielefeld University, 5Department of Education, Concordia University, 6Berlin School of Mind and Brain, 7Einstein Center for Neurosciences Berlin

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Mevcut madde bir göz izleme metodoloji dil anlama çalışmaları için değerlendirmeleri. Güvenilir veri elde etmek için Protokolü'nün önemli adımlar izlenmesi gerekir. Bunlar arasında göz tracker (göz ve baş görüntülerin iyi kalitenin korunmasını sağlamayaÖrneğin,) ve doğru kalibrasyon doğru up.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Mevcut işi bir açıklama ve dil işleme ve görsel dünya algısı arasındaki etkileşimi farklı yönlerini ölçmek için tasarlanmış bir metodoloji değerlendirilmesi. Göz-bakışları kalıplarının kayıt için görsel bir bağlam ve dilsel/dünya bilgi dil anlama katkısını iyi kanıt sağlamıştır. İlk araştırma dil işleme modülerlik teorileri test etmek için nesne-bağlam etkileri değerlendirildi. Giriş bölümünde, biz tarif nasıl sonraki araştırmalar dil kendi başına bir araştırma konusu olarak işleme daha geniş görsel bağlam rol almış, soru böyle olayların ve hoparlörlerin bizim görsel algı katkıda ne kadar comprehenders deneyim tarafından haberdar anlama. Görsel bağlam muayene yönleri arasında eylemler, Etkinlikler, bir konuşmacının bakışları ve duygusal yüz ifadeleri, yanı sıra kayma nesne yapılandırmaları vardır. Göz izleme yöntemini ve farklı uygulamaları bakış, biz başarılı bir şekilde görsel olarak yer alan dil anlama çalışmak için nasıl kullanılacağını gösteren iletişim kuralı ' metodoloji önemli adımlar listelenmektedir. Son bölümünde üç temsilcisi sonuçları kümesi sunar ve faydaları ve sınırlamaları görsel dünya ve dil anlama ve algılama arasındaki etkileşimi soruşturma için göz izleme göstermektedir.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Psycholinguistic araştırma dil anlama karıştığı süreçleri anlamak içinde göz hareketi analizleri önemi vurgulanmış bulunmaktadır. Bakışları kayıt işlemlerini anlama çıkarım çekirdek biliş göz hareketleri5' e bağlanan bir hipotezdir. Göz hareketleri üç ana türü vardır: saccades, vestibulo-göz hareketleri ve düzgün takip hareketleri. Saccades çoğunlukla bilinçsizce olur ve güvenilir bir şekilde dikkat6nöbetleşe ile ilişkili olan hızlı ve balistik hareketleri vardır. Göreli bakışları istikrar saccades, aşırılıklara bilinen arasında anları dizin geçerli görsel dikkat kabul edilir. Locus aşırılıklara ve bilişsel süreçler ile ilgili olarak onların süre ölçme göz izleme yöntemi olarak bilinir. Okuduğunu anlama (bkz. Rayner7 bir daha gözden geçirme için) kesinlikle dilsel bağlamlarda incelemek için bu yöntemin erken uygulamaları hizmet. Bu yaklaşım, bir kelime ya da cümle bölge teftiş süresi zorluk işleme ile ilişkilidir. İzleme göz ancak, ayrıca olmuştur konuşulan dil anlama nesneleri dünyanın incelenmesi sırasında İnceleme (veya2bir bilgisayarda görüntülemek için) uygulanır. 'Görsel Dünya' göz izleme yeni sürümde nesneleri denetim dili tarafından yönlendirilir. Comprehenders zebra, örneğin, onların incelenmesi bir zebra üstünde belgili tanımlık perde ne zaman haber hakkında hayvan düşünüyorsun yansıtacak şekilde alınır. Ne görsel dünya paradigma olarak bilinir, bir comprehender'ın göz bakışları konuşulan dil anlama ve ilişkili bilgi aktivasyonu yansıtacak şekilde alınır (Örneğin, dinleyici de incelemek zebra otlatma, duyduklarında gösteren bir zebra tarafından gerçekleştirilen eylem)2. Bu tür denetimler arasında dil-dünya ilişkileri ve göz hareketleri2sistematik bir bağlantı öneririz. Bu bağlantıyı ölçmek için ortak bir yol görünüyor bir ekranda farklı önceden belirlenmiş bölgelere oranda bilgisayar tarafından programıdır. Bu belirli bir zaman ve nasıl bu değerleri milisaniyelik çözünürlüğünü değiştirmek farklı nesnelere verilen dikkat miktar doğrudan (arasında koşulları, katılımcılar ve öğeleri tarafından) karşılaştırmak için araştırmacılar sağlar.

Ruh araştırmada zihin1mimarisi ile ilgili ayrı rakip teorik hipotezler kızdırmak için görsel dünyanın içindeki göz izleme istismar. Göz tespitlerin görülen nesneler üzerinde Ayrıca, ortaya comprehenders olabilir — yeteri kadar kısıtlayıcı bir dilsel bağlamı varsayarak — artımlı anlamsal yorumu8 gerçekleştirmek ve hatta yaklaşan karakterler hakkında beklentileri geliştirmek 9. bu tür göz bakışları veri ayrıca çeşitli daha fazla anlama, sözlü belirsizlik çözünürlük10,11, zamir çözünürlük12, yapısal ve tematik rolünün anlam ayrımı gibi ışık atama ile bilgi görsel bağlam13,14,16ve pragmatik süreçleri15, diğerleri arasında4anlamına gelir. Açıkça, göz hareketleri sırasında dil anlama nesnelere sorumlu süreçleri bilgilendirici olabilir.

Göz izleme yöntemi non-invaziv ve bebekler, Genç ve yaşlı dil kullanıcılar ile kullanılabilir. Bir anahtar, sonda punctate yanıt aksine avantajdır veya doğrulama görevleri'nde, yanıt düğmeye basmadan bu sağlar anlayışlar-zaman içinde nasıl dil kılavuzları dikkat ve nasıl içine bir milisaniye çözünürlük (içinde nesneler, Eylemler, görsel bağlam olaylar, bir konuşmacının bakışları ve duygusal yüz ifadeleri, aynı zamanda kayma nesne yapılandırmaları) dil işleme için katkıda bulunur. Cümle anlama sırasında ölçü süreklilik gibi diğer sonrası cümle ve sonrası deneme önlemler açık resim/video-cümle doğrulama, okuduğunu anlama soruları ve bellek hatırlama görevleri ile iyi tamamlar. Açık bu görevleri yanıt-e doğru anlama süreci, hafıza ve öğrenme2sonucunu içgörü sağlayarak göz bakışları kaydı yorumu zenginleştirebilirsiniz. Göz izleme diğer görevler ile birleştirerek hangi ölçüde görsel bağlam farklı yönlerini görsel dikkat ve (hemen yanı sıra gecikmeli) anlama modüle ömrü ortaya çıkardı.

(Sözlü ya da yazılı) dil sunumunu ve sahneleri eşzamanlı veya sıralı olabilir. Örneğin, Knoeferle ve işbirlikçileri17 sahne sunulan sözlü cümle önce 1000 ms ve anlama sırasında mevcut kaldı. Eylem olaylar tasvirleri clipart katkıda kanıt nesne-fiil-konu (OVS) cümleler ile karşılaştırıldığında çözünürlük Alman özne-fiil-nesne (SVO) yerel yapısal belirsizlik için rapor ettiler. Knoeferle ve tığ işi18 önce yazılı bir cümle bir clipart sahne sunulan ve cümle anlama sırasında clipart olayların tümleştirme artımlı test. Bunlar Hatalı eşleşen zaman katılımcıların okuma kez cümle bileşenlerinin daha uzun anlam artımlı uyum etkileri, (eşleşenvs ) gözlenen önceki sahnede tasvir olay. Başka bir uyarıcı tanıtım versiyonu, katılımcıların ilk bir mekansal ilişki açıklayan bir cümleyi okuyup ve sonra nesne çizimler19içeren belirli bir mekansal düzenleme sahne gördüm. Bu çalışmada uygun sahne sorgulama sırasında kaydedilen göz hareketleri ile olay yerine verilen cümlenin oranı katılımcılara sorarak Hesaplamalı kayma dil modelleri öngörüleri değerlendirildi. Katılımcıların bakışları desenleri ile karşı karşıya nesnenin şeklini tarafından modülasyonlu — kısmen modeli Öngörüler onaylamak ve veri modeli arıtma için sağlama.

Birçok çalışma clipart tasvirleri17,18,19,20,21,22,23kullanmış, aynı zamanda gerçek birleştirilmesi de mümkün iken nesneleri, bu nesnelerin veya statik fotoğrafları ile konuşulan dil1,21,24,25,26,46videolar. Knoeferle ve arkadaşları bir gerçek ayarı24 ve Abaşidze ve iş arkadaşları bir videoya sunu biçimi eylem olaylar ve gergin etkileri25incelenmesi için kullanılan. Hassas içerik değişen sahnelerin (ya da değil eylemler tasvirÖrneğin,)22,27,38 mümkündür ve aynı zamanda görsel bir bağlam etkileri ortaya çıkarabilir. Rodríguez ve işbirlikçileri26 tarafından ilgili bir çalışma daha sonra sözlü cümle sunulan videoya görsel cinsiyet cues etkisi anlama araştırıldı. Katılımcılar klişeleşmiş cinsiyeti ile ilgili eylemi gerçekleştirmeden ya erkek ya da kadın eller görüntülemek videoları izledim. Sonra onlar bir cümle ya hakkında klişeleşmiş erkek veya kadın eylem olay aynı anda iki fotoğraf yan yana gösteren bir ekran bir erkek ve bir kadının diğer teftiş ederken duydum. Bu zengin görsel ve dilsel çevre ayrı dil-aracılı klişeleşmiş bilgi görsel olarak sunulan (el) cinsiyet cues etkilerinden anlama üzerinde etkileri kızdırmak yazarları izin.

Daha fazla uygulama Bu paradigma Gelişimsel dil işleme değişiklikleri hedef almıştır. Göz hareketleri konuşulan dil anlama sırasında nesnelere genç yetişkinler için karşılaştırıldığında görülen olaylar 4 - 5 - yaşındakiler27,28 ve gerçek zamanlı olarak büyük yetişkin29 ama biraz gecikmeli etkileri ortaya koydu. Kröger ve işbirlikçileri22 prosodic yardımlar ve deney içinde işaretleme ve bunlar üzerinde deneyler yetişkin ve çocuklarda karşılaştırıldığında durumda etkileri incelenmiştir. Katılımcılar için ilgili belirsizliğe yer bırakmadan durumda işaretlenmiş Alman cümle dinlerken bir belirsiz eylem-olay sahne inceledi. Göz hareketleri ayrı prosodic desen ne yetişkin ne de 4 ya da 5-yaş ne zaman kim-yok-ne-için-kime disambiguating yardım ettiğini ortaya koydu. İşaretleme, cümle-ilk durumda ancak, yetişkinlerin ama çocuk göz hareketleri etkilemiştir. Bu durumda işaretleme anlayış 5 yaş tematik rol ataması etkinleştirmek için yeterince güçlü değil göstermektedir (Özge ve işbirlikçileri30tarafından çalışma bakınız), en az değil ne zaman eylem olaylar değil disambiguate tematik rol ilişkileri. Bu sonuçlar ilginçtir, tematik rol atama31prosodic etkileri önceki sonuçları farklı olduğunu göz önüne alındığında. Kröger ve işbirlikçileri22 (az ya da destekleyici) görsel bağlam için zıt bulgular sorumlu önerilmiştir. Ölçüde bu bu yorumların tutun, ömrü dil anlama bağlamda rolü vurgulayın.

Ölçülerin resim - (veya video) cümle doğrulama görevleri18,20,26, resim-resim doğrulama görevleri32, corpus çalışmalar24, beğeni ile iyi göz izleme yöntemi birleştirir görevleri19veya sonrası deneysel hatırlama görevleri25,33. Abaşidze ve ortak çalışan34 ve Kreysa ve işbirlikçileri33 Interplay hoparlör bakışları ve gerçek eylem videolar34 ve hoparlör bakışları ve eylem tasvirleri33, anılan sıraya göre yardımlar için soruşturma yaklaşan cümle içerik. Göz bakışları bir sahnede izleme sırasında dil anlama sonrası deneysel bellek görev ile birleştirerek, onlar bir konuşmacının bakışları ve tasvir eylemler dinleyici algısını etkileşim ve her ikisi de etkiler yolu daha iyi bir anlayış kazandı Hemen dil işleme ve bellek hatırlama. Sonuçları eylemler karşı hoparlör bakışları sonrası deneme bellek hatırlama işlemlere karşı gerçek zamanlı anlama farklı katkısını ortaya koydu.

Göz izleme yöntemi ile büyük esneklik istihdam edilebilir, belirli standartlara anahtar vardır. Aşağıdaki protokol için farklı tür araştırma soruları araştırmacıların belirli ihtiyaçlarına göre ayarlanabilir genelleştirilmiş bir yordam özetlemektedir. Bu iletişim kuralı Humboldt-Universität zu Berlin Psycholinguistics laboratuarda yanı sıra eski dil ve biliş Laboratuvarı, bilişsel etkileşim teknoloji mükemmellik küme (CITEC), istihdam bir standart yordamdır Bielefeld Üniversitesi. Bir masaüstü ve bir uzaktan kurulum protokolünü açıklar. İkinci çocuk veya yaşlı yetişkinler ile çalışmalarda kullanım için önerilir. Tüm deneyler Temsilcisi sonuçları belirtilen 1000 Hz bir örneklendirme oranı olan ve bir kafa sabitleyici, katılımcılar (ekran PC) test etmek için bir PC ve deneme izleme için bir PC ile birlikte kullanılan bir göz izci aygıt kullanın ve katılımcıların göz hareketleri (ana bilgisayar PC). Bu aygıt temel fark selefi dürbün göz izleme için sağlanmıştır. Protokol yeterince kafa sabitleyici ve bir çift PC faydalanmak diğer göz izleme cihazları kullanılmak üzere genel olarak tasarlanmıştır kurulum (ana bilgisayar + ekran). Ancak, diğer kurulumları büyük olasılıkla kalibrasyon hataları veya dava deneyci kullanıcıya bakmalıdır parça kaybı gibi sorunları işlemek için farklı yöntemler olacak unutmayın onların belirli bir aygıtı el ile tutmak önemlidir.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu iletişim kuralı kurumun nerede veriler toplanmıştır, yani, bilişsel etkileşim teknoloji mükemmellik küme (CITEC) Bielefeld Üniversitesi ve Humboldt-Universität zu Berlin etik kuralları izler. Bielefeld Üniversitesi'nde yapılan deneylerde tek tek Bielefeld Üniversitesi'nin Etik Komitesi tarafından kabul edildi. Ruh laboratuvar, Humboldt-Universität zu Berlin, Deutsche Gesellschaft für Sprachwissenschaft, Almanca dil bilimi Derneği (DGfS) Etik Komitesi tarafından onaylanan laboratuvar etik iletişim kuralının vardır.

1. okul sırası Kur

Not: Aşağıda bir göz izleme deneyde anahtar adımlar yer almaktadır.

  1. Enstrüman hazırlık
    1. Göz izleme fotoğraf makinesi ve belgili tanımlık ev sahibi PC açın (bkz. Şekil 1 Laboratuvar veri toplama ve ön işleme Kur bir çizimi için).
    2. Göz tracker yazılım başlatmak.
    3. PC görünmesini sağlamanız. Deneyler içeren klasörü açın.
    4. 'Dağıtılan' sürümü çift tıklatarak .exe uzantısı ile başlayın.
    5. Kurulumuna bağlı olarak deneysel bir liste seçmek için bir istem görüntülenebilir, hangi genellikle bir sekmeyle ayrılmış.csv/.txt dosya koşulları, ses dosyası adları, yazılı cümleler ve/veya katılımcı maruz görüntüleri içeren iş. Listeden seçin ve program başlayacak. Sonuçlar depolandığı çıkış dosya adı.
      Not: Çıktı dosyası görüntü PC'de kaydedilir ve sırt yukarıya üstünde belgili tanımlık ev sahibi PC kaydedilir.
    6. Deney (giriş veya hoş geldiniz perde) ilk ekran açık bırakın.
    7. Koruyucu kapağı göz izci kameradan çıkartın.
    8. Hijyenik amaçlı bir doku yer çene tutucu üzerinde.
    9. İsteğe bağlı: bir yanıt yastık ve/veya bir klavye deney gerektirdiği hazırlayın.
    10. İsteğe bağlı: işitsel uyaranlara sunulması, hoparlörlerin ses seviyesini ve deneme çalıştırmadan önce sınav onları. Alternatif olarak, katılımcı tarafından kullanılmak üzere kulaklık işlevselliğini sınayın.
    11. Katılımcı tarafından imzalanması için gerekli formları hazırlayın.
    12. Veri toplama işlemi süresi boyunca sabit bir parlaklık ile loş ışıklı bir oda için laboratuvarda ışık yoğunluğunu ayarlayın.
  2. Katılımcılar için hazırlık
    1. Katılımcılar geldikten sonra kendinizi tanıtın.
    2. Yer bir rahatsız etmeyin laboratuvar kapıya oturum açın.
    3. Bir sandalye almak katılımcı sormak.
    4. Katılımcı bilgi formu ve gerekli izni ve demografik formları aracılığıyla rehberlik.
    5. Okuyun ve onay formu imzalamak katılımcı izin.
    6. Kısaca deney ve süresinin genel özelliklerini açıklamaktadır. Bu katılımcının bakışları davranış ve sonuçta elde edilen veriler etkisi bu yana deneme önce çok fazla bilgi sağlamaz.
    7. Yazılı talimatlar verir ve katılımcının soru sormak için bir fırsat veriyorum.
    8. Kısaca göz izci işlevini açıklar.
    9. Gerekirse, görev netleştirmek ve deneme sırasında attırılmak için gerekir herhangi bir düğme/anahtarlar işaret.
    10. Açıklamak nasıl çene gerisi kafa hareketi deneme sırasında en aza indirmek için tasarlanmıştır. Katılımcı herhangi bir hareket kışkırtabilecek cihazın en iyi çalıştığından söz.
  3. Göz İzleyicisi'ni ayarlama
    1. Katılımcı denemenin hazırlamak: masaya oturup kendi çene çene kalanını yerleştirin isteyin. Kendi alın yanlarında karşı yalın isteyin.
    2. Gerekirse yükseklik ve sandalye konumunu ayarlamak için katılımcı sormak: katılımcının kendi çene çene dinlenme ve onların alın yanlarında karşı rahat hissetmeniz gerekir.
    3. Kafası deneme sırasında yanlışlıkla taşımak için ortak olduğunu açıklamak ve bu-meli var olmak kaçmak. Kafa duruşu deneme sırasında düzeltilmesi gerekebilir açıklamak.
    4. Deneme düğmesine basın (Örneğin, yolu ile belgili tanımlık yanıt yastık) gerektiriyorsa, parmaklarını tuşların üzerinde dinlenme bırakmak için katılımcı talimat basılmasını ve seyir belgili tanımlık yanıt yastık ne zaman bir düğmeye basarak önlemek için.
    5. Hoşgeldiniz/giriş ekran okumak için katılımcı sormak.
    6. Ana bilgisayar önünde oturmak. Ekran kamera kurulumüzerinde değilse, sağ ekrana almak için Kamera ayarları tıklayın. Koruyucu kapağı kamera merceğinden kaldırıldı ve katılımcı çene gerisi doğru yerleştirilmiş, ekran katılımcının gözleri üç görüntüleri göstermelidir: üst ve sol ve sağ altındaki iki küçük olanlar daha büyük bir görüntü. Bu küçük resimleri her, sol ve sağ gözü için karşılık gelen bir göz göster.
    7. İzlenmesi gereken göz seçin. Katılımcının baskın göz izlemek için adettendir. Katılımcı hangi göz baskın olduğunu bilmiyor Eğer bir oküler egemenlik testi (adım 1.3.8) kuralları.
    8. Oküler egemenlik belirlemek. Bir kolunu çıkar genişletmek ve her iki gözü açık olan bir uzak nesne parmakla hizalamak için katılımcı sormak. Alternatif sağa sola göz kapatma katılımcıdan sor. Baskın göz göz açık35,36kendisi için başparmak nesnesi ile uyumlu kalır olanıdır.
    9. Tıklatın görüntü üzerinde | Ekran pc (ya da Entertuşuna basın) ve 1.3.6. adımda anlatılan görüntüleri de katılımcının göstermek perde, ama sadece tek tek görüntülenir.
    10. Sol/sağ ok göz daha küçük ve daha büyük görüntü arasında geçiş yapmak için deneyci'nın veya katılımcının bilgisayar klavye tuşuna basın. Küçük görüntü (göz) üzerinde odaklanın.
    11. Arama sınırlarını kutusunu öğrenci konumu üzerinde ortalamak için her iki klavye A (Hizala göz pencere) basın. Sonra göz çevresinde kırmızı bir kare bir turkuaz daire ['kornea yansıması', (cr)] öğrenci alt yakınlarında görüntülenmesi gerekir. Öğrenci kendisini mavi olmalıdır.
    12. İki haç ('artı') ekranda görünmesine — bir öğrenci ve kornea yansıma Ortadakinin ortasına. Kırmızı bir kutu ve iki haçlar göz izci öğrenci ve cr algılama demek.
      Not: kırmızı bir kutu ya da haçlar yok ise, gözün değil izlenir — bu durumda, hiçbir öğrenci deneyci'nın bilgisayarda görünür.
    13. Kameranın odak el ile odaklama lens çevirerek ayarlayın. Objektifin ön dokunmak dikkatli olun. En iyi odak noktası ulaşılana kadar objektif açın.
      Not: Turkuaz Daire (kornea yansıma) gibi küçük olduğunda en iyi odak noktası ulaşıldığında (Bu daire odakta olduğundayani,) mümkün olduğunca.
    14. Öğrenci eşik ayarlayın. Sadece resmi öğrencinin mavi olduğundan emin olun (Örneğin, kirpik olmamalıdır mavi) üstünde belgili tanımlık ev sahibi PC. Ayrıca, tüm öğrenci (sadece onun orta kesiminde) mavi olduğundan emin olun. Sadece kırmızı kare içinde ne olduğunu merak.
    15. A'yabasın. Bu öğrenci eşiği otomatik olarak ayarlar. Öğrencinin doğru mavi görüntülenmiyorsa, el ile artırmak için yukarı tuşuna ve mavi görüntü yüzeyi parçası azaltmak için aşağı anahtarı kullanarak eşik ayarlayın.
      Not: maskara (genellikle siyah, öğrenci gibi olan) eşik ayarlama ile girişime neden olabilir — göz izci koyu kirpikler için öğrenci alabilir. Bu durumda, onlara makyaj makyaj çıkarıcı doku sağlayarak kaldırmak için katılımcı sormak.
    16. Cr eşikayarlayın. A adım 1.3.15 bastığınızda cr eşiği otomatik olarak küme olması.
      Not: Tüm eşik ayarları için sayısal değerler görünür olması gerekir. Bir soru işareti hiçbirinde görüntülenirse, önceki adımlardan biri olarak bir sorun vardı ve eşikleri el ile ayarlamanız gerekir.
  4. Göz İzleyicisi'ni ayarlama
    Not: katılımcı ekranın diğer parçalar göründüğünde göz izci sürekli göz konumunu belirleyebilirsiniz olup olmadığını kontrol edin.
    1. Kamera Kurulumu penceresindeki görünüm ise dört bir yanına ekranın bir teker teker bakmak için katılımcı sormak. Bakmak dikkatli göz bakışları köşede yönlendirilir yükleyen kornea yansıması ile müdahale (bunlar turkuaz 'blob'ları ' ekranında gösterilir) herhangi bir düzensiz yansımaları için.
    2. Ekranın merkezinde bakmak ve göz ve hedef işaretini birini etrafında kırmızı bir kutu adım 1.4.1 sırasında herhangi bir noktada görünür değilse onların bakışları sorunlu köşedeki doğrudan katılımcı sormak. Bu sorunun kaynağını belirlemenize yardımcı olur.
    3. Katılımcının kafa konumunu yeniden ayarlamak ve bu herhangi bir iyileşme verimleri kontrol edin. Gerekirse bu adımı yineleyin. Hareketsiz yapamaz-e doğru birkaç denemeden sonra katılımcının bakışları izlemek bir aygıtsa, denemeyi iptal edin.
    4. Katılımcı göz izci kalibre edilmesi ve onlar ekranın farklı bölgelerine hareket siyah bir daire (ile küçük bir gri nokta) görmek için gidiyoruz bildirin. Yeni bir konuma taşır kadar daire sabitleştirmek için katılımcı talimat. Katılımcı gözlerini süzme önlemek için ve en iyi sonuçlar için siyah daire içinde küçük gri nokta odaklanmak için talimat.
    5. Katılımcı hala tutmak ve kalibrasyon sırasında sonraki daire konumunu tahmin için denemek için önemli olduğunu söyle. Onların gözleri ve onların kafa ile daireler takip etmelerini isteyin. Kalibrasyon işlemini başlatmak için Ayarla'ya üzerinde'yi tıklatın. Normalde, bir 9-nokta kalibrasyon prosedürü içinde seri bir şekilde dokuz konumlara siyah daire hamle kullanılır.
    6. Katılımcı doğru bir şekilde ekranın ortasında ilk nokta sabitlenmiş sonra bir otomatik kalibrasyon için ENTER tuşuna basın. ENTER tuşuna basarak her fiksasyon (katılımcının göz veya ne zaman çocuk gibi özel katılımcı ile ilgili gruplar izleme sorunları olduğundaÖrneğin,) manuel kalibrasyon, kabul (veya kabul et fiksasyontıklayarak / Ara çubuğutuşuna basın).
      Not: kalibrasyon işleminin sonunda neredeyse dikdörtgen bir desen deneyci'nın ekranda görünür olması gerekir. Bu göz bakışları desenleri katılımcının temsil eder. Ayrıca, iyi bir kalibrasyon sonuçlarını yeşil renkle vurgulanmış olmalıdır. Yoksa, (yani, kalibrasyontıklayın) kalibrasyon prosedürü tekrarlayın.
    7. Sonuçları doğrulayın. Katılımcı (noktalar bakarak) aynı prosedürü kalibrasyon işleminin sonuçlarını doğrulamak için gitmek için söyle. Onlara nokta, bakmak için ve hala olmak hatırlatmak.
      Not: Doğrulama işlemi kalibrasyon için benzer ve her iki sonuçları göz doğru izlenmekte olan emin olmak için göz ait diğer yazılımların karşılaştırılır.
    8. ' I tıklatın doğrulamak.
    9. Her fiksasyon ENTER tuşuna basarak (veya fiksasyon kabul Ara Çubuğu'nabasarak) kabul.
    10. Doğrulama sonra sonuçları deneyci'nın ekranda görünür. İki hata önlemleri, ortalama hata (Örneğin, 0,23 °) ve maksimal hata (Örneğin, 0.70 °) özellikle dikkat edin. Bunlar için izlenen görüntü bir katılımcının gerçek bakışları konumundan sapma derece temsil etmektedir.
    11. Bir görsel dünya paradigma kullanırken, ortalama hata (ilk numarası) 0.5 ° ile en fazla hata (İkinci sayı) altında tutmak küçük 1°.
    12. Hata değerleri eşik, kafalarını konumunu yeniden düzenlemek ve yeniden kalibrasyon prosedürü başlatmak için katılımcı sormak. Hiçbir gelişme gözlem yapılırsa, denemeyi iptal edin.
      Not: Katılımcı kontakt lensler giyer yüksek kalibrasyon hataları şunlardan gözlemlemek için yaygındır. Katılımcının kendi reçete gözlük, kontakt lens yerine getirmek için önceden istenmelidir.
    13. Kalibrasyon işlemi başarıyla tamamladıktan sonra denemeyi başlatmak için Çıkış/kayıt ' ı tıklatın. Katılımcı deney başlıyor bilgilendirmek.
  5. Deneme sırasında
    Not: (bağlı olarak bireysel bir deney nasıl programlanır, ama genellikle deneysel her davadan önce) deneme sırasında bir onay kayması veya drift doğru ekran bir nokta ekranın ortasında görüntüler. Deneme ve otomatik olarak ayarlamak için göz izci modeline bağlı olarak, geçerli için hesaplanan fiksasyon hata raporu için hazırlanmıştır.
    1. Öğretim aşamasında katılımcı her görüntülendiğinde bu merkez nokta sabitleştirmek için söylendiğini belirtti. Her drift onay/drift doğru aşamasında emin olun, katılımcılar tekrar nokta sabitliyor. Bu ana bilgisayar PC, katılımcının bakışları hareketli yeşil bir daire görünür nerede katılımcının bakışları izleyerek yapılabilir.
    2. Drift onay/drift doğru tamamlandığında ENTER (veya Ara çubuğu) nokta kaybolur ve sonraki deneme görüntülemek yapmak için tuşuna basın.
    3. Nasıl drift onay aşamasında kullanılan göz izci modeline göre geçmek için hata ile başa çıkmak için belirleyin. Modeline bağlı olarak, göz İzleyici'de bir otomatik Düzeltme drift merkez nokta uyum için bakışları'nın koordinatları ayarlayarak gerçekleştirir, ya da o-ecek yapmak için devam etmeden önce yeniden kalibre deneyci soracak bir bip sesi (onay drift) deneyin.
    4. Bir otomatik drift düzeltme kullanıyorsanız, çok fazla drift düzeltmeler ardışık denemeler ve/veya çok büyük bir ölçüde drift düzeltme sonuçları saptırmak ve aygıtı yeniden kalibrasyonu gerektirir unutmayın.
  6. Deney sırasında yeniden kalibrasyon
    1. Deney sırasında herhangi bir zamanda yeniden ayarlamak mümkündür. Düzeltme/drift onay Drift ekran sunumu sırasında kamera kurulumardından Ayarla'yaüzerinde tıklatın. Tatmin edici bir değere ulaşıncaya kadar kalibrasyon ve doğrulama işlemleri gidin ve sonra Çıkış/kayıt' ı tıklatın. Deneme deneme sırasındaki çıkış noktasından devam edecektir.
  7. Deneyden sonra
    1. Katılımcı anahtar deneysel manipülasyonlar tahmin etmek mümkün olsaydı değerlendirmek için bir soru formu sağlar. Burada, deney boyunca geliştirilen olası stratejileri hakkında sormak önemlidir.
    2. Katılımcı amacı deneme ile ilgili bilgi almak. Onlara onların katılım için teşekkür ve gerekli maddi tazminat sağlamak veya kredi atayın.

2. Uzaktan Kurulum: kurulum çalışmaları için çocuklar ve yaşlı yetişkinler ile ayarlama

Not: Bu bölüm 1. adımda açıklandığı gibi yalnızca bir uzaktan kurulum ve bir Masaüstü Kurulum arasındaki farkları açıklar. Burada kabul için 1. adımda açıklanan yordamı aynı olması için açıkça belirtilen noktalarda.

  1. Standart 35 mm göz izci kamera objektifi 16 mm lens değişimi.
  2. Tüm gerekli ekipmanları (ana bilgisayar PC, hoparlörler, göz izci ve bir dizüstü bilgisayar kullanılırsa, dizüstü bilgisayar) bağlayın.
  3. Laptop laptop ayakta durmak ve göz izleyici önünde yerleştirin (katılımcı ekranın üst %75 görmek mümkün olmalıdır).
  4. Bir "hedef etiketini" yerleştirin (tracker'ın üretici edinilebilir) katılımcının alnına (kaş sağ gözü veya alın çok ise sağ yanağına yukarıda küçük (yani, bebeklerde durumunda); Bu etiket yerine çene dinlenmek Masaüstü Kurulum ve bu göz İzleyicisi'nin doğru katılımcının kafa konumunu belirlemek için izin verir.
  5. Katılımcı 550-600 mm kamera (hedef etiket kameraya mesafe) uzak oturduğundan emin olun.
  6. Emin olun kelime "büyük açı" veya "göz yakın" üstünde belgili tanımlık ev sahibi PC görünmez. Eğer onlar yapmak, hedef etiket konumunu ideal olmadığı anlamına gelir. Bu durumda, hedef etiket yeniden ayarlayabilirsiniz. Bu da katılımcının alın özellikle küçük olduğu anlamına gelir. Bu durumda ise, etiket katılımcının yanağına yerleştirin.
    Not: etiket koyarsanız çok kulağa yakın, "büyük açı" mesajı görünür muhtemeldir ve etiket yeniden yerleştirilebileceğini gerekir.
  7. 1.4. adımda anlatılan kalibrasyon işlemine başlamadan önce katılımcı rahat oturuyor emin olun. Bütün deneyin boyunca aynı yerini korumak ve göz izci bedensel hareketleri çok duyarlı olduğunu açıklamak isteyin. Onlar hala onların kafa tutmak için ısrar ediyorum. Katılımcı çok fazla hareket ederse, cihazın bir uğultu gürültü yayarlar.
    Not: uzaktan göz izci kurulum çocuk veya yaşlı yetişkinler gibi duyarlı nüfus sınamak için kullanılan Eğer manuel kalibrasyon prosedürü kullanmak için tavsiye edilir.

3. kurulum çalışmaları okuma için ayarlama

Not: okuma görsel bağlam etkileri araştıran, özellikle dikkat edin kalibrasyon ve yeniden kalibrasyon işlemleri için gerekli olmasıdır. Aksine görsel dünya çalışmaları, okuma sırasında izleme göz cihaz hassas kelime kelime ve mektup mektup okuma kalıpları izlemek için gerekli hassasiyeti göz önüne alındığında, çok daha yüksek bir ölçüde gerektirir.

  1. Hem hata doğrulama aşaması sırasında görüntülenen ortalama ve en fazla 0.5 ° altında kaldığından emin olun.
  2. En az bir 9 puanlık ölçek ayarlaması için kullandığınızdan emin olun. Bu daha doğru bir izleme okuma sırasında ilgi alanları küçük boyutlarını düşünürsek çok önemlidir, göz bakışları konumu sağlar.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Münster ve işbirlikçileri37 tarafından yapılan bir çalışma cümle yapısı etkileşimi araştırdık, Eylemler ve yüz duygusal ipuçları dil anlama sırasında tasvir. Sağlam hem de eylem etkileri ve marjinal etkisi cümle anlama yüz duygusal sopasıyla tasvir gösterdi bu çalışmanın avantajları ve yönteminin sınırlamalarını göstermek için çok uygundur. Yazarlar bir dinlenme konumda bir mutlu veya üzgün bir ifade değiştirdi bir kadının yüz ifadesi 5 s videoları oluşturdu. Onlar aynı zamanda duygusal olarak olumlu valenced Alman nesne-fiil-zarf-konuyu (OVAdvS) oluşturan cümleler formunun ' [nesne/hastaaccusative durumda] [eylem] [olumlu Adverb] [konu/Ajanyalın durumda].' Via olumlu adverb cümleler 'mutlu' video uyumlu ve uyumsuz (kim gülümsüyordu ve oyunculuk olarak mutlu pozitif adverb tarafından açıklanan) Aracısı ilke beklentisiyle erişimine izin verme 'üzgün' video. Hoparlör video cümle bir ajan-hasta-şık clipart sahne iki sürümlerinden biri ile ortaya çıktı. Bir sürümde aracı şıkkı karakter gerçekleştirilen farklı bir eylem sırasında hastaya belirtilen eylemi gerçekleştirmeden olarak tasvir. Diğer sahne sürüm hiçbir eylem karakterler arasında tasvir. Göz hareketleri sahne efektleri eylemler ve cümle anlama konuşanın yüz ifadesinin ortaya koydu.

Eylem tasvir hızla katılımcıların görsel dikkat, belirtilen eylem yaşındayken katılımcılar Aracısı'nın şık, daha baktı anlam etkilenen (vs değildi) tasvir. Bu görünüyor beklentili (yani, Ajan sözü edilen almadan önce oluşması), cümle önce eylem tasvir aracı açıklık düşündüren. Eylem tasvir en erken etkisi fiil sırasında ortaya çıktı (yani, fiil eylem ilişkili Aracısı aracılı). Buna karşılık, önceki hoparlör gülümsedi veya mutsuz görünüyordu Ajan beklenti (Şekil 2) net etkisi vardı. İkinci sonuç arasında bir konuşmacının gülümseme ve tasvir ajanın eylem (eylem ilişkili bir ajan arabuluculuk doğrudan fiil-eylem başvuru ile karşılaştırıldığında) ile ilgili olumlu bir sentential zarf daha ince bağlantılarını yansıtacak. Alternatif olarak, belirli görev ve uyarıcı sunuya olabilir: Belki de duygu etkileri daha daha sosyal etkileşimli bir görev veya bir konuşmacının yüz sırasında (yerine önce) cümle anlama sunan telaffuz. Ancak, gülümseyen bir konuşmacının yüz sunma sırasında okuduğunu anlama odak katılımcılara diğer sahne içerik pahasına yüzündeki belki maskeleme Aksi takdirde gözlemlenebilir etkileri işlenmiş değişkenler sebep olabilir (Kaynak: yayınlanmamış veri).

Paradigma başka bir varyant Guerra ve Knoeferle32 anlamsal kayma dünya-dil ilişkileri anlama soyut anlamsal içerik okuma sırasında modüle olup olmadığını sordu. Guerra ve Knoeferle kayma mesafesi (Örneğin, yakınlık) soyut anlamsal ilişkileri (Örneğin, benzerlik) anlamını gerekçelerle fikir kavramsal metafor teorisi38 ödünç. Ne zaman onlar benzer (vs ters) anlam ve video bir taşıma yakınlık tarafından (vs mesafe; iskambil hareket daha yakın birlikte vs. öncesinde bu hipotezi doğrultusunda katılımcılar okunur soyut sözcükler daha hızlı koordine birbirinden daha uzak). Çalışmalar39ikinci bir küme, cümleler samimi veya düşmanca, önde gelen iki kart birbirine yaklaşan videoları sosyal aktarılmaktadır cümle bölgeleri okuma kadar hızlandırdı Discovery olarak iki kişi arasındaki etkileşim açıklanan. yakınlık/yakınlık. Kayma mesafesi gönüllülük hızla ve artımlı olarak bile ne zaman cümleler video nesnelerindeki başvurmuyor cümle etkilenen unutmayın. Videoları belirgin okuma kez kayma mesafe ve cümle anlamı semantik yanı sıra sosyal yönleri arasında uyum bir fonksiyonu olarak modüle. Bu efektleri ilk geçiş okuma zamanlarda (önceden belirlenmiş cümle bölgesinin ilk muayene süresi) her ikisi de ortaya çıktı ve o cümle bölgenin üzerinde harcanan toplam zaman ( Şekil 3 çalışmaları Guerra tarafından sonuçlarından bir örnek için bkz: ve Knoeferle)32. Ancak, analizleri de ince kart-mesafe etkileri gibi bir örnek söz fiil-eylem ilişkileri, efektleri olarak sağlam olmayabilir sonuç önde gelen katılımcılar arasında önemli değişim ortaya koydu.

Çalışmalar daha fazla bir dizi nasıl cümle yapısı varyasyon genelliği görsel bağlam etkileri değerlendirmek yardımcı olabilir göstermektedir. Abaşidze ve ortak çalışan34 ve Rodríguez ve işbirlikçileri26 sonraki işlem son eylemleri sözlü cümle etkilerini inceledi. Her iki çalışmalarda katılımcıların ilk bir eylem video kontrol (Örneğin, bir deneyci lezzet salatalık veya bir pasta pişirme eller). Sonra onlar da son eylem veya başka bir eylem yapılması için ilgili olarak Alman bir cümle dinledi (domates34lezzet; modeli26no'lu binaya) ileri. Anlama sırasında katılımcılar iki nesne (salatalık, domates)34 ya da iki ajan fotoğraflarını yüzler (bir kadın ve 'Susanna' ve 'Thomas', sırasıyla adlı bir erkek Ajan yüz) gösterilen bir sahne kontrol26. Çalışmayla Abaşidze ve işbirlikçileri34hoparlör ilk deneyci ve sonra fiil (Örneğin, lezzet), belirtilen bir tema (Örneğin, salatalık veya domates) ilgili beklentiler alabilme. Çalışmayla Rodríguez ve işbirlikçileri26hoparlör ilk bir tema (kek) ve sonra (pişirme), fiil eyleminin aracı hakkında beklentileri alabilme bahsedilen (kadın: Susanna veya erkek: Thomas, fotoğraflar üzerinden geçen bir kadın ve erkek bir yüz).

Her iki çalışmalarda, ister insanlar (görsel) Tema/aracı son eylem olay veya diğer tema/daha fazla anlama sırasında sağlanan bağlamsal ipuçları üzerinde tabanlı aracı tahmin istiyorsunuz konusu soruydu. Abaşidze ve işbirlikçileri34, deneyci'nın bakışları fiil başlangıcından gelecekteki tema nesnesini (domates) sildim (kelimenin tam anlamıyla Almanca'dan tercüme: 'deneyci aracının tatlar yakında...'). Tema ve fiil bahsedildi Rodríguez ve işbirlikçileri26' da cinsiyet bilgi klişeleşmiş eylem kullanılabilir oldu (Örneğin, Alman uyaranlara edebi çeviri yapıldı: 'kek-Tema yakında pişiren...'). Her iki kümesi çalışmalar katılımcılar tercihen alternatif (gelecek/diğer-cinsiyet) hedef (domates34 ya da Thomas26) hedef/Ajan son eylem (salatalık34 veya Susanna26) kontrol cümle sırasında.

Bu sözde 'olay son tercihi', böylece, cümle yapısı ve deneysel malzeme önemli değişim karşısında sağlam gibi görünüyor. Ajanların Ayrıca için cinsiyet fotoğrafları makul fotoğrafları fiil Temalar sunulması son zamanlarda kontrol eylem olaylar üzerine güven azaltılmış öyle ki bu, ancak, aynı anda sahne26, görsel kısıtlamalar tarafından modüle ve modüle edilmiş dikkat dil tarafından aktarılmaktadır cinsiyet-klişe bilgilerine göre. Şekil 4 ana bulgular deneyler Rodríguez ve işbirlikçileri26tarafından gösterilmektedir.

Bu yorum-in görsel-dünya paradigma sağlam sonuç vermedi iken, diğer çalışmalar bağlama hipotez karmaşıklığı (ve sınırlamalar) çizer. Burigo ve Knoeferle20 ele geçen bu katılımcılar — Die Box IST über der sosis gibi sözler dinlerken (' sosis kutusudur') — çoğunlukla bu nesneleri tasvirleri clipart teftiş içinde söyleyiş izledi. Ama denemeler oranının üzerinde katılımcıların bakışları neyden decoupled belirtilmiştir. 'Sosis' ve sosis en az bir kez kontrol işitme üzerine, katılımcıların sonraki denetim kutusu için çalışmaların hız doğrulama (deney 1) ve sonrası cümle doğrulama (çalışmalarda % 90'ı yaklaşık % 21 döndü Deneme 2). Bu bakışları desen başvuru (işitme ' sosis') sadece bazı (sosis teftiş) destekli ama tüm hareketleri (kutu teftiş) göz öneriyor. Bu tür tasarım ayrı sözlü başvuru işlemleri diğer (cümle düzeyinde yorumsal dahil) alay için kullanılabilir işlemleri. Ancak, araştırmacılar ne zaman dikkatli olmalıdır aykırılık iddialarını bilişsel dil işleme göz hareketi oranlarda göreceli farklılıklar göz bakışları için bağlamada belirsizlik verilen temel alan farklı düzeyleri hakkında ve anlama işlemleri.

figure-results-1
Şekil 1: veri toplama ortamı bakış. Grafik nasıl farklı yazılım ve donanım öğeleri veri toplamak için kullanılan ve ön işleme ilgili bir başkasına gösterir. Bu rakam daha büyük bir versiyonunu görüntülemek için buraya tıklayınız.

figure-results-2
Resim 2: Temsilcisi sonuçları Münster ve işbirlikçileri37. Bu paneller konu tarafından ortalama günlük bakışları fiil bölge (için görülen eylem) ve (duygusal Başbakan etki için) kombine fiil-adverb bölgede koşul başına olasılık oranlarını gösteren. Ne zaman ne zaman değil tasvir cümle içinde belirtilen eylem daha tasvir görünüyor hedef görüntünün doğru çok önemli ölçüde yüksek oranda sonuçlar gösterir. Etkisi için sonuçları duygusal yüz asal daha az kesin: yüz Başbakan negatif değerlik (üzgün bir yüz) varken daha bir olumlu duygusal değerlik (bir gülümseme) varken görünüyor hedef için Ortalama günlük oranı sadece hafif bir artış önerdiler. Hata çubukları ortalama standart hatasını temsil eder. Bu rakam Münster ve ark. değiştirildi 37. Bu rakam daha büyük bir versiyonunu görüntülemek için buraya tıklayınız.

figure-results-3
Şekil 3: Temsilcisi sonuçlar Guerra ve Knoeferle32. Bu panel (DIS) benzerlik sıfat ortalama ilk geçiş okuma zamanlarında (milisaniye cinsinden) gösterir. Birbirine yaklaştırın iki oyun kartları görmek daha uzağa ayrı karşılaştırıldığında sonra sonuçları benzerlik cümleler için daha kısa okuma zamanlarını göster. Hata çubukları ortalama standart hatasını temsil eder. Bu rakam Guerra ve Knoeferle32değiştirildi. Bu rakam daha büyük bir versiyonunu görüntülemek için buraya tıklayınız.

figure-results-4
Şekil 4: Temsilcisi sonuçları Rodríguez ve işbirlikçileri26. Bu panel konu tarafından ortalama günlük bakışları fiil bölgede olasılık oranları koşul başına gösterir. Oranlarını görünüyor 0 Haritayı hedef Aracısı görüntü için bir tercih ve oranlarını 0 altındaki rakip Ajan görüntü için tercih göstermek. Sonuçlar katılımcılar nesne ve cümle içinde belirtilen fiil ne zaman onlar did değil daha önceki videoya olaylar eşleşen zaman hedef Aracısı resmi incelemek daha olası olduğunu gösterir. Ayrıca, daha fazla görünüyor hedef Aracısı görüntünün doğru cümle tarafından açıklanan eylem için kalıplaşmış cinsiyet standartlarla uyumlu zaman vardı. Hata çubukları ortalama standart hatasını temsil eder. Bu rakam Rodríguez vd değiştirildi 26. Bu rakam daha büyük bir versiyonunu görüntülemek için buraya tıklayınız.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Özet olarak, görsel bir sahne dil anlama etkileyebilir birçok yolu görsel içerikleri ile izleme göz gözden geçirilmiş türevleri ortaya çıkardı. Bu yöntem tepki süreleri ölçme gibi yöntemlere göre önemli avantajlar sağlar. Örneğin, devam eden göz hareketleri içeren bir pencere dil anlama süreçleri ve nasıl bunlar görsel dünya bizim algı zaman içinde etkileşim içine bize. Ayrıca, katılımcıların mutlaka dil anlama (örneğin, grammaticality bir cümle ile bir düğme sıkıştırma yargılamak) sırasında açık bir görevi gerçekleştirmek için gerekli değildir. Bu araştırmacılar gibi bebekler, göz bakışları dışında açık davranışsal yanıt ile zorlanabilir nüfus ile yöntemini kullanmayı sağlar çocuklar ve bazı durumlarda, büyük yetişkin. İzleme göz olduğunu ekolojik geçerli katılımcıların ilgi yanıt yansıtır da — değil aksine daha fazla veya daha az özenli unfolding sözler için dinleme sırasında çevrelerindeki dünyada iletişim ilgili şeyler insanların görsel sorgulama.

Görsel Dünya paradigma sınırları (veya belki de özellikleri) tüm olaylar delikanlı ve kesin bir şekilde tasvir biridir. Somut nesne ve olaylar tabii, tasvir edilebilir. Ama ne kadar soyut kavramlar en iyi tasvir o kadar net değildir. Bu sınırı (tanımlamak dil işleme ve bir göz izleme görsel dünya paradigması kullanarak görsel dünya algısı arasındaki etkileşimi anlayışlar ya da). Daha fazla zorluklar gözlenen davranış ve anlama işlem arasındaki bağlantı hipotezler ilgilidir. Göz tespitlerin büyük olasılıkla dil anlama (Örneğin, sözcük erişim, başvuru işlemleri, dil-aracılı beklentileri, görsel bağlam etkileri, diğerleri arasında) sırasında birçok subprocesses yansıtan bir tek davranış yanıt vardır. Bu anlayış göz önüne alındığında, araştırmacılar dikkatli olmalıdır değil için aşırı veya gözlenen bakışları desen yanlış anlaşılabilir. Bu sorunu gidermek için önceki araştırma rolünü anlama alt görevlerin bakışları kayıt40yorumlanması netleştirmek için vurgulanmış bulunmaktadır.

Göz hareketleri interpretability geliştirmek için bir yol onları beyin olay-ilişkili potansiyeller (ERPs) gibi diğer tedbirler ile entegre etmektir. Aynı olay kendi zamansal taneciklik karşılaştırılabilir ve onların bağlantı hipotezler tamamlayıcı iki yöntem ile inceleyerek, araştırmacılar sonuçları alternatif açıklamalar kural ve her yorumlanması zenginleştirmek bireysel ölçü41. Bu yaklaşım deneyler43, ama daha, son zamanlarda, ayrıca içinde tek bir deney (bağlamlarda kesinlikle dile ait de olsa) takip edilmiştir44. Gelecekteki araştırma büyük ölçüde bu tür metodolojik tümleşmesini faydalı olacağını ve sonrası deneme ve sonrası deneysel görevleri ile birlikte devam etti.

Göz izleme yöntemi kurulan sonuçları çoğaltmak, aynı zamanda görsel ilgi gibi sahneler etkileşim dili anlama hakkında yeni hipotezler test. Hatta küçük deneyci hataları veri kalitesini etkileyebilir beri iletişim kuralında özetlenen yordamı dikkatle izlenmesi gerekir. Çalışmaları okuma, örneğin, ilgili analiz bölgeler genellikle tek tek sözcüklerin veya hatta mektuplar, hatta küçük kalibrasyon hataları şunlardan (Raney ve meslektaşları42tarafından başlıklı makaleye bakın) sonuçları deforme anlamına gelir vardır. Adım 1.4 ve 1.5 Protokolü'nün, göz izci ve drift onay/drift doğru kalibrasyonu doğrudan kayıt doğruluğu etkisi bu yana belirli önemi vardır. Doğru göz izci kalibre için hata tam olarak göz hareketleri için ilgi alanları önceden kurulmuş izleme izleyici neden olabilir. Bu tür izleme hatası eksik veri noktaları ve çok ince ve verimi küçük istatistiksel etkisi boyutları dünya dil ilişkileri araştıran sorunlu olabilir istatistiksel güç kaybına yol açacaktır (açıklamasına bakın deneyler Guerra ve Knoeferle32 ve Münster ve meslektaşları37 Temsilcisi sonuçlarıarasında).

Güç ve duyarlılık ekipman en üst düzeye çıkarmak için ihtiyaç göz önüne alındığında, Denemecileri nasıl rutin olarak deneysel bir oturum sırasında oluşan sorunları ile başa çıkmak için bilmek önemlidir. Örneğin, öğrenci konum ve gözlüklü katılımcılar hareketin kalibrasyon zorluklar nedeniyle bir katılımcının gözlük lens üzerinde ışık yansımaları neden olabilir. Bu sorunu çözmenin bir yolu katılımcının göz ekran PC görüntü ayna ve gözlük ışığın yansıması artık artık kamera tarafından yakalanan anlamına gelir onların ekranda görünene kadar onların kafası taşımak için onları teşvik etmektir. Kalibrasyon hatasının başka bir nedeni bir dozun ışığa karşı bir sonucu olabilir öğrenci daralma olabilir. Bu durumda, laboratuvar ışıkta karartma Gözbebeklerin büyümesinden artırmak ve, böylece, doğru bir şekilde tespit öğrenci içinde göz izci yardımcı olacak.

Son bir düşünce, ikinci dil öğrenimi hakkında araştırma için visual-dünya paradigma sahip potansiyel adres istiyorum. Paradigma zaten başarıyla psycholinguistic araştırmada diller arası sözlü ve Fonolojik etkileşim46,47,48gibi olayları araştırmak için kullanılmıştır. Buna ek olarak, görsel dikkat ve dil öğrenme arasında yakın bağlantı sık sık ikinci dil edinimi49,50,51üzerinde uygulamalı dil bilimi literatüründe vurgulanmış. İkinci dil öğrenimi gelecekteki araştırma büyük olasılıkla göz izleme milisaniyelik çözünürlükte görsel ilgi bir dizin sağlayan bir yöntem olarak avantajlı konumunu faydalanmak devam edecektir.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar ifşa gerek yok.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu araştırma ZuKo (mükemmellik girişimi, Humboldt-Universität zu Berlin), mükemmellik küme 277 tarafından finanse edildi 'Bilişsel etkileşim teknoloji' (Alman Araştırma Konseyi, DFG) ve araştırma, Avrupa Birliği'nin yedinci çerçeve programı tarafından teknolojik gelişim ve gösteri Hibe Sözleşmesi n ° 316748 (LanPercept) altında. Yazarlar da mükemmellik merkezleri, proje FB0003 ilişkisel araştırma programı, CONICYT (Şili hükümeti) ve "FoTeRo" odak merkezi XPrag (DFG) proje için bazal fonlarından destek kabul. Makaleyi ilk taslağını Helene Kreysa Bielefeld Üniversitesi ve bu örneği bir laboratuvar iletişim kuralı tarafından haberdar sağlanan pia Knoeferle Humboldt-Universität zu Berlin kullanılmak üzere devam ediyor. Tüm yazarlar için içeriği yöntemleri ve sonuçları bir form veya başka bir giriş sağlayarak katkıda bulunmuştur. Camilo Rodríguez Ronderos ve Pia Knoeferle yazarlar girişten koordine ve iki yinelemelerde, ilk taslak önemli ölçüde yeniden düzenlendi. Ernesto Guerra üretilen rakamlar 2 - Katja Münster, Alba Rodríguez ve Ernesto Guerra girdi temel alan 4 . Helene Kreysa güncelleştirmek Şekil 1 ve Pia Knoeferle sağladı. Bildirilen sonuçlar kısımlarını bilişsel bilim Derneği yıllık toplantısı Proceedingsyayınlanmıştır.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Baş/çene desteği de dahil olmak üzere masaüstüne monte göz izleyiciSR Research Ltd.EyeLink 1000 plushttp://www.sr-research.com/eyelink1000plus.html
Göz izleme deneyinin tasarımı ve yürütülmesi için yazılımSR Research Ltd.Deney Oluşturucuhttp://www.sr-research.com/eb.html

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
  2. Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
  3. Knoeferle, P., Guerra, E. What is non-linguistic context? A view from language comprehension. In What is a Context? Linguistic Approaches and Challenges. Finkbeiner, R., Meibauer, J., Schumacher, P. B. , John Benjamins Publishing Company. Amsterdam, The Netherlands. 129-150 (2012).
  4. Knoeferle, P., Guerra, E. Visually situated language comprehension. Language and Linguistics Compass. 10 (2), 66-82 (2016).
  5. Just, M. A., Carpenter, P. A. A theory of reading: From eye fixations to comprehension. Psychological Review. 87 (4), 329-354 (1980).
  6. Deubel, H., Schneider, W. X. Saccade target selection and object recognition: Evidence for a common attentional mechanism. Vision Research. 36 (12), 1827-1837 (1996).
  7. Rayner, K. Eye movements in reading and information processing: 20 years of research. Psychological Bulletin. 124 (3), 372-422 (1998).
  8. Sedivy, J. C., Tanenhaus, M. K., Chambers, C. G., Carlson, G. N. Achieving incremental semantic interpretation through contextual representation. Cognition. 71 (2), 109-147 (1999).
  9. Kamide, Y., Scheepers, C., Altmann, G. T. Integration of syntactic and semantic information in predictive processing: Cross-linguistic evidence from German and English. Journal of Psycholinguistic Research. 32 (1), 37-55 (2003).
  10. Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
  11. Tanenhaus, M. K., Magnuson, J. S., Dahan, D., Chambers, C. Eye movements and lexical access in spoken-language comprehension: Evaluating a linking hypothesis between fixations and linguistic processing. Journal of Psycholinguistic Research. 29 (6), 557-580 (2000).
  12. Arnold, J. E., Eisenband, J. G., Brown-Schmidt, S., Trueswell, J. C. The rapid use of gender information: Evidence of the time course of pronoun resolution from eyetracking. Cognition. 76 (1), B13-B26 (2000).
  13. Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology: Learning, Memory, and Cognition. 30 (3), 687-696 (2004).
  14. Spivey, M. J., Tanenhaus, M. K., Eberhard, K. M., Sedivy, J. C. Eye movements and spoken language comprehension: Effects of visual context on syntactic ambiguity resolution. Cognitive Psychology. 45 (4), 447-481 (2002).
  15. Huang, Y. T., Snedeker, J. Online interpretation of scalar quantifiers: Insight into the semantics-pragmatics interface. Cognitive Psychology. 58 (3), 376-415 (2009).
  16. Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying online sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
  17. Knoeferle, P., Crocker, M. W., Scheepers, C., Pickering, M. J. The influence of the immediate visual context on incremental thematic role-assignment: evidence from eye movements in depicted events. Cognition. 95 (1), 95-127 (2005).
  18. Knoeferle, P., Crocker, M. W. Incremental Effects of Mismatch during Picture-Sentence Integration: Evidence from Eye-tracking. Proceedings of the 26th Annual Conference of the Cognitive Science Society. , Stresa, Italy. 1166-1171 (2005).
  19. Kluth, T., Burigo, M., Schultheis, H., Knoeferle, P. The role of the center-of-mass in evaluating spatial language. Proceedings of the 13th Biannual Conference of the German Society for Cognitive Science. , Bremen, Germany. 11-14 (2016).
  20. Burigo, M., Knoeferle, P. Visual attention during spatial language comprehension. PLoS One. 10 (1), (2015).
  21. Münster, K., Carminati, M. N., Knoeferle, P. How Do Static and Dynamic Emotional Faces Prime Incremental Semantic Interpretation? Comparing Older and Younger Adults. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2675-2680 (2014).
  22. Kroeger, J. M., Münster, K., Knoeferle, P. Do Prosody and Case Marking influence Thematic Role Assignment in Ambiguous Action Scenes? Proceedings of the 39th Annual Meeting of the Cognitive Science Society. , London, UK. 2463-2468 (2017).
  23. Knoeferle, P., Crocker, M. W. The influence of recent scene events on spoken comprehension: evidence from eye movements. Journal of Memory and Language. 57 (4), 519-543 (2007).
  24. Knoeferle, P., Carminati, M. N., Abashidze, D., Essig, K. Preferential inspection of recent real-world events over future events: evidence from eye tracking during spoken sentence comprehension. Frontiers in Psychology. 2, 376(2011).
  25. Abashidze, D., Knoeferle, P., Carminati, M. N. How robust is the recent-event preference? Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 92-97 (2014).
  26. Rodríguez, A., Burigo, M., Knoeferle, P. Visual constraints modulate stereotypical predictability of agents during situated language comprehension. Proceedings of the 38th Annual Meeting of the Cognitive Science Society. , Philadelphia, USA. 580-585 (2016).
  27. Zhang, L., Knoeferle, P. Visual Context Effects on Thematic Role Assignment in Children versus Adults: Evidence from Eye Tracking in German. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 2593-2598 (2012).
  28. Zhang, L., Kornbluth, L., Knoeferle, P. The role of recent versus future events in children's comprehension of referentially ambiguous sentences: Evidence from eye tracking. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1227-1232 (2012).
  29. Münster, K., Knoeferle, P. Situated language processing across the lifespan: A review. International Journal of English Linguistics. 7 (1), 1-13 (2017).
  30. Özge, D., et al. Predictive Use of German Case Markers in German Children. Proceedings of the 40th Annual Boston University Conference on Language Development. , Somerville, USA. 291-303 (2016).
  31. Weber, A., Grice, M., Crocker, M. W. The role of prosody in the interpretation of structural ambiguities: A study of anticipatory eye movements. Cognition. 99 (2), B63-B72 (2006).
  32. Guerra, E., Knoeferle, P. Effects of object distance on incremental semantic interpretation: similarity is closeness. Cognition. 133 (3), 535-552 (2014).
  33. Kreysa, H., Knoeferle, P., Nunnemann, E. Effects of speaker gaze versus depicted actions on visual attention during sentence comprehension. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2513-2518 (2014).
  34. Abashidze, D., Knoeferle, P., Carminati, M. N. Eye-tracking situated language comprehension: Immediate actor gaze versus recent action events. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 31-36 (2015).
  35. Crovitz, H. F., Zener, K. A Group-Test for Assessing Hand- and Eye-Dominance. The American Journal of Psychology. 75 (2), 271-276 (1962).
  36. Ehrenstein, W. H., Arnold-Schulz-Gahmen, B. E., Jaschinski, W. Eye preference within the context of binocular functions. Graefe's Arch Clin Exp Ophthalmol. 243, 926(2005).
  37. Münster, K., Carminati, M. N., Knoeferle, P. The Effect of Facial Emotion and Action Depiction on Situated Language Processing. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 1673-1678 (2015).
  38. Lakoff, G., Johnson, M. Metaphors We Live By. , University of Chicago Press. Chicago, USA. (1980).
  39. Guerra, E., Knoeferle, P. Visually perceived spatial distance affects the interpretation of linguistically mediated social meaning during online language comprehension: An eye tracking reading study. Journal of Memory and Language. 92, 43-56 (2017).
  40. Kreysa, H., Knoeferle, P. Effects of speaker gaze on spoken language comprehension: task matters. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1557-1562 (2012).
  41. Knoeferle, P. Language comprehension in rich non-linguistic contexts: Combining eye tracking and event-related brain potentials. Towards a cognitive neuroscience of natural language use. Roel, W. , Cambridge University Press. Cambridge, UK. 77-100 (2015).
  42. Raney, G. E., Campell, S. J., Bovee, J. C. Using eye movements to evaluate cognitive processes involved in text comprehension. Journal of Visualized Experiments. (83), e50780(2014).
  43. Knoeferle, P., Habets, B., Crocker, M. W., Muente, T. F. Visual scenes trigger immediate syntactic reanalysis: evidence from ERPs during situated spoken comprehension. Cerebral Cortex. 18 (4), 789-795 (2008).
  44. Dimigen, O., Sommer, W., Hohlfeld, A., Jacobs, A. M., Kliegl, R. Coregistration of eye movements and EEG in natural reading: Analyses and review. Journal of Experimental Psychology: General. 140 (4), 552-572 (2011).
  45. Knoeferle, P., Kreysa, H. Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension? Frontiers in Psychology. 3, 538(2012).
  46. Chambers, C. G., Cooke, H. Lexical competition during second-language listening: Sentence context, but not proficiency, constrains interference from the native lexicon. Journal of Experimental Psychology: Learning, Memory, and Cognition. 35 (4), 1029(2009).
  47. Duyck, W., Van Assche, E., Drieghe, D., Hartsuiker, R. J. Visual word recognition by bilinguals in a sentence context: Evidence for nonselective lexical access. Journal of Experimental Psychology: Learning, Memory, and Cognition. 33 (4), 663(2007).
  48. Weber, A., Cutler, A. Lexical competition in non-native spoken-word recognition. Journal of Memory and Language. 50 (1), 1-25 (2004).
  49. Verhallen, M. J., Bus, A. Young second language learners' visual attention to illustrations in storybooks. Journal of Early Childhood Literacy. 11 (4), 480-500 (2011).
  50. Robinson, P., Mackey, A., Gass, S. M., Schmidt, R. Attention and awareness in second language acquisition. The Routledge Handbook of Second Language Acquisition. , 247-267 (2012).
  51. Tomlin, R. S., Villa, V. Attention in cognitive science and second language acquisition. Studies in Second Language Acquisition. 16 (2), 183-203 (1994).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Eye TrackingVisual ContextLanguage ComprehensionOcular DominanceCorneal ReflectionPupil TrackingCalibration ProcedureGaze PatternsSpoken LanguageSituated Reading

Related Articles