Konuşulan dil çevrimiçi işlenmesi keşfetmek için görsel dünya paradigmada kaydedilen göz hareketleri kullanarak

Bu yöntem, konuşma dilinin çevrimiçi işlenmesinde, kesişmeler ve koşullu luklar gibi anlamsal olarak karmaşık cümleler de dahil olmak üzere anahtar soruların yanıtlanmasına yardımcı olabilir. Bu tekniğin en büyük avantajı, dil işleme alanlarında ki konuların çoğunu incelemek için çok çeşitli popülasyonlarda yapılabilmektir. Prosedürü gösteren Xu Jing, bir lisansüstü öğrenci olacaktır.

Cao Yifan, Wang Meng, Yang Xiaotong, Zhan Min ve Zhou Xuehan araştırma grubumun öğrencileri. Görsel uyaranları hazırlamak için, Internet'ten hayvanların 60 telif hakkı ücretsiz küçük resim görüntüleri indirin ve uygun bir görüntü editörü görüntüleri açın. Araçlar'ı tıklatın ve her resimden arka planı seçmek ve silmek için hızlı seçimi kullanın.

Görüntüleri 120 x 120 piksele yeniden boyutlandırmak ve büyük bir açık 320 x 240 piksel lik kutu, küçük bir kapalı 160 x 160 piksel lik kutu ve iki küçük, açık 160 x 240 piksel kutu çizmek için Resim ve Görüntü Boyutu'nu tıklatın. İlk test görüntüsü için 1, 024'e 768 piksel şablonoluşturmak için yeni bir dosya açın ve kutuları belirtilen konumlara sürükleyin. İki küçük resim görüntüsünü büyük açık kutuya ve aynı iki görüntünün her birini iki küçük açık kutuya sürükleyin.

Daha sonra, her bir hayvan görüntüsünün test görüntüsü başına iki kez kullanılmasıyla gösterildiği gibi 59 test görüntüsü daha oluşturun ve görüntüler arasındaki dört kutunun uzamsal konumlarını dengeleyin. Konuşulan dil uyaranlarını hazırlamak için, katılımcıların ana dilinde her bir test görüntüsüne karşılık gelen dört test cümlesi, dört cümleden en az üçü ve gösterildiği gibi her formdan biri olmak üzere toplam 240 test cümlesi için kaydedilebilmektedir. Deneyde kullanılan tüm hayvanlar için sesin yanı sıra dört örnek ifadekaydetmek için bir kadın ana dili bulun.

240 test cümlesini dört gruba ayırın ve her grup 15 konjonktürel ifade, 15 disjunctive deyim, 15 ancak deyim ve 15 dolgu cümlesi içeriyor. Ardından, test uyaranlarıyla ilgili tüm önemli bilgileri, her satır 240 denemenin her birine karşılık gelen bir sekme sınırlandırAn metin dosyasına kaydedin. Deneme sırasını oluşturmak için deneme oluşturucuyu açın ve yeni bir proje oluşturun.

Ekran nesnesini çalışma alanına sürükleyin ve çalışma alanı Yönergesi'ni yeniden adlandırın. Çok Satırlı Metin Kaynağı Ekle'yi tıklatın ve blok sırasını oluşturmak için blok sırasını açmak için çift tıklatın. Kamera kurulum kalibrasyon unu ve doğrulanmasını kolaylaştırmak için EyeLink ana bilgisayarda bir kamera kurulum ekranı getirmek için bir EI Kamera Kurulum düğümlerini blok dizisine sürükleyin.

Özellikler panelindeki Kalibrasyon Türü alanını tıklatın ve açılan listeden HV5'i seçin. Deneme dizisini oluşturmak için Ekran Ekranı düğümini deneme dizisine sürükleyin ve Animal_1_Image yeniden adlandırın. Çalma Sesi düğümlerini deneme dizisine sürükleyin ve Animal_1_Audio yeniden adlandırın.

Zamanlayıcı düğümini deneme dizisine sürükleyin ve Animal_1_Audio_Length yeniden adlandırın. Her küçük resim resmi için üç düğüm oluşturulana kadar ek Ekran, Oynatma Sesi ve Zamanlayıcı düğümlerini deneme sekansına sürüklemeye ve yeniden adlandırmaya devam edin. Ardından, drift düzeltmesini tanıtmak için bir Drift Doğru düğüm'üni deneme sırasına sürükleyin.

Kayıt sırasını oluşturmak için, yeni bir Ekran Ekranı düğümini kayıt dizisine sürükleyin. Düğümü Test_Image yeniden adlandırın. Ekran oluşturucuyu açmak için Ekran düğümünü çift tıklatın, Dikdörtgen İlgi Alanı Bölgesi ekle'yi tıklatın ve dört dikdörtgen ilgi alanı çizin.

Zamanlayıcı düğümünü çalışma alanına sürükleyin, düğüm Duraklat'ı yeniden adlandırın ve süre özelliğini 500 milisaniyeyle değiştirin. Bir Çal Sesi düğüm'üni çalışma alanına sürükleyin ve düğümü Test_Audio yeniden adlandırın ve zamanlayıcı düğümini çalışma alanına sürükleyin ve Test_Audio_Length yeniden adlandırın. Ardından çalışma alanına bir Klavye düğümü ekleyin, düğüm Davranış Yanıtları'nı yeniden adlandırın ve Kabul Edilebilir Tuşlar özelliğini Yukarı, Aşağı, Sağ, Sol olarak değiştirin.

Bir deneme yürütmek için, kameranın ana bilgisayar uygulamasını başlatmak için bilgisayarı ana bilgisayara önyükleme ve ekran PC'deki deneysel projenin çalıştırılabilir sürümünü tıklatın. Katılımcının adını girdirin ve istem penceresinden bir grup seçmek için çalıştırmak için Koşul Değerini Seç'i tıklatın. Göz kırpma veya ani hareketler sırasında gözbebeği görüntüsü kaybolsa bile, baş pozisyonunu izlemek için katılımcının alnına küçük bir hedef etiketi yerleştirin. Katılımcıyı 21 inç 4:3 renkli monitörden yaklaşık 60 santimetre, 27 piksel in bir derece açısına eşit olan 1, 024'e 769 piksel çözünürlüğe sahip bir şekilde oturtun.

Katılımcı düz bir şekilde ileriye bakarken, monitörün %75'ine dikey olarak baktığından emin olmak için ekran PC monitörünün yüksekliğini ayarlayın ve ardından göz görüntüsünü netleştirmek için odaklayıcı kolu masa yuvasına döndürün. Ardından, ana bilgisayarda Kalibrasyon'u tıklatın ve katılımcıdan, katılımcının göz hareketlerini görsel dünyada dikkate alan bakışlara göre haritalamak için, rasgele art arda, beş fiksasyon hedefinden oluşan bir ızgaraya sabitlemesini isteyin. Kalibrasyon sonuçlarını doğrulamak için Doğrula'yı tıklatın ve katılımcıdan fiksasyon hedeflerinin aynı ızgarasına sabitlemesini isteyin.

Ekranın ortasındaki siyah noktasabitleme sırasında katılımcıdan klavyedeki boşluk çubuğuna basmasını isteyerek bir sürüklenme denetimi gerçekleştirin. Daha sonra monitörün sağında ve solunda bulunan bir çift harici hoparlör aracılığıyla işitsel uyaranları çalarken ekran PC monitörü aracılığıyla görsel uyaranları sunun. Veri kodlama ve çözümleme için veri görüntüleyicisi açın ve Kaydedilen tüm göz izci dosyalarını almak için Dosyayı, Dosyayı Aktar'ı ve Birden Çok EyeLink Veri Dosyasını içe aktar'ı tıklatın.

Dosyaları tek bir evs dosyasına kaydedin, ardından evs dosyasını açın ve ham örnek verileri toplamadan dışa aktarmak için Analiz, Raporlar ve Örnek Rapor'u tıklatın. Bir konjonktif ifadeye doğru yanıt büyük açık kutuiken, ancak ifadeye doğru yanıt, ifadeiçinde ilk bahsedilen hayvanı içeren küçük açık kutudur. Kritik olarak, konjonktif ifadeler için hangi kutunun seçildiği koşullu bir ifadenin nasıl işlendiğine bağlıdır.

Örneğin, küçük kapalı kutu yalnızca skaler ima ve cehalet çıkarımları her ikisi de hesaplandığında seçilir, bu da bir disjunctive deyiminin kavrayışı sonucu ortaya çıkar. Panelde gösterildiği gibi, küçük kapalı kutugöz sabitleme sentential bağ disjunctive veya artış ile en geç disjunctive bağ ofset daha başlayan sürece artmaz. Görsel Dünya Paradigması, katılımcının gerçek dünyadaki göz hareketlerinden konuşulan dili çevrimiçi olarak anlamasını sağlamak için çok yönlü bir göz izleme tekniğidir.

İşe alım katılımcıları normal veya doğru normal görme yeteneğine ve normal işitme yeteneğine sahip olmaları gerektiğini unutmayın. Uygun bir gerçek dünya çalışması tasarlamak için, katılımcıların göz hareketlerini etkileyebilecek diğer faktörler kontrol edilmeli veya ekarte edilmelidir. Sonuçları istatistiksel olarak analiz ederken, sınırlı yanıtlardan kaynaklanabilecek sorun, tüm otomatik korelasyon veya otomatik karşılaştırmalar göz önünde bulundurulmalıdır.