Summary
Multimodal sensörlerin kullanılması, sosyal etkileşimlerin eğitim ortamlarında rolünü anlamanın umut verici bir yoludur. Bu makalede, mobil göz izci kullanarak koolü dyads ortak görsel dikkat yakalamak için bir metodoloji açıklanmaktadır.
Abstract
Yeni teknolojik gelişmelerin ortaya çıkmasıyla, sosyal etkileşimleri mikro düzeyde eşi görülmemiş bir doğrulukla incelemek mümkündür. Göz izcileri, elektrodermal aktivite bileklikleri, EEG bantları ve hareket sensörleri gibi yüksek frekanslı sensörler milisaniye düzeyinde gözlemler sağlar. Bu hassasiyet düzeyi, araştırmacıların sosyal etkileşimler hakkında büyük veri kümeleri toplamasına olanak tanır. Bu yazıda, ben birden fazla göz izleyici sosyal etkileşimler, ortak görsel dikkat (JVA) temel bir yapı yakalayabilir nasıl tartışmak. JVA, gelişim psikologları tarafından çocukların nasıl dil edindiğini anlamak, küçük öğrenci gruplarının nasıl birlikte çalıştığını anlamak için bilim adamlarını ve küçük ekipler halindeki etkileşimleri anlamak için sosyal bilimciler öğrenmek için incelenmiştir. Bu makalede, mobil göz izleyicileri kullanarak birlikte konumayarlarıNda JVA yakalama için bir metodoloji açıklanmaktadır. Bazı ampirik sonuçlar sunar ve sosyal etkileşimleri anlamak için mikrogözlemler yakalama nın sonuçlarını tartışır.
Introduction
JVA, özellikle dil edinimi üzerine eğitim alan gelişim psikologları tarafından son yüzyılda kapsamlı bir şekilde incelenmiştir. Hızlı bir şekilde ortak dikkat kelimeleri öğrenmek için sadece bir yol değil, zihin1çocuk teorileri için bir öncüsü daha fazla olduğu tespit edilmiştir. Bu nedenle, başkalarıyla iletişim kurmak, işbirliği yapmak ve empati geliştirmek gibi birçok sosyal süreçte önemli bir rol oynar. Otistik çocuklar, örneğin, önemli sosyalbozukluklar2 ile ilişkili onların bakıcıları ile görsel dikkat koordine etmek için yeteneği eksikliği . İnsanlar, toplumun işlevsel üyeleri olmak, eylemlerini koordine etmek ve başkalarından bir şeyler öğrenmek için ortak ilgiye ihtiyaç duyarlar. Çocukların ilk kelimelerini edinmelerinden, öğretmenlerden öğrenen gençlerden, projelerde işbirliği yapan öğrencilere ve ortak hedeflere doğru çalışan yetişkin gruplarına kadar, ortak dikkat bireyler arasında ortak bir zemin oluşturmak için temel bir mekanizmadır3. Bu yazıda, jva eğitim araştırma çalışmaları üzerinde duruluyor. Ortak ilginin zaman içinde nasıl geliştiğini anlamak, işbirlikçi öğrenme süreçlerinin incelenmesi açısından birincil öneme sahiptir. Bu nedenle, sosyokonstrüktivist ortamlarda baskın bir rol oynar.
Ortak dikkat tam tanımı halatartışılır 4. Bu kağıt ortak dikkat (JA), yani JVA bir alt yapı ile ilgilidir. JVA iki denek aynı anda aynı yere baktığında olur. Bu JVA ja çalışmada ilgi diğer önemli yapılar hakkında herhangi bir bilgi sağlamaz unutulmamalıdır, ortak izleme gibi, karşılıklı, ve paylaşılan dikkat, ya da daha genel olarak, başka bir grup üyesinin biliş farkındalık. Bu makale, iki katılımcının göz izleme verilerini birleştirerek ve bakışlarını hizalama sıklığını analiz ederek JVA'yı operasyonel hale getirir ve basitleştirir. Daha kapsamlı bir tartışma için, ilgilenen okuyucu Siposovaet al.4JA yapı nın çalışma hakkında daha fazla bilgi edinebilirsiniz.
Son on yılda, teknolojik gelişmeler kökten JVA araştırma dönüştürdü. Ana paradigma değişimi, video kayıtlarının laboratuvar veya ekolojik ortamda nitel olarak analiz edilmesinin aksine, dikkat hizalamaların nicel ölçülerini elde etmek için birden fazla göz izleyicisi kullanmaktı. Bu gelişme, araştırmacıların Dyads'ın görsel koordinasyonu hakkında kesin ve ayrıntılı bilgi toplamalarına olanak sağlamıştır. Ayrıca, göz izleyicileri daha uygun hale gelmektedir: yakın zamana kadar, bunların kullanımı akademik ayarları veya büyük şirketler için ayrılmıştır. Artık güvenilir veri kümeleri oluşturan ucuz göz izleyicileri satın almak mümkündür. Son olarak, bakış izleme yeteneklerinin ileri uç dizüstü bilgisayarlar ve sanal ve artırılmış gerçeklik kulaklıkları gibi mevcut cihazlara kademeli olarak dahil edilmesi, göz izlemenin yakında her yerde olacağını göstermektedir.
Göz izleme cihazlarının yaygınlaşması nedeniyle, sosyal etkileşimler hakkında bize ne söyleyip söyleyemeyeceklerini anlamak önemlidir. Bu makalede sunulan metodoloji bu yönde atılmış bir ilk adımı işaret etmektedir. JVA'yı birden fazla göz izleyicisinden yakalamada iki zorlukla başa çıkıyorum: 1) zamansal ölçekte ve 2) uzamsal ölçekte verileri senkronize etmek. Daha spesifik olarak, bu protokol, katılımcıların bakışlarını yönlendirdiği bilgisayar görme algoritmalarını bilgilendirmek için gerçek dünya ortamlarına yerleştirilen güvenilir işaretlerden yararlanMaktadır. Bu yeni metodoloji, küçük gruplar halinde insan davranışlarının titiz bir şekilde analiz edilebisinin önünü açar.
Bu araştırma protokolü Harvard Üniversitesi'nin insan araştırma etik komitesinin yönergelerine uygundur.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. Katılımcı Taraması
- Normal veya normale doğru görme engelli katılımcıların işe alınmasından emin olun. Katılımcılardan mobil göz izleyicisi takmaları isteneceği için, kontakt lens takabilirler, ancak normal gözlük takmazlar.
2. Deneye Hazırlık
- Göz izleme cihazları
- Gerçek dünya ortamlarında göz hareketini yakalayabilen herhangi bir mobil göz izleyicisi kullanın.
NOT: Burada kullanılan mobil göz izleyicileri iki Tobii Pro Gözlük 2 idi (Bkz. Malzeme Tablosu). Göz hareketlerini izleyebilen özel kameralara ek olarak, gözlükler hd sahne kamerası ve mikrofonla da donatılmıştır, böylece bakışkullanıcının görsel alanı bağlamında görselleştirilebiliyor. Bu gözlükler bakış verilerini saniyede 50 kez yakalar. Diğer araştırmacılar ASL Mobile Eye5,SMI6veya Pupil-labs7,hepsi sahne kamera ve farklı örnekleme hızlarında göz izleme koordinatları video akışları sağlamak (30-120 Hz) kullandık. Aşağıdaki yordam diğer göz izleme aygıtları ile biraz değişebilir.
- Gerçek dünya ortamlarında göz hareketini yakalayabilen herhangi bir mobil göz izleyicisi kullanın.
- Fiducial İşaretleyiciler
- Aşağıdaki iki adım (örneğin, zamansal ve uzamsal hizalamalar) fiducial belirteçlerin kullanımını gerektirir. Araştırmacılara bu işaretleri ve algoritmaları bir görüntü veya video akışında algılamak için sağlayan çeşitli bilgisayar görme kitaplıkları vardır. Açıklanan protokol Chilitag kitaplığı8kullanır.
- Zamansal hizalama
- Göz izleme verileri iki ayrı birim de kaydedildiğından, verilerin düzgün bir şekilde senkronize edilmesini sağlayın (Şekil 1). İki ana yöntem kullanılabilir. Sunucu senkronizasyonu mobil göz izleyicisinin her markasıyla farklı çalıştığından, bu el yazması yalnızca ilk yöntemi kapsar.
- Bir oturumun başlangıcını ve sonunu işaretlemek için bilgisayar ekranında kısa bir süre için bir fiducial işaretçi gösterin. Bu görsel bir "el çırpma" benzer (Şekil 2).
- Alternatif olarak, iki veri toplama biriminin saatlerini eşitlemek için bir sunucu kullanın. Bu yöntem biraz daha doğru ve daha yüksek bir zamansal doğruluk gerekiyorsa önerilir.
- Göz izleme verileri iki ayrı birim de kaydedildiğından, verilerin düzgün bir şekilde senkronize edilmesini sağlayın (Şekil 1). İki ana yöntem kullanılabilir. Sunucu senkronizasyonu mobil göz izleyicisinin her markasıyla farklı çalıştığından, bu el yazması yalnızca ilk yöntemi kapsar.
- Uzamsal hizalama
- İki katılımcının aynı anda aynı yere bakıp bakmıyor olmadığını öğrenmek için bakışlarını ortak bir düzleme göre haritala. Bu düzlem deneysel ayarın bir resmi olabilir (Şekil 3'ünsol tarafına bakın). Denemeden önce bu görüntüyü dikkatlice tasarla.
- Fiducial işaretleyicilerin boyutu: Fiducial işaretçilerin genel boyutu, bunları göz izleme videosundan algılamak için kullanılan algoritmaya bağlıdır. Katılımcılara yakın yüzeylerdaha küçük güvenilir işaretlere sahip olabilir, onlardan daha uzaktaki yüzeylerise daha büyük olmalıdır, böylece katılımcıların bakış açısından benzer görünürler. Göz izleme videosundan algılanadığından emin olmak için önceden farklı boyutları deneyin.
- Fiducial işaretleyici sayısı: Bakış noktalarını ortak bir düzleme eşleme işlemini başarılı kılmak için, katılımcıların bakış açısından herhangi bir zamanda birkaç güvenilir işaretleyicinin görünür olduğundan emin olun.
- Fiducial işaretçilerin konumu: İlgili ilgi alanlarını fiducial işaretleyici şeritleri ile çerçeveleyin (örneğin, Şekil 3'tekidizüstü ekrana bakın).
- Son olarak, eşitleme yordamını test etmek ve en uygun konum, boyut ve fiducial işaretçilerin sayısını belirlemek için pilotları çalıştırın. Göz izleme videoları, güvenilir işaretlerin güvenilir bir şekilde algılanıp algılanaolmadığını görmek için bir bilgisayar görme algoritması aracılığıyla işlenebilir.
3. Deneyi çalıştırma
- Talimat -ları
- Katılımcılara normal bir çift gözlük gibi göz izleme gözlüklerini takmalarını öğretin. Katılımcıların farklı yüz özelliklerine göre, veri kalitesini korumak için farklı yüksekliklerde burun parçaları nın kullanılması gerekebilir.
- Göz izleyicisini çektikten sonra, katılımcıların doğal vücut hareketi için kayıt ünitesini kendilerine kesmelerini bekleyin.
- Kalibrasyon
- Katılımcıların, yazılımın kalibrasyon işlevi etkinleştirilirken Tobii tarafından sağlanan kalibrasyon işaretleyicisinin merkezine bakmalarını öğretin. Kalibrasyon tamamlandıktan sonra, kayıt yazılımın içinden başlatılabilir.
- Katılımcılara kalibrasyondan sonra mobil göz izleyicilerini hareket ettirmemelerini öğretin. Bunu yaparlarsa, verilerin yanlış olması olasıdır ve kalibrasyon yordamı yeniden gerçekleştirilmesi gerekir.
- Veri izleme
- Çalışma sırasında veri toplama işlemini izleyin ve göz izleme verilerinin düzgün bir şekilde toplandığından emin olun. Mobil göz izleyicilerinin çoğu bu amaçla ayrı bir cihazda (örn. tablet) canlı akış sağlayabilir.
- Veri dışa aktarma
- Kayıt oturumu tamamlandıktan sonra, katılımcıya göz izleme gözlüklerini ve veri toplama birimini kaldırmasını emredin. Üniteyi kapatın.
- Oturum verilerini içe aktaran veri toplama biriminden SD kartı kaldırarak başka bir yazılım olan Tobii Pro Lab'ı kullanarak veri ayıklayın. Tobii Pro Lab, videoyu yeniden oynatmak, görselleştirmeler oluşturmak ve göz izleme verilerini virgülle ayrılmış (.csv) veya sekme ayrılmış (.tsv) dosyalar olarak dışa aktarmak için kullanılabilir.
4. Çift göz izleme verilerinin önceden işlenmesi
- Akıl sağlığı göz izleme verilerini kontrol etme
- Veri toplama dan sonra göz izleme verilerini görsel olarak kontrol edin. Bazı katılımcıların eksik veriye sahip olması nadir değildir. Örneğin, bazı özel göz fizyolojisi göz izleme algoritmaları için sorunlar oluşturabilir, gözlük deneme sırasında değişebilir, veri toplama yazılımı çökebilir, vb.
- Her oturumda ne kadar veri kaybolduğunu denetlemek ve önemli miktarda eksik veya gürültülü veriiçeren oturumları hariç tutmak için açıklayıcı istatistikleri kullanın.
- Zamansal hizalama
- Her mobil göz izleyicisinden gelen verileri yalnızca katılımcılar arasındaki etkileşimleri içerecek şekilde kırpın. Bu, yukarıda açıklanan yöntem kullanılarak elde edilebilir (örneğin, oturumun başında ve sonunda katılımcılara iki özel fiducial belirteç ler sunarak). Bu fiducial işaretler daha sonra veri kümelerini kırpmak için göz izleme videosundan algılanabilir.
- Uzamsal hizalama
NOT: İki katılımcının aynı yere aynı anda bakıp bakmadığını saptamak için, katılımcıların bakışlarını ortak bir düzleme (yani deneysel ayarın görüntüsüne) yeniden eşlemeleri gerekir. Bu amaca ulaşmak için bir hesaplama yöntemi homografi (yani, bir düzlemin perspektif dönüşümü). Teknik açıdan bakıldığında, uzaydaki aynı düzlemsel yüzeyin iki görüntüsü homografi matrisi ile ilişkilidir. Ortak bir nokta kümesine dayanarak, bu matris iki düzlem arasındaki ek noktaların konumunu çıkarmak için kullanılabilir. Şekil3'te, örneğin, bir bilgisayar görme algoritması dinleyici lerin dinleyicilerinin dinleyicilerinin nerede olduğunu biliyorsa, katılımcının bakışlarını sol taraftaki ortak düzleme yeniden eşleyebilir. Beyaz çizgiler, her katılımcının video akışı tarafından paylaşılan iki nokta kümesini ve daha sonra sol taraftaki yeşil ve mavi noktaları yeniden eşlemek için homografioluşturmak için kullanılan sahneyi birbirine bağlar.- Fiducial işaretleyicilerden homografi matrisini hesaplamak ve ardından göz izleme verilerini deneysel ayarın (veya seçtiğiniz dilde başka herhangi bir uygun kitaplık) sahnesine yeniden eşlemek için OpenCV'nin Python sürümünü kullanın. OpenCV iki yararlı fonksiyon sağlar: homografi matrisini elde etmek için findHomography() ve perspektifTransform() noktayı bir perspektiften diğerine dönüştürmek için.
- FindHomography()kullanmak için, iki bağımsız değişkenle çalışır: kaynak noktalarının X,Y koordinatları (örneğin, katılımcıların sahne videosundan algılanan, Şekil 3'tesağda gösterilen fiducial işaretçiler ) ve ilgili hedef noktaları (yani, şekil 3'tesolda gösterilen sahne görüntüsünde tespit edilen aynı fiducials işaretleri).
- Ortaya çıkan homografi matrisini perspektifTransform() işlevine ve kaynak görüntüden hedef görüntüye eşlanması gereken yeni bir noktayla besleyin (örneğin, Şekil 3'ünsağ tarafında mavi/yeşil nokta olarak gösterilen göz izleme verileri). PerspektifTransform işlevi sahne görüntüsündeki aynı noktanın yeni koordinatını döndürür (yani Şekil 3'ünsol tarafında gösterilen mavi/yeşil nokta).
NOT: Daha fazla bilgi için OpenCV resmi dokümantasyonu, homography'yi uygulamak için örnek kod ve örnekler sağlar: docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html.
- Akıl sağlığı homografi kontrol
- Tüm seans için bölüm 4.3'ü tamamlayın ve homografinin kalitesini kontrol etmek için mobil göz izleme videosunun her bir karesinde bir homografi yapın. Elde edilen göz izleme verilerinin doğruluğunu tahmin etmenin otomatik bir yolu olmamakla birlikte, her oturumu el ile akıl sağlığı nı kontrol etmek için Şekil 4'te gösterilen gibi videolar kullanılmalıdır.
- Kalite beklenenden düşükse, homografi sonuçlarını iyileştirmek için ek parametreleri göz önünde bulundurun:
- Algılanan fidusiyaal belirteç sayısı: Sadece video akışından yeterli fiduyal belirteç tespit edilebiliyorsa homografiyi gerçekleştirin. Bu sayı yukarıda üretilen video incelenerek belirlenebilir.
- Fiducial belirteçlerin yeri: Farklı işaretler farklı derinliklerde ve oryantasyonlarda ise, bakış koordinatlarına en yakın işaretçiler seçildiğinde homografinin kalitesi genellikle artar, sağlam bir yapı oluşturmak için yeterli işaretçi olduğu göz önüne alındığında homografi.
- Fiducial belirteçlerin oryantasyonu: Farklı yönelimlere (örneğin, yatay ve dikey) sahip fiducial belirteçlerin birleştirilmesi yanlış homografiler üretecektir. Öncelikle katılımcının hangi düzleme veya ilgi alanlarına (AOI) baktığını tespit etmek (örneğin, bilgisayar ekranı, hile sayfası, tablo, bkz. Şekil 3)ve daha sonra homografi için bu düzlemdeki fiducial işaretleri kullanmak önerilir.
- Video akışının kalitesi: Ani kafa hareketleri video çerçevelerini bulanıklaştırabilir ve verileri kullanılamaz hale getirebilir, çünkü güvenilir işaretleyiciler güvenilir bir şekilde algılanamamıştır(Şekil 4). Bu makalenin metodolojisi ani kafa hareketleri bir sürü içeren deneyler için uygun değildir.
5. Çift göz izleme verilerinin analizi
- Eksik veri
- Verilerin referans resmine doğru şekilde yeniden eklenmiş olduğundan emin olmak için, ne kadar veri eksik olduğunu kontrol etmek için görselleştirme grafikleri (örneğin, Şekil 5, Şekil 6)ve açıklayıcı istatistikler üretir.
- Çapraz yineleme grafikleri
- X ekseninin ilk katılımcının zamanını, Y ekseninin ikinci katılımcının zamanını temsil ettiği iki katılımcı(Şekil 6)arasındaki görsel eşitlemi temsil etmek için çapraz yineleme grafikleri9'u kullanın. Siyah kareler katılımcıların aynı alana baktığını gösterir, siyah çapraz çizgi aynı anda aynı şeye bakan iki konuyu tanımlar ve çapraz çizgideki siyah kareler, iki deneğin zaman gecikmesi ile aynı şeye baktığını açıklar. Son olarak, eksik veriler (beyaz kare) ve JVA 'sız varolan veriler (gri kareler) arasındaki ayrım, sorunlu oturumların belirlenmesine yardımcı olur. Bu, araştırmacılara görsel bir akıl sağlığı denetimi sağlar.
- Bilgisayar JVA
- Eksik veriler için filtreleme yaptıktan sonra, -2/+2 s zaman penceresinde katılımcıların bakışlarının sahnede (aşağıda tanımlanan) aynı yarıçapta kaç kez olduğunu sayarak JVA için bir metrik hesaplayın. Bu sayıyı JVA'yı hesaplamak için kullanılabilecek geçerli veri noktalarının sayısına bölün. Bölünmenin sonucu, iki deneğin aynı yere ortaklaşa baktıkları zaman yüzdesini temsil eder. Bu son adım homografi den sonra daha fazla veri ile grupların puanları şişirme önlemek için gereklidir.
NOT: JVA'nın hesaplanabilmek için iki parametrenin ayarlanması gerekir, iki bakış noktası arasındaki minimum mesafe ve aralarındaki zaman penceresi(Şekil 7): 1) Zaman penceresi: Erken bir temel çalışma10, dinleyici ile konuşmacı arasındaki JVA'yı ölçmek için tek bir göz izleyicisi kullanmıştır. Araştırmacılar, ilk katılımcılardan ("konuşmacılar") karakterleri önlerinde gösterilen bir televizyon programı hakkında konuşmalarını istediler. Daha sonra konuşmacıların ses kaydını dinlerken aynı programı izleyen ikinci bir katılımcı seti ("dinleyiciler"). Hoparlörlerin ve dinleyicilerin göz hareketleri karşılaştırıldı ve dinleyicinin göz hareketlerinin 2 s gecikmeyle bir konuşmacının göz hareketiyle yakından eşleşttisi saptandı. Sonraki çalışmada11 araştırmacı canlı diyalogları analiz ve 3 s en iyi JVA anları yakalanan bir gecikme bulundu. Her görev benzersiz olduğundan ve farklı zaman gecikmeleri sergileyebileceğinden, farklı zaman gecikmelerinin belirli bir denemenin sonuçlarını nasıl etkilediğini de keşfetmeniz önerilir. Genel olarak, jva'yı deneysel göreve bağlı olarak ± 2/3 s zaman penceresinde aramak ve daha sonra farklı zaman gecikmelerinin sonuçları nasıl değiştirebileceğini keşfetmek yaygındır. 2) Bakışlar arasındaki mesafe: Iki bakış arasında JVA olarak saymaları için ampirik olarak tanımlanmış bir mesafe yoktur. Bu mesafe araştırmacılar tarafından tanımlanan araştırma sorularına bağlıdır. Araştırma soruları ilgi hedeflerinin boyutunu bildirmelidir. Şekil 7'degörülen örnekte, katılımcılar labirentteki robota ve bu deneysel görevin iki ana ilgi alanı olan bilgisayar ekranındaki benzer kullanıcı arabirimi öğelerini yakalamak için yeterli olduğu için, sahne görüntüsünde 100 piksellik bir yarıçap (mavi/yeşil daireler) analiz için seçilmiştir.
- Eksik veriler için filtreleme yaptıktan sonra, -2/+2 s zaman penceresinde katılımcıların bakışlarının sahnede (aşağıda tanımlanan) aynı yarıçapta kaç kez olduğunu sayarak JVA için bir metrik hesaplayın. Bu sayıyı JVA'yı hesaplamak için kullanılabilecek geçerli veri noktalarının sayısına bölün. Bölünmenin sonucu, iki deneğin aynı yere ortaklaşa baktıkları zaman yüzdesini temsil eder. Bu son adım homografi den sonra daha fazla veri ile grupların puanları şişirme önlemek için gereklidir.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Yukarıda sunulan metodoloji lojistik (n = 54)12bir mesleki eğitim programı takip eden öğrenciler üzerinde çalışmak için kullanılmıştır. Bu denemede, öğrenci çiftleri küçük ölçekli bir ambarı simüle eden Somut Kullanıcı Arabirimi (TUI) ile etkileşime geçti. TUI'ye yerleştirilen fiducial işaretler, araştırma ekibinin öğrencilerin bakışlarını ortak bir düzleme yeniden eşlemesine ve JVA'nın hesaplama düzeylerine yeniden eşlemesine olanak sağladı. Bulgular, JVA'nın daha yüksek seviyelerine sahip grupların kendilerine verilen görevde daha iyi iş yapma eğiliminde olduklarını, daha fazlasını öğrendiğini ve daha iyi bir işbirliği kalitesine sahip olduklarını göstermiştir13 (Şekil 8, sol taraf). Çift göz izleme veri setleri de bize serbest binici etkisi gibi belirli grup dinamikleri yakalamak için izin verdi. Bu etkiyi, JVA'nın her anını kimin başlatmış olabileceğini (yani, bakışları ilk sırada olan) ve buna kimin yanıt verdiği (yani, bakışları ikinci sırada olan) belirleyerek tahmin ettik. Öğrenme kazanımları ile öğrencilerin JVA'nın tekliflerini başlatma ve bunlara yanıt verme sorumluluğunu eşit olarak paylaşma eğilimleri arasında anlamlı bir ilişki bulduk. Başka bir deyişle, aynı kişinin her zaman JVA anlarını başlattığı grupların öğrenme olasılığı daha düşüktü(Şekil 8, sağ taraf) ve bu sorumluluğun eşit olarak paylaşıldığı grupların öğrenme olasılığı daha yüksekti. Bu bulgu, sadece JV'yi ölçmenin ötesine geçebileceğimizi ve çift göz izleme verilerini kullanarak grup dinamiklerini ve üretkenliği belirleyebileceğimizi gösteriyor.
Şekil 1: Her katılımcı, her video karesindeki bakışlarının X,Y koordinatlarına sahip iki video akışı oluşturur. Bu metodoloji, verileri katılımcılar arasında zamansal ve mekansal olarak senkronize etme yöntemidir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 2: İki veri kümesini eşitlemek için bir metodoloji. Etkinliğin başlangıcını ve sonunu etiketlemek için bilgisayar ekranında benzersiz fiducial işaretçiyi kısaca gösterir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 3: Katılımcıların bakışlarını ortak bir plana (sol taraf) yeniden eşlemek için çevrede yayılan fiducial işaretçilerin kullanılması. Beyaz çizgiler, her iki görüntüde de algılanan fiducial işaretleri gösterir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 4: Düşük veri kalitesi örnekleri. Sol: Ani bir kafa hareketinin neden olduğu göz izleme videosundan bulanık bir çerçeve. Bu resimde fiducial belirteçler algılanamadı. Sağ: Fiducial marker verilerinin video akışıyla düzgün bir şekilde senkronize edilemediği başarısız bir homografi. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 5: Isı haritaları. Sol: Deneysel sahneye alınan göz izleme verilerinin ısı haritası. Bu görselleştirme homografi için bir akıl sağlığı kontrolü olarak kullanılmıştır. Sağ: Çok fazla eksik veri vardı ve atılması gereken bir grup. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 6: JVA'yı görselleştirmek için üç dyad'dan oluşturulan çapraz nüks grafiği. P1 ilk katılımcının zamanını, P2 ikinci katılımcının zamanını temsil eder. Siyah kareler JVA göstermek; gri kareler katılımcıların farklı yerlere baktıkları anları gösterir; beyaz kareler eksik verileri gösterir. Ana diyagonal boyunca kare katılımcıların aynı anda aynı yere baktı anları gösterir. Bu görselleştirme, kombine göz izleme verilerinden JVA önlemleri için bir akıl sağlığı denetimi olarak kullanılmıştır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 7: JVA'nın iki katılımcı (kırmızı nokta) arasında algılandığı bir video çerçevesi. Richardson ve ark.11, JVA'yı hesaplarken +/-2 s. bir zaman penceresine bakmanızı öneririz. Ayrıca, araştırmacılar JVA olarak saymak için iki bakış noktaları arasındaki en az mesafeyi tanımlamak gerekir. Yukarıdaki orta daki görüntüde 100 piksellik bir yarıçap seçildi. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 8: Sonuç örnekleri. Schneider ve ark.12'den elde edilen veriler, aynı yere aynı anda bakma yüzdesinin katılımcıların işbirliği kalitesiyle ilişkili olduğu dur: r(24) = 0.460, P = 0.018 (sol taraf) ve JVA'nın tekliflerinin başlatılmasında/yanıtlanmasındaki dengesizlikler öğrenme kazanımlarıyla ilişkilendirilmiştir: r(24) = −0.47, P = 0.02 (sağ taraf). Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Bu makalede açıklanan metodoloji, jva'yı koloşlu dyadlarda yakalamak için titiz bir yol sağlar. Uygun fiyatlı algılama teknolojisi ve geliştirilmiş bilgisayar görme algoritmaları ortaya çıkması ile, daha önce kullanılamaz bir doğruluk ile işbirlikçi etkileşimleri incelemek artık mümkündür. Bu metodoloji, çevrede yayılan güvenilir belirteçlerden yararlanır ve katılımcıların bakışlarını ortak bir düzleme yeniden eşlemek için homografileri kullanır. Bu, araştırmacıların jva'yı kolodi gruplar halinde titizlikle incelemelerine olanak tanır.
Bu yöntem, denemenin çeşitli noktalarında gerçekleştirilmesi gereken birden çok akıl sağlığı denetimleri içerir. Bu karmaşık bir yordam olduğundan, araştırmacıların elde edilen veri kümelerinin eksiksiz ve geçerli olduğundan emin olmanız gerekir. Son olarak, gerçek deneyden önce pilot çalışmaların yapılması ve veri toplama tamamlandıktan sonra bir video olmasına rağmen katılımcıların etkileşimlerinin yeniden oluşturulması tavsiye edilir(Şekil 3, Şekil 4, Şekil 5, Şekil 6).
Bu yöntemle ilişkili çeşitli sınırlamalar vardır:
Katılımcı sayısı. Bu metodoloji iki katılımcı için iyi çalışır ken, analiz daha büyük gruplar ile daha karmaşık hale gelir. Fiducial belirteçler hala bir zemin gerçeği üzerine bakışları yeniden haritalamak için kullanılabilir ama Nasıl JVA tanımlamak için bilmek daha nüanslı bir süreç haline gelir. JVA herkesin aynı anda aynı yere baktığı veya iki katılımcının aynı yere baktığı zamanlar olarak mı tanımlanmalı? Ayrıca, çapraz nüks grafiği gibi görselleştirmeler 2-3 kişiden fazla kişi ile pratik hale gelir.
Ayarlar. Bu makalede açıklanan yöntem küçük, kontrollü ayarlar (örn. laboratuvar çalışmaları) için uygundur. Açık ortam lar veya geniş alanlar gibi açık uçlu ayarlar genellikle fiducial işaretçilerle enstrüman edilemeyecek kadar karmaşıktır ve böylece göz izleme verilerinin kullanışlılığını sınırlayabilir. Ayrıca, fiducial işaretleri dikkat dağıtıcı ve çevreyi yığılmayı olabilir. Gelecekte, daha iyi bilgisayar görme algoritmaları otomatik olarak iki perspektif arasında ortak özellikleri ayıklamak mümkün olacak. Bu amaçla zaten var olan algoritmalar vardır, ancak doğruluk düzeyinin yukarıda açıklanan deneme türü için henüz kabul edilebilir olmadığını bulduk.
Aois, ne kadar. Yukarıdaki noktaya bağlı olarak, bilgisayar homografisi ve çapraz nüks grafiği istikrarlı sayıda ilgi alanıyla iyi çalışır, ancak farklı görevler farklı ilgi alanlarıyla karşılaştırıldığında düzeltmeler yapılmalıdır.
Ekipman kullanımı. Mobil göz izleyicileri rahatsız edici olabilir, katılımcıların davranışlarını etkileyen veya belirli göz fizyolojisi ile çalışmak için başarısız.
Sonuç olarak, bu makalede açıklanan metodoloji kolocated etkileşimleri incelemek için umut verici bir yoldur. Bu araştırmacılar JVA, sosyal bilimler1kritik bir yapıdır için kesin bir metrik yakalamak için izin verir. Buna ek olarak, geleneksel nitel analizlere kıyasla bu metodoloji12 ile işbirlikçi öğrenmenin daha ince taneli göstergelerini tespit etmek mümkündür. Kısacası, sosyal etkileşimleri incelemek için daha verimli ve doğru bir yoldur.
Bu yöntemin olası uygulaması, gerçek zamanlı göz izleme verileri aracılığıyla işbirliğini destekleyecek müdahaleler tasarlamayı içerir. Bazı öncü çalışmalar uzaktan göz izci kullanarak paylaşılan bakış görselleştirmeler üretti, hangi uzaktan işbirlikçi öğrenme yararlanmak için gösterilmiştir14. Gerçek zamanlı olarak partnerlerinin bakışlarını görebilen Dyad'lar daha fazla JVA sergilediler, daha iyi işbirliği ve bir kontrol grubuna göre daha yüksek öğrenme kazanımları elde ettiler. Gelecekteki çalışmalar, bu tür bir müdahalenin ortak ayarlardaki (örneğin, sanal veya artırılmış gerçeklik kulaklıkları aracılığıyla) ortak süreçleri destekleyip destekleyemeyeceğini inceleyecektir.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Yazarlar hiçbir rakip mali çıkarları olduğunu beyan.
Acknowledgments
Bu metodolojinin geliştirilmesi Ulusal Bilim Vakfı (NSF #0835854), İsviçre Devlet Eğitim, Araştırma ve Yenilik Sekreterliği tarafından finanse edilen Mesleki Eğitim için Önde Gelen Ev Teknolojileri ve Harvard School of Education Dean Venture Fund tarafından desteklendi.
Materials
| Name | Company | Catalog Number | Comments |
| Tobii Glasses 2 | Tobii | N/A | https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/ |
| Fiducial markers | Chili lab – EPFL, Switzerland | N/A | https://github.com/chili-epfl/chilitags |
References
- Tomasello, M. Joint attention as social cognition. Joint attention: Its origins and role in development. Moore, C., Dunham, P. J. , Lawrence Erlbaum Associates, Inc. Hillsdale, NJ, England. 103-130 (1995).
- Mundy, P., Sigman, M., Kasari, C. A longitudinal study of joint attention and language development in autistic children. Journal of Autism and Developmental Disorders. 20, 115-128 (1990).
- Clark, H. H., Brennan, S. E. Grounding in communication. Perspectives on socially shared cognition. Resnick, L. B., Levine, J. M., Teasley, S. D. , American Psychological Association. Washington, DC, US. 127-149 (1991).
- Siposova, B., Carpenter, M. A new look at joint attention and common knowledge. Cognition. 189, 260-274 (2019).
- Gergle, D., Clark, A. T. See What I'm Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , ACM. New York, NY, USA. 435-444 (2011).
- Renner, P., Pfeiffer, T., Wachsmuth, I. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. Spatial Cognition IX. Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. , Springer International Publishing. 121-136 (2014).
- Shvarts, A. Y. Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology. The Russian Journal of Cognitive Science. 5, 4 (2018).
- Bonnard, Q., et al. Chilitags: Robust Fiducial Markers for Augmented Reality [software]. , Available from: https://github.com/chili-epfl/qml-chilitags (2013).
- Jermann, P., Mullins, D., Nüssli, M. -A., Dillenbourg, P. Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice. CSCL2011 Conference Proceedings., Volume I - Long Papers. , 184-191 (2011).
- Richardson, D. C., Dale, R. Looking To Understand: The Coupling Between Speakers' and Listeners' Eye Movements and Its Relationship to Discourse Comprehension. Trends in Cognitive Sciences. 29, 1045-1060 (2005).
- Richardson, D. C., Dale, R., Kirkham, N. Z. The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue. Psychological Science. 18, 407-413 (2007).
- Schneider, B., et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning. ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).
- Meier, A., Spada, H., Rummel, N. A rating scheme for assessing the quality of computer-supported collaboration processes. Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).
- Schneider, B., Pea, R. Real-time mutual gaze perception enhances collaborative learning and collaboration quality. Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).
