Mobil Göz İzleyicileri Kullanarak Ortak Görsel Dikkat Yakalama Için Bir Metodoloji
18 Ocak 2020
Multimodal sensörlerin kullanılması, sosyal etkileşimlerin eğitim ortamlarında rolünü anlamanın umut verici bir yoludur. Bu makalede, mobil göz izci kullanarak koolü dyads ortak görsel dikkat yakalamak için bir metodoloji açıklanmaktadır.
Merhaba, benim adım Bertrand Schneider ve Harvard Eğitim Fakültesi'nde yardımcı doçentim. Bu videoda size mobil göz izleyicilerini nasıl kullanabileceğimizi göstereceğim. Ortak görsel dikkat psikologlar tarafından kapsamlı bir şekilde incelenmiş ve grup üyeleri arasındaki etkileşimlerin kalitesiyle yakından ilişkili bulunmuştur.
Bu insanlar ortak bir zemin oluşturmak ve bir görev ortak bir anlayış oluşturmak, sık sık aynı zamanda aynı yere bakmak eğilimindedir çıkıyor. Geleneksel olarak, araştırmacılar videoları elle kodlayarak niteliksel olarak ortak görsel dikkat üzerinde çalıştılar. Bu yapının sayısal bir ölçüsünü ortak bulunan ortamlarda elde etmek için mobil göz izleyicilerini nasıl kullanabileceğimizi göstereceğim.
Bu videoda Biz Tobii Pro Gözlük İki kullanarak olacak. Bu gözlükler, gerçek dünya ortamlarında göz hareketini yakalayabilen giyilebilir göz takip cihazlarıdır. Göz hareketlerini izlemek için çerçeveüzerinde özel kameralar ek olarak, cihaz da bir full-HD sahne kamera ve mikrofon ile donatılmıştır, böylece bakış davranışı takan görme alanı bağlamında görselleştirilmiş olabilir.
Bu gözlükler için bakışsaniyede 50 kez yakalanır ve gözlüklerden canlı video akışı kablosuz olarak veya ethernet kablosu üzerinden bilgisayara aktarılabilir. Onlar düzenli gözlük üzerinde çalışmaz gibi gözlük olsa da bir sınırlama var. Göz izleyicisini ayarlama yordamı nispeten basittir.
İlk olarak, katılımcılardan normal bir çift gözlük gibi göz izleme gözlüklerini takmaları istenecektir. Katılımcıların farklı yüz özelliklerine göre, veri kalitesini korumak için farklı yüksekliklerde burun parçaları nın kullanılması gerekebilir. Göz izleyicisini açtıktan sonra, katılımcılar dizginsiz vücut hareketlerine izin vermek için veri toplama birimini kişilerine kesmelidir.
Tobii Pro Glasses kumandası açılmalı ve katılımcılara, yazılımın kalibrasyon işlevi etkinken, Tobii tarafından sağlanan kalibrasyon işaretleyicisinin merkezine bakmaları talimatı verilmelidir. Kalibrasyon tamamlandıktan sonra, kayıt yazılımın içinden başlatılabilir. Kayıt oturumu tamamlandıktan sonra, katılımcıya göz izleme gözlüklerini ve veri toplama birimini kaldırması için talimat vermeden önce Tobii yazılımındaki kaydı sonlandırın.
Ve sonra, üniteyi kapatın. Veriler, SD kartı veri toplama biriminden çıkarArak ve kartı bilgisayara ekleyerek başka bir yazılım olan Tobii Pro Lab aracılığıyla elde edilebilir. Tobii Pro Lab, SD kartta depolanan tüm kayıt oturumlarını aynı anda içe aktarabiliyor.
Dosyalar daha sonra videolar, farklı görselleştirmeler oluşturmak için Tobii Pro Lab içinde işlenebilir veya daha fazla analiz için sekme ayrılmış değerler veya TSV dosyaları olarak çıktı. Burada, yakın zamanda yaptığımız ve iki katılımcının bir robotu programlamayı öğrendikleri bir çalışmadan elde ettiğimiz ham göz izleme verilerini görebilirsiniz. Her iki tarafta, katılımcının bakışlarının bulunduğu konuma sahip her göz izleyicisi tarafından oluşturulan video akışını görebilirsiniz.
Gördüğünüz gibi, aynı yere aynı anda bakıp bakmadıklarını söylemek imkansızdır, çünkü her katılımcının bakış açısı farklıdır. Ayrıca, veri kaydı farklı zamanlarda başlayabilir. Bu, verilerin zamansal ve mekansal olarak senkronize edilmesi gerektiği anlamına gelir.
Size bu videodaki iki sorunu nasıl ele alınacağını göstereceğim. İlk olarak, verileri geçici olarak senkronize etmek için bir prosedür açıklayacağım. İlk katılımcı için belirli sayıda video çerçevesi vardır.
Bazıları gerçek deneysel görevden önce veya sonradır. Deneycinin göz izleyicisini ayarladığı ilk kare gibi. Benzer şekilde, diğer katılımcılar için de aynı tür verilere sahipsiniz.
Burada gösterilmez, ancak videonun her karesi, her katılımcının bakışını temsil eden bir x ve y koordinatı ile de ilişkilidir. Verileri eşitlemek için, deneme görevinden önce ve sonra bilgisayar ekranında kısa bir süre için bir fiducial işaretçi gösteririz. Bir bilgisayar görme algoritması kullanarak, bu işaretçinin her katılımcıya ne zaman sunulduğunu algılayabiliriz, bu da verileri kırpmamızı ve hizalamamızı sağlar.
Yani, bu veri senkronizasyon sorunları ile başa çıkmanın bir yoludur. Sonraki bölümlerde, ikinci sayıya bakacağız: Verileri uzamsal olarak nasıl senkronize edeceğiz. Daha önce de belirtildiği gibi, veriler her katılımcının bakışlarının konumuyla ilişkili bir video akışı şeklinde her göz izleyicisinden geliyor, burada mavi ve yeşil.
X ve y-koordinatları her iki katılımcı için de aynı olsa da, ekrana iki farklı açıdan baktıkları için aynı yere baktıkları anlamına gelmez. Bu sorunu çözmenin bir yolu, bir referans görevi göreceksiniz deneysel kurulum bir görüntü oluşturmak için, ve nerede her katılımcının durumda konumunu yeniden eşlemek için gidiyoruz. Bu, katılımcıların aynı anda aynı yere bakıyorsa, göz izleme videosunun her karesini tespit etmemizi sağlar.
Ama bu koordinatları soldaki görüntüye nasıl yeniden eşebiliriz? Verileri daha önce senkronize etmemizi sağlayan aynı işbirliğine dayalı görme algoritmasını kullanacağız. Video kayıtlarının her karesi üzerine uygulayarak, artık katılımcıların bakış açısından fiducial işaretlerinin yerini tespit edebiliriz.
Bu, soldaki referans görüntüsündeki aynı işaretleri bağlamamızı sağlar. Bu paylaşılan nokta kümesinin koordinatlarını bilerek, homografi olarak bilinen matematiksel bir işlemi kullanarak her bir kişinin bakışlarının yerini çıkarabiliriz. Bu yordamı her kareye uygulayarak, homografinin çalıştığından emin olmak için bir video oluşturabiliriz.
Sağ tarafta, her katılımcının mavi ve yeşil bakışlarının bulunduğu video kaydını görebilirsiniz. Aynı fiducial işaretçiler, soldaki görüntü ile katılımcının sağ taraftaki bakış açısı arasında beyaz bir çizgiyle bağlanır. Remapped bakışları solda gösterilir ve bazı ortak görsel dikkat olduğunda kırmızı açın.
Bu videonun üretilmesi, verilerin temiz olduğundan ve homografinin doğru şekilde gerçekleştirildiğinden emin olmak için önemli bir adımdır. Ayrıca, verileri akıl sağlığı nı denetlemek için üretilebilen iki görseldaha vardır. İlk görselleştirme bir ısı haritasıdır.
Her katılımcı için, her bakış noktasını deneysel kurulumun görüntüsüne çizebiliriz. Bu, homografinin doğru şekilde işe yaramasını sağlar ve bu vaka noktalarını farklı ilgi alanlarına kategorize etmemizi sağlar. Burada, örneğin, çoğu zaman bilgisayar ekranına bakarak harcanan ve çok az zaman hile sayfaları bakarak harcanan görebilirsiniz.
İkinci görselleştirme çapraz yineleme grafiği olarak adlandırılır. Çapraz nüks grafikleri, katılımcı çifti için göz izleme verilerini görselleştirmemizi sağlar. İlk katılımcının zamanı x ekseninde, ikinci katılımcının zamanı y ekseninde görüntülenir.
Siyah kareler, her iki katılımcının da aynı yere baktığı, beyaz karenin eksik verileri temsil ettiği ve katılımcıların farklı konumlara baktığında gri kareyi temsil ettiği anlamına gelir. Diyagonal boyunca siyah kareler aynı anda aynı yere baktıkları anlamına gelir. Diyagonal kapalı siyah kareler katılımcıların aynı yere ama farklı zamanlarda bakıyor demektir.
Solda, ortak görsel dikkat yüksek düzeyde bir dyad görebilirsiniz. Ortada, ortak görsel dikkat düşük düzeyde bir dyad. Sağ tarafta, çok fazla veri eksik olan bir grup.
Bu akıl sağlığı denetimlerini gerçekleştirerek, verilerinizi doğru şekilde senkronize ettiğinizden ve verilerinizi deneysel kurulumun ortak bir görüntüsüne dönüştürttünüzü emin olabilirsiniz. Bu adımlar önemlidir ve herhangi bir çözümleme gerçekleşmeden önce gerçekleştirilmesi gerekir. Son olarak, ortak görsel dikkat bir ölçü hesaplama önce alınması gereken iki parametre vardır.
İlk parametre, katılımcıların aynı konuma bakabilecekleri zaman penceresidir. Richardson ve Dale'in önceki çalışmaları, katılımcıların eşlerinin ne yaptığına dikkat etmek için yaptıkları işten kopaklarını iki saniye kadar sürebileceğini ortaya çıkarmıştı. Böylece, iki katılımcının aynı yere artı ve eksi iki saniyelik pencere içinde bakmış olması durumunda ortak görsel dikkat olduğunu belirledik.
İkinci parametre, iki bakış noktası arasındaki minimum mesafedir. Bu mesafe içeriğe bağlıdır ve yönetilen göreve ve araştırma sorularına bağlı olarak araştırmacılar tarafından tanımlanması gerekir. Bazı görevleriçin mesafe kısa olabilir.
Örneğin burada 100 piksel kullandık. Diğer görevler için bu mesafe daha büyük olabilir. Sonra, bu metodoloji kullanılarak bulunan bazı sonuçlar sunmak için gidiyorum.
Gruptaki ortak görsel ilgi miktarı için bir tahmin aldıktan sonra, bu ölçüile diğer ilgi çekici değişkenlerle ilişkilendirebilirsiniz. Örneğin, çalışmalarında bu ölçünün, bir grup işbirliği kalitesini yakalayan öğrenme bilimlerine dönüşen derecelendirme şemasıyla ilişkilendirdik. Her grup için burada sunulan boyutların dokuzları bir puan atadı.
Örneğin, insanların karşılıklı anlayışı ne kadar iyi sürdürdükleri ya da ne kadar kolay bir uzlaşmaya vardıkları. Bu puanların başka bir kota ile kabul edilebilir inter güvenilirlik almak zorunda. Son olarak, bu puanları her grup için işbirliği kalitesini yaklaşık olarak gösteren genel bir metrik te bir araya getirebiliriz.
Çalışmalarımızda ve diğer çalışmalarda ortaya çıkan bir sonuç, daha önce sunulan derecelendirme şeması ile ölçülen ortak görsel ilginin işbirliği kalitesiyle önemli ölçüde ilişkili olduğudur. Bu kodlama şeması kullanılarak yüksek derecelendirilen gruplar, düşük puan alan gruplara göre daha fazla ortak görsel ilgi ye sahip olma eğilimindedir. Bu, üretken etkileşimlerin çoğu zaman daha fazla ortak görsel ilgi ile ilişkili olduğunu gösterir.
Bir sonraki slaytta size bu bulgu üzerine inşa başka bir sonuç göstermek için gidiyorum. Yani, ince göz izleme verilerine sahip olmanın bir avantajı da ortak görsel ilginin diğer ölçülerini çıkarabilmemizdir. Örneğin, ortak görsel dikkat teklifini kimin başlattığını ve yanıtlayıp yanıt verdilerini hesaplayabiliriz.
Özellikle, bu grafiğin x ekseninde sıfır puanı bu davranışların eşit dağılımı anlamına gelir ve bir puan bir kişinin her zaman yanıt verdiği veya görsel dikkat birleştirme anlarını başlattığı anlamına gelir. Bu çalışmada, ön ve sonrası testler ile ölçülen y ekseninde gösterilen öğrenme kazanımları ile ters bir korelasyon saptAdık. Aynı kişinin sürekli olarak ortak görsel dikkat anlarını başlattığı veya yanıt verdiği grupların öğrenme olasılığı daha düşüktü ve bu sorumluluğun eşit olarak paylaşıldığı grupların, ön testte puanları kontrol ederken testlerin ardından daha yüksek puan alma olasılıkları daha yüksekti.
Bu videoda araştırmacıların mobil göz izleme verilerini hem zamansal hem de mekansal olarak senkronize etmelerine yardımcı olan metodolojiyi sundum. Bulgular, çift göz izleme verilerinin ortak görsel dikkat inin ölçüm ölçütleri ile işbirliği göstergeleri sağlayabileceğini göstermektedir. Ayrıca, ortak görsel ilgi nin bir bölümünü kimin başlattığına veya yanıt verdiğine bakarak, örneğin, basit ortak ilgi ölçütlerinin ötesine geçebileceğimizi gösteren sonuçlar sundum.
Bu tedbirin öğrenme kazanımları gibi diğer sonuç önlemleriyle ilgili olduğunu bulduk. Göz izleme verileri olmadan bu tür bir tedbirin hesaplanması mümkün değildir. Özetle, bu videoda sunulan metodolojinin araştırmacıların işbirlikçi süreçler hakkında yeni bilgiler edinmelerine yardımcı olabileceğini bulduk.
Bu videoyu izlediğiniz için çok teşekkür ederiz ve daha fazla bilgi için kağıt başvurmak için çekinmeyin.
Tam transkripti görüntüleyin ve binlerce bilimsel videoya erişin
Genel Bakış
Bu çalışma, ortak bulunan ikili gruplarda ortak görsel dikkati nicel olarak ölçmek için mobil göz izleyicilerin kullanımını araştırmaktadır. Görsel dikkati yakalayarak, araştırmacılar eğitim ortamlarındaki sosyal etkileşimleri daha iyi anlayabilirler.
Çalışmanın Temel Bileşenleri
Bilim Alanı
- Sosyal Bilim
- Eğitim Psikolojisi
- Göz İzleme Teknolojisi
Arka Plan
- Ortak görsel dikkat, sosyal etkileşimleri anlamak için önemli bir yapıdır.
- Grup üyeleri arasındaki etkileşimlerin kalitesiyle bağlantılıdır.
- Geleneksel olarak, manuel video kodlama gibi niteliksel yöntemlerle çalışılmıştır.
- Mobil göz izleyiciler bu araştırmaya yeni bir nicel yaklaşım sunar.
Çalışmanın Amacı
- Ortak görsel dikkati yakalamanın metodolojisini göstermek.
- Eğitimsel bağlamlarda ortak anlayışın nasıl geliştiği hakkında içgörüler sağlamak.
- Gerçek zamanlı sosyal etkileşimlerin ölçümünü geliştirmek.
Kullanılan Yöntemler
- Görsel dikkati izlemek için mobil göz izleyicilerin kullanılması.
- Ortak bulunan kişiler arasındaki bakış kalıplarının analizi.
- Ortak görsel dikkatin nicel değerlendirilmesi.
- Bulguların geleneksel niteliksel yöntemlerle karşılaştırılması.
Ana Sonuçlar
- Mobil göz izleyiciler ortak görsel dikkati etkili bir şekilde yakalamaktadır.
- Bulgulara göre, ortak bakış ve etkileşim kalitesi arasında bir korelasyon vardır.
- Nicel veriler sosyal dinamikler hakkında daha zengin bir anlayış sağlamaktadır.
- Metodoloji çeşitli eğitim ortamlarına uygulanabilir.
Sonuçlar
- Mobil göz izleme, sosyal bilim araştırmaları için değerli bir araçtır.
- Ortak görsel dikkatin daha kesin ölçümüne izin verir.
- Bu yaklaşım, iş birliğine dayalı öğrenme hakkındaki anlayışımızı geliştirebilir.
Sıkça Sorulan Sorular
Executive Industry Relevance
Understanding collaborative dynamics in research teams is critical for optimizing discovery workflows and reducing mechanistic ambiguity in target validation. Quantitative measures of joint visual attention provide predictive insights into team-based problem-solving efficiency, supporting data-driven decisions in early-stage hypothesis interrogation and lead identification efforts.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables interrogation of therapeutic hypotheses through observable alignment of team focus during collaborative problem-solving tasks.
- Operational Value: Provides quantitative, time-synchronized data on shared attention patterns that can be correlated with decision quality in target selection processes.
Screening & Assay Development
- Scientific Value: Supports standardization of collaborative workflows by identifying gaze-based indicators of team engagement during compound evaluation or assay optimization sessions.
- Operational Value: Facilitates reproducibility of team-based screening efforts through objective measurement of attentional synchrony across experimental replicates.
Translational & Preclinical Research
- Scientific Value: Enhances mechanistic de-risking by linking team attentional dynamics to outcomes in preclinical model validation or biomarker alignment discussions.
- Operational Value: Enables risk-adjusted advancement decisions by correlating joint visual attention metrics with consensus-building efficiency in cross-functional project reviews.
Pipeline & Workflow Integration
The methodology integrates into discovery biology by providing quantifiable metrics of team coordination during hypothesis generation and pathway clarification stages, supporting early de-risking of target engagement strategies.
- Discovery Biology: Supports hypothesis testing through objective measurement of team visual alignment during collaborative target validation exercises.
- Screening: Enhances assay readiness by identifying attentional patterns associated with effective compound evaluation in team-based settings.
- Analytics: Generates time-series gaze data and cross-recurrence metrics that enable quantitative comparison of collaborative conditions.
- Translational Research: Connects to preclinical continuity by linking team attentional synchrony to decision quality in biomarker validation workflows.
- Enterprise Reuse: Establishes a reusable capability for assessing team dynamics across multiple discovery campaigns and therapeutic areas.
Operational & Enterprise Impact
- Scientific Value: Predictive confidence in team-based target validation through measurable reduction of collaborative ambiguity.
- Operational Value: Standardization and scalability of team interaction assessment across distributed research sites.
- Strategic Value: Improved go/no-go decisions via objective metrics of team alignment during critical discovery inflection points.
- Portfolio Impact: Risk-adjusted prioritization of projects based on quantifiable indicators of collaborative efficiency and shared understanding.
Implementation Considerations
- Requires expertise in experimental design for dyadic or group-based social interaction studies.
- Dependent on mobile eye-tracking hardware and computer vision software for spatial and temporal data synchronization.
- Necessitates cross-team standardization of fiducial marker use and time-window parameters for joint visual attention calculation.
- Involves adaptation considerations for applying the method across different experimental setups and research contexts.
- Includes practical limitations such as the need for controlled lighting conditions and unobstructed field of view for accurate gaze tracking.
