Göz İzleme Verileri ile Etkileşimli Sanal Nesnelerin Dönüşünün Üç Boyutlu Haritalanması

Summary

Etkileşimli uzamsal görevlerden nicel süreçsel verileri kaydetmek ve bu rotasyon verilerini göz izleme verileriyle eşleştirmek için basit, özelleştirilebilir ve verimli bir yöntem geliştirdik.

Abstract

Üç boyutlu (3D) sanal nesnelerle insan etkileşiminin gerçek zamanlı olarak kaydedilmesi için bir yöntem sunuyoruz. Yaklaşım, altta yatan bilişsel süreçler hakkında daha iyi çıkarımlar yapmak için manipüle edilen nesnenin dönüş verilerini göz izleme gibi davranışsal ölçümlerle ilişkilendirmekten oluşur.

Görev, bir bilgisayar ekranında sunulan aynı 3B nesnenin (bir molekül) iki özdeş modelini görüntülemekten oluşur: dönen, etkileşimli bir nesne (iObj) ve statik, bir hedef nesne (tObj). Katılımcılar, yönünün tObj'ninkiyle aynı olduğunu düşünene kadar fareyi kullanarak iObj'yi döndürmelidir. Bilgisayar, tüm etkileşim verilerini gerçek zamanlı olarak izler. Katılımcının bakış verileri de bir göz izleyici kullanılarak kaydedilir. Ölçüm frekansı bilgisayarda 10 Hz ve göz izleyicide 60 Hz'dir.

iObj'nin tObj'ye göre oryantasyon verileri, dönme kuaterniyonlarında kaydedilir. Bakış verileri iObj'nin oryantasyonuyla senkronize edilir ve aynı sistem kullanılarak referans alınır. Bu yöntem, iObj ve tObj ile insan etkileşim sürecinin aşağıdaki görselleştirmelerini elde etmemizi sağlar: (1) diğer zamana bağlı verilerle senkronize edilmiş açısal eşitsizlik; (2) "Dönme topu" olarak adlandırmaya karar verdiğimiz şeyin içindeki 3D dönme yörüngesi; (3) 3D sabitleme ısı haritası. Protokolün tüm adımlarında GNU Octave ve Jmol gibi özgür yazılımlar kullanılmıştır ve tüm komut dosyaları ek materyal olarak mevcuttur.

Bu yaklaşımla, yalnızca ulaşılan sonuçtan ziyade, zihinsel veya fiziksel rotasyonları içeren görev çözme sürecinin ayrıntılı nicel çalışmalarını yapabiliriz. 3D modellerin her bir parçasının görev çözmede katılımcı için ne kadar önemli olduğunu kesin olarak ölçmek ve böylece modelleri nesnelerin özellikleri, bireylerin bilişsel yetenekleri ve insan-makine arayüzünün özellikleri gibi ilgili değişkenlerle ilişkilendirmek mümkündür.

Introduction

Zihinsel rotasyon (MR), bireylerin nesneleri zihinsel olarak manipüle etmelerini ve döndürmelerini sağlayan, özelliklerinin ve mekansal ilişkilerinin daha iyi anlaşılmasını kolaylaştıran bilişsel bir yetenektir. 1890 gibi erken bir tarihte incelenen temel bir bilişsel grup olan görsel-uzamsal yeteneklerden biridir¹. Görsel-uzamsal yetenekler, hem kalıtsal hem de çevresel faktörlerden etkilenen bir bireyin bilişsel repertuarının önemli bir bileşenidir 2,3,4,5. Görsel-uzamsal yeteneklere olan ilgi, yaşlanma⁶ ve gelişim⁷, bilim, teknoloji, mühendislik ve matematikte performans (STEM)^8,9, yaratıcılık 10 ve evrimsel özellikler¹¹ gibi kilit konulardaki önemine dair artan kanıtlar nedeniyle yirminci yüzyıl boyunca artmıştır.

Çağdaş MR fikri, Shepard ve Metzler (SM) tarafından 1971'de yayınlanan öncü çalışmadan kaynaklanmaktadır¹². Bir dizi "aynı veya farklı" görev kullanarak kronometrik bir yöntem geliştirdiler ve yan yana görüntülenen soyut 3D nesnelerin iki projeksiyonunu sundular. Katılımcılar, nesneleri bir eksen üzerinde zihinsel olarak döndürmek ve bu projeksiyonların aynı nesneyi farklı şekilde mi yoksa farklı nesneleri mi tasvir ettiğine karar vermek zorunda kaldılar. Çalışma, tepki süresi (RT) ile aynı nesnenin temsilleri arasındaki açısal eşitsizlik (AD) arasında pozitif bir doğrusal korelasyon olduğunu ortaya koydu. Bu korelasyon, açı eşitsizliği etkisi (ADE) olarak bilinir. ADE, MR'nin davranışsal bir tezahürü olarak kabul edilir ve 13,14,15,16,17,18,19,20,21,22,23,24,25 alanındaki birçok etkili çalışmada her yerde bulunur. SM çalışmasında kullanılan 3D nesneler, Bell Laboratories^26'da bilgisayar grafiği öncüsü Michael Noll tarafından üretilen 10 bitişik küpten oluşuyordu. Bunlar SM figürleri olarak adlandırılır ve MR çalışmalarında yaygın olarak kullanılır.

Shepard ve Metzler'in ufuk açıcı çalışmalarında iki gelişme büyük önem taşıyordu; ilk olarak, MR değerlendirmeleri alanındaki katkıları göz önünde bulundurarak. 1978'de Vanderberg ve Kuze²⁷, zihinsel rotasyon testi (VKMRT) olarak bilinen SM "aynı veya farklı" rakamlara dayanan psikometrik 20 maddelik bir kalem ve kağıt testi geliştirdi. Her test öğesi bir hedef uyaran sunar. Katılımcılar, hangilerinin hedef uyaranda tasvir edilen aynı nesneyi temsil ettiği ve hangilerinin temsil etmediği dört uyaran arasından seçim yapmalıdır. VKMRT, MR yeteneği ile cinsiyete bağlı farklılıklar 6,21,24,28,29,30, yaşlanma ve gelişim ^6,31,32, akademik performans⁸ gibi diğer çeşitli faktörler arasındaki ilişkiyi araştırmak için kullanılmıştır.^,33 ve müzik ve spor becerileri³⁴. 1995 yılında, Peters ve ark. VKMRT^35,36 için yeniden çizilmiş rakamlarla bir çalışma yayınladılar. Benzer şekilde, "aynı veya farklı" görev tasarımını takiben, MR süreçlerini araştırmak ve MR yeteneklerini değerlendirmek için bilgisayar tarafından oluşturulan çeşitli başka uyaran kütüphaneleri kullanılmıştır (orijinal SM uyaranlarının 3D versiyonları 19,22,23,37,38, SM figürlerini taklit eden insan vücudu 25,39,40, 2D döndürme için düz çokgenler ^{41, 42}, anatomi ve organlar⁴³, organik şekiller⁴⁴, moleküller^45,46, diğerleri arasında²¹). Guay tarafından 1976^47'de önerilen Purdue Mekansal Görselleştirme Testi (PSVT) de önemlidir. MR (PSVT:R) dahil olmak üzere bir dizi test gerektirir. VKMRT'dekilerden farklı uyaranlar kullanan PSVT:R, katılımcıların bir model uyarandaki bir rotasyon işlemini tanımlamasını ve bunu zihinsel olarak farklı bir uyarana uygulamasını gerektirir. PSVT:R, özellikle STEM başarısında MR'nin rolünü araştıran çalışmalarda da yaygın olarak kullanılmaktadır 48,49,50.

Shepard ve Metzler'in ufuk açıcı çalışmasında büyük önem taşıyan ikinci ilerleme, özellikle göz izleme cihazlarının kullanımıyla MR sürecinin anlaşılmasına yapılan katkıları içermektedir. 1976'da Just ve Carpenter¹⁴, Shepard ve Metzler'in ADE deneyine dayanan bir çalışma yürütmek için analog video tabanlı göz izleme ekipmanı kullandılar. Sakkadik göz hareketleri ve RT'ler hakkındaki sonuçlarından, üç aşamadan oluşan bir MR süreçleri modeli önerdiler: 1) şekillerin benzer kısımlarının tanındığı arama aşaması; 2) tanımlanan parçalardan birinin zihinsel olarak döndürüldüğü dönüşüm ve karşılaştırma aşaması; 3) Rakamların aynı olup olmadığına karar verilen onay aşaması. Aşamalar, bir karar verilene kadar tekrar tekrar tekrarlanır. Her adım, gözlenen ADE'lerle yakın ilişki içinde spesifik sakkadik ve fiksasyonel göz hareketi modellerine karşılık gelir. Böylece, göz aktivitesini kronometrik verilerle ilişkilendirerek, Just ve Carpenter, MR süreçlerinin incelenmesi için bilişsel bir imza sağladılar. Bugüne kadar, bu model, uyarlamalarla birlikte, çeşitli çalışmalarda benimsenmiştir 15,42,46,51,52,53.

Bu yolu takiben, davranışsal 18,19,22,23,25,34,40,54,55 ve beyin aktivitesi 20,22,56,57'yi izleyen birkaç çalışma devam ediyor Uyaran rotasyonu sırasındaki fonksiyonlar gerçekleştirildi. Bulguları, MR ve motor süreçler arasında işbirlikçi bir role işaret etmektedir. Ayrıca, bireysel farklılıklarla ilgili olarak MR'yi içeren problem çözme stratejilerinin araştırılmasına artan bir ilgi vardır 15,41,46,51,58.

Genel olarak, MR süreçlerini anlamayı amaçlayan çalışmaların tasarımının, katılımcılardan bir MR işlemi gerçekleştirmelerini isteyen ve dolayısıyla bir motor reaksiyon gerektiren görsel uyaranlarla bir görev sunmaya dayandığı düşünülebilir. Bu reaksiyon uyaranların dönmesine izin veriyorsa, genellikle fiziksel rotasyon (PR) olarak adlandırılır. Her çalışmanın özel amaçlarına bağlı olarak, MR ve PR'nin veri toplama ve analizi için farklı stratejiler ve cihazlar kullanılmıştır. Görev uyaranı sunum adımında, uyaran türlerini değiştirmek mümkündür (yani, daha önce alıntılanan örnekler); projeksiyon (geleneksel ekranlarda 22,23,25,29,40,41,59 ve ayrıca stereoskop¹⁹ ve sanal⁶⁰ ve karma ⁴³ gerçeklik ortamlarında bilgisayar tarafından oluşturulan görüntüler); ve uyaranların etkileşimi (statik görüntüler 12,27,36, animasyonlar ⁶¹ ve etkileşimli sanal nesneler 19,22,23,43,53,59).

MR genellikle RT'lerin (ADE) yanı sıra oküler ve beyin aktivitesi^{ölçümlerinden çıkarılır} 25,46,62. Oküler aktivite, sakkadik hareketler ve fiksasyonlar 14,15,42,51,52,54,58,60 ve ayrıca pupillometri ^40'tan oluşan göz izleme verileri kullanılarak ölçülür. RT verileri tipik olarak, kollar¹³, düğmeler ve anahtarlar ^14,53, pedallar⁵³, döner düğmeler¹⁹, joystickler³⁷, klavye⁶¹ ve fare 29,58,60, tahrik tekerlekleri⁵³, atalet sensörleri^22,23, dokunmatik ekranlar^52,59 gibi çeşitli cihazları çalıştırırken kaydedilen motor tepki verilerinden kaynaklanırve mikrofonlar²². PR'yi ölçmek için, RT'lere ek olarak, çalışma tasarımı, katılımcılar MR görevini ^22,23,52,53 gerçekleştirirken etkileşimli uyaranların manuel rotasyonlarının kaydedilmesini de içerecektir.

1998'de Wohlschläger ve Wohlschläger¹⁹ , bir düğme ile manipüle edilen etkileşimli sanal SM uyaranlarıyla "aynı veya farklı" görevleri kullandılar ve dönüşler görev başına bir eksenle sınırlıydı. RT'yi ve görevler sırasında gerçekleştirilen fiziksel rotasyonların kümülatif kaydını ölçtüler. Etkileşimli uyaranların gerçek rotasyonu olan ve olmayan durumları karşılaştırarak, MR ve PR'nin hem hayal edilen hem de gerçekte gerçekleştirilen rotasyonlar için ortak bir süreci paylaştığı sonucuna vardılar.

2014 yılında, sanal etkileşimli uyaranlarla aynı tür görevlerin kullanıldığı iki çalışma yapılmıştır^22,23. Bununla birlikte, nesneler, 3B uzayda hareketi yakalayan atalet sensörleri ile manipüle edildi. Her iki durumda da, RT'lere ek olarak, rotasyon yörüngeleri kaydedildi - görevler sırasında referans ve etkileşimli uyaranlar arasındaki rotasyon farklılıklarının evrimi. Bu yörüngelerden, hem kümülatif bilgileri (yani, kuaterniyonik birimlerde toplam dönme sayısı) hem de çözüm stratejileri hakkında ayrıntılı bilgi elde etmek mümkün oldu. Adams ve ^ark.23 MR ve PR arasındaki işbirlikçi etkiyi incelemiştir. RT'lere ek olarak, dönme yörüngelerinin integralini çözünürlüğün doğruluğu ve nesnelliği parametresi olarak kullandılar. Eğri profilleri, üç aşamalı bir model^63'e (planlama, ana rotasyon, ince ayar) göre yorumlandı. Sonuçlar, MR ve PR'nin mutlaka tek ve ortak bir faktöre sahip olmadığını göstermektedir. Gardony ve ^ark.22, RT, doğruluk ve gerçek zamanlı rotasyon hakkında veri topladı. MR ve PR arasındaki ilişkiyi doğrulamanın yanı sıra, rotasyon yörüngelerinin analizi, katılımcıların farklı olup olmadıklarını belirleyene kadar rakamları manipüle ettiklerini ortaya koydu. Aynı olsalardı, katılımcılar aynı görünene kadar onları döndürürlerdi.

Bu stratejiyi sürdüren Wetzel ve Bertel⁵² , 2018'de arayüz olarak dokunmatik ekranlı tabletleri kullanarak "aynı veya farklı" görevlerde etkileşimli SM figürleri de kullandılar. Ek olarak, MR görevlerinin çözümünde yer alan bilişsel yükün parametreleri olarak fiksasyon süresi ve sakkadik genlik hakkında kümülatif veriler elde etmek için bir göz izleme cihazı kullandılar. Yazarlar, MR ve PR arasındaki ilişkiler ve görev çözme süreçleri ile ilgili olarak yukarıda tartışılan önceki çalışmaları doğruladılar. Ancak bu çalışmada uyaranlar için fiksasyon haritalama ve sakkad verilerini kullanmamışlardır.

Sanal 3B nesneler üzerinde göz izleme verilerinin haritalandırılması için metodolojik yaklaşımlar, genellikle sanal ortamlarda görsel dikkat ile ilgili faktörleri incelemekle ilgilenen araştırmacılar tarafından önerilmiş ve sürekli olarak geliştirilmiştir⁶⁴. Uygun fiyatlı olmasına ve benzer göz izleme cihazları kullanmasına rağmen, görünüşe göre, bu yöntemler, daha önce bahsedilenler gibi etkileşimli 3D nesnelerle zihinsel rotasyon çalışmalarında kullanılan deneysel repertuara etkili bir şekilde entegre edilmemiştir. Buna karşılık, literatürde etkileşimli 3D nesneler üzerinde fiksasyon ve sakkad hareket verilerinin gerçek zamanlı haritalanmasını bildiren herhangi bir çalışma bulamadık. Göz aktivitesi verilerini rotasyon yörüngeleriyle kolayca entegre etmek için uygun bir yöntem yok gibi görünüyor. Bu araştırmada bu boşluğun doldurulmasına katkıda bulunmayı amaçlıyoruz. Prosedür, veri toplamadan grafiksel çıktı oluşturmaya kadar ayrıntılı olarak sunulmaktadır.

Bu yazıda, sanal etkileşimli 3B nesnelerle zihinsel rotasyon süreçlerini incelemek için bir yöntemi ayrıntılı olarak açıklıyoruz. Aşağıdaki gelişmeler vurgulanmıştır. İlk olarak, 3D sanal modellerle etkileşim oturumları sırasında kantitatif davranışsal motor (bir bilgisayar arayüzü aracılığıyla elle yönlendirilen nesne döndürme) ve oküler (göz izleme) veri toplamayı entegre eder. İkincisi, görsel görev tasarımı, veri toplama, kaydetme ve işleme için yalnızca geleneksel bilgisayar ekipmanı ve göz izleme cihazları gerektirir. Üçüncüsü, veri analizini kolaylaştırmak için kolayca grafiksel çıktı üretir - açısal eşitsizlik, fiziksel rotasyon, kuaterniyonik rotasyon yörüngeleri ve 3D sanal nesneler üzerinden göz izleme verilerinin isabet haritalaması. Son olarak, yöntem yalnızca özgür yazılım gerektirir. Geliştirilen tüm kod ve komut dosyaları ücretsiz olarak sunulmaktadır (https://github.com/rodrigocnstest/rodrigocnstest.github.io).

Protocol

1. Veri toplama araçlarının hazırlanması

1. Çevrimiçi veri toplamayı ayarlayın (isteğe bağlı).
   NOT: Bu adım, proje kodunun ve çalışan web sayfasının özelleştirilebilir bir klonunun nasıl kurulacağını açıklar (bkz. Ek Dosya 1). Bu adım, https://pages.github.com/ ve https://github.com/jamiewilson/form-to-google-sheets'da bulunan eğitimlerden uyarlanmıştır. Kullanıcılar, veri kaydıyla değil de yalnızca veri işleme yöntemiyle ilgileniyorlarsa, aşağıdakilerle birlikte web sayfasını https://rodrigocnstest.github.io/iRT_JoVE.html kullanabilirler:Ek Tablo S1 ve depo dosyalarını https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave ve 1.1, 1.2 adımlarını ve alt adımlarını atlayın.
   1. GitHub'da (https://github.com/) oturum açın.
   2. Özgün GitHub sayfaları deposunun genel bir kopyasını oluşturun.
      1. Hesapta oturum açmış durumdayken https://github.com'ten depoyu içe aktar'a tıklayın.
      2. Eski deponuzun klon URL'si alanına, URL'yi https://github.com/rodrigocns/rodrigocns_JoVE Depo adı alanına yapıştırın, kullanıcı adının hesapta kullanılan kullanıcı adı olduğu username.github.io yazın ve Genel seçeneğinin etkinleştirildiğinden emin olun. Ardından, yeşil düğmeye tıklayın İçe aktarmaya başla.
         NOT: Depo artık bu kurulumun geri kalanı için gereken dosyaların çoğunu içermektedir ve depoda yapılan herhangi bir değişiklik birkaç dakika sonra web sitesinde güncellenecektir. Örnek olarak, rodrigocnstest adlı kullanıcı https://rodrigocnstest.github.io'da kendi sayfasına ve https://github.com/rodrigocnstest/rodrigocnstest.github.io'da GitHub deposuna erişir.
   3. Deneme verilerini çevrimiçi olarak depolamak için bir bulut e-tablosu oluşturun.
      1. Kaydolun veya bir Google hesabında oturum açın.
      2. Hesapta oturum açmış durumdayken, şu adreste bulunan iRT elektronik tabloları temiz dosyasına gidin https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
         Ops1wZrXI/edit?usp=sharing.
      3. Bu e-tablonun içinde, Dosya | Bir kopya oluşturun. Küçük bir onay penceresi görünecektir.
      4. Küçük pencerenin içinde dosyaya bir ad verin ve Kopyasını oluştur düğmesine tıklayın.
   4. Oluşturduğunuz e-tablonun içindeki veri depolamayı otomatikleştirmek için bir Google Apps Komut Dosyası oluşturun.
      1. Elektronik tablo dosyasının içindeyken, seçeneğe tıklayın Uzantı | Uygulamalar Komut Dosyası.
         NOT: Bu komut dosyasının, kendisiyle ilişkilendirilebilmesi için elektronik tablonun içinden oluşturulması veya bu komut dosyasına erişilmesi gerekir. Harici olarak bir komut dosyası oluşturmaya çalışmak işe yaramayabilir.
      2. Komut dosyasını ilk kez çalıştırmak için Çalıştır düğmesine tıklayın.
      3. İzinleri gözden geçir düğmesine tıklayın. Yeni bir pencere açılacaktır. E-tabloyu oluştururken kullanılan aynı hesaba tıklayın.
         NOT: Bu adım ilk kez gerçekleştiriliyorsa, hesaptaki bilgilere erişim isteyen uygulama hakkında kullanıcıyı uyaran bir güvenlik uyarısı görünebilir. Uygulama, elektronik tablo içeriğine ulaşmaya çalıştığı ve onu verilerle doldurmak için izin istediği için güvenlidir. Herhangi bir uyarı görüntülenmezse, adım 1.1.4.4 atlanabilir.
      4. Tıklayın Gelişmiş | iRT'den sayfalara (güvenli olmayan) bölümüne gidin | İzin Ver düğmesi.
         NOT: Yürütmeden sonra, yürütmenin tamamlandığını belirten bir bildirim, yürütme günlüğünün içinde görünmelidir.
      5. Sol kayan panelde, Tetikleyiciler düğmesine tıklayın (yukarıdan aşağıya dördüncü simge) | + Tetik Ekle düğmesi.
      6. Hangi işlevin çalıştırılacağını seçin altında, doPost'u seçin; Olay kaynağını seç altında, Elektronik tablodan'ı seçin; Etkinlik türünü seçin altında, Form gönderiminde'yi seçin. Ardından, Kaydet'i tıklayın. Herhangi bir izin açılır penceresi görünürse, 1.1.4.3-1.1.4.4 adımlarını izleyin. Tarayıcı açılır pencereyi engellerse, engellemesini kaldırın.
      7. Dağıt açılır düğmesine tıklayın | Yeni dağıtım.
      8. Fareyi dişli simgesinin üzerine getirin ve Web Uygulaması seçeneğinin seçili olduğundan emin olun.
      9. Yeni açıklama alanına Dağıtım 1 gibi bir açıklama yazın; Erişimi olan kişiler alanında, Herkes'i seçin ve ardından Dağıt düğmesine tıklayın.
         NOT: Yeni açıklama alanının amacı, kişinin komut dosyası dağıtımlarını düzenlemektir. İlk dağıtım gibi okuyucunun istediği şekilde adlandırılabilir. Farklı yürüt alanı zaten Ben (e-posta) olarak görünmelidir, burada e-posta şimdiye kadar kullanılan e-postadır.
      10. Yeni açılır pencerenin içinde, betik dağıtımının Web uygulaması URL'sini kopyalayın.
          NOT: Herhangi bir nedenle kopyalanan Web uygulaması URL'sini kaybederseniz, Dağıt açılır menüsüne tıklayarak geri alın | Dağıtımları yönetin. Web uygulaması URL'si orada olmalıdır.
      11. GitHub'da kullanılan kullanıcı adının rodrigocnstest olduğu https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js adresindeki sayfaya gidin. Adım 1.1.4.10'da kopyalanan Web uygulaması URL'si için 5. satırdaki mevcut URL'yi değiştirin ve yeşil düğmeye tıklayın Değişiklikleri uygula....
          NOT: Kopyalanan URL değeri tek ' ' veya çift " "' tırnak işaretleri arasında kalmalıdır. Kopyalanan URL'nin Web uygulamasından doğru URL olup olmadığını bir kez daha kontrol edin.
      12. Son olarak, ekranın ortasındaki Commit changes onay düğmesine tıklayın.
   5. İşlemin doğru bir şekilde tamamlandığından ve sayfanın çalıştığından emin olun.
      1. Kullanıcı adının GitHub'da kullanılan kullanıcı adı olduğu https://github.com/username/username.github.io/'daki depoya gidin ve adım 1.4.14'te yapılan değişikliklerden sonra dağıtımın güncelleştirilip güncelleştirilmediğini denetleyin.
      2. https://username.github.io/iRT_JoVE adresindeki web sayfasına gidin, kullanıcı adını GitHub'da kullanılan kullanıcı adıyla değiştirin ve ardından İleri'ye tıklayın.
      3. Git'e tıklayın, sağdaki nesneye fare ile tıklayıp sürükleyerek herhangi bir etkileşim yapın ve ardından BİTTİ! düğmesine tıklayın.
      4. Adım 1.1.3 ve 1.1.4'te yapılandırılan elektronik tablo dosyasına geri dönün ve BİTTİ düğmesine her basıldığında yeni eklenen bir veri satırının varlığını doğrulayın.
2. Çevrimdışı veri alımını ayarlayın (isteğe bağlı).
   NOT: Etkileşimli döndürme görevinin (iRT) verilerini çalıştırmak ve almak için tasarlanan yöntem, yukarıda açıklanan adımlarda yapılandırılan bulut hizmetleri aracılığıyla çevrimiçidir. İstenirse (internet bağlantısı bir sorun olabileceğinden veya onu çalıştırmanın alternatif bir yoluna sahip olabileceğinden), testi testin yürütüleceği yerde internet bağlantısı olsun veya olmasın yerel olarak çalıştırmak da mümkündür. Aşağıdaki adımlar isteğe bağlı bir alternatiftir ve bunun nasıl başarılacağını açıklar. Aksi takdirde, adım 1.3'e atlayın.
   1. GitHub deposuna şu bağlantıdan erişin: https://github.com/rodrigocnstest/rodrigocnstest.github.io. Yeşil düğmeye tıklayın < > Kodu | ZIP dosyasını indirin ve ardından indirilen dosyaları açın.
      NOT: Yerel olarak depolanan dosyalarda yapılan değişiklikler, depodaki dosyaları değiştirmez ve bunun tersi de geçerlidir. Her iki sürüm için de amaçlanan tüm değişiklikler, güncelleştirilmiş dosyaları el ile kopyalayarak veya git/GitHub masaüstü kullanılarak her iki konuma da uygulanmalıdır.
   2. Mozilla Firefox'un en son sürümünü şu bağlantıdan edinin: https://www.mozilla.org/en-US/firefox/new/.
   3. Mozilla Firefox tarayıcısını açın, URL yuvasına "about:config" yazın, arama alanına "security.fileuri.strict_origin_policy" yazın ve değerini false olarak değiştirin. NOT: Şimdi, Windows işletim sistemindeki Mozilla Firefox, bilgisayarınıza indirilen web sayfası dosyalarına yerel olarak erişebilmelidir. Diğer tarayıcılar ve işletim sistemleri, her birinin kurulumu http://wiki.jmol.org/index.php/Troubleshooting/Local_Files bağlantıda açıklanan şekilde yerel olarak çalışacak şekilde yapılandırılabilir.
3. Veri işleme aracını ayarlayın.
   1. GNU Octave'ın en son sürümünü https://octave.org/download'den indirin ve yükleyin.
4. Göz izleme cihazını kurun.
   1. Kayıt sistemi yazılımının dizüstü bilgisayarda yüklü olduğundan emin olun.
   2. Dikkatinizin dağılmasını önlemek için araştırma odasının temiz ve iyi organize edildiğinden emin olun.
   3. Gün boyunca tutarlı aydınlatmayı korumak için odada yapay aydınlatma kullanın.
   4. Bilgisayarı bir masanın üzerine kurun ve katılımcının fareyi rahatça hareket ettirebildiğinden emin olun.
   5. Test sırasında hareketi en aza indirmek için katılımcı için rahat bir sandalye, tercihen sabit bir sandalye sağlayın.
   6. Kızılötesi aydınlatmaya güç sağlamak için bir USB kablosunu ve dizüstü bilgisayar/bilgisayar ile kamera için göz izleyici arasına başka bir USB kablosu bağlayın.
   7. Göz izleyiciyi ekranın altına yerleştirin.

2. Veri toplama

1. Veri toplama yazılımını başlatın.
   1. Göz izleyiciden veri almak için bilgisayardaki göz izleme yazılımını çalıştırın.
   2. Deney sırasında bakışı yakalamak için yazılımın ana penceresinde Ekran Yakalama seçeneğini seçin (bu yazılımı ısı haritası görselleştirmesi ve ham dışa aktarma verileri için kullanmak da mümkündür).
   3. Verilerin kaydedilmesi gereken yeni bir proje ve proje klasörü oluşturmak için Yeni Proje'ye tıklayın.
   4. Örnek olarak sunulanı veya adım 1.1'de oluşturulan sayfayı kullanıyorsanız https://rodrigocnstest.github.io/iRT_JoVE.html test sayfasını açın. Alternatif olarak, iRT_JoVE.html dosyasını adım 1.2'de önceden yapılandırılmış tarayıcıdan yerel olarak açın.
   5. Gerekirse, veri tanımlamaya yardımcı olmak için ad ve e-posta alanlarını doldurun ve üretilen verilerin yedek bir kopyasını indirmek için kutuyu işaretleyin.
      NOT: Çevrimdışı yöntemi kullanıyorsanız (adım 1.2), yedek kopyaları indirmeniz önerilir.
   6. Tarayıcının öğeleri doğru şekilde yükleyeceğinden ve sunulan görevler veya veri toplama ile ilgili herhangi bir sorun olmadığından emin olmak için denemeyi bir kez çalıştırmayı deneyin.
2. Denemeyi çalıştırın.
   1. Katılımcıya deneyin amacını, kullanılan teknolojiyi ve dahil etme/dışlama kriterlerini açıklayın. Katılımcının her şeyi anladığından emin olun. Katılımcının Onay formunu doldurmasını sağlayın.
   2. Katılımcıdan Göz İzleme Sisteminin önüne oturmasını ve mümkün olduğunca rahat etmesini isteyin.
   3. Katılımcı ile kamera arasında en uygun mesafeyi sağlamak için sandalyeyi hareket ettirin (ideal uzunluk, göz izleyiciden katılımcının gözlerine kadar olan mesafe 65 cm'dir).
   4. Katılımcıdan deney sırasında mümkün olduğunca hareketsiz kalmasını isteyin. Katılımcının göz bebeklerini doğru bir şekilde yakalamak için kameranın yüksekliğini ayarlayın (bazı yazılımlar Kornea Yansımasını göstermek için göz bebeğini vurgular).
   5. Öğrenciler bulunana kadar kamera kazancını değiştirerek öğrenci takibini optimize etmek için Otomatik Kazancı Etkinleştir'e tıklayın (bazı yazılımlarda bu seçenek yoktur).
   6. Katılımcıdan ekrandaki bir dizi noktaya bakmasını ve başını hareket ettirmeden noktanın hareketini takip etmesini isteyin.
   7. Kalibrasyonu başlatmak için Kalibre Et'e tıklayın (bu, göz izleyicinin katılımcının ekranda nereye baktığını takip edebilmesini sağlayacaktır).
      NOT: Ekran kararacak ve bir kalibrasyon işareti (nokta) ekranda beş konum boyunca hareket edecektir.
   8. Kalibrasyondan sonra, kalibrasyon doğruluğunu kontrol etmek için ekranda görsel bir bakış noktası tahmini çizilecektir. Bakışın doğru şekilde görüntülenip görüntülenmeyeceğini görmek için katılımcıdan ekrandaki belirli bir noktaya bakmasını isteyin.
   9. Kalibrasyon tatmin edici değilse, kamerayı ayarlayın ve sistem bakışları uygun şekilde izleyene kadar kalibrasyonu tekrar deneyin.
   10. Veri toplama modunu etkinleştirmek için Göz izleme yazılımının (ana menü) sağ tarafındaki Veri Topla düğmesine tıklayın. Yakalanan ekranın gerçek zamanlı görüntüsü, birincil ekran penceresinde gösterilen bakış verileriyle birlikte sunulacaktır.
   11. Göz izleyici tarafından yakalanan kullanıcının yüzünü görüntülemek için ana menüdeki Gaze video düğmesine tıklayın. Ardından, deneye başlamak için Kaydı başlat'a tıklayın.
       NOT: Deney sırasında, katılımcının göz bebeği vurgulanır ve gözleri dizüstü bilgisayar ekranında hareket eden bir nokta olarak görüntülenir. Göz izleyicinin göz bebeğini ve gözü ekran boyunca takip ettiğinden emin olun.
   12. Nokta sık sık kayboluyor veya titriyorsa, deneyi durdurun ve yeniden kalibre etmeyi deneyin.
   13. Daha önce açılan iRT'nin penceresini açın ve katılımcıya İleri'yi tıklamasını söyleyin.
   14. Katılımcıya aşağıdaki talimatları verin: "Bu bölümde üç rotasyon görevi gerçekleştireceksiniz. GO'ya tıkladığınızda! düğmesine bastığınızda, ekranın zıt taraflarında iki nesne görünecektir. Amacınız, sağdaki nesneyi, soldaki nesneyle olabildiğince yakından eşleşene kadar döndürmektir. Nesneyi döndürmek için, farenizi üzerine tıklayın ve sürükleyin. Üç görevin her birini tamamladığınızda, BİTTİ! sonuçlandırmak için düğmesine basın."
       NOT: Her görev için, 5 dakika işaretini (tam olarak 327^{. saniye)} aşan herhangi bir iRT verisi kaybolabilir. Yöntemi daha da geliştirdikçe, bu sınır genişletilmelidir.
   15. Deneyin sonunda, göz izleyicinin uzatma kablosundan kapalı olduğundan emin olun ve lens kapağını fotoğraf makinesine geri takın.
3. Verileri ayıklayın.
   1. Göz izleyici veri toplama işlemi tamamlandıktan sonra, toplanan verilere erişmek için Verileri Analiz Et'e tıklayın.
   2. Kullanıcı için kaydedilen tüm verileri içeren bir .csv dosyasını dışa aktarın.
      NOT: Göz izleyici verilerinin ilk sütunu, verilerin UNIX dönemi olmalıdır, çünkü farklı veri kümelerini zaman içinde doğru bir şekilde eşleştirmenin tek yolu budur. Dosya bir tane içermiyorsa, kullanılan diğer herhangi bir zaman standardından dönüştürülmelidir. Dosya ".csv" veya ".xlsx" biçiminde olabilir.
   3. Etkileşimli rotasyon görevleri sayfasının çevrimiçi sürümünü kullanıyorsanız (adım 1.1), çevrimiçi verileri almak için kullanılan Google E-Tablolar dosyasını açın (adım 1.1.3'te oluşturulan) ve Dosya | İndir | Microsoft Excel (.xlsx).
      NOT: Bu veriler, veri aktarımını kolaylaştırmak için paketlenmiştir (her görev, verilerle dolu bir satıra karşılık gelir). İçerideki verileri işlemek için, paketlenmiş verilerin her satırının önce "paketinden çıkarılması" gerekir.

3. Veri işleme ve analizi

1. Verileri paketinden çıkarın, birleştirin ve işleyin.
   NOT: Aşağıdaki adımlarda, sağlanan komut dosyaları kullanılarak verilerin nasıl işleneceği açıklanmaktadır (Ek Dosya 2'ye bakın). GNU Octave komut dosyaları, kullanıcı girdilerinden dosyaları hakkında bilgi isteyecektir. Girişler boş olarak gönderilirse, bunun yerine hiçbir kullanıcı verisinin üzerine yazılmamışsa sağlanan örnek verilere başvuran varsayılan değerler kullanılır. Komut dosyasının çalışması tamamlandıktan sonra kapatılabilir.
   1. Henüz indirilmemişse, kullanılan depoyu (kullanıcının kendi deposu veya https://github.com/rodrigocns/rodrigocns_JoVE orijinali) indirin ve açın.
   2. 1.unpacking_sheets.m, 2.data_merge_and_process.m 3.3D rotational trajectory.m komut dosyalarının ve klasör modellerinin Octave klasöründeki indirilen deponun içinde olduğundan emin olun ve 2.3.2 ve 2.3.3 adımlarından indirilen veri dosyalarını oktav komut dosyalarının bulunduğu bu klasöre taşıyın.
      NOT: Klasörde bulunan ve yeni yazılan dosyalarla aynı adlara sahip mevcut dosyaların üzerine yazılabilir. Dosyaları uygun şekilde yeniden adlandırın veya başka bir klasöre taşıyın.
   3. Komut dosyasını GNU Octave Launcher ile 1.unpacking_sheets.m açın. Düzenleyici sekmesinde, verileri daha okunabilir bir yapıya açmak için yeşil Dosyayı kaydet ve çalıştır düğmesine tıklayarak komut dosyasını çalıştırın.
      NOT: İstenen veri dosyalarından herhangi biri yerel olarak açıksa, komut dosyasını çalıştırmadan önce bunları kapatmayı unutmayın. Tüm .m komut dosyaları GNU Octave Launcher kullanılarak yürütüldü.
   4. Birbiri ardına iki istem görünecektir. İndirilen dosyanın adını ilk istemin içine ve paketlenmemiş dosyanın adını ikinci alanın içine girin. Alternatif olarak, dahil edilen örnek dosyalara yönelik varsayılan adları kullanmak için her iki istem alanını da boş bırakın. Kullanıcıya işlemin tamamlandığını ve yeni dosyanın yazıldığını bildiren bir açılır pencere için (veri hacmine bağlı olarak) birkaç dakika bekleyin.
   5. Hem göz izleyiciden hem de iRT'den gelen verileri birleştirmek için 2.data_merge_and_process.m komut dosyasını açın ve çalıştırın.
      NOT: Bu komut dosyası karmaşık olmasına ve yüzlerce kod satırını kapsamasına rağmen, üç ana bölüme ayrılmıştır: ayarlar, işlevler ve komut dosyaları. Hepsi kapsamlı bir şekilde yorumlanır ve açıklanır, gerekirse gelecekteki değişiklikleri kolaylaştırır.
   6. Dört istem görünecektir. sessionID değerini, taskID değerini (her ikisi de iRT veri tablosundan), paketlenmemiş iRT veri dosya adını (adım 3.1.5'te yazılmıştır) ve göz izleyici veri dosya adını (adım 2.3.2'de dışa aktarılmıştır) girin veya varsayılan değerleri kullanmak için tümünü boş bırakın.
      NOT: Birkaç dakika sonra, bir yardım açılır penceresi, komut dosyasının hesaplamayı tamamladığını ve kullanılan ve oluşturulan dosyaların adlarını gösterecektir. Senaryo işlemi sırasında açısal eşitsizliğin üç örnek çizimi görünecektir: basit bir çizim, renkli bakış verilerine sahip bir çizim ve göz bebeği çapı verilerine sahip bir çizim. Oluşturulan iki dosya, her ikisi de adım 3.1.6'nın başında yazılan X Y.xlsx çıktı birleştirme ve çıkış jmol konsolu X Y.xlsx'dir, burada X sessionID değeridir ve Y , taskID değeridir.
2. 3B döndürme yörüngesi görüntülerini oluşturun.
   1. Komut dosyasını 3.3D döndürme yörüngesini açın ve çalıştırın.
   2. Üç istem görünecektir. sessionID değerini, taskID değerini ve paketlenmemiş iRT veri dosya adını girin veya varsayılan değerleri kullanmak için boş bırakın.
      NOT: Bir 3D grafik görünecektir. Oluşturulan grafik, belirtilen oturumun ve görevin 3B döndürme yörüngesidir.
3. Animasyonları yeniden oynatın.
   1. Katılımcının görev etkileşimini yeniden oynatmak için önce etkileşimli görev web sayfasına gidin, testi başlatın (her iki 3B modeli de göstererek), fare işaretçisini Ek Dosya 2'de gösterildiği gibi fare simgesi metne dönüşene kadar ekranın sağ üst köşesinde hareket ettirin ve ardından hata ayıklama modunu etkinleştirerek görünmez Hata Ayıklama metnine tıklayın.
   2. Modeller arasında karşınıza çıkan butonlardan timerStop butonuna tıklayarak görevi yarıda kesiniz ve konsol butonuna tıklayarak sağ tarafta bulunan modelin JSmol konsolunu açınız. İlgilenilen etkileşimden elde edilen görev ilk görev değilse, ekranda gösterilen görevi değiştirmek için üst hata ayıklama alanındaki numaralı düğmelere tıklayın.
      NOT: JSmol, web sayfasında kullanılan moleküler modelleme yazılımıdır.
   3. Jmol console.xlsx çıktı dosyasını açın ve Jmol komutlarının tüm sayfasını kopyalayın.
      NOT: Her sayfa farklı bir sahne veya animasyon için komutlar içerir.
   4. JSmol konsolunun içinde, kopyalanan komutların listesini yapıştırın ve yürütmek için Çalıştır düğmesine tıklayın veya klavyede Enter tuşuna basın.
   5. İsterseniz .gif bir animasyon oluşturun. Dosya adı, oluşturulacak .gif dosyasının adı ve çıktı, her ikisini de çift tırnak işaretleri içinde tutarak, adım 3.3.3'te kopyalanan komutların tam listesi olan JSmol konsolunun içine capture "filename" SCRIPT "output" komutunu yazın.
      NOT: Komutlar ne kadar karmaşık hale gelirse, modeller büyüdükçe veya zaman içinde daha fazla değişiklik yaptıkça ve kullanılan bilgisayarın özellikleri ne kadar az etkili olursa, animasyon o kadar yavaşlar. Jmol, kimyasal bileşikleri ve reaksiyonları görselleştirmeye odaklanmıştır ve araştırmamızla üretilen animasyon türleri, Jmol'un işleme kapasitelerinin sınırlarını zorlamaktadır. Bu animasyonla herhangi bir nicel ölçüm yapılırken bu noktalar dikkate alınmalı ve hesaba katılmalıdır.

4. Görev özelleştirme

NOT: Bu bölümün tamamı isteğe bağlıdır ve yalnızca kodlamayı denemeyi veya anlamayı sevenler için önerilir. Aşağıda, mevcut birçok özelleştirilebilir seçenekten bazılarını bulacaksınız ve yöntemleri daha da geliştirdikçe daha fazla seçenek kullanılabilir hale gelecektir.

1. Yeni veya mevcut görevleri yapılandırın.
   1. Katılımcı tarafından kaç etkileşimli görevin gerçekleştirileceğini tanımlayın ve mevcut öğe adlarını değiştirmeden veya daha fazlasını eklemeden task_list dosyada object_configs.js dizinin içinde her birini adlandırın. Daha sonra tanımlayıcı olarak kullanılacakları için her adın benzersiz olduğundan emin olun.
   2. Etkileşimli görevleri (http://wiki.jmol.org/index.php/File_formats) gerçekleştirmek için JSmol uyumlu 3B koordinat dosyalarını seçin. Bu dosyaları modeller klasörüne kopyalayın.
      Not: Bu makalede yer alan komut dosyaları, .xyz dosya biçimini kullanan asimetrik modeller için en iyi duruma getirilmiştir. Koordinat dosyalarını seçerken, belirsiz çözümlere sahip oldukları için döndürme simetrilerinden kaçının⁶⁵.
   3. prepMolecule(num) fonksiyonu içinde 3B nesneler için görüntü oluşturma ayarlarını tanımlayın.
      NOT: JSmol tarafından gerçekleştirilen bir görevden diğerine yapılan tüm değişiklikler buraya gider: renk desenini değiştirme, boyutu veya grafik öğelerinin oluşturulma şeklini değiştirme, yönlendirme, çeviri, nesnenin parçalarını gizleme, yeni 3D modeller yükleme vb. (daha fazla örnek için https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm bakınız). task_list'da adlandırılan her görev bir duruma karşılık gelir. JSmol'un yürütmesi için her komut şu yapıyı takip eder: Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 "); burada jsmol_obj , değiştirilen nesneyi (jsmol_ref ve jsmol_obj hedef ve etkileşimli nesneler için varsayılandır) ve ardından ";;" ile ayrılmış bir veya daha fazla komutu ifade eder.
2. Yeni modeller oluşturun.
   1. Çevrimiçi olarak indirilen veya Avogadro (https://avogadro.cc/) gibi moleküler düzenleyiciler tarafından oluşturulan herhangi bir .xyz modelini kullanın.

Results

Açısal eşitsizliğin ve diğer değişkenlerin evrimi
Ek Dosya 2'deki adım 3.3.1'de gösterildiği gibi, video monitörü ekranında katılımcıya aynı 3B sanal nesnenin kopyalarını farklı yönlerde gösteren iki tuval sunulur. Sol tuvalde, hedef nesne (tObj) statik kalır ve hedef konum veya tObj konumu olarak görev yapar. Sağ tuvalde, etkileşimli nesne (iObj) farklı bir konumda gösterilir ve katılımcının bir fare kullanarak sabit bir döndürme merkezi etrafında zaman içinde hareket etmesine olanak tanır (yalnızca döndürmeler; çeviriler devre dışı bırakılır). Eldeki görev, iObj'yi katılımcının kararına göre tObj ile yakından eşleşecek şekilde ayarlamayı içerir. Kullanılan üç adet 3B nesne Şekil 1'de görülebilir. Çözme süreci, karmaşık olmasına rağmen, sonraki analizler için titizlikle kaydedilebilir. Bu kayıt, yalnızca video çekiminin ötesine geçerek, zaman içindeki her bir konum bir kuaterniyon olarak sabit 0,1 sn aralıklarla yakalanır ve tüm sürecin tam bir şekilde yeniden yapılandırılmasını sağlayan bir zaman serisi oluşturur. Herhangi bir konumda, belirli bir eksen etrafında 0° ile 180° arasında değişen, tObj konumunu doğrudan iObj konumuna dönüştüren benzersiz bir dönüş vardır. Bu rotasyon soyut ve katılımcının görev sırasındaki PR'si ile ilgisiz olsa da, tObj'ye göre kesin iObj konumunu doğru bir şekilde gösterir. AD, bu dönüşün açısıdır ve ilgili kuaterniyondan hesaplanabilir. iObj konumu tObj konumuna yaklaştıkça bu değer sıfıra yaklaşır.

Veri işleme ve analiz bölümünün 3.1.6 adımından sonra iki dosya oluşturuldu: X Y.xlsx çıktı birleştirme ve jmol konsolu X Y.xlsx çıktısı (burada X , sessionID değeri ve Y , taskID değeridir). Giriş alanlarını boş bırakarak varsayılan değerler kullanılıyorsa, dosyalar output merge 1682707472090 bolaBastao_c.xlsx ve output jmol console 1682707472090 bolaBastao_c.xlsx olarak adlandırılmalıdır. Çıktı birleştirme X Y.xlsx dosyaları, her şey doğru ilerlediyse Şekil 2A'ya veya bir sorun oluştuysa Şekil 2B'ye benzer şekilde, UNIX Epoch zamanına göre hizalanmış, iRT verileriyle birleştirilmiş seçili göz izleyici verilerini içerir.

Çıktı jmol konsolu X Y.xlsx dosyaları, Jmol konsoluna yapıştırıldığında görevi çözerken katılımcının hareketlerini yeniden üretecek olan Jmol konsol komutlarıyla doldurulmuş en fazla beş sekme içerir: rotasyon tekrarı, katılımcı tarafından yapılan iObj rotasyonlarını yeniden üretir; bakış replay int, saydamlık/opak ölçek kullanarak nesne üzerinde zaman içinde eklenen sabitleme ısı haritası ile iObj dönüşlerini yeniden üretir; bakış tekrarı tgt, görev sırasında yalnızca tObj'nin 3B sabitleme ısı haritasını gösterir; bakış çerçevesi int ve bakış çerçevesi tgt, hem iObj hem de tObj için tüm sürecin genel sabitleme haritasını gösterir. Hepsi Şekil 3A-F'de gösterilmiştir. Jmol ve JSmol temelde aynıdır, Jmol Java programlama diline dayalı eklentidir ve JSmol JavaScript programlama dilindedir, her ikisi de aynı işlevlere sahiptir ve birbirinin yerine kullanılır.

Şekil 4 , iki katılımcı ve üç nesneyi içeren altı farklı senaryo için zamanın bir fonksiyonu olarak açısal eşitsizliğin evrimini göstermektedir. İşlemin süresi, katılımcının etkileşimli görev nesnesiyle olan performansına bağlı olarak önemli ölçüde değişebilir. Katılımcı tarafından doğru bir şekilde tamamlanan herhangi bir görevde, AD sonunda sıfıra meyillidir. Aynı grafik bu davranışı göstermiyorsa, katılımcı ya pes ettiği ya da görev başına süre sınırına (yaklaşık 5 dakika) ulaştığı için görevi tamamlayamadı ya da veri işlemede bir hata oluştu.

iObj PR kayıtlarının birleşik sonuçları ve göz izleme ölçümlerinden elde edilen veriler Şekil 5'te gösterilmektedir. Zamanın bir fonksiyonu olarak hedef ve eylemsiz nesneler arasındaki açısal eşitsizlikteki değişim, verilen görevi çözme sürecinde üç farklı aşamayı gösterir: modellerin ilk gözlemi; etkileşimli modelin balistik dönüşü; etkileşimli modelin dönüşünün ince ayarı. Şekil 5A , başlangıç aşamasında ve daha spesifik olarak ince ayar aşamasında modeller arasında değişen bakışı göstermektedir. Şekil 5B , göz bebeğinin başlangıç ve ince ayar aşamalarında daha fazla genişlemiş kaldığını göstermektedir. İnce ayar aşamasında, etkileşimli model üzerindeki uzun fiksasyon süresi ( Şekil 5A'da 40-47s), göz bebeği çapında bir platoya karşılık gelir (40-47s, Şekil 5B).

Bu sonuçlar, burada önerilen yöntemle elde edilen verilerin, statik modeller ^14,66 ve etkileşimli modeller²³ için bakış sabitleme verilerine dayalı olarak önerilen zihinsel rotasyon problem çözme modeli ile tutarlı olduğunu göstermektedir. Böyle bir model üç aşamayı kapsayacaktır: arama, dönüştürme ve karşılaştırma ve modeller arasındaki eşleşmenin veya uyumsuzluğun doğrulanması. Ek olarak, Şekil 5A'da gözlemlenen karşılaştırma aşamalarında hedef ve etkileşimli modeller arasındaki fiksasyonların değişimi, statik görüntüleri kullanan Sheppard ve Metzler tipi testlerde elde edilen sonuçlarla^{tutarlıdır 42,66}. Bununla birlikte, etkileşimli modeller söz konusu olduğunda, bu arama, dönüştürme, karşılaştırma ve doğrulama aşamalarının, etkileşimli modelin etkileşimi ve yeniden konumlandırılması yoluyla art arda gerçekleşmesi muhtemeldir.

3D döndürme yörüngeleri
0° ile 180° arasındaki bir 3B uzaydaki her dönüş, yarıçapı 180°'ye eşit olan bir topun içindeki bir noktaya (bir kürenin içindeki hacim olarak anlaşılır) çevrilebilir. Şekil 6 , bu yazışmayı üç örnek rotasyonla göstermektedir. Noktanın topun merkezine olan mesafesi, tObj konumundan iObj açısı eşitsizliğidir ve topun merkezinden noktaya işaret eden vektör dönüş yönüdür, dönüş merkezden saat yönünde görüntüleme şeklinde yapılır. Rotasyonların bir toptaki noktalara bu şekilde çevrilmesi, birisinin tek bir 3D çizimde, katılımcı tarafından bir görevde yapılan tüm rotasyon yörüngesini doğrudan görselleştirmesine olanak tanır. Bu çizime 3B döndürme yörüngesi diyoruz.

AD ölçüsüne benzer şekilde, katılımcı tarafından doğru bir şekilde tamamlanan herhangi bir görev için, yörünge sonunda topun merkezine yaklaşmalıdır. Yörünge kürenin sınırına 180°'lik bir dönüşle ulaşırsa, küre üzerindeki antipodal noktaya kadar sarılacaktır. Şekil 7 , daha önce bahsedilen üçüncü görevi ( Şekil 4'te C1 ve C2) gerçekleştiren iki katılımcı tarafından alınan dönüş yörüngesini, hem perspektif hem de üç koordinat düzlemi üzerindeki projeksiyonlarda gösterilmektedir. Şekilden açıkça görülüyor ki, 45°'ye yakın nispeten küçük başlangıç AD'sine rağmen, katılımcı 1'in, görevi daha hızlı tamamlayan katılımcı 2'nin aksine, çözüme giden kesin bir yol bulmadan önce başlangıçta hedef konumdan saptığı açıktır.

3D Fiksasyon ısı haritası
Problem çözme sürecinde, katılımcı iObj ile etkileşime girerken bakışlarını tObj ve iObj arasında değiştirir. Göz izleme verileriyle, katılımcının bakış konumunu çıkarabilir ve herhangi bir aralıkta katılımcının en çok ve en az dikkatini çeken ekran bölgelerinin bir ısı haritasını oluşturabiliriz. Daha da ileri giderek, hem göz izleme hem de iRT quaternion verileri senkronize edildiğinde, zaman içinde döndürülen nesneler için bile, nesne köşelerinin her birinin ne kadar dikkat çektiğini 3B uzayda ve zamanda aynı anda haritalayabiliriz.

Şekil 3'te, nesneye verilen dikkat, her bir köşenin opaklık seviyesi ile temsil edilmektedir. Katılımcının bakışına ne kadar yakınsa ve ne kadar uzun süre yakınlıkta kalırsa, o kadar fazla dikkat çeker ve bu da nesnenin o bölgesinde daha yüksek opaklığa neden olur. Dikkatteki uzamsal azalma, bakış pozisyonu için iki değişkenli homojen bir Gauss fonksiyonu ve geçen süre için uygulanan basit bir homojen Gauss fonksiyonu kullanılarak modellenmiştir. Bu Gaussların standart sapması, 2 derece^67'lik bir görsel açı ve 10 s^68'lik bir görsel kısa süreli hafıza varsayılarak seçildi. Bu yöntemle herhangi bir görsel yapaylığı önlemek için, bakış nesne tuvalinin dışındayken bakış yakınlık verileri sıfıra ayarlanır (bakış tObj tuvalinin içinde veya her ikisinin dışındayken iObj artık dikkat çekmez). Şekil 3, tüm tekrar animasyonunun her bir nesnesinden tek bir kareyi ve 3D sabitleme ısı haritasıyla aynı kareleri göstermektedir. Çözme işlemi sırasında katılımcı tarafından tObj ve iObj arasında olası bir karşılaştırma, görev sona yaklaşırken (zaman = 6.3 s) görülebilir (Şekil 3C,D). Tüm süreç Ek Video S1'de bir video olarak görülebilir. Katılımcılara olağan koşullar altında alınan bir görev olarak sunulan 3D modellerin bilgisayar aracılı rotasyonunun sonuçlarını raporluyoruz.

Şekil 1: Kullanılan hedef nesneler. Web sayfası görevlerinde kullanılan 3B modellerin görüntüsü. (A) Top ve çubuk temsiline sahip bir molekül; (B) Dolu çokgenleri olan, hidrojen içermeyen ve yalnızca çubuklarla temsil edilen aynı molekül; (C) Peters ve Battista^36'nın uyaran kütüphanesinden türetilen, Shepard ve Metzler figürleri^13'ten birine benzer bir poliküp. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 2: Sayfa karşılaştırması. (A,B) Görüntüler, elektronik tablo çıktı birleştirme 1682707472090 bolaBastao_c.xlsx alınmıştır. A'dan G'ye kadar olan sütunlar iRT veri değerlerini içerirken, H'den N'ye kadar olan sütunlar göz izleyici veri değerlerini içerir. (A)'da her şey doğrudur, (B)'de ise göz izleyici sütunlarında tüm değerler sabittir ve iRT sistemi zaman değerleriyle eşleşmez. Veri eşitleme işlemiyle ilgili herhangi bir sorun oluşursa, bu hata büyük olasılıkla meydana gelecektir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 3: 3D fiksasyon ısı haritası. Daha opak, daha fazla opaklığın katılımcı bakışlarının yakınında geçirilen daha fazla zamanla ilişkili olduğu bir opaklık ölçeği kullanarak 3B nesne üzerinde sabitleme ısı haritası. (A,B) tObj ve iObj görüntüleri, katılımcı tarafından 6.3 s işaretinde çözülen görevin görüntüleri. (C,D) Isı haritasının eklenen opaklık ölçeği ile aynı anda (A,B) ile aynı görüntüler. (E,F) Katılımcının nesneleri görebileceği tüm süreyi göz önünde bulundurarak sabitleme ısı haritası görüntüleri. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 4: AD ızgarası. İki katılımcı ve üç görev arasında açısal eşitsizlik ızgarasını çizin. Sütunlar katılımcı 1 ve 2'yi temsil eder ve satırlar, Şekil 3'te gösterilen üç nesne kullanılarak katılımcılar tarafından çözülen görevleri temsil eder. AD 0° ile 180° arasında değişmekle birlikte, zaman aralığının sabit olmadığını ve katılımcının performansına ve işlemi durdurma kararına göre değiştiğini unutmayın. Katılımcı iObj'yi döndürdükçe, tObj ve iObj arasındaki AD zaman ilerledikçe değişir ve sonunda katılımcı, tObj'ye en yakın olan mevcut iObj yönlendirmesini seçer. 1^{. ve 2. görevlerde}, her iki katılımcı da benzer şekilde ilerlemiş gibi görünüyordu, ancak katılımcı 1, katılımcı 2'nin yarısı kadar zaman aldı. Ve 3^. görevde, katılımcı 2'nin görevi tamamlaması daha az zaman alsa da, katılımcı 1 görevi 20 s işaretinden önce çözmüştü ve iObj ile tObj'yi daha iyi eşleştirmek için küçük ayarlamalar yapmaya devam etti. Kısaltma: AD = açısal eşitsizlik. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 5: Göz izleme verilerini içeren AD. Göz izleyici verileriyle birleştirilmiş açısal eşitsizliğin evrimi. (A) Açısal eşitsizlik ve bakış pozisyonu, tObj ve iObj arasındaki açısal eşitsizliğin evrimi, her model için bölgesel sabitleme verileriyle birleştiğinde. Grafik, katılımcının bakışlarının hangi bölgede bulunduğunu gösterir: iObj tuvalinin içindeyken kırmızı, tObj tuvalinin içindeyken mavi ve her ikisinin dışında, ekrandaki başka bir öğeye bakarken veya ondan uzağa bakarken gri. (B) Açısal eşitsizlik ve göz bebeği çapı. Açısal eşitsizlik, mavi renkte, göz bebeği çapı verileriyle birleştiğinde, turuncu renkte. Göz bebeği çapı, zamanın her noktasındaki sol ve sağ göz bebeklerinin ortalama değeridir. Kısaltma: AD = açısal eşitsizlik. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 6: Dönme topu. Bu şekil, bir nesnenin bir referans konumundan her olası dönüş konumunun 180° yarıçaplı bir top içinde bir nokta olarak nasıl temsil edilebileceğini ve nesnenin dönme konumunun her üç eksende de tam bir temsiline izin verdiğini göstermektedir. Burada bir top, bir küre tarafından sınırlanan hacim olarak anlaşılır. (A) Örnek olarak kullanılan nesne, üstte solda gösterilen yedi küpün asimetrik bir birleşimidir. Sağda gösterildiği gibi bu nesneye I, II ve III numaralı üç basit döndürme uygulanır. Sırasıyla, x ekseninde +90°, z ekseninde -60° ve +x ile -y arasındaki bir eksende 180°, her iki eksenden 45°'dir. (B) Dönme topu, I, II ve III dönüşlerine karşılık gelen noktalarla gösterilir. Topun merkezine olan mesafe, açı eşitsizliğidir. III, maksimum dönüş açısına (180°) ulaştığında, esasen aynı oldukları için antipodal noktasında da temsil edilir. Z ekseninin pozitif yönüne göre saat yönünün tersine olan Dönüş II, negatif tarafta görünür. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 7: 3D Döndürme yörüngesi. Üçüncü görevde iki katılımcı tarafından alınan dönme topunun içindeki dönme yörüngesi, hem perspektifte (A) hem de koordinat düzlemleri (BD) üzerindeki projeksiyonlarda görüntülendi. Çizgi kalınlığı zamanla azalır. Her sütun bir katılımcıya karşılık gelir (v1 ve v2). Yörüngeler topun merkezine yaklaştıkça, katılımcılar görevi çözmeye daha yakındır. '0' görevin başlangıç konumunu gösterir. Sonraki sayılar, yörüngenin topun kenarına ulaştığı ve karşı taraftaki antipodal noktadan devam ettiği noktaları gösterir (1'e 2, 2'ye 3, 3'e 4, vb.). Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Ek Tablo S1: Sayfa başlıkları. Klonlanmış sayfa dosyasındaki başlıkların listesi. Her başlık bir değişken adına karşılık gelir ve bu değişkenden veri alır ve verilerimizin işlenmesi ve analizinde kullanılan bir değerler sütunu oluşturur. Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Dosya 1: Protokol adım 1 kılavuzu. Protokol yönteminin adımlarında yol gösteren ekran görüntülerinin bir listesi "1. Veri toplama araçlarının hazırlanması" hükmü yer almaktadır. Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Dosya 2: Protokol adım 3 kılavuzu. Protokol yönteminin adımlarında yol gösteren ekran görüntülerinin bir listesi "3. Veri işleme ve analizi". Bu dosyayı indirmek için lütfen buraya tıklayın.

Ek Video 1: Fiksasyon eşleme tekrarı. iObj ve tObj'den aynı anda 3B olarak zamansal dikkat eşlemesinin animasyonlu tekrarlarına bir örnek. OBS Studios kullanılarak kaydedildi ve OpenShot Video Editor kullanılarak oluşturuldu. Bu dosyayı indirmek için lütfen buraya tıklayın.

Discussion

Daha önce belirtildiği gibi, bu makale, kolayca özelleştirilebilir ve yalnızca ücretsiz olarak sunulan yazılımı kullanan, her şeyin çalışmasını sağlamak için adım adım talimatlar sağlayan, etkileşimli 3B nesneler üzerinde sabitleme ve sakkad hareket verilerinin gerçek zamanlı haritalandırılması için ayrıntılı bir prosedür sunmayı amaçlamaktadır.

Bu deney kurulumu, üç olası eksenden ikisinde bir 3B nesneyi başka bir nesnenin oryantasyonunu PR ile eşleştirecek şekilde hareket ettirmek gibi oldukça etkileşimli bir görevi içeriyor olsa da, herhangi bir özelleştirmeyi kolaylaştırmak için uygun yorumlama yoluyla komut dosyalarımızın kapsamlı bir şekilde belgelenmesini sağladık. Göz izleme cihazı, zamansal veri toplama için kullanılan diğer birçok olası cihazdan yalnızca biri olmak üzere, çeşitli başka deney türleri de tasarlanabilir.

Adım 1.1.3.3'ten kopyalanan dosyadaki başlıklar, verilerin çevrimiçi olarak toplanacağı içeriği ve konumu tanımlar. Ek Tablo S1 , değişken adlarını (tümü büyük/küçük harfe duyarlı) ve anlamlarını listeler. Bu değişkenler, GitHub deposundaki JavaScript dosyalarında bulunanları yansıtır. Hem bu sayfadan hem de JavaScript dosyalarından alınan verilerin türü ve çeşitliliği ile değişken adları, araştırmanın kapsamına ve gereksinimlerine göre değiştirilmelidir.

Dönme verilerinin kuaterniyonlarda kaydedilmesi, araştırmacının görevler sırasında katılımcılar tarafından yapılan aynı hareketleri yeniden üretmesine, sürecin analizini kolaylaştırmasına ve bir ekran yakalamaya kıyasla depolama alanını çok daha verimli kullanmasına olanak tanır. Şekil 7'de dönme topu kullanılarak gösterilen 3B döndürme yörüngesi gibi daha ayrıntılı analizler, yalnızca etkileşimli nesnelerin dahili dörtlü verileri aracılığıyla mümkündür. Gardony²² ve Adams²³ tarafından zaman içinde AD grafiğinden genişletilen bu yeni grafik türü, zaman içindeki gerçek 3B döndürme koordinatlarıyla daha ayrıntılı bilgi sağlar.

Diğer bir avantaj, tüm veri kaynaklarını senkronize etmek için standart bir zaman ölçüsü kullanmaktır. Zamana bağlı farklı bilgi katmanlarını bununla birleştirmek, Şekil 5B'de göz bebeği genişleme ölçümü ile veya Şekil 5A'da olduğu gibi renkli dikey bantlarla grafiklerin üst üste bindirilmesi gibi çok daha kolay hale gelir, iObj'de neredeyse hiç rotasyon olmasa bile, katılımcıların çözme sürecindeki olası kalıpları gösterir. Şekil 3'te gösterilen 3D fiksasyon ısı haritası, yalnızca hem kuaterniyon verilerinden hem de veri senkronizasyonundan mümkündür.

Zamansal verilerin herhangi bir entegrasyonunu sağlamak için standart bir zaman ölçüsü aracılığıyla senkronizasyon kullanmak çok önemlidir. Projemiz için seçilen zaman standardı, JavaScript ve diğer birçok programlama dilinde kullanılan UNIX Epoch idi. Daha sonra UNIX Epoch'a dönüştürülebilecek farklı bir standart olsa bile, her veri kümesi için bilinen bir tür zaman standardı kullanımda olmalıdır. Herhangi bir standart kullanmayan zamansal veriler kesinlikle senkronizasyon yeteneğine sahip olmayacak ve kullanışlılıklarını kaybedecektir.

Diğer bir sınırlama, 60 Hz'lik göz izleyici frekansına göre iRT testlerinde kullanılan 10 Hz'lik nispeten düşük frekanstır. Bu, kısmen tarayıcı içindeki veri işleme ve aktarım sınırlamalarından kaynaklanır, çünkü kullanılan herhangi bir yüksek frekans, şu anda 327 s'de olan her görevin maksimum zaman sınırını orantılı olarak azaltacaktır. Ek olarak, Jmol'de karmaşık animasyonları bu kare hızında sorunsuz bir şekilde işlemek zaten zorluklar ortaya çıkardı. Ek Video S1 , Jmol'un zaman içindeki opaklık değişimiyle bir tekrar oluşturduğu ve her bir köşenin aldığı odak miktarını haritaladığı bir video kaydıdır. Video süresi neredeyse 2 dakika iken, asıl görev 63 saniyede tamamlandı. Mevcut işlevleri uyarlamak yerine özellikle bu tür işlevlere hitap eden gelecekteki yazılım geliştirmeleri, bu sınırlamaları ele alabilir ve veri toplama ve analiz yeteneklerini geliştirebilir.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Firefox	Mozilla Vakfı (Açık Kaynak)		WebGL (https://caniuse.com/webgl) ve dolayısıyla Jmol ile uyumlu herhangi bir güncellenmiş modern tarayıcı
kullanılabilir GNU Octave	Açık Kaynak		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Dizüstü Bilgisayar			Göz izleme sistemi yazılımını çalıştırabilen herhangi bir bilgisayar.
Mangold Yazılım Paketi	Mangold		Göz izleme cihazı için kullanılan yazılım arayüzü. Verileri sistem zaman değerleriyle çıkaran herhangi bir Yazılım kullanılabilir.
Fare			: Basit hareketlerle tıklama ve sürükleme yeteneğine sahip herhangi bir fare uyumlu olmalıdır. Dokunmatik ekran veya işaretçi gibi aynı özelliklere sahip bir fareye benzeyen insan arabirimleri uyumlu olmalıdır, ancak farklı davranabilir.
Vt3mini	EyeTech Dijital Sistemler		60 Hz. Çalışan herhangi bir Göz İzleme cihazı uyumlu olmalıdır.