Göz izleme verilerini ücretsiz video Içeriğinin analiziyle birleştirme-kentsel park ortamında bir yürüyüşe video görüntüleme

Summary

Protokolün amacı, laboratuarda kullanılmak üzere video verilerinin nasıl topladığı ayrıntıdır; nasıl veri bakarak katılımcıların göz izleme verilerini kaydetmek ve nasıl verimli bir makine öğrenme tekniği kullanarak bakıyordu videoların içeriğini analiz etmek.

Abstract

Bireyler giderek şehirlerde yaşadığı için, günlük hareketlerini incelemek için yöntemler ve toplanan veriler önemli ve değerli hale gelir. Göz izleme Enformatik duygular, sağlık koşulları, zihinsel durumları ve eylemleri bir dizi bağlanmak için bilinmektedir. Ancak vizyon sürekli göz hareketlerinin sonucudur, çünkü gürültü ne önemli olduğunu alay karmaşık ve veri yoğun. Ayrıca, önemli bir zorluk insanlar ne onlara sunulan kıyasla bakmak için kontrol etmektir.

Aşağıdaki video içeriğini analiz etmek için bir makine öğrenme tekniği ile doğal ve karmaşık bir sahnenin bir videoda göz izleme birleştirmek ve analiz etmek için bir metodoloji sunar. İletişim kuralında, filme çekilen videolardan gelen verileri analiz etmeye odaklanıyoruz, bir videonun katılımcıların göz izleme verilerini kaydetmek için en iyi şekilde nasıl kullanılabilirler ve daha da önemlisi, videonun içeriğinin nasıl analiz edilmesiyle ve göz izleme verileriyle birleştirilebilmektedir. Biz sonuçları kısa bir özetini ve karmaşık ortamlarda daha fazla çalışmalar için yöntemin potansiyeli bir tartışma sunuyoruz.

Introduction

Kentsel ortamlar bizim günlük yaşamış deneyimleri büyük ölçüde sağlık ve refah üzerinde etkisi. Bizim refah biz görüntülemek ve deneyim yeşil alanların miktarına bağlı olabilir^1,2,3, ve bu görünümler Park tasarımı hakkında karar verme kılavuzu için göz izleme ekipmanları kullanılarak nicelik olabilir. Ancak, oluşturulan göz izleme verilerinin hacmi ve bu verileri anlamıyla ilgili bir sorun ortaya çıkar. Bir laboratuarda veya doğal ortamda bakış verileri kaydetmek için ekipman kullanımı daha kolay hale gelir ve daha güçlü, araştırmacılar nasıl toplamak ve karar verme soruları ile yardımcı olmak için doğrulama veri analiz nasıl dikkate almanız gerekir.

Şimdiye kadar, göz izleme araştırması büyük bir anket veya laboratuar ayarı⁴fotoğraf kullandı. Bu metodoloji büyük bir tekrarlanabilirlik ve sonuçları üzerinde kontrol sağlar iken, video ve giyilebilir mobil göz-izci kullanımı dahil göz izleme teknolojisi en son gelişmeler yararlanmak mümkün değildir. Ayrıca, biz yürüyüş ve rahatlatıcı hareket özellikle yol bulma⁵gibi bir göreve yöneldiğinde dinamik olduğunu iddia edeceğini. Bu nedenle bu ayarların tamamen bilimsel bir anlayışı laboratuar dışında gerçekleşecek. Ancak, şu anda, gerçek yaşamda doğal bir ortamda göz izleme, konular arasındaki tecrübesi çok zor karşılaştırarak yapar. Örneğin, Eğer bir yanıtlayanın ağaçlara diğerine daha çok bakıp bakmadığını karşılaştırmak isteseydi, onların bakış açından başkalarına göre sürekli değişen ya da başının dönüşmüş olabileceği gerçeğini nasıl kontrol edebilirim. Bu koşullarda ayrıntılı analiz mevcut analiz teknikleri ile imkansız yakındır. Biz her zaman bir noktada görülebilir toplam sahne için hesap edebilmek için inceleniyor ve analiz bireysel kullanılabilir görüntüleme alanları kontrol etmek önemli olduğunu iddia edeceğini.

Stres seviyeleri ve manzara görünümleri ve stres^6,7iyi gelişti önlemleri güvenlik algılamaları bağlayan teorileri bir dizi vardır. Ayrıca göz izleme ekipmanlarının gelişmişliği üzerinde hızlı bir artış olmuştur bakışları ölçmek için⁸. Göz izleme önemlidir, çünkü istemsiz göz hareketleri, anketlere ve tükürük kortizol seviyeleri gibi müdahaleci, fizyolojik testlerden daha güvenilir bir şekilde tercih, stres ve diğer geleneksel önlemler ile bağlantılı olabilir. Bu araştırmanın amacı, daha fazla doğal ayarlara uygulanan göz izleme verilerinin daha hassas bir şekilde ölçülmesini sağlayan araçlar geliştirmektir, böylece Park tasarımını bilgilendiren uzun süreli peyzaj teorilerini daha fazla kanıtlar veya inkar etmek için Yıl.

Bu projenin amacı, Park yürüyüş simülasyonlarında farklı videolar için ilgili göz izleme verileri üretebilir bir roman analiz tekniği geliştirmek ve test etmektir. Burada ve başka bir yerde⁹ raporumuz, tam mobil göz izleme sisteminin doğal ayarı ve yukarıda belirtilen laboratuar tabanlı fotoğraf çalışmaları arasında yarım yönlü bir nokta temsil eder. Özellikle, biz uyarıcı malzeme olarak videoları kullanarak konsantre, bu malzeme farklı parkların Melbourne City oluşturmak hayranlık miktarını test etmek için nasıl kullanılabilirler keşfetmek. Çalışmalarımız, videoların ayrıntılı analizinin, parkların potansiyelinin daha dolgun, daha doğal bir şekilde değerlendirilmesi ve stresden restorasyon sağlamak için gerekli bir adım olduğunu varsayımına dayanmaktadır.

Bu çalışmada, bir masaüstü göz izci kentsel Parklar üzerinden yürüyüşleri videoları ile istihdam ve onlar bir parkta rahatlatıcı bir yürüyüş aldığını hayal katılımcıların sordu. Katılımcıların farklı nesnelere bakarak harcadığı zamanın, Parklar arasında karşılaştırılabilir olmasını sağlayan bir yöntem açıklanmaktadır. Masaüstü çalışmaları, mobil ET çalışmalarla karşılaştırıldığında kontrol etmek ve her konunun karşılaştırmalı analizine izin vermek için genellikle daha kolaydır.

Standart göz izleme yazılımı, bir operatörün her sahnenin ilgi alanları etrafında el ile sınırlar çizeceği ilgi Aracı el ile bir alan kullanır. Bu, katılımcıların otomatik olarak sayılacak farklı nesnelere bakarak harcadığı süreyi etkinleştirir. Video verileri için bu süreç işgücü yoğunluğuna sahiptir ve operatör öznelliği ve hatasına tabidir. Göz izleme analizi yazılımının daha sonraki sürümlerinde, Aoıs, video içinde aynı boyutta olduğunda nesneleri çerçeveler arasında otomatik olarak izleyebilir. Bu bir gelişme, ancak, bu sadece her görüntü uyaranlara az sayıda kullanılmak üzere tasarlanmıştır ve her görüntü kontrol edilmelidir ve teyit edilmelidir.

Bir görüntüde nesnelerin manuel etiketleme ortak ve GNU Görüntü Manipülasyon Programı (GıMP) gibi görüntü düzenleme yazılımı tarafından desteklenir. 1 s 30 çerçeve veya görüntü üretir göz önüne alındığında, videoların manuel etiketleme pratik değildir. Buna ek olarak, ağaç saçaklar gibi karmaşık nesnelerin kenarına etrafında vektör çokgenler çizerek AOI etiketleme çok zaman alıcı. Son olarak, vektör etiketleme kullanarak bir görünüm alanındaki nesnelerin boyutunu hesaplamak mümkün iken, bu özellik şu anda mevcut değildir.

Bu sınırlamalar ile ilgili aşağıda rapor yöntemi. Bu çalışmada nesnelerin otomatik etiketleme istihdam. Bu, videonun her çerçevesindeki her pikselin bir nesne sınıfını gösteren bir etikete atanacağı semantik etiketleme olarak bilinen bir görüntü işleme tekniği kullanılarak mümkündür. Makine öğrenimi, ilgi her nesne sınıfı için piksel sınıflandırıcı türetmek için kullanılır. Bu sınıflandırıcı (tekli potansiyeller olarak bilinen) her piksel için bir olasılık etiket sağlar, daha sonra son etiketli çıkış elde etmek için bir sonraki iyileştirme sürecinde rafine edilir. Bu sınıflandırıcılar, doku, kenar oryantasyonları histogram, RGB renk değerleri ve normalleştirilmiş görüntü koordinatları dahil olmak üzere, görüntüden çıkarılan özelliklerin her nesne sınıfları arasındaki istatistiksel karar sınırlarını öğrenin. Bunun için uygun bir teknik DARWIN makine öğrenme Toolbox¹⁰ uygulanır ve aşağıda açıklanmıştır.

Protocol

Bu proje için etik onay Avustralya Katolik Üniversitesi Etik Komitesi tarafından verildi-onay numarası #201500036E. Bu, tüm katılımcıların bilgilendirilmiş rızası elde edildiğini ve tüm katılımcıların gönüllü olarak katıldığını ve katılımcıların verilerinin anonim ve gizli kalmasını sağladı. Ayrıca, Avustralya standartları güvenlik yönetmeliklerine uygun yöntem ve ekipmanlar nedeniyle de onay verildi.

1. göz Takibi çalışmasında kullanılabilecek kentsel sahneler çekimi

1. Bir taklit ' yürüyüş ' veya ' oturan ' video oluşturmak için bir gimbal bağlı yüksek kaliteli dijital video kamera kullanın.
2. Filmi 25 fps 'de 4k çözünürlükte pürüzsüz sıvı hareketleriyle kaydedin ve 1920 x 1080 HD 'lik bir hızda kaydedin.
3. Bu veya ekipmanlara erişim eksikliği varsa dijital filmler üretmek için profesyonel bir filme şirket kullanın.
4. Tam önceden tanımlanmış rotalar ve özelliklere sahip tüm videolardan tek bir uzunluğa kadar film çekin.
   Not: örnek video detayları: her simüle yürüyüş filmi 3 dk 50 s uzun ve her simüle oturan film 1 dakika uzunluğunda oldu. Bu çalışmada her iki video için, videolar bir yola giden kısa bir merdiven tırmanışı ile başladı. Yol tam olarak 1 dakika 30 sn izledi ve sonra kamera durdu ve 45-60 derece için sol panned ve 15 saniye boyunca durdu. Kamera daha sonra 3 dk 25 s işareti kadar yürüyüş yolu boyunca devam etti, 15 saniye boyunca 40-70 derece sol panned, 3 dk 50 s işareti kadar yol boyunca devam, sonra siyah soluk.
5. Filmlerin karşılaştırılabilir olduğundan emin olun, başka bir deyişle, farklı yürüyüş yörüngeleri veya kamera hareketinden yeni bakış verileri tanıtmaz. Her yürüyüşe bir film çekildi, toplam iki.
6. Göz hareketleri ses etkilenir gibi, Park dışında ani yüksek gürültüden kesintiler olmadan video aynı uzunlukta için yürüyüşleri birinden genel kentsel park sesleri bir dosya kayıt (Örneğin, araba alarmları). Bu video görsel etkisi izole edilebilir böylece her iki videolardan mevcut soundtrack yerine çalınabilir.
   Not: araçların ve diğer nesnelerin aşırı hareketi göz hareketlerini etkileyebilir ve sonuçları eğebilir. Bu izinsiz girişten bazıları oluşursa, film katılımcılara çalınabilir, ancak çerçevelerin analizinden hariç tutulması gerekebilir.
7. Yürüyüş ve daha sonra bir tezgah üzerinde oturan gibi bir yürüyüş, farklı etkinliklerle ilgileniyorsanız, kaydetmek veya ayrı dosyaları olarak oturma ve yürüyüş sahneleri düzenlemek böylece bağımsız olarak test etmek.

2. göz-izleme ekipmanlarının kurulum ve Masaüstü kalibrasyonu

1. Ekranda yansımaları önlemek için doğal ışık dışlanabileceği bir odada bireyler için filme dizileri göster. Görsel alan kadar işgal etmek mümkün olduğunca büyük bir ekran olarak onlara göster, böylece bakış alanı dışından dikkat dağıtıcı kaçınarak. Bir geniş ekran (16:9) PC monitör (22 inç) ile katılımcılar yaklaşık 60 cm uzakta ekrandan kabul edilebilir bir standarttır.
2. Göz izleme yazılımındaki dahili kalibrasyon aracını kullanarak her katılımcı için ekrana bir kalibrasyon gerçekleştirin. Katılımcıların, bunun bir parçası olarak ekranın etrafında hareket eden kırmızı bir topa bakmasını ve 5 anahtar kalibrasyon noktasında durmayı gerektirir.
3. Kalibrasyon sırasında katılımcılar gözlemlemek ve onlar da başını hareket değildir emin olun. Eğer çok ekrana yakın ve ekran çok büyük bu bir sorun olabilir. Ekranın uzaklığını buna göre ayarlayın.
4. Video erken çerçevelerinin sol üst köşesinde yer alan beyaz bir haç için her film düzenleyin. Bu, bir video düzenleme yazılımı kullanılarak yapılabilir. 3 saniye boyunca bu ekranı göster, sonra yürüyüş oynamaya başlar. Bu, göz izleme kalibrasyonunu kontrol etmek ve göz izleme veri toplama süreleri bireysel kare numaraları ile eşleştirilebilir emin olmak için.

3. işe alım ve etik

1. Öğrenci ve personel organı arasında yer alan örnek veya istihdam arasında farklı cinsiyetler, yaş ve meslekten bir yayılma sağlamak için profesyonel bir araştırma istihdam şirketi kullanın.
2. Bilinen oküler veya nörolojik koşullar ve/veya yaralanmalar için ekran katılımcılar. Onlar göz hareketlerini etkileyen bilinen ilaçlar alıyor olup olmadığını sorulmalıdır (Örneğin benzodiazepinler).
3. Vizyon okuma testleri ve bir kalem meşale göz hareketi gezi testi yakın davranışlar tam göz hareketi geziler olduğunu göstermek için.
4. Ankete katılanların yaşı, cinsiyet ve park kullanımı sıklığı hakkında.

4. katılımcı deneysel kurulum

1. Katılımcılar restorasyon ihtiyacı kendilerini hayal isteyin. Onları göz izleme video gibi kullanılan bağlamı hayal izin veren bir cümle kullanın: ' Bu öğlen olduğunu düşünün ve Melbourne tek başına yürüyüş. Sen zihinsel iş yerinde yoğun konsantrasyon yorgun ve bir yere yürümek için gitmek için, oturmak ve biraz dinlenmek için, geri çalışmaya gitmeden önce arıyoruz '.
2. Katılımcıları, filmleri görmek için 60 – 65 cm mesafeden bilgisayar ekranının önünde rahat bir şekilde oturun.
3. Bir elektronik tablo programı kullanarak, katılımcıların önünde oynamadan önce filmleri rasgele sipariş ederler.
4. Tüm filmler için aynı sesi oynatmak için hoparlörler kullanın.
5. Bir masaüstü göz izleme sistemi kullanarak katılımcıların bakış yörüngesini kaydedin. Masaüstü göz izleme aygıtını üreticinin talimatlarına göre bağlayın. Bu, bir tabloda ekranın hemen altında olabilir veya örneğin üstte ekranın kenarına klipsli olabilir.
6. 120 Hz 'lik örnekleme hızına ve 0,50 ° ' lik bir doğruluk oranına sahip bir göz izleme ünitesi kullanarak doğal kafa hareketleri sırasında kayıt sağlayan büyük kafa hareketleri özgürlüğünü sağlar. Daha düşük frekans göz izci de kabul edilebilir. 57,3 cm, görsel açı 1 ° ekranda ~ 1 cm eşittir.
7. Katılımcıların yüksek çözünürlüklü bir monitörde görüntüleri izlemesine izin verin.
8. Göz izleme yazılımını kullanarak göz hareketlerini kaydedin
9. Analiz için ham göz örnek verilerini dönüştürmek için bir sabitleme filtresi kullanın. Ana menüden araçlar ≫ ayarlar'ı tıklayın. Fiksasyon Filters ( Düzeltme filtreleri) sekmesini seçin. ham göz izleme verilerini sabitlere toplamak için en iyi filtre türünde üreticinin belirtimlerine göre sabitleme filtresini seçin.
10. Birden fazla film kullanarak göz izleme verilerini kaydederken, katılımcılar bunu istediğinde kayıt oturumları arasında mola verir.

5. videoların Gösterim için görüntülenen parkların bağlanması

1. İnsanların nesneleri ve videoların görüşleri hangi ölçüde karşılaştırın, önce onlar onlar dinlenme ve bu ortamda kurtarmak mümkün olacağını hissetti için, ilk olarak, 1-10 bir ölçekte parkların her oranı katılımcılar soran (1 , çok fazla değil, 10, çok) ve ikincisi ne kadar onlar Park (1, çok değil, 10, çok) sevdim.
2. Eğer dinlenmek veya stres rahatlatmak (Y/N) ve onlar (Y/N) Park ile önceki bir dernek potansiyel etkisini kontrol etmek için bakıyorlardı Park tanınan olup olmadığını katılımcılar isteyin.
3. Bir ses kaydedici kullanarak gösterimlerini açıklamak ve sonra bunları yazmak için katılımcıların kısa yanıt yanıtlarını kaydedin.

6. Ilgi çıkarma alanı için otomatik video analizi

1. AOIs seçimi
   1. Park tasarımcıları, kentsel tasarımcılar, plancılar veya mimarlar, ağaçlar, çalılar, tabela, binalar, çim, yollar, adımlar, vb gibi ilgi olan öğeleri seçin .
   2. Optimum performans ve minimal Eğitim gereksinimleri için (daha aşağıda ele alınmıştır), birbirinden çıplak gözle kolayca görsel olarak ayırt edilen ve/veya her video çerçevesinin farklı bölgelerini sürekli olarak kaplayan öğeleri kullanın. Genel olarak, her AOı 'nin görsel olarak ayırt edici farklılıklarını tasvir eden yeterli eğitim örnekleri güçlü performans için yeterli olmalıdır.
2. AOI ekstraksiyon için eğitim sınıflandırıcı
   1. Kullanılacak eğitim çerçevelerinin seçilmesi, sayı ve mantık
      1. Uygun sayıda eğitim çerçevesi seçin (bundan böyle eğitim seti olarak adlandırılır). Uygun olan sabit bir sayı yoktur.
         Not: çerçeveler, video boyunca her nesne sınıfının (Örneğin, etiketlenmiş nesneler) görsel görünüm aralığının yeterli kapsama alanını sağlamalıdır. Örneğin, tek bir Parkland sahnesini tasvir eden 15.000 kare video dizisinden 40 kare yeterli doğruluk elde etmek için bulundu. Bir dizi önemli varyasyon içeriyorsa, daha fazla çerçeve gerekebilir.
      2. Eğitim çerçeveleri seçerken çerçeve içeriğini göz önünde bulundurun. Bunlar şunlardır: aydınlatma, ne sınıflandırılmakta olan ile ilgili şekiller (Örneğin, ağaç sadece bir tür ama ağaç türleri bir dizi, görüntüde konumlarını, onlar yaktı yolu, vb), doku, ve renk.
      3. Ayrıca dahil etmek için kare sayısını göz önünde bulundurun. Özellikle, görsel koşulların uzunluğu ve varyasyonu, incelenmekte olan video boyunca sergilenmektedir, ayrıca tanımlamak için nesne sınıflarının sayısı ve görünümlerinin sıklığı.
   2. Eğitim çerçeveleri için manuel piksel etiketleme
      Not: eğitim çerçevelerini manuel olarak etiketleme, pikselleri ilgi alanı nesne sınıflarıyla ilişkilendirir.
      1. Eğitim çerçevelerinin piksel etiketlemesi
         1. Sırayla, görüntü düzenleme yazılımı video her eğitim çerçevesini açın.
         2. Video her eğitim çerçevesi için, etiketleme için yüklenen görüntüde şeffaf bir görüntü katmanı bindirme ve bir renk paleti oluşturmak, ilgi verilen her nesne sınıfı için bir renk sağlayarak (i.e., AOI ).
         3. Renk paleti ve renk eşlemesi nesne sınıfları için etiketleme işlemi boyunca aynı olduğundan emin olun.
         4. Örnek AOı için renk seçin.
         5. Örnek AOIs renk bölgeleri seçerek, bir fare tıklaması ve sürükle, piksel alan içinde "renk" uygun palet seçimi kullanarak.
            Not: büyük nesneleri hassas bir şekilde renklendirmek mümkündür. Ancak, yalnızca birkaç piksel genişliğindeki dar/küçük nesneler için, manuel etiketlemelerin nesnenin görsel görünümünü doğru şekilde yakalamalarını sağlamak için daha fazla özen yapın.
         6. Bir çerçevenin etiketleme işlemi tamamlandıktan sonra, kaplanmış katmanını ayrı bir görüntü dosyası olarak dışa aktarın. Temel dosya adının özgün çerçeve temel dosya adıyla eşleştiğinden emin olun, ancak sonuna bir "c" eklenir. Örneğin, özgün çerçeve dosya adı "1234. png" ise, etiketli katman dosyası adı "1234c. png" olmalıdır.
         7. Etiketli tüm görüntülerin tek bir klasörde depolandığından emin olun.
      2. Doğrulama çerçevelerinin piksel etiketlemesi
         Not: nicelik eğitimli Classifier doğruluğunu doğrulamak Için etiketlenmiş çerçeveler ek kümesi oluşturulmalıdır.
         1. Eğitim kümesine dahil edilmek üzere seçili olmayan orijinal video dizisinden çerçeveler seçin. 5 dakikalık bir video için, bunlar 20 ' den fazla çerçeve olmamalıdır, ancak yeterli kapsama sağlamak için video dizisi boyunca eşit örneklenmiş olmalıdır.
         2. Eğitim çerçeveleri (6.2.2) hazırlamak için özetlenen aynı yordamı kullanarak her karedeki etiket pikselleri. Ancak, bu kez bu bir zemin gerçeği karşılaştırma olarak kullanılacaktır olarak etiketleme ile mümkün olduğu kadar hassas ve kapsamlı olmak.
         3. Bir çerçevenin etiketleme tamamlandığında, eğitim için aynı adlandırma kuralını kullanın, ancak dosyaların ayrı bir doğrulama çerçevesi klasöründe kaydedilmesini sağlayın.
   3. Video dizisinin otomatik piksel etiketlemesi
      1. Http://drwn.anu.edu.au sitesinden DARWIN yazılım kütüphanesini indirin.
         Not: Bu yazıda açıklanan sistem bir Linux ortamında uygulandı ve bu nedenle web sitesinden gelen yönergeleri izleyerek DARWIN 'in Linux sürümü indirilip yüklenmelidir.
      2. Darwin GUI 'yi başlatın
      3. Darwin GUI, yükleme eğitim etiketleritıklayın.
      4. Görüntülenen dosya Gezgini iletişim kutusunu kullanarak, ilgili video dizisi için etiketlenmiş eğitim görüntülerini içeren klasörü seçin.
      5. Yükleme video çerçeveleri tıklayın ve video dizisinin tüm orijinal çerçeveleri içeren klasörü seçmek için 6.2.3.2 aynı prosedürü izleyin. Bu, her çerçeve dosya adının video dizisinde o çerçevenin sayısı olduğu bir görüntü klasörü olmalıdır (örn.çerçeve 1234, 1234. png olarak adlandırılır)
      6. Train düğmesine tıklayın. Algoritma şimdi her etiketli eğitim çerçevesini inceleyecek ve piksel herhangi bir ilgi belirtilen nesne sınıflarını sınıflandırmak için bir görünüm modeli öğrenin.
   4. Eğitimli Sınıflandırıcısı doğrulama
      1. Eğitim tamamlandığında, eğitim doğrula düğmesini tıklatın.
      2. Dosya Gezgini iletişim kutusunu kullanarak, ilgili video dizisi için etiketli tüm doğrulama görüntülerini içeren klasörü seçin. Eğitimli sınıflandırıcı artık her bir doğrulama kümesinde başvurulan çerçeveleri pikselleri sınıflandırmak için kullanılır. Bu doğrulama klasöründe sağlanan zemin gerçeği etiketleri karşılaştırın.
         Not: tamamlandığında, GUI, doğrulama kümesinde her çerçeve için doğru etiketli piksellerin yüzdesi ve tüm doğrulama kümesi arasında dahil olmak üzere doğruluk istatistiklerini görüntüleyecektir.
      3. Oluşturulan etiketleri görsel olarak doğrulamak için görsel doğrulama düğmesini tıklatın. Tıklatıldığında, oluşturulan her etiketli görüntü özgün doğrulama çerçevesinin yanında görüntülenir.
         Not: Bu burada yanlış sınıflandırmalar nesne üzerinde oluştuğu tanımlamada öğretici olabilir. Örneğin, görsel muayene hataları sürekli olarak bir nesne sınıfının belirli bir bölümünde ortaya çıkan, Eğitim kümesinde geliştirilmiş etiketleme önermek gereklidir gösterebilir. Alternatif olarak, teftiş, hata yalnızca video belirli bir zaman noktasında ortaya çıkabilir, daha fazla eğitim örnekleri öneren video o zaman diliminden gerekli olduğunu gösterebilir.
      4. Nicel veya niteliksel doğrulamada gözlenen doğruluk kabul edilebilir düzeylerin altına düşerse, daha fazla eğitim örneği ekleyin. Bu durumda, ek eğitim çerçeveleri dahil etmek için 6.2.2 tüm adımları yineleyin, 6.2.3 adımları aşağıdaki sınıflandırıcı yeniden eğitmek ve 6.2.4 aşağıdaki adımları yeniden doğrula.
   5. Video piksel etiketleme
      1. Sınıflandırıcısı eğitim ve doğrulama aşaması tamamlandığında, eğitim Sınıflandırıcısı kullanarak video dizisinde tüm çerçevelerin tam etiketleme başlamak için Darwin GUI üzerinde etiket çerçeveleri tıklatın.
      2. Eğitimde kullanılan aynı renk paleti kullanılarak etiketli görüntüler şeklinde olacak tüm çıktı çerçeveleri için bir hedef klasör seçmek için istemi izleyin.

7. göz izleme verilerini video Içeriğine kaydetme

1. Göz izleme yazılımı tıklayın dosya ≫ ihracat... Göz izleme dosyasını bir CSV dosyası olarak dışa aktarın.
2. Dosyayı bir elektronik tablo programında açın.
3. Video dizisinden, çerçevenin sol üst kısmındaki beyaz haç 'ın (bkz. 2,3) kaybolması süresini belirleyin. Göz izleme sonucu ilgili sütunu kullanarak göz izlemeyi tanımlamak için bu zamanı kullanın. Bu göz izleme veri toplama başlangıcın.
4. Göz izleme verilerine bir sütun ekleyin.
5. Bu yeni sütun etiketini kullanarak her satır veya göz izleme veri noktası 1 numaradan başlayarak bir kare numarası ile.

8. katılımcıların Videolarlardaki nesnelerin farklı sınıflarını Incelediği süreyi görüntüleme

Not: göz izleme verilerinin büyük boyutu nedeniyle, Python programlama dili daha iyi adımlar için 8,4 için kullanılır, ancak bir veri işleme programı da kullanılabilir.

1. Dahil Python kodunu kullanarak, ilgi nesneleri ve göz izleme sabitleme süresi ve frekansı arasındaki çakışma miktarını hesaplayın.
2. Katılımcıların farklı nesnelere bakarak harcadığı süreyi anlamak için bu verileri topla.
3. Nesnelerin ekran işgal toplam süreyi göstermek için bir histogram kullanın.
4. Bunu, katılımcıların farklı nesnelere baktıkları toplam süre ile karşılaştırın.
5. Göz izleme yazılımı bir heatmap üretmek için onay kutusunu kullanarak Park yürüyüş videoları birini tıklayın.
6. Isı haritası sekmesine tıklayın.
7. Isı haritasının rengini ve diğer özelliklerini ' Count ' (zaman penceresinde yapılan toplam sabitleme sayısı), ' mutlak süre ' (birikmiş fikstasyon süresi) ve ' bağıl süre ' değişkenlerini kullanarak istediğiniz şekilde ayarlayın (bir nesne bir sahnede bakarak harcanan süreyi bölünmüştür).
8. Isı haritasını içeren görüntüyü veya videoyu JPEG dosyası veya video dosyası olarak dışa aktarın.

Representative Results

Şekil 1 ve Şekil 2 tüm katılımcılar arasında tüm video için tüm göz izleme verilerini alarak ve bir ısı haritası üreten sonucunu göster; Bu, göz izleme yazılım paketlerinde kullanılabilen standart bir yaklaşımdır. Şekil 1 ve Şekil 2 ' ye göre, şekil 1 ' de videonun x koordinatını sol ve sağ taranan ortalama katılımcıların şekil 2' ye kıyasla bir yuvarlak şeklini gösterir. Bunun nedeni Şekil 1 ' de resim 2' de Park ile karşılaştırıldığında video boyunca daha fazla yatay öğe bulunduğundan. Isı haritasındaki görüntü tek bir çerçeveye sahiptir ve videonun tam içeriğini yeterli şekilde temsil etmez.

Masaüstü göz izleme sistemi ve yazılımı yalnızca her iki gözün aynı anda bulunabileceği sonuçları sayar. Başka bir deyişle, bir veya her iki göz bulunamazsa veri kaybolur sayılır. Bizim durumumuzda göz izleme verileri >% 80 ' i için yakalandı.

Şekil 3 ve Şekil 4 video içeriğini analiz etmek için makine öğreniminin protokolünü ve kullanımını kullanma sonucunu gösterir. Şekil 3 , Royal Park 'ın nispeten seyrek bitki örtüsü Ile karşılaştırıldığında Fitzroy bahçeleri 'nin yoğun bitki örtüsü gösterir (Şekil 4). İkincisi, daha fazla gökyüzü görünür, sahneleri daha fazla çalı bitki örtüsü hakim. Şekil 5 , katılımcıların biri için video kursu sırasında farklı nesnelerin% Fixation süresini gösterir. Bu yol video ders sırasında açıkça görünür olmasına rağmen, katılımcı sadece zaman zaman ancak önemli noktalarda bu özelliğe bakar gösterir. Benzer şekilde, Şekil 6 ' da gösterildiği gibi, Royal Park 'taki videonun içeriğinin küçük bir kısmı yapay nesnelerle ilgilidir, ancak çalışmada katılımcı bu özellikleri nispeten büyük ölçüde inceler.

Şekil 3, şekil 4, şekil 5ve Şekil 6 ' da bulunan bulgular, bu çalışmada veri kullanılan tüm 39 katılımcılar için şekil 7 ve Şekil 8 ' de özetlenebilir. Şekil 7 , videonun uzunluğu boyunca nesnelere bakarken tüm katılımcılar için bekleme süresini gösterir. Şekil 8 , bu farklı nesnelerin videoda işgal ettiği zaman ve alan miktarına bölünen aynı verileri gösterir. 1 değeri, bekleme süresini video nesne miktarı tarafından muhasebeleştirilebilir gösterir. Şekil 7 , sokak lambaları ve banklar gibi yapay nesnelerin diğer nesnelerle karşılaştırıldığında daha büyük ölçüde açık olduğunu gösterir (> 1). Şekil 7 Ayrıca, her iki görüntüdeki gökyüzü gibi daha az uygun olan nesnelerin nispeten daha az (< 1) görüntülendiklerine de gösterir.

Şekil 1: parkların biri tüm video için üretilen örnek ısı haritası. Bu göz izleri çoğunluğu nerede bulunduğunu gösterir. Video yatay öğelerin hakimiyeti nedeniyle ısı haritasındaki yatay şeklini unutmayın. Bu figürün daha büyük bir versiyonunu görmek Için lütfen tıklayınız.

Şekil 2: başka bir parkın tüm videosu için üretilen örnek ısı haritası. Videoda dikey ve yatay öğelerin varlığı nedeniyle daha yuvarlak şekle dikkat edin. Bu figürün daha büyük bir versiyonunu görmek Için lütfen tıklayınız.

Şekil 3: Fitzroy Gardens videodaki Içeriğin histogram makine öğrenme tekniği kullanılarak analiz edilmiştir. Bu figürün daha büyük bir versiyonunu görmek Için lütfen tıklayınız.

Şekil 4: Royal Park videodaki Içeriğin histogram makine öğrenme tekniği kullanılarak analiz edilmiştir. Bu figürün daha büyük bir versiyonunu görmek Için lütfen tıklayınız.

Şekil 5: Fitzroy bahçeleri 'ndeki nesnelere bakarak harcanan göz izleme sabitleme süresi. Bu figürün daha büyük bir versiyonunu görmek Için lütfen tıklayınız.

Şekil 6: Royal Park 'taki nesnelere bakarak harcanan göz izleme sabitleme süresi. Bu figürün daha büyük bir versiyonunu görmek Için lütfen tıklayınız.

Şekil 7: her iki Park için tüm katılımcılar ve nesneler Için toplanan göz izleme süreleri. Bu figürün daha büyük bir versiyonunu görmek Için lütfen tıklayınız.

Şekil 8: her iki Park için tüm katılımcılar ve nesneler için içeriğe göre toplam göz izleme bekleme süreleri. Bu figürün daha büyük bir versiyonunu görmek Için lütfen tıklayınız.

Discussion

Genellikle, göz izleme verileri analiz etmek için standart yazılım paketleri, bir vektör AOı kullanılır. Tek bir hareketsiz görüntü için bile vektör boyutu kolayca ölçülemez. Ayrıca, bir görüntü tüm Aoıs dahil olmak üzere ve AOIs göreli miktarlarda hesaplamak zahmetli. Bunu, bir makine öğrenimi tekniği olmadan bir videoda manuel olarak yapmak neredeyse imkansızdır. Bu ücretsiz bir görüntüleme durumu yorumlar nispeten basit bir ifadedir. Aynı uyarıcı da göz hareketlerini etkileyebilir önce çok daha hassas bir senaryo ve farklı senaryo açıklamaları kullanılabilir¹¹.

Araştırmalarımız, bir videoda nesneleri doğru bir şekilde sınıflandırmak ve bunların gözle görülebilir olduğu ölçüde analiz etmek için bir yöntem kullandı. Yöntem, göz hareketlerinin ilgi nesnelerine bağlı olduğu ölçüde bir muhasebe yöntemini temsil eder. Bu, farklı konularda bir mobil göz izleme aygıtı veya masaüstü tabanlı bir sistem kullanırken farklı konumlarda göz izleme karşılaştırılırken denetlenecek bir görünüm alanında mevcut olan ilgi objelerin kapsamını sağlar. Biz kullandığımız makine öğrenimi kullanarak nesnelerin otomatik sınıflandırmasını etkileyebilecek hususlar aydınlatma, sınıflandırılmakta olan ne ile ilgili şekiller (Örneğin , sadece bir ağaç türü değil, ağaç türleri bir dizi, onların pozisyon görüntü, onlar gibi yaktı vb), doku, ve renk. Kare sayısı hakkında önemli noktalar, analiz edilen video boyunca sergilenen görsel koşulların uzunluğu ve varyasyonunu, tanımlamak için nesne sınıflarının sayısını ve görünümlerinin sıklığını içerir. Çerçeveler her 1/25 saniyede bir değişir, ancak yazılım ile göz izleme 1/120 (120 Hz) ' de gerçekleşir. Bu nedenle, göz izleme verileri 4,8 kez yeni bir çerçevenin göründüğü oran olarak toplanacaktır. Tamamen doğru etiketlemek mümkün değildir, ancak çerçevelerin etiketlemesi her 5 kez değişmelidir. Örneğin, 99 sırasında göz izleme verileri 101 s video 100 saniye kare için kabul edilmiştir.

Mevcut göz izleme paketlerinin önemli bir avantajı, kullanıcıların kendi göz izleme sabitleme ve yolları bir film gözden geçirmek ve neden belirli nesnelere baktı açıklamak için ayarlanmış olmasıdır. Bu, bireysel konuların belirli nesnelere baktığını düşünmenizi sağlayan bir niteliksel veri kümesine neden olur. Projenin bir uzantısı da onlara içerik göreli olarak farklı zamanlarda nesnelere bakarak harcanan süreyi göstermek için olacaktır, örneğin bilgi Şekil 8. Ancak, bunu yapmak bir sahnede nesnelerin sayısını kontrol ederek hızla yeterli Şu anda mümkün değildir.

Örneğin, katılımcıların kendi bakış yollarını kaydettiği ve neden belirli nesnelere¹²baktıkları açıklamak için istenebilir. Bizim durumumuzda, her film katılımcıları sonunda 1-10 bir ölçekte, ilk olarak onlar dinlenmek ve bu ortamda (1, çok fazla değil, 10, çok fazla) ve ikinci ne kadar onlar gibi yaptım kurtarmak mümkün olacağını hissettim için parkların her oranı istendi Park (1, çok fazla, 10, çok).

Materials

Name	Company	Catalog Number	Comments
12 mm lens	Olympus		Lens
Panasonic GH4	Panasonic		Video Camera
Tobii Studio version (2.1.14)	Tobii		Software
Tobii x120 desktop eye-tracker	Tobii		Eye-tracker