Göz izleme verilerini ücretsiz video Içeriğinin analiziyle birleştirme-kentsel park ortamında bir yürüyüşe video görüntüleme

Birçok göz izleme çalışmaları karmaşık video uyaranları ve veri analizi son derece karmaşık hale gerçek dünya ayarları güveniyor. Bu analiz tekniği, video tabanlı verileri analiz etmek için şu anda mevcut yöntemlerden çok daha zengin ve otomatik bir yaklaşım sağlar ve bu da daha karmaşık verilerin daha zengin çıkarılmasına yol açacaktır. Bu yöntem, özellikle gerçek dünya durumlarında veya videoyu uyarıcı olarak kullananbirçok farklı göz izleme uygulamasında kullanılabilir.

Peyzaj çalışmaları, insanların farklı görsel uyaranlara nasıl tepki verdiğini anlamaya dayanıyordu. Bu teknik göz izleme ile birlikte bu varsayımları test etmek için kullanılabilir. Bu tür bir araştırma için, bir takım yaklaşımı, yüksek düzeyde giriş ve değerlendirme gerektiren birden fazla yönü vardır için gereklidir.

Prosedürü benimle göstermek benim yüksek lisans öğrencim Andrew Treller olacak. Film sekansları, doğal ışığın mevcut olduğu ancak ekrandaki yansımaları önlemek için kontrol edilebilen bir göz izleme laboratuvarında gösterilmelidir. Katılımcıyı ekrandan 60-65 santimetre uzağa oturttuktan sonra, katılımcının göz izleme videosu bağlamında hayal etmesini sağlayan bir cümle kullanarak restorasyona ihtiyacı olduğunu hayal etmelerini isteyin.

Daha sonra, her video sırasında katılımcının göz hareketlerini kaydetmek için bir masaüstü göz izleme cihazı kullanarak katılımcı için filmleri önceden belirlenmiş rastgele bir sırada oynayın. İlgi çekici bir alan tasarlamak için, çalışmayla ilgili ağaçlar, çalılar, tabelalar, binalar, yollar, adımlar gibi ilgi çekici öğeleri seçin. En iyi performans ve minimum eğitim gereksinimleri için, görsel olarak birbirinden kolayca ayırt edilebilen ve/veya her video çerçevesinin farklı bölgelerini sürekli olarak işgal eden öğeleri kullanın.

Genel olarak, her AOI'nin görsel olarak ayırt edici farklılıklarını gösteren yeterli eğitim örnekleri de dahil olmak üzere, sağlam bir performans için yeterli olmalıdır. Tüm öğeler değiştirildiğinde, eğitim kümesini oluşturan uygun sayıda eğitim çerçevesi seçin. Uygun sabit bir numara yoktur.

Ardından, görüntü düzenleme yazılımındaki videodaki her eğitim çerçevesini açın ve her kare için yüklenen görüntüye yüklenen görüntüye saydam bir görüntü katmanı yerleştirin ve her bir nesne ilgi alanı için bir renk paleti oluşturun. İlgi çekici örnek alan için rengi seçmek için, uygun palet seçeneğiyle örnek bir bölgede renklendirmek için bir alan içindeki pikselleri tıklatın ve sürükleyin. Bir çerçevenin etiketlemesi tamamlandıktan sonra, temel dosya adının özgün çerçeve temel dosya adıyla eşleştiğini, ancak sonuna eklenen bir C ile dikkat ederek, üst üste bindirilmiş katmanı ayrı bir resim dosyası olarak dışa aktarın.

Eğitilen sınıflandırıcının doğruluğunu nicel olarak doğrulamak için, eğitim kümesine dahil edilecek şekilde seçilmemiş orijinal video dizisinden kareler seçin ve her karedeki pikselleri, eğitim çerçevelerinin mümkün olduğunca hassas ve kapsamlı olması için gösterildiği gibi etiketlendi. Bir çerçevenin etiketlemi tamamlandığında, dosyaları ayrı bir doğrulama çerçeveleri klasörüne kaydederek eğitimle aynı adlandırma kuralını kullanın. Video dizisinin otomatik piksel etiketlemesi için Darwin grafik kullanıcı arabirimini başlatın ve yükleme eğitim etiketlerini tıklatın.

Gui'yi eğitim ve etiketleme için yapılandırmak için proje oluştur'u seçin ve açılır pencere iletişim kutusunu kullanarak projeye bir ad sağlayın. Açılır pencerede video dizisinin tüm orijinal çerçevelerini içeren klasörü seçin. Açılır dosya gezgini iletişim kutusunu kullanarak, ilgili video dizisi için etiketli eğitim görüntülerini içeren klasörü seçin.

Dosya gezgini iletişim kutusunda, ilgili video dizisi için etiketlenmiş doğrulama görüntülerinin tümünü içeren klasörü seçin. Eğitimde kullanılan aynı renk paletini kullanarak etiketli görüntüler biçiminde olacak tüm çıkış çerçeveleri için bir hedef klasörseçmek için komut istemini izleyin. Pop-up diyalog kutusunu kullanarak, ilgi alanları altında, eğitim örneklerinde her bölgeyi işaretlemek için kullanılan kırmızı/yeşil/mavi değerleri de dahil olmak üzere etiketlemek için ilgi alanlarını girin.

Algoritma, etiketlenmiş her eğitim çerçevesini inceler ve pikselleri belirtilen nesne sınıflarından herhangi birine sınıflandırmak için bir görünüm modeli öğrenir. Eğitim tamamlandıktan sonra, eğitimi doğrula'yı tıklatın. Dosya gezgini iletişim kutusunda, ilgili video dizisi için etiketlenmiş doğrulama görüntülerinin tümünü içeren klasörü seçin.

Oluşturulan etiketleri görsel olarak doğrulamak için görsel doğrulamayı tıklatın. Oluşturulan her etiketli görüntü, özgün doğrulama çerçevesinin yanında görüntülenir. Nicel veya nitel doğrulamada gözlenen doğruluk kabul edilebilir seviyelerin altına düşerse, daha fazla eğitim örneklerini içerir ve yeniden eğitin.

Sınıflandırıcı eğitimi ve doğrulama aşamaları tamamlandıktan sonra, eğitilmiş sınıflandırıcıyı kullanarak video dizisindeki tüm karelerin tam etiketlemesine başlamak için çalıştır çıkarımını tıklatın. Etiketleme tamamlandıktan sonra, birkaç saat sürebilir, ortaya çıkan etiketleri görmek için çıktıya göz atın. Çoğu göz izleme yazılımı, katılımcıların ısı haritasının daha yuvarlak bir şekil gösterdiği ikinci videoya kıyasla ilk videodaki videonun x-koordinatında ortalama olarak sola ve sağa taranır.

Bu yazıda açıklanan makine öğrenme piksel etiketleme tekniğini kullanarak daha fazla ayrıntı görebiliriz. Yüzde fiksasyon süresinin bu grafik gösterimi, yolun video sırasında açıkça görülebilen bir yol olduğunu gösterir. Ancak, göz izleme verilerinden elde edilen bu rakamda da görüldüğü gibi, katılımcı bu özelliğe yalnızca bazen önemli noktalarda bakmış.

Burada bu temsili çalışmanın 39 katılımcısının yaşadığı sürenin bir özeti video nun uzunluğu boyunca nesnelere bakarken gösterilmiştir. Bu grafikte, aynı çalışma süresi verileri videoda farklı nesnelerin bulunduğu zaman ve alan miktarına bölündü. Bir değer, çalışma süresinin videodaki nesne miktarına göre hesaplanabileceğini gösterir.

Örneğin, her iki görüntüde de gökyüzü gibi daha az ilgili olan nesneler diğer nesnelere göre nispeten daha az görüntülenmiştir. Sokak lambaları ve banklar gibi yapay nesneler diğer doğal nesnelere göre daha büyük ölçüde üzerinde durmaktaydı. Bu tür analizler dikkat ve dikkat çekici lik sorularını araştırmak için çok geniş kapsamlı kullanımlara sahip olabilir ve farklı araştırma alanlarına geniş kapsamlı uygulamalar alabilirsiniz.

Görsel uyaranolarak kısa filmlerin kullanımı giderek yaygınlaştıkça, bu tekniğin daha popüler hale gelmesini bekliyoruz.