Yöntem makalesi

Ses tabanlı Sanal Oyun Ortamı Geliştirilmesi Kör Navigasyon Becerileri ile Yrd etmek

DOI:

10.3791/50272

⸱

27 Mart 2013

 ,  ,  , 
1Laboratory for Visual Neuroplasticity, Department of Ophthalmology, Massachusetts Eye and Ear Infirmary, Harvard Medical School, 2Department of Computer Science and Center for Advanced Research in Education (CARE), University of Chile

Bu makalede

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ses temelli Çevre Simülatörü (Abes) kör gerçek dünyada navigasyon becerilerini geliştirmek için tasarlanmış sanal ortamda bir yazılımdır.

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ses temelli Çevre Simülatörü (Abes) kör gerçek dünyada navigasyon becerilerini geliştirmek için tasarlanmış sanal ortamda bir yazılımdır. Bir video oyunu metafor bağlamında sadece ses tabanlı ipuçları ve seti kullanarak, kullanıcıların bir binanın yerleşimine ilişkin ilgili mekansal bilgi toplamak. Bu, kullanıcının bir gerçek kapalı navigasyon görev amaçları için manipüle edilebilir bir büyük ölçekli üç-boyutlu uzayda bir doğru uzamsal bilişsel harita geliştirmelerine olanak sağlamaktadır. Oyun sonra, katılımcılar daha sonra oyun temsil Hedef fiziksel yapı içinde gezinmek yeteneklerine göre değerlendirilirler. Ön sonuçlar erken kör kullanıcılar navigasyon görevleri bir dizi performans ile endeksli olarak önceden bilmediğiniz binanın mekansal düzeni ile ilgili bilgileri elde etmek mümkün olduğunu göstermektedir. Bu görevler sanal ve fiziksel yapı sayesinde bulma yolu yanı sıra görevleri kapalı damla bir dizi içermektedir. Biz bulmak sürükleyicive Abes yazılım yüksek etkileşimli doğası büyük ölçüde aktif sanal ortamda keşfetmek için kör kullanıcıya meşgul görünüyor. Bu yaklaşımın Uygulamaları görme engelli bireylerin büyük nüfusa uzatabilir.

Giriş

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bilinmedik bir ortamda bir yolunu bulmak kör için önemli bir sorun olarak görülmektedir. Başarıyla gezinme kişinin kendinin ve çevrenin 1,2 nesneler arasındaki mevcut mekansal ilişkilerin anlaşılmasını gerektirir. Alanı çevreleyen açıklanır zihinsel gösterimi mekansal bir bilişsel harita 3 olarak adlandırılır. Kör bireyler 4,5 gerçek dünya navigasyon görevlerin amaçlar için doğru bir mekansal bilişsel harita üretimi için izin diğer duyusal kanalları (örneğin işitme gibi) aracılığıyla çevreye ilişkin ilgili mekansal bilgi toplayabilir.

Büyük ilgi öğrenmek ve becerilerini 6-9 ustalaşmak için bir araç olarak sanal ortamlar ve aksiyon video oyunları eğitici potansiyeli ile ilgili ortaya çıkmıştır. Nitekim, birçok strateji ve yaklaşımlar bu amaçla (4,10-12 bakınız) körler için geliştirilmiştir. Biz Audi geliştirdiko tabanlı Çevre Simülatörü (Abes); varolan fiziksel binanın simüle navigasyon ve keşif için izin veren bir kullanıcı-merkezli ses tabanlı sanal ortam. Abes yazılım (Şekil 1A ve B) ile oluşturulan; özgün mimari kat planları, modern iki katlı bina (Newton, MA Körler Carroll Merkezinde bulunan) bir sanal render yola çıkarak. Abes bina alanı bütünüyle araştırmayı teşvik etmek için tasarlanmış bir öncül ile bir aksiyon oyunu metafor içermektedir. Basit tuş vuruşlarını ve uzamsallaştırılamaz ses ipuçlarını kullanarak, kullanıcılar gezinmek ve çeşitli odalarında gizli mücevher bir maksimum sayıda toplamak için tüm bina keşfetmek. Kullanıcılar onları götürmek ve başka bir yerde bina (Şekil 1C) bunları gizleyebilirsiniz canavarlar fitil kaçınmak gerekir.

Biz Abes ile etkileşim kör bir kullanıcı işitsel bilgiler esas hedef binanın doğru bir mekansal bilişsel haritası oluşturmasına olanak sağlar göstermektedirbir aksiyon oyunu metafor bağlamında cquired. Bu bir gerçek dünya ve büyük ölçekli kapalı navigasyon görevi (genel çalışma tasarımı için bakınız Şekil 2) için bir sanal ortamda alınan mekansal bilgi transferi değerlendirmek için tasarlanmış eğitim sonrası davranışsal performans testleri bir dizi ile teyit edilir. Bizim sonuçlar hiçbir zaman onlar çalışmanın genel amacı hakkında bilgi vardı, ne de mekansal düzenini çağırmak için talimat olduğu gerçeğine rağmen, görme engelli kullanıcılar başarıyla daha önce bilmediğiniz kazandığınız bir bina içinde gezinmek mümkün olduğunu göstermektedir oyun oynarken bina.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Protokol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Katılımcı Demografi

Bu 18-45 yaş arasındaki kör kız ve erkek katılımcıların acemi bir on-going çalışmadır. Tüm katılımcılar erken başlangıçlı (önceki 3 yaşına kadar belgelenmiş) ve oküler nedenlere değişen yasal olarak kör vardır. Çalışmaya katılanların hiçbiri Hedef fiziksel binanın mekansal düzeni ile daha önceden aşina idi.

2. Abes ile Hazırlık ve Alışma

  1. Eğitim ve değerlendirme süreci boyunca takılabilir bir gözbağı ve kulaklık ile katılımcı sağlayın. Gözbağı rahatça gözlerinin üzerine yerleştirilir ve kulaklık düzgün yönlendirilmiş ve kulaklar (sol kulağının üzerinde yani sol hoparlör) üzerine yerleştirilmiş olduğundan emin olun.
  2. Nasıl atandığı tuşları ve Abes yılında ses yardımlar ile temsil bilgileri kullanmayı Tren katılımcı. Belirli tuş vuruşlarını (Şekil 3) kullanarak, bir kullanıcı gezinirken ve araştırıyor(sağ veya sol, ileri hareket) neredeyse bina. Her sanal adım gerçek fiziksel binada bir adım yaklaşır.
  3. Oyunun kuralları ve öncül ile tanışın.
  4. Oyun özgü ses yardımlar (yerini mücevherleri ve yakındaki canavarlar ses yani ses) ile tanışın. Kullanıcının binayı dolaşırken gibi, işitsel tabanlı ve bağlamsal mekansal bilgi sırayla elde edilir ve dinamik olarak güncelleştirilir. Mekansal ve durumsal bilgi atılan her adımdan sonra sağlanan ikonik ve uzamsallaştırılamaz ses ipuçları dayanmaktadır. Oryantasyon kardinal pusula başlıkları (örneğin, "kuzey" veya "doğu") ve konuşma yoluyla metni (TTS) Bir kullanıcının geçerli konumu, yönelim ve (örneğin, "Eğer ilk günü koridor vardır başlığı daha fazla bilgi sağlamak için kullanılan esas batıya bakan zemin ") yanı sıra nesneleri ve onların yoluna engeller (örneğin kimlik" bu bir kapıdır "). Uzaklık ipuçları dayalı o sağlanmaktadırn modülasyonlu ses şiddeti. Seslerin mekansal Lokalizasyon kullanıcının benmerkezci başlığı eşleşecek şekilde güncelleştirilir. Esasen, yazılım, kullanıcı yerini ve başlık benci bir fonksiyonu olarak uygun bir ses dosyasını yürütmek için tasarlanmıştır ve çevre arasında hareket ederken kullanıcının konumunu takip eder edilir. Bir kapı kişinin sağ tarafta bulunan Örneğin, vurma sesi (yazılım sağ kanal bir vurma sesi bir ses dosyası oynar yani) kullanıcının sağ kulakta duyulur. Kişi şimdi aynı kapıdan şimdi sol tarafta yer almaktadır böylece 180 derece etrafında dönerse, aynı vurma sesi artık sol kanal (yani yazılımın sol kanal bir vurma sesi bir ses dosyası çalar) duyulur. Kullanıcı kapıya bakan Son olarak, eğer, aynı vurma sesi eşit iki kulakta duyulur. Kullanıcının benmerkezci başlığı takip ederek, yazılımı tanımlamak uygun mekansal yerelleştirilmiş sesleri çalabilirvarlığı ve konumu nesneleri ve kullanıcı olarak bu değişiklikleri izlemek sanal ortamda boyunca ilerler. Şekil 4'e bakın.

3. Eğitim ve Abes ile Oyun Oyun (3 Sessions 1.5 saat bir toplam için her Ömürlü 30 dk)

  1. Ücretsiz oyun herhangi bir zorluklar ve sorunlar (tuş vuruşlarını yani kullanımı, ses yardımlar, zor gezinti alanları) oynamak ve dikkat için izin ver. Pozitif takviye ve açıklamalar her eğitim oturumunun sonunda verilmiştir.
  2. Kayıt oyun performansı (örneğin bir katılımcının bir mücevher bulur numarası, zaman ve yer).

4. Sanal Gezinti Görev Performansı değerlendirin

  1. Katılımcının test ayrıntıları açıklayın ve sanal gezinti görevleri tamamlamak için yönergeleri sağlar. Katılımcı sırayla katılımcı kez Abes yazılım (yani kullanarak sunulan 10 önceden belirlenmiş bir navigasyon tamamlayacaktırpantolon ilk görev başarıyla tamamlandığında, bilgisayar otomatik olarak) aşağıdaki görevin başlangıç ​​noktasına onları yeniden bulur.
  2. Onlar her gezinti görevi tamamlamak için 6 dak maksimum olacağı katılımcı bilgilendirin.
  3. Karşılaştırılabilir zorluk (yani mesafe seyahat ve tur sayısı) 10 sanal gezinti yolları 10 başlangıç ​​önceden belirlenmiş eşlendirme göre seçilir ve (yani odalarda) yerle durdurur. Özellikle, hedef rota gezinmek için izlenmesi gereken adımlar aralığı 25-35 adımları (sanal ortamda) ve 90 derece 3-4 dönüşler arasındaki dahil arasındaydı.
  4. Otomatik sunum ve performans veri yakalama için Abes içine 10 navigasyon çiftleri yükleyin.
  5. Sonuç ölçümleri otomatik Abes 'dahili yazılım kullanılarak kaydedilir. Sonuç önlemler şunlardır: Navigasyon görev ve hedefe ulaşmak için gerekli zaman, başarıyla tamamlanması. Şekil 5A bakınız.
  6. Talimatlar dbaşlangıç ​​konumu ve hedef hedef escribing, her bir iş başlangıcında ABES yazılım tarafından otomatik olarak sağlanır. Zamanlama kez konu başlangıç ​​konumundan ilk sanal adım alır ve bir kez (zaman çalışma eksik ve sonraki yolu sunulmuştur olarak puanlanmıştır olduğu için 6 dk, daha uzun sürer sürece) hedef konuma gelmeden biter hemen başlar. Yakalanan verileri otomatik olarak bir metin dosyasına gönderilir ve veritabanı / ileri analiz için istatistik yazılımı sonradan açıldı.

5. Fiziksel Navigasyon Görev Performansı değerlendirin

  1. Katılımcının test ayrıntıları açıklayın ve fiziksel navigasyon görevleri tamamlamak için yönergeleri sağlar. Katılımcının 10 önceden belirlenmiş navigasyon görevlerin (önceki sanal performans değerlendirmesinden karıştırılmış sırayla sunulması) ve deneyimli bir araştırmacı gözetiminde tamamlayacak.
  2. Onlar maxi olacak katılımcı Inform6 dakika mum her gezinti görevi tamamlamak için. Fiziksel navigasyon görev amaçları için, katılımcı hareketlilik destek için beyaz şeker kamışı kullanmasına izin verilir.
  3. 10 fiziksel gezinme yolları karşılaştırılabilir zorluk 10 start ve stop konumları (yani oda) (yani mesafe seyahat ve tur sayısı) önceden belirlenmiş eşlendirme dayalı seçilir.
  4. Araştırmacı kronometre ve performans manuel puanlama için navigasyon görevlerin listesini panoya hazırlar.
  5. Sonuç ölçümleri manuel olarak araştırmacı tarafından kaydedilir. Sonuç önlemler şunlardır: Navigasyon görev ve hedefe ulaşmak için gerekli zaman, başarıyla tamamlanması.
  6. "Kare-off" katılımcının (yani pozisyon arkalarındaki başlangıç ​​konumu kapı ile katılımcı). Başlangıç ​​konumu ve hedef hedef yönergeler, her bir iş başlangıcında araştırmacı tarafından sağlanmaktadır. Zamanlama kez hemen konuyu tak başlarkatılımcı sözlü (zaman çalışma tamamlanmamış ve sonraki yolu sunulmuştur olarak puanlanmıştır olduğu için 6 dk, daha uzun sürer sürece) hedef gelmeden bildirdiğinde es başlangıç ​​konumundan ilk fiziksel adım ve biter. Yakalanan verileri elle kaydedilen ve daha sonra veritabanı / ileri analiz için istatistik yazılımı aktarılır. Şekil 5B bakın.

6. Görev Performans kapanır Fiziksel Bırak değerlendirin

  1. Katılımcının test ayrıntıları açıklayın ve navigasyon görevleri kapalı fiziksel damla tamamlamak için yönergeleri sağlar. Katılımcı en kısa yolu kullanarak binanın çıkma hedefleri ve deneyimli bir araştırmacı gözetiminde 5 gösterime görevleri tamamlamak olacaktır.
  2. Onlar her gezinti görevi tamamlamak için 6 dak maksimum olacağı katılımcı bilgilendirin. Navigasyon Görevi fiziksel damla amaçları için, katılımcı izin verilirmobilite destek için beyaz baston kullanmak.
  3. 5 önceden belirlenmiş bir fiziksel başlangıç ​​konumları farklı uzunluklarda 3 çıkış yolları da mümkün olduğu bu gibi kullanılır.
  4. Araştırmacı kronometre ve performans manuel puanlama için navigasyon görevlerin listesini panoya hazırlar.
  5. Sonuç ölçümleri manuel olarak araştırmacı tarafından kaydedilir. Sonuç önlemler şunlardır: Navigasyon görev ve hedefe ulaşmak için gerekli zaman, başarıyla tamamlanması. Ayrıca, yolları alınan kısa yolu maksimum puan (kısa yol için, yani 3, ikinci için 2, görevi tamamlamak için mümkün olmadığı için uzun için 1 ve 0) verilir böyle puanlanır. Şekil 5C bakın.
  6. Ilk başlangıç ​​yeri "Kare-off" katılımcı. Başlangıç ​​konumunu belirten talimatları, her bir iş başlangıcında araştırmacı tarafından sağlanmaktadır. Zamanlama kez konu başlangıç ​​konumundan ilk fiziksel adım alır ve biter hemen başlarkatılımcı sözlü (zaman çalışma tamamlanmamış olarak atılırsa ve sonraki başlangıç ​​konumu sunulduğu için 6 dk, daha uzun sürer sürece) binanın çıkış kapısına gelen raporlar. zaman Yakalanan verileri elle kaydedilen ve daha sonra veritabanı / ileri analiz için istatistik yazılımı aktarılır.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Sonuçlar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Üç erken kör katılımcılar (19 ve 22 yaşları arasında) alınan sonuçlar (katılımcı özellikleri için Tablo 1'e bakınız) gösterilir. Özet olarak, her üç katılımcı Abes yazılım ile oyun sonrasında her üç navigasyon görevlerin başarı yüksek düzeyde gösterdi. Bu her üç davranışsal görevler (bkz. Şekil 6) ile ilgili performans puanları (grup ortalaması ve bireysel) tarafından doğrulandı. Sanal (ortalama:% 90) için oran doğru performansı takip fiziksel (ortalama: 88.7%), navigasyon görevlerin he...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Tartışma

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Biz kör genel mekansal farkındalık ve navigasyon becerilerini geliştirmek için tasarlanmış interaktif bir ses tabanlı sanal ortam simülatörü açıklanmaktadır. Biz Abes ile etkileşim nesneleri ve hedef çevrenin genel düzenini arasındaki uzaysal ilişkileri açıklamak doğru ipuçları sağladığını göstermektedir. Kör kullanıcıların bu işitsel bilgi ve sürükleyici sanal ortam ile etkileşerek göre doğru uzamsal bilişsel haritalar üretebilirsiniz. Ayrıca, bir oyun metafor bağlamında Abes etkileşen mekansal bilişsel yapıları yazılı...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Açıklamalar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar herhangi bir çıkar çatışmalarını beyan.

Teşekkürler

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar bu araştırma yürüten verdikleri destek için Rabih Dow, Padma Rajagopal, Molly Connors ve Körler Carroll Merkezi (Newton MA, ABD) personel teşekkür etmek istiyorum. RO1 EY019924: Bu çalışma NIH / NEI hibe ile desteklenmiştir.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
Ekipman Adı Yorumlar
Dizüstü bilgisayar Laptop eğitim katılımcıları ve verilerin toplanması için özel olarak kullanılan
Stereo Başkanı telefonlar (tamamen kapalı çevresel tasarım) Eğitim sırasında tüm katılımcılar tarafından Aşınmış
Körü körüne Eğitim ve test sırasında tüm katılımcılar tarafından Aşınmış

Kaynaklar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Loomis, J. M., Klatzky, R. L., Golledge, R. G. Navigating without vision: basic and applied research. Optom. Vis. Sci. 78, 282-289 (2001).
  2. Siegel, A. W., White, S. H. The development of spatial representations of large-scale environments. Adv. Child Dev. Behav. 10, 9-55 (1975).
  3. Strelow, E. R. What is needed for a theory of mobility: direct perception and cognitive maps--lessons from the blind. Psychol. Rev. 92, 226-248 (1985).
  4. Giudice, N. A., Bakdash, J. Z., Legge, G. E. Wayfinding with words: spatial learning and navigation using dynamically updated verbal descriptions. Psychol. Res. 71, 347-358 (2007).
  5. Ashmead, D. H., Hill, E. W., Talor, C. R. Obstacle perception by congenitally blind children. Percept. Psychophys. 46, 425-433 (1989).
  6. Dede, C. Immersive interfaces for engagement and learning. Science. 323, 66-69 (2009).
  7. Bavelier, D., et al. Brains on video games. Nat. Rev. Neurosci. 12, 763-768 (2011).
  8. Bavelier, D., Green, C. S., Dye, M. W. Children, wired: for better and for worse. Neuron. 67, 692-701 (2010).
  9. Lange, B., et al. Designing informed game-based rehabilitation tasks leveraging advances in virtual reality. Disabil. Rehabil. , (2012).
  10. Merabet, L., Sánchez, J. Audio-based Navigation Using Virtual Environments: Combining Technology and Neuroscience. AER Journal: Research and Practice in Visual Impairment and Blindness. 2, 128-137 (2009).
  11. Kalia, A. A., Legge, G. E., Roy, R., Ogale, A. Assessment of Indoor Route-finding Technology for People with Visual Impairment. J. Vis. Impair. Blind. 104, 135-147 (2010).
  12. Lahav, O., Schloerb, D. W., Srinivasan, M. A. Newly blind persons using virtual environment system in a traditional orientation and mobility rehabilitation program: a case study. Disabil. Rehabil. Assist Technol. , (2011).
  13. WHO | Global trends in the magnitude of blindness and visual impairment [Internet]. , World Health Organization (WHO). Available from: http://www.who.int/blindness/causes/trends/en/index.html (2012).

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Yeniden basım ve izinler

Bu JoVE makalesinin metnini veya şekillerini yeniden kullanmak için izin iste

İzin iste

Etiketler

Ses Tabanl Ortam Sim lat rSanal Navigasyon E itimiUzamsal Bili sel HaritalamaG rme Engelliler in Navigasyon BecerileriSesli pucu LokalizasyonuFiziksel Bina NavigasyonuSanal Ortam Ke fiOryantasyon ve Hareket E itimiB rakma G revi De erlendirmesiYol Bulma Performans

İlgili makaleler