Методическая статья

Развитие Audio на основе виртуальной игровой среды для оказания помощи навыки навигации в слепых

DOI:

10.3791/50272

⸱

27 марта 2013 г.

 ,  ,  , 
1Laboratory for Visual Neuroplasticity, Department of Ophthalmology, Massachusetts Eye and Ear Infirmary, Harvard Medical School, 2Department of Computer Science and Center for Advanced Research in Education (CARE), University of Chile

В этой статье

Краткое содержание

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Аудио-среде Simulator (ABES) является виртуальной программной среде, направленных на улучшение реальные навыки навигации в мире слепых.

Аннотация

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Аудио-среде Simulator (ABES) является виртуальной программной среде, направленных на улучшение реальные навыки навигации в мире слепых. Используя только аудио сигналы и на основе набора в контексте метафору видеоигр, пользователи сбора соответствующей пространственной информации относительно расположения здания. Это позволяет пользователю разработать точную пространственную когнитивную карту крупномасштабных трехмерное пространство, которым можно манипулировать в целях реального закрытый задач навигации. После игры, участники затем оценивается по их способности перемещаться в пределах целевого физического потенциала, представленных в игре. Предварительные результаты показывают, что раннее слепые пользователи получили возможность приобретать соответствующую информацию о пространственном расположении ранее незнакомые здания, проиндексированы на их эффективность на ряд навигационных задач. Эти задачи включены поиска пути через виртуальный и физический здания, а также ряд высадки задач. Мы считаем, что погружениеи интерактивный характер программного обеспечения ABES появляется значительно участвовать незрячий пользователь активно изучать виртуальную среду. Применение такого подхода может распространяться на большие популяции лиц с нарушениями зрения.

Введение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Нахождение пути в незнакомой обстановке представляет как серьезную проблему для слепых. Навигация успешно требует понимания пространственных отношений, которые существуют между самим собой и объектов окружающей среды 1,2. Мысленное представление, что описывает окружающее пространство называется пространственной когнитивной карты 3. Слепые люди могут собрать необходимую пространственную информацию, касающуюся окружающей их среды через другие сенсорные каналы (например, слуховых), позволяющий для создания точной пространственной когнитивной карты для целей реальном мире навигационных задач 4,5.

Значительный интерес возник в отношении воспитательного потенциала виртуальных сред и действия игры видео как средства обучения и овладеть навыками 6-9. Действительно, многие стратегии и подходы были разработаны для слепых для этой цели (см. 4,10-12). Мы разработали Audiо-среде Simulator (ABES), ориентированного на пользователя аудио-и виртуальные среды, что позволяет для моделирования навигации и разведки существующего физического потенциала. Исходя из оригинальных архитектурных планов этажей, виртуальный оказания современной двухэтажное здание (находится в Carroll центр для слепых; Newton, Массачусетс) был создан с помощью программного обеспечения ABES (рис. 1а и В). ABES включает в себя метафору действие игры с помещением направленную на содействие полной разведки здания пространстве. С помощью простых нажатий клавиш и spatialized сигналов звука, пользователям перемещаться и исследовать все здание, чтобы собрать максимальное количество драгоценностей скрыты в разных комнатах. Пользователи должны избегать бродячих монстров, которые могут их забрать и спрятать их в другом месте в здании (рис. 1С).

Мы демонстрируем, что взаимодействие с ABES позволяет слепому пользователю создавать точную пространственную когнитивную карту целевого строительства на основе слуховой информацииcquired в контексте метафору игровых действий. Это подтверждается серией после обучения поведенческих тестов производительности предназначены для оценки передаче приобретенных пространственную информацию из виртуальной среды в реальном мире и масштабные задачи закрытый навигации (см. Рисунок 2 для общего дизайна исследования). Наши результаты показывают, что слепые пользователи смогут успешно перемещаться по всему зданию, для которых они ранее были незнакомы, несмотря на то, что ни в какое время они были проинформированы общей цели исследования, не были они поручили Напомним пространственного расположения строительство во время игры.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Протокол

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Участник Демография

Это текущие исследования, которое вербует слепой мужчина и женщина участники в возрасте от 18-45 лет. Все участники слепым раннего начала (документально до возраста 3) и различных глазных этиологии. Ни один из участников исследования ранее были знакомы с пространственное расположение целевой физической здания.

2. Подготовка и ознакомление с ABES

  1. Обеспечить участник с завязанными глазами и наушники для ношения на протяжении обучения и оценки процесса. Убедитесь, что с завязанными глазами удобно размещены на глаза и наушники правильно ориентироваться и расположены над ушами (т.е. левый динамик над левым ухом).
  2. Поезд участника, как использовать назначенных клавиш и информация представлена ​​аудио сигналы в ABES. Использование специальных клавиш (рис. 3), пользователь, просматривая и исследуетстроительство практически (движение вперед, вправо или влево). Каждый виртуальный шаг приближает один шаг в реальный физический здания.
  3. Ознакомиться с правилами и предпосылка игры.
  4. Ознакомиться с звуковые сигналы, характерные для игры (например, звук размещение драгоценных камней и звуки монстров рядом). Когда пользователь переходит по зданию, слуховой основе и контекстная пространственной информации приобретает последовательно и динамически обновляется. Пространственные и ситуационные данные основаны на знаковых и spatialized звук раздражители, после каждого шага принято. Ориентация на основе кардинального компаса (например, "север" или "восток") и текст с помощью речи (TTS) используется для предоставления дополнительной информации о текущем местоположении пользователя, ориентацию и направление (например, "Вы находитесь в коридор на первом пол, лицом на запад "), а также идентификации объектов и препятствий на их пути (например," это дверь "). Расстояние сигналы предоставляются на основе выводап модуляции интенсивности звука. Пространственной локализации звука обновляется, чтобы соответствовать эгоцентрической заголовок пользователей. Существенно, что программа предназначена для воспроизведения соответствующей звуковой файл в зависимости от расположения и эгоцентрической заголовком пользователя и отслеживает положение пользователя, как они двигаются через окружающую среду. Например, если дверь находится на правой стороне лица, стук слышен звук в правом ухе пользователя (например, программное обеспечение играет звуковой файл стук в правом канале). Если человек сейчас разворачивается на 180 градусов, так что же двери в настоящее время находится на левой стороне, то же стук сейчас слышали в левом канале (например, программное обеспечение играет звуковой файл стук в левом канале). И, наконец, если пользователь лицом к двери, тот же стук слышен в обоих ушах одинаково. Отслеживая эгоцентрической заголовком пользователя, программное обеспечение может играть в соответствующих пространственных локализованных звуки, которые идентифицируютналичие и расположение объектов и отслеживать эти изменения как пользователь перемещает через виртуальную среду. См. Рисунок 4.

3. Обучение и игра с ABES (3 сессии каждая из которых длится 30 минут в общей сложности 1,5 часа)

  1. Разрешить для бесплатной игры играть, и отметить любые трудности и проблемы (т.е. использование клавиш, звуковые сигналы, областей трудной навигацией). Положительное подкрепление и разъяснения приводятся в конце каждой тренировки.
  2. Производительность записи игры (например, число, время и место, где участник находит драгоценный камень).

4. Оценка Виртуальный целевой навигационные характеристики

  1. Объясните участником подробную информацию о тестировании и предоставить инструкции о том, как завершить виртуальную задач навигации. Участник завершится 10 заданном навигационных задач представлены последовательно с помощью программного обеспечения ABES (то есть после участбрюки успешно завершена первая задача, компьютер будет автоматически повторно разместить их в исходную точку следующие задачи).
  2. Информировать участников, что они будут иметь максимум 6 минут, чтобы закончить каждый навигационной задачи.
  3. 10 виртуальных путей навигации сопоставимой сложности (т.е. пройденное расстояние и количество витков) выбираются на основе заранее определенных пар из 10 запуска и остановки местах (например, номеров). В частности, ряд шагов, необходимых для перехода целевого маршрута колебалась между 25-35 шагов (в виртуальной среде) и включен между 3-4 оборота 90 градусов.
  4. Загрузите 10 пар навигации в ABES для автоматизированного представления и сбора данных о производительности.
  5. Результат меры автоматически записываются с использованием внутреннего программного обеспечения ABES. Результат меры включают в себя: успешное выполнение задачи навигации и время, необходимое для достижения цели. См. Рисунок 5А.
  6. Инструкция Describing место начала и целевого назначения осуществляется автоматически с помощью программного обеспечения ABES в начале каждой задачи. Отсчет времени начинается сразу как только субъект принимает их первый виртуальный шаг от начального и заканчивается после прибытия в нужное место (если время занимает больше времени, чем на 6 мин, для которого перспективе оценивается как неполная и следующий путь представлен). Захваченные данные автоматически передаются в текстовый файл и открыл впоследствии в базе данных / статистического программного обеспечения для дальнейшего анализа.

5. Оценка физической работоспособности целевой навигации

  1. Объясните участником подробную информацию о тестировании и предоставить инструкции о том, как завершить физических задач навигации. Участник завершится 10 заданном навигационных задач (представлены в порядке яичницу с предыдущей виртуальной оценки производительности) и под наблюдением опытного следователя.
  2. Информировать участников они будут иметь максимама 6 мин для выполнения каждой задачи навигации. Для целей физические задачи навигации, участник может использовать свои белые трости для поддержки мобильности.
  3. 10 физических пути навигации выбираются на основе заранее определенных пар из 10 пуска и останова местах (например, номеров) сопоставимой сложности (т.е. пройденное расстояние и количество витков).
  4. Следователь готовит секундомер и блокнот со списком навигационных задач для ручной подсчет производительности.
  5. Результат меры вручную записанные следователем. Результат меры включают в себя: успешное выполнение задачи навигации и время, необходимое для достижения цели.
  6. "Квадрат-офф" участник (т.е. позиция участника с дверью местонахождение за ними). Инструкции, описывающие расположение начала и целевого назначения осуществляется следователем в начале каждой задачи. Отсчет времени начинается сразу как только субъект TakES их первый физический шаг от начальной точки и заканчивается, когда участник устно сообщает прибытии в пункт назначения (за исключением времени занимает больше времени, чем на 6 мин, для которого перспективе оценивается как неполная и следующий путь представлен). Захваченные данные записываются вручную, а затем передаются в базу данных / статистического программного обеспечения для дальнейшего анализа. См. Рисунок 5В.

6. Оценка физического Понизьтесь выполнения задачи

  1. Объясните участником подробную информацию о тестировании и предоставить инструкции о том, как завершить физический уходят навигационных задач. Участник завершится 5 задач навигации с целями выходе из здания по кратчайшему маршруту можно и под наблюдением опытного следователя.
  2. Информировать участников, что они будут иметь максимум 6 минут, чтобы закончить каждый навигационной задачи. Для целей физического уходят задач навигации, участник можетиспользовать свои белые трости для поддержки мобильности.
  3. 5 заданными физико начиная местах используются такие, что 3 выхода путям разной длины возможно.
  4. Следователь готовит секундомер и блокнот со списком навигационных задач для ручной подсчет производительности.
  5. Результат меры вручную записанные следователем. Результат меры включают в себя: успешное выполнение задачи навигации и время, необходимое для достижения цели. Кроме того, пути забили так, что кратчайший путь, дается максимальное количество баллов (т.е. 3 на кратчайшем пути, 2 для второго, 1 для длинных, и 0 для не в состоянии выполнить поставленную задачу). См. Рисунок 5C.
  6. "Квадрат-офф" участника на первой стартовой позиции. Инструкции, описывающие начальное местоположение осуществляется следователем в начале каждой задачи. Отсчет времени начинается сразу как только субъект принимает их первый физический шаг от начальной точки и заканчиваетсякогда участник устно сообщает, прибывающих в дверь выхода из здания (если время занимает больше времени, чем на 6 мин, для которого перспективе оценивается как неполная и следующем месте старта представлены). Захваченные данные записываются вручную, а затем передаются в базу данных / статистического программного обеспечения для дальнейшего анализа.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Результаты

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Результаты трех рано слепых участников (в возрасте от 19 до 22 лет) показал (см. Таблицу 1 участник характеристики). Таким образом, все три участника показали высокий уровень успеха на всех трех навигационных задач после игры с программным обеспечением ABES. Это было подтверждено выполнение оценки (средний групповые и индивидуальные) на всех трех поведенческих задач (см. Рисунок 6). Процент правильных производительность для виртуальных (среднее: 90%) с последующим физическим (среднее: 8...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обсуждение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Мы описываем интерактивную аудио-и виртуального симулятора окружающей среды, направленных на улучшение общей пространственной осведомленности и навыки навигации в слепую. Мы демонстрируем, что взаимодействие с ABES обеспечивает точную сигналы, которые описывают пространственные отношения между объектами и общий макет целевой среде. Слепые пользователи могут создавать точные пространственные когнитивных карт на основе этого слуховой информации и взаимодействия с погружения в виртуальную среду. Кроме того, взаимодействующ...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторы заявляют никаких конфликтов интересов.

Благодарности

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторы хотели бы поблагодарить Rabih Dow, Падма Rajagopal, Молли Коннорс и сотрудников Кэрролл центр для слепых (Ньютон Массачусетс, США) за поддержку в проведении этого исследования. Эта работа была поддержана NIH / NEI гранта: RO1 EY019924.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
Наименование оборудования Комментарии
Портативный компьютер Ноутбук используется исключительно для участников тренинга и сбора данных
Stereo телефон руководителя (полностью закрытых охватывающие дизайн) Изношенные всеми участниками во время тренировки
С завязанными глазами Носили все участники в процессе обучения и тестирования

Ссылки

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Loomis, J. M., Klatzky, R. L., Golledge, R. G. Navigating without vision: basic and applied research. Optom. Vis. Sci. 78, 282-289 (2001).
  2. Siegel, A. W., White, S. H. The development of spatial representations of large-scale environments. Adv. Child Dev. Behav. 10, 9-55 (1975).
  3. Strelow, E. R. What is needed for a theory of mobility: direct perception and cognitive maps--lessons from the blind. Psychol. Rev. 92, 226-248 (1985).
  4. Giudice, N. A., Bakdash, J. Z., Legge, G. E. Wayfinding with words: spatial learning and navigation using dynamically updated verbal descriptions. Psychol. Res. 71, 347-358 (2007).
  5. Ashmead, D. H., Hill, E. W., Talor, C. R. Obstacle perception by congenitally blind children. Percept. Psychophys. 46, 425-433 (1989).
  6. Dede, C. Immersive interfaces for engagement and learning. Science. 323, 66-69 (2009).
  7. Bavelier, D., et al. Brains on video games. Nat. Rev. Neurosci. 12, 763-768 (2011).
  8. Bavelier, D., Green, C. S., Dye, M. W. Children, wired: for better and for worse. Neuron. 67, 692-701 (2010).
  9. Lange, B., et al. Designing informed game-based rehabilitation tasks leveraging advances in virtual reality. Disabil. Rehabil. , (2012).
  10. Merabet, L., Sánchez, J. Audio-based Navigation Using Virtual Environments: Combining Technology and Neuroscience. AER Journal: Research and Practice in Visual Impairment and Blindness. 2, 128-137 (2009).
  11. Kalia, A. A., Legge, G. E., Roy, R., Ogale, A. Assessment of Indoor Route-finding Technology for People with Visual Impairment. J. Vis. Impair. Blind. 104, 135-147 (2010).
  12. Lahav, O., Schloerb, D. W., Srinivasan, M. A. Newly blind persons using virtual environment system in a traditional orientation and mobility rehabilitation program: a case study. Disabil. Rehabil. Assist Technol. , (2011).
  13. WHO | Global trends in the magnitude of blindness and visual impairment [Internet]. , World Health Organization (WHO). Available from: http://www.who.int/blindness/causes/trends/en/index.html (2012).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE

Запросить разрешение

Теги

Похожие статьи