Summary
Аудио-среде Simulator (ABES) является виртуальной программной среде, направленных на улучшение реальные навыки навигации в мире слепых.
Abstract
Аудио-среде Simulator (ABES) является виртуальной программной среде, направленных на улучшение реальные навыки навигации в мире слепых. Используя только аудио сигналы и на основе набора в контексте метафору видеоигр, пользователи сбора соответствующей пространственной информации относительно расположения здания. Это позволяет пользователю разработать точную пространственную когнитивную карту крупномасштабных трехмерное пространство, которым можно манипулировать в целях реального закрытый задач навигации. После игры, участники затем оценивается по их способности перемещаться в пределах целевого физического потенциала, представленных в игре. Предварительные результаты показывают, что раннее слепые пользователи получили возможность приобретать соответствующую информацию о пространственном расположении ранее незнакомые здания, проиндексированы на их эффективность на ряд навигационных задач. Эти задачи включены поиска пути через виртуальный и физический здания, а также ряд высадки задач. Мы считаем, что погружениеи интерактивный характер программного обеспечения ABES появляется значительно участвовать незрячий пользователь активно изучать виртуальную среду. Применение такого подхода может распространяться на большие популяции лиц с нарушениями зрения.
Introduction
Нахождение пути в незнакомой обстановке представляет как серьезную проблему для слепых. Навигация успешно требует понимания пространственных отношений, которые существуют между самим собой и объектов окружающей среды 1,2. Мысленное представление, что описывает окружающее пространство называется пространственной когнитивной карты 3. Слепые люди могут собрать необходимую пространственную информацию, касающуюся окружающей их среды через другие сенсорные каналы (например, слуховых), позволяющий для создания точной пространственной когнитивной карты для целей реальном мире навигационных задач 4,5.
Значительный интерес возник в отношении воспитательного потенциала виртуальных сред и действия игры видео как средства обучения и овладеть навыками 6-9. Действительно, многие стратегии и подходы были разработаны для слепых для этой цели (см. 4,10-12). Мы разработали Audiо-среде Simulator (ABES), ориентированного на пользователя аудио-и виртуальные среды, что позволяет для моделирования навигации и разведки существующего физического потенциала. Исходя из оригинальных архитектурных планов этажей, виртуальный оказания современной двухэтажное здание (находится в Carroll центр для слепых; Newton, Массачусетс) был создан с помощью программного обеспечения ABES (рис. 1а и В). ABES включает в себя метафору действие игры с помещением направленную на содействие полной разведки здания пространстве. С помощью простых нажатий клавиш и spatialized сигналов звука, пользователям перемещаться и исследовать все здание, чтобы собрать максимальное количество драгоценностей скрыты в разных комнатах. Пользователи должны избегать бродячих монстров, которые могут их забрать и спрятать их в другом месте в здании (рис. 1С).
Мы демонстрируем, что взаимодействие с ABES позволяет слепому пользователю создавать точную пространственную когнитивную карту целевого строительства на основе слуховой информацииcquired в контексте метафору игровых действий. Это подтверждается серией после обучения поведенческих тестов производительности предназначены для оценки передаче приобретенных пространственную информацию из виртуальной среды в реальном мире и масштабные задачи закрытый навигации (см. Рисунок 2 для общего дизайна исследования). Наши результаты показывают, что слепые пользователи смогут успешно перемещаться по всему зданию, для которых они ранее были незнакомы, несмотря на то, что ни в какое время они были проинформированы общей цели исследования, не были они поручили Напомним пространственного расположения строительство во время игры.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. Участник Демография
Это текущие исследования, которое вербует слепой мужчина и женщина участники в возрасте от 18-45 лет. Все участники слепым раннего начала (документально до возраста 3) и различных глазных этиологии. Ни один из участников исследования ранее были знакомы с пространственное расположение целевой физической здания.
2. Подготовка и ознакомление с ABES
- Обеспечить участник с завязанными глазами и наушники для ношения на протяжении обучения и оценки процесса. Убедитесь, что с завязанными глазами удобно размещены на глаза и наушники правильно ориентироваться и расположены над ушами (т.е. левый динамик над левым ухом).
- Поезд участника, как использовать назначенных клавиш и информация представлена аудио сигналы в ABES. Использование специальных клавиш (рис. 3), пользователь, просматривая и исследуетстроительство практически (движение вперед, вправо или влево). Каждый виртуальный шаг приближает один шаг в реальный физический здания.
- Ознакомиться с правилами и предпосылка игры.
- Ознакомиться с звуковые сигналы, характерные для игры (например, звук размещение драгоценных камней и звуки монстров рядом). Когда пользователь переходит по зданию, слуховой основе и контекстная пространственной информации приобретает последовательно и динамически обновляется. Пространственные и ситуационные данные основаны на знаковых и spatialized звук раздражители, после каждого шага принято. Ориентация на основе кардинального компаса (например, "север" или "восток") и текст с помощью речи (TTS) используется для предоставления дополнительной информации о текущем местоположении пользователя, ориентацию и направление (например, "Вы находитесь в коридор на первом пол, лицом на запад "), а также идентификации объектов и препятствий на их пути (например," это дверь "). Расстояние сигналы предоставляются на основе выводап модуляции интенсивности звука. Пространственной локализации звука обновляется, чтобы соответствовать эгоцентрической заголовок пользователей. Существенно, что программа предназначена для воспроизведения соответствующей звуковой файл в зависимости от расположения и эгоцентрической заголовком пользователя и отслеживает положение пользователя, как они двигаются через окружающую среду. Например, если дверь находится на правой стороне лица, стук слышен звук в правом ухе пользователя (например, программное обеспечение играет звуковой файл стук в правом канале). Если человек сейчас разворачивается на 180 градусов, так что же двери в настоящее время находится на левой стороне, то же стук сейчас слышали в левом канале (например, программное обеспечение играет звуковой файл стук в левом канале). И, наконец, если пользователь лицом к двери, тот же стук слышен в обоих ушах одинаково. Отслеживая эгоцентрической заголовком пользователя, программное обеспечение может играть в соответствующих пространственных локализованных звуки, которые идентифицируютналичие и расположение объектов и отслеживать эти изменения как пользователь перемещает через виртуальную среду. См. Рисунок 4.
3. Обучение и игра с ABES (3 сессии каждая из которых длится 30 минут в общей сложности 1,5 часа)
- Разрешить для бесплатной игры играть, и отметить любые трудности и проблемы (т.е. использование клавиш, звуковые сигналы, областей трудной навигацией). Положительное подкрепление и разъяснения приводятся в конце каждой тренировки.
- Производительность записи игры (например, число, время и место, где участник находит драгоценный камень).
4. Оценка Виртуальный целевой навигационные характеристики
- Объясните участником подробную информацию о тестировании и предоставить инструкции о том, как завершить виртуальную задач навигации. Участник завершится 10 заданном навигационных задач представлены последовательно с помощью программного обеспечения ABES (то есть после участбрюки успешно завершена первая задача, компьютер будет автоматически повторно разместить их в исходную точку следующие задачи).
- Информировать участников, что они будут иметь максимум 6 минут, чтобы закончить каждый навигационной задачи.
- 10 виртуальных путей навигации сопоставимой сложности (т.е. пройденное расстояние и количество витков) выбираются на основе заранее определенных пар из 10 запуска и остановки местах (например, номеров). В частности, ряд шагов, необходимых для перехода целевого маршрута колебалась между 25-35 шагов (в виртуальной среде) и включен между 3-4 оборота 90 градусов.
- Загрузите 10 пар навигации в ABES для автоматизированного представления и сбора данных о производительности.
- Результат меры автоматически записываются с использованием внутреннего программного обеспечения ABES. Результат меры включают в себя: успешное выполнение задачи навигации и время, необходимое для достижения цели. См. Рисунок 5А.
- Инструкция Describing место начала и целевого назначения осуществляется автоматически с помощью программного обеспечения ABES в начале каждой задачи. Отсчет времени начинается сразу как только субъект принимает их первый виртуальный шаг от начального и заканчивается после прибытия в нужное место (если время занимает больше времени, чем на 6 мин, для которого перспективе оценивается как неполная и следующий путь представлен). Захваченные данные автоматически передаются в текстовый файл и открыл впоследствии в базе данных / статистического программного обеспечения для дальнейшего анализа.
5. Оценка физической работоспособности целевой навигации
- Объясните участником подробную информацию о тестировании и предоставить инструкции о том, как завершить физических задач навигации. Участник завершится 10 заданном навигационных задач (представлены в порядке яичницу с предыдущей виртуальной оценки производительности) и под наблюдением опытного следователя.
- Информировать участников они будут иметь максимама 6 мин для выполнения каждой задачи навигации. Для целей физические задачи навигации, участник может использовать свои белые трости для поддержки мобильности.
- 10 физических пути навигации выбираются на основе заранее определенных пар из 10 пуска и останова местах (например, номеров) сопоставимой сложности (т.е. пройденное расстояние и количество витков).
- Следователь готовит секундомер и блокнот со списком навигационных задач для ручной подсчет производительности.
- Результат меры вручную записанные следователем. Результат меры включают в себя: успешное выполнение задачи навигации и время, необходимое для достижения цели.
- "Квадрат-офф" участник (т.е. позиция участника с дверью местонахождение за ними). Инструкции, описывающие расположение начала и целевого назначения осуществляется следователем в начале каждой задачи. Отсчет времени начинается сразу как только субъект TakES их первый физический шаг от начальной точки и заканчивается, когда участник устно сообщает прибытии в пункт назначения (за исключением времени занимает больше времени, чем на 6 мин, для которого перспективе оценивается как неполная и следующий путь представлен). Захваченные данные записываются вручную, а затем передаются в базу данных / статистического программного обеспечения для дальнейшего анализа. См. Рисунок 5В.
6. Оценка физического Понизьтесь выполнения задачи
- Объясните участником подробную информацию о тестировании и предоставить инструкции о том, как завершить физический уходят навигационных задач. Участник завершится 5 задач навигации с целями выходе из здания по кратчайшему маршруту можно и под наблюдением опытного следователя.
- Информировать участников, что они будут иметь максимум 6 минут, чтобы закончить каждый навигационной задачи. Для целей физического уходят задач навигации, участник можетиспользовать свои белые трости для поддержки мобильности.
- 5 заданными физико начиная местах используются такие, что 3 выхода путям разной длины возможно.
- Следователь готовит секундомер и блокнот со списком навигационных задач для ручной подсчет производительности.
- Результат меры вручную записанные следователем. Результат меры включают в себя: успешное выполнение задачи навигации и время, необходимое для достижения цели. Кроме того, пути забили так, что кратчайший путь, дается максимальное количество баллов (т.е. 3 на кратчайшем пути, 2 для второго, 1 для длинных, и 0 для не в состоянии выполнить поставленную задачу). См. Рисунок 5C.
- "Квадрат-офф" участника на первой стартовой позиции. Инструкции, описывающие начальное местоположение осуществляется следователем в начале каждой задачи. Отсчет времени начинается сразу как только субъект принимает их первый физический шаг от начальной точки и заканчиваетсякогда участник устно сообщает, прибывающих в дверь выхода из здания (если время занимает больше времени, чем на 6 мин, для которого перспективе оценивается как неполная и следующем месте старта представлены). Захваченные данные записываются вручную, а затем передаются в базу данных / статистического программного обеспечения для дальнейшего анализа.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Результаты трех рано слепых участников (в возрасте от 19 до 22 лет) показал (см. Таблицу 1 участник характеристики). Таким образом, все три участника показали высокий уровень успеха на всех трех навигационных задач после игры с программным обеспечением ABES. Это было подтверждено выполнение оценки (средний групповые и индивидуальные) на всех трех поведенческих задач (см. Рисунок 6). Процент правильных производительность для виртуальных (среднее: 90%) с последующим физическим (среднее: 88,7%) навигационных задач иллюстрирует высокий уровень успеха и сопоставимой производительности для обеих задач (рис. 6А). Выступление на уходят эксперименты показывают, что участники часто выбирают кратчайший маршрут можно выйти из здания (средний балл: 3,0) (рис. 6В). Наконец, среднее время, необходимое для перехода к целевой показан для всех трех навигационных задач показана на рис 6C. Виртуальный NAVigation времени (оценка первого) было обычно больше (в среднем 137,3 сек), чем физические (73,8 сек) навигационных характеристик. Чем короче среднего навигация раз наблюдалось в высадка задачи (среднее: 37,3 сек) согласуются с тем, что участники были склонны выбирать кратчайший путь для выхода из здания.
Оценка индивидуальных результатов одного из представителей участников исследования и навигации маршрута на всех трех задач оценивали показал, что виртуальная навигация от начала до конца точки, расположенной на первом этаже занял 79 сек (рис. 7а; путь показан желтым цветом). Оценка производительности по тому же пути в физическом здании принял 46 сек (рис. 7В). Оценка уходят выполнения задач показывает, что участник взял кратчайший путь возможным (забил 3 очка, а с навигацией время 48 сек) (рис. 7).
| тема | Возраст (лет) | этиологии слепоты | Уровень зрительных функций |
| 1 | 22 | ретинопатии недоношенных | остаточного (восприятие света) |
| 2 | 19 | Peters аномалии; двусторонние отслойка сетчатки; терминальной стадии глаукомы | глубокий (без восприятия света) |
| 3 | 19 | ретинопатии недоношенных | остаточного (восприятие света) |
Таблица 1. Участник характеристики.
Рисунок 1. Виртуальная среда вынесено в ABES.) Оригинальные двух- этажное здание план этажа. Здание включает в себя 23 номера и серии коридоров, а также 3 отдельных входа и 2 лестничных клеток. С учетом существующей пространственной планировки, существует несколько маршрутов, чтобы войти и выйти из здания, B) виртуальная оказание целевой здание в ABES, C) объектов столкнулся во время игры ABES в игровом режиме. Нажмите, чтобы увеличить показатель .
Рисунок 2. Общая Design Study. Все участники проходят обучение и фиксированной игру период с ABES последовал ряд оценок навигации (всегда в последовательном порядке). Оценки эффективности включают виртуальные, физические и уходят навигационных задач.
Рисунок 3. ABES нажатий клавиш.
Рисунок 4. Обучение и игра с ABES.) Участники сидеть за компьютером терминал носить повязку и стерео наушники. B) Фото следователь участник исследования.
Рисунок 5. Резюме оценки навигационной задачи.) Сбор данных из виртуальных оценку путь навигации. Начальная и конечная точки читаются участника и следующий путь загружается автоматически после завершения. Путь, проходимый (показан желтым цветом) и времяцелевых которые автоматически собираются с помощью программного обеспечения. B) Следователь оценивает эффективность в физическом задачи навигации. Сроки (с помощью секундомера) начинается с первого шага участника и заканчивается, когда участник сообщает, прибывающих в целевую точку конца. C) маршрут Примеры и забил стратегию высадки задач навигации. Есть три выхода двери и таким образом несколько возможных путей для выхода из здания. На основе исходной точки, путь, пройденный (показан желтым цветом) гола. Три (3) очка даются для использования кратчайшего выхода, а затем 2 и 1 балл (ноль баллов указывает не может найти выхода). Нажмите, чтобы увеличить показатель .
Рисунок 6. Резюме результатов оценки навигационной задачи. Результатов (группа средств и отдельных результатов от 10 проверенных маршрутов навигации) от 3 представителя участников исследования показаны.) Процент правильных производительность для виртуальных последующим физическим задачам навигации. B) результатов деятельности ( Среднее количество точек) на уходят задач. C) среднее время, чтобы перейти к целевой показан для всех трех оценок навигации. Нажмите, чтобы увеличить показатель .
Рисунок 7. Индивидуальные результаты оценки навигационной задачи. Представитель результаты показаны от одного участника исследования навсе три навигационных задач оценены.) виртуальный навигации (путь показан на желтый). B) оценку деятельности на тот же путь в физическом здании. C) оценки уходят задач показывает, что участник взял кратчайший путь возможным. Альтернативные возможные пути (желтый пунктир) и оценка стоимости по отношению к данному отправной точкой также показаны. Нажмите, чтобы увеличить показатель .
Supplmental Фильм 1. Дополнительное видео аннотированный игру видео. Видеоряд показывает игроку (желтый значок движущийся), входящий номер, расположенный на первом этаже, где драгоценный камень скрыт. Spatialized звука (левый и правый канал) позволяет игроку сориентироваться и определить местоположение объекта (например, двери и препятствия) в своей окружающей среде. После того, как драгоценный камень найден, плайер выходы здания, и они должны избегать бродячих монстров (красные движущиеся иконки). Затем игрок продолжает изучать здании (первый и второй этажи), чтобы найти более скрытые драгоценные камни. Щелкните здесь для просмотра дополнительных фильм .
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Мы описываем интерактивную аудио-и виртуального симулятора окружающей среды, направленных на улучшение общей пространственной осведомленности и навыки навигации в слепую. Мы демонстрируем, что взаимодействие с ABES обеспечивает точную сигналы, которые описывают пространственные отношения между объектами и общий макет целевой среде. Слепые пользователи могут создавать точные пространственные когнитивных карт на основе этого слуховой информации и взаимодействия с погружения в виртуальную среду. Кроме того, взаимодействующих с ABES в контексте игры метафора показывает, что пространственные конструкции когнитивных можно узнать неявно и довольно просто через причинные взаимодействия с программным обеспечением. Как показано в этой начальной фазе исследования, интерактивный и захватывающий характер игры может улучшить пространственное понимание личности нового окружающей среды, обеспечить платформу для создания точной пространственной когнитивной карты, и может снизить неуверенность, связанные с самостт навигации до прибытия в незнакомом здании.
Как правило, люди с нарушением зрения могут получить функциональную независимость посредством ориентации и мобильности (O & M) обучения. Важно, однако, что подготовка стратегии оставаться гибкой и адаптируемой, так что они могут быть применены к новой и незнакомой ситуации и с учетом собственных сил человека и слабые стороны, чтобы решать свои конкретные проблемы, потребности и стратегии обучения. Творческое использование интерактивных виртуальных сред навигации, такие как ABES может обеспечить такую гибкость и дополнять текущую O & M учебной программы. Это программное обеспечение представляет собой дополнительной стратегии, которая не только опирается на преимущества высокой мотивационной диска, но и предоставляет для тестирования платформы для проведения более контролируемой и количественные исследования с целью проверки и подтверждения эффективности этих учебных подходов.
Текущие и будущие исследования будутвключают масштабное исследование, где участники рандомизированных к различным методам обучения (например, игровой сравнению с прямого последовательного обучения маршрута) и навигации (т.е. маршрут находка) производительность будет сравнивать. Мы также будем исследовать различия между ранней и поздней слепые, а также отношения между дополнительными факторами интерес, включая возраст и пол.
Наконец, учитывая, видимо привлекательный характер этого комбинированного виртуальной среды и игровой подход, это также было бы интересно исследовать потенциальные выгоды от ABES на развитие навыков навигации в слепой лиц за пределы профиля описано здесь. Например, крупным (и быстро растет) сегмент нарушениями зрения в связи со старением населения и современные тенденции, как ожидается, увеличится 13. Таким образом, казалось бы, весьма актуальной для изучения эффективности такого подхода для не-визуального обнаружения пространственной информации в поддержку навигационныхigation навыки в этой демографической группы. Учитывая, что ABES это компьютер подхода, трудно спекулировать в это время на его эффективность на не-цифровых аборигенов. Аналогичным образом, развивающиеся ABES в манере, которая была бы поддаются люди с остаточным зрением (например, плохое зрение) может также оказаться полезным. Учитывая, что большинство лиц, которые являются слепыми подпадают под эту категорию 13, обучение в виртуальной среде до фактического физического путешествия также могут быть полезны для планирования маршрутов и избежать трудностей, связанных с попытками получить доступ к информации в незнакомой среде. В этом направлении текущей работы, направленной на развитие ABES такие функции, как масштабирование (т.е. большим увеличением) и высокая контрастность дисплея для поддержки людей с ослабленным зрением.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Авторы заявляют никаких конфликтов интересов.
Acknowledgments
Авторы хотели бы поблагодарить Rabih Dow, Падма Rajagopal, Молли Коннорс и сотрудников Кэрролл центр для слепых (Ньютон Массачусетс, США) за поддержку в проведении этого исследования. Эта работа была поддержана NIH / NEI гранта: RO1 EY019924.
Materials
| Name | Company | Catalog Number | Comments |
| Laptop computer | Laptop used exclusively for training participants and collecting data | ||
| Stereo Head phones (fully enclosed circumaural design) | Worn by all participants during training | ||
| Blindfold | Worn by all participants during training and testing |
References
- Loomis, J. M., Klatzky, R. L., Golledge, R. G. Navigating without vision: basic and applied research. Optom. Vis. Sci. 78, 282-289 (2001).
- Siegel, A. W., White, S. H. The development of spatial representations of large-scale environments. Adv. Child Dev. Behav. 10, 9-55 (1975).
- Strelow, E. R. What is needed for a theory of mobility: direct perception and cognitive maps--lessons from the blind. Psychol. Rev. 92, 226-248 (1985).
- Giudice, N. A., Bakdash, J. Z., Legge, G. E. Wayfinding with words: spatial learning and navigation using dynamically updated verbal descriptions. Psychol. Res. 71, 347-358 (2007).
- Ashmead, D. H., Hill, E. W., Talor, C. R. Obstacle perception by congenitally blind children. Percept. Psychophys. 46, 425-433 (1989).
- Dede, C. Immersive interfaces for engagement and learning. Science. 323, 66-69 (2009).
- Bavelier, D., et al. Brains on video games. Nat. Rev. Neurosci. 12, 763-768 (2011).
- Bavelier, D., Green, C. S., Dye, M. W. Children, wired: for better and for worse. Neuron. 67, 692-701 (2010).
- Lange, B., et al. Designing informed game-based rehabilitation tasks leveraging advances in virtual reality. Disabil. Rehabil. , (2012).
- Merabet, L., Sánchez, J. Audio-based Navigation Using Virtual Environments: Combining Technology and Neuroscience. AER Journal: Research and Practice in Visual Impairment and Blindness. 2, 128-137 (2009).
- Kalia, A. A., Legge, G. E., Roy, R., Ogale, A. Assessment of Indoor Route-finding Technology for People with Visual Impairment. J. Vis. Impair. Blind. 104, 135-147 (2010).
- Lahav, O., Schloerb, D. W., Srinivasan, M. A. Newly blind persons using virtual environment system in a traditional orientation and mobility rehabilitation program: a case study. Disabil. Rehabil. Assist Technol. , (2011).
- WHO | Global trends in the magnitude of blindness and visual impairment [Internet]. , World Health Organization (WHO). Available from: http://www.who.int/blindness/causes/trends/en/index.html (2012).
