Развитие Audio на основе виртуальной игровой среды для оказания помощи навыки навигации в слепых

Общая цель следующего эксперимента заключается в том, чтобы продемонстрировать, что взаимодействие с виртуальной средой позволяет переносить навыки пространственной навигации, которые впоследствии могут быть оценены в реальной физической среде. Это достигается путем первоначального изучения комбинаций клавиш, используемых для навигации в виртуальной среде во время игрового процесса. Затем участники учатся распознавать звуки, которые позволяют идентифицировать объекты и их относительное расположение.

После завершения игрового процесса предлагается серия задач по виртуальной и физической навигации для оценки пространственного понимания среды. Полученные результаты показывают, что участники способны ориентироваться в реальном физическом здании, которое было представлено виртуальной средой во время игры. Основным преимуществом данного метода перед существующими подходами, такими как стандартный тренинг по ориентации и мобильности, является то, что пространственная планировка незнакомого здания может быть изучена посредством виртуального исследования в безопасных и контролируемых условиях.

Эту процедуру продемонстрируют Аарон Коннорс и Линдси Айно, координаторы исследований в моей лаборатории. Участники данного исследования являются официально слепыми и не имеют предварительных знаний о пространственном расположении целевого здания, которое им предстоит изучить, а также не осведомлены об общей цели игры в контексте изучения пространственного расположения целевого здания. Для начала предоставьте участнику повязку на глаза и наушники.

Убедитесь, что наушники правильно расположены на ушах. Затем проинструктируйте участника о том, как использовать назначенные клавиши и информацию, представленную звуковыми сигналами в аудиосреде Simulator. Для навигации и исследования виртуальной среды используются определенные комбинации клавиш, показанные здесь.

Каждый виртуальный этап примерно соответствует одному шагу в реальном физическом здании. После объяснения принципов управления разъясните предпосылки и правила игры. Проинформируйте участника о различных звуковых сигналах, используемых во время игрового процесса.

Например, когда пользователь перемещается по зданию, он слышит звуки, указывающие на местоположение драгоценных камней и близость монстров; таким образом, слуховая и пространственная информация поступает последовательно и динамически обновляется после каждого шага в виртуальной среде. Система синтеза речи используется для предоставления дополнительной информации о текущем местоположении пользователя, его ориентации и направлении движения, а также об идентификации объектов и препятствий на его пути. Пространственная локализация звуков обновляется в соответствии с эгоцентрическим направлением движения пользователя.

Например, если дверь находится справа от человека, звук стука слышен в правом ухе пользователя. Если человек развернется на 180 градусов так, что та же дверь окажется слева от него, тот же звук стука теперь будет слышен в левом канале. Позвольте участнику играть в игру в течение трех 30-минутных сессий.

Отмечайте любые трудности или сложности, возникающие во время игрового процесса; после каждого тренировочного занятия обеспечивайте положительное подкрепление, давайте необходимые разъяснения или дополнительные инструкции. Затем оцените результаты игрового процесса, подсчитав количество, время и места, в которых участник нашел Juul. Чтобы проверить эффективность выполнения задачи по виртуальной навигации, объясните участнику, что ему предстоит выполнить 10 заранее определенных навигационных заданий, которые будут представлены последовательно с помощью программного обеспечения Abes.

Маршруты имеют сопоставимый уровень сложности и выбираются на основе заранее определенных пар из 10 начальных и конечных точек. В начале выполнения каждого задания сообщите участнику, что на его выполнение отводится не более шести минут.

Инструкции с описанием начальной точки и целевого пункта предоставляются автоматически. Отсчет времени начинается автоматически после получения участником аудиоинструкции и прекращается по достижении цели. Как только участник прибывает в целевую точку, автоматически регистрируются показатели результата, которые включают успешное выполнение задачи по навигации и время, затраченное на достижение цели.

Для проверки результатов участника в реальном пространстве объясните, что ему будет предложено выполнить 10 заранее определенных навигационных заданий под наблюдением опытного исследователя. Сообщите участнику, что на выполнение каждого задания отводится не более шести минут и что для поддержки при передвижении разрешается использовать трость.

Подготовьте секундомер, список навигационных заданий и планшет для ручного подсчета баллов. Оградите зону для участника, опишите начальную точку и конечный пункт назначения. Отсчет времени начинается сразу после того, как испытуемый делает первый шаг, и заканчивается по достижении цели.

Когда участник устно сообщает о прибытии в пункт назначения, фиксируется успешное выполнение задания и время, затраченное на достижение цели. Объясните участнику, что ему предстоит выполнить пять навигационных заданий, целью которых является выход из здания по кратчайшему возможному маршруту. Под руководством опытного исследователя сообщите участнику, что на выполнение каждого навигационного задания ему будет отведено максимум шесть минут и ему будет разрешено использовать трость для поддержки при передвижении.

Используются пять заранее определенных стартовых точек, чтобы обеспечить возможность выбора из трех путей выхода, различающихся по длине и сложности. Подготовьте секундомер, список навигационных заданий и планшет для ручного подсчета баллов. Расположите участника в заданной области и опишите стартовую точку.

Отсчет времени начинается непосредственно в момент первого шага и заканчивается, когда участник сообщает вслух о том, что он достиг выходной двери здания. Фиксируются успешность выполнения задачи по доставке, пройденный маршрут и время, затраченное на выход из здания. Кроме того, маршруты оцениваются таким образом, что за кратчайший путь начисляется больше баллов, чем за более длинные.

Здесь представлены средние показатели трех участников в задачах по навигации. Процент правильных ответов в задачах по виртуальной и физической навигации свидетельствует о высоком уровне успеха при выполнении обоих заданий. Время навигации к цели было больше при виртуальной навигации по сравнению с физическими показателями.

В задании на высадку (drop off) видно, что участники часто выбирали кратчайший из возможных путей для выхода из здания. Об этом свидетельствует меньшее среднее время, затраченное на достижение выхода и выход из здания. Представленные здесь результаты получены от одного участника при выполнении всех трех навигационных заданий.

Виртуальная навигация заняла 79 секунд. Выполнение задачи по тому же маршруту, отмеченному желтым цветом, в физическом здании заняло 46 секунд. В задаче по выгрузке.

Участник выбрал кратчайший возможный путь, чтобы выйти из здания. Не забывайте, что работа с незрячими участниками при использовании новых технологий требует поддержки. Мы благодарны им за потраченное время и готовность принять участие в данной демонстрации и исследовании.