Summary
Áudio-baseado Simulator Ambiente (ABES) é um software de ambiente virtual projetado para melhorar as habilidades de navegação do mundo real na cego.
Abstract
Áudio-baseado Simulator Ambiente (ABES) é um software de ambiente virtual projetado para melhorar as habilidades de navegação do mundo real na cego. Usando apenas áudio pistas baseadas em conjunto e no contexto de uma metáfora do jogo de vídeo, os usuários coletar informações espaciais relevantes sobre o layout de um edifício. Isto permite ao utilizador a desenvolver um mapa espacial preciso cognitiva de uma grande escala espaço tridimensional que pode ser manipulada para os fins de uma tarefa verdadeira navegação interior. Após o jogo, os participantes são, então, avaliados em sua capacidade de navegar dentro do edifício-alvo física representada no jogo. Os resultados preliminares sugerem que os primeiros usuários cegos eram capazes de adquirir informações relevantes sobre a disposição espacial de um edifício anteriormente desconhecido como indexado pelo seu desempenho em uma série de tarefas de navegação. Estas tarefas incluíam encontrar caminho através do edifício virtual e física, bem como uma série de tarefas drop off. Nós achamos que a envolventeea natureza altamente interativa do software ABES parece muito envolver o usuário cego de explorar ativamente o ambiente virtual. Aplicações desta abordagem pode se estender a grandes populações de indivíduos com deficiência visual.
Introduction
Encontrar uma maneira em um ambiente desconhecido se apresenta como um desafio significativo para os cegos. Navegando com sucesso requer uma compreensão das relações espaciais que existem entre si mesmo e os objetos no ambiente 1,2. A representação mental que descreve o espaço circundante é referido como um mapa espacial cognitivo 3. Os indivíduos cegos pode reunir informações espaciais relevantes sobre seu ambiente circundante através de outros canais sensoriais (tais como ouvir) que permitem a geração de um mapa espacial precisa cognitiva para os efeitos de tarefas do mundo real de navegação 4,5.
Tem recebido grande atenção em relação ao potencial educativo de ambientes virtuais e jogos de vídeo de ação como um meio para aprender e dominar as habilidades de 6-9. Na verdade, muitas estratégias e abordagens têm sido desenvolvidos para cegos para esta finalidade (ver 4,10-12). Nós desenvolvemos Audio baseada Simulator Ambiente (ABES), um user-centered ambiente de áudio baseada em virtual que permite a navegação simulada e exploração de um edifício existente física. Desenho de plantas arquitetônicas originais, uma renderização virtual de um edifício de dois andares moderno (localizado no Centro de Carroll para Cegos; Newton, MA) foram gerados com o software ABES (Figuras 1A e B). ABES incorpora uma metáfora do jogo de ação com uma premissa projetado para promover a exploração completa do espaço do edifício. Com simples traços essenciais e as sugestões de som espacializado, os usuários navegar e explorar todo o edifício para recolher um número máximo de jóias escondidas em várias salas. Os usuários devem evitar itinerante monstros que podem levá-los para longe e escondê-los em outras partes do edifício (Figura 1C).
Nós demonstramos que interagindo com ABES permite a um utilizador cego para gerar um mapa espacial preciso cognitiva de um edifício de destino com base em informação auditiva umcquired dentro do contexto de uma metáfora jogo de ação. Isto é confirmado por uma série de pós-treinamento testes de desempenho comportamental destinadas a avaliar a transferência de informação espacial adquirida a partir de um ambiente virtual para uma tarefa de navegação do mundo real e de grande escala no interior (veja a Figura 2 para o projeto global do estudo). Nossos resultados mostram que os usuários cegos são capazes de navegar com sucesso através de um edifício para o qual foram previamente desconhecido, apesar do fato de que em nenhum momento eles foram informados do propósito geral do estudo, nem eram instruídos a lembrar a disposição espacial do construção durante o jogo.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. Demografia participantes
Este é um estudo on-going que recruta cegos participantes do sexo masculino e feminino, com idade entre 18-45 anos. Todos os participantes são legalmente cego de início precoce (documentado antes da idade de 3) e de diferentes etiologias oculares. Nenhum dos participantes do estudo foram previamente familiarizados com a disposição espacial do edifício-alvo física.
2. Preparação e familiarização com a ABES
- Proporcionar ao participante com uma venda nos olhos e fones de ouvido para ser usado durante todo o processo de formação e avaliação. Certifique-se que a venda está confortavelmente colocado sobre os olhos e os fones de ouvido são devidamente orientados e posicionados sobre as orelhas (ou seja, alto-falante esquerdo sobre a orelha esquerda).
- Participante trem como usar chaves atribuídas e as informações representadas pelos sinais de áudio em ABES. Usando específicos traços essenciais (Figura 3), um usuário navega através de e explora oconstruir virtualmente (avançar, direita ou esquerda). Cada passo virtuais aproxima um passo na construção física real.
- Familiarizar com as normas e premissa do jogo.
- Familiarizar com sinais de áudio específicos para o jogo (por exemplo, o som de jóias localização e som de monstros próximos). Conforme o usuário navega pelo prédio, auditivo-base e contextual informação espacial é adquirido sequencialmente e é atualizado dinamicamente. Informação espacial e situacional é baseada em pistas de som emblemáticos e espacializada fornecidos após cada passo dado. Orientação é baseada em leituras de bússola cardeais (por exemplo, "norte" ou "leste") e texto através da fala (TTS) é usado para fornecer mais informações sobre a localização atual de um usuário, orientação e rumo (por exemplo, "você está no corredor do primeiro º andar, de frente para o oeste "), bem como a identidade de objetos e obstáculos em seu caminho (por exemplo," esta é uma porta "). Sugestões de distância são fornecidos com base on intensidade do som modulado. A localização espacial dos sons é atualizado para corresponder título egocêntrica do usuário. Essencialmente, o software é projetado para reproduzir um arquivo de áudio apropriado em função da localização e egocêntrico posição do usuário e controla a posição do usuário como eles se movem através do ambiente. Por exemplo, se uma porta está localizado no lado direito da pessoa, o som batendo é ouvido em ouvido direito do usuário (ou seja, o software reproduz um arquivo de áudio de um som de batida no canal direito). Se a pessoa agora gira em torno de 180 graus, de modo que a mesma porta agora está localizado em seu lado esquerdo, o mesmo som batendo é agora ouvido no canal esquerdo (ou seja, o software reproduz um arquivo de áudio de um som de batida no canal esquerdo). Finalmente, se o usuário estiver de frente para a porta, o mesmo som batendo é ouvido em ambas as orelhas de forma igual. , Mantendo o controle do rumo egocêntrico do usuário, o software pode reproduzir os sons espaciais apropriadas localizadas que identificama presença e localização de objetos e acompanhar estas mudanças como o usuário se move através do ambiente virtual. Veja a Figura 4.
3. Treinamento e jogo com a ABES (3 sessões cada 30 minutos para um total de 1,5 horas)
- Permitir para jogar jogo livre e anotar todas as dificuldades e desafios (ou seja, utilização de teclas, sinais de áudio, as áreas de navegação difícil). O reforço positivo e esclarecimentos são fornecidos no final de cada sessão de treinamento.
- O desempenho do jogo de registro (por exemplo, tempo, número e localização em que o participante encontra uma jóia).
4. Avaliar o desempenho de tarefas de navegação virtual
- Explique aos participantes os detalhes do teste e fornecer instruções sobre como completar as tarefas de navegação virtual. O participante irá completar 10 tarefas de navegação pré-determinados apresentados sequencialmente utilizando o software ABES (ou seja, uma vez que a participaçãocalça é concluída com êxito a primeira tarefa, o computador será automaticamente re-localizá-los para o ponto de partida da tarefa seguinte).
- Informar o participante que terá um máximo de 6 minutos para concluir cada tarefa de navegação.
- 10 caminhos de navegação virtuais de dificuldade comparável (ou seja, a distância percorrida e número de voltas) são escolhidos com base em pares pré-determinados, de 10 de iniciar e parar locais (salas, por exemplo). Especificamente, a gama de passos necessários para navegar na rota alvo variou entre 25-35 passos (no ambiente virtual) e incorporadas entre as curvas 3-4 de 90 graus.
- Coloque os 10 pares de navegação em ABES para apresentação automática e captura de dados de desempenho.
- As medidas adotadas são gravadas automaticamente usando software interno Abes '. As medidas adotadas incluem: a conclusão com êxito da tarefa de navegação e tempo necessário para atingir a meta. Ver Figura 5A.
- Instruções describing o local de partida e o destino do alvo são fornecidos automaticamente pelo software ABES no início de cada tarefa. Tempo começa imediatamente uma vez que o sujeito toma seu primeiro passo virtual do local de partida e termina quando chegar ao local de destino (a menos que o tempo demora mais do que seis minutos, para que a corrida é marcada como incompleta eo caminho seguinte é apresentada). Dados capturados são enviados automaticamente para um arquivo de texto e abriu posteriormente no banco de dados / software estatístico para análise posterior.
5. Avaliar o desempenho de tarefas Física Navegação
- Explique aos participantes os detalhes do teste e fornecer instruções sobre como completar as tarefas de navegação físicas. O participante irá completar 10 tarefas de navegação pré-determinados (apresentada em ordem mexidos a partir da avaliação de desempenho anterior virtual) e sob a supervisão de um investigador experiente.
- Informar o participante que terá um maximínimo de 6 min para concluir cada tarefa de navegação. Para efeitos de navegação física da tarefa, o participante está autorizado a usar o seu bengala branca para apoiar a mobilidade.
- 10 caminhos de navegação físicos são escolhidos com base em pares pré-determinados, de 10 de início e locais de parada (salas, por exemplo) de dificuldade comparável (ou seja, a distância percorrida e número de voltas).
- Pesquisador prepara cronômetro e prancheta com a lista de tarefas de navegação para pontuação manual de desempenho.
- As medidas adotadas são registrados manualmente pelo investigador. As medidas adotadas incluem: a conclusão com êxito da tarefa de navegação e tempo necessário para atingir a meta.
- "Square-off" o participante (ou seja, a posição do participante com a porta do local de partida por trás deles). Instruções descrevendo o local de partida e o destino do alvo são fornecidos pelo investigador no início de cada tarefa. Tempo começa imediatamente uma vez que o assunto takes o primeiro passo física do local de partida e termina quando o participante relata verbalmente chegar ao destino (a menos que o tempo demora mais do que 6 min, para o qual a execução é pontuada como uma incompleta eo caminho seguinte é apresentada). Dados capturados é registado manualmente e, posteriormente, transferidos para a base de dados / software estatístico para análise posterior. Ver Figura 5B.
6. Avaliar Gota Física fora Desempenho de Tarefas
- Explique aos participantes os detalhes do teste e fornecer instruções sobre como completar a queda física fora das tarefas de navegação. O participante irá completar 5 tarefas de navegação com as metas de sair do prédio usando a rota mais curta possível e sob a supervisão de um investigador experiente.
- Informar o participante que terá um máximo de 6 minutos para concluir cada tarefa de navegação. Para os efeitos da queda física fora da tarefa de navegação, o participante é permitidapara usar sua bengala branca para suporte de mobilidade.
- 5 predeterminadas localizações físicas de partida são utilizados de tal forma que três caminhos de saída de comprimentos diferentes são possíveis.
- Pesquisador prepara cronômetro e prancheta com a lista de tarefas de navegação para pontuação manual de desempenho.
- As medidas adotadas são registrados manualmente pelo investigador. As medidas adotadas incluem: a conclusão com êxito da tarefa de navegação e tempo necessário para atingir a meta. Além disso, os caminhos são marcados de tal forma que o caminho mais curto tomadas é dado o máximo de pontos (ou seja, 3 para o caminho mais curto, 2 para o segundo, uma para o mais longo, e 0 para não ser capaz de completar a tarefa). Ver Figura 5C.
- "Square-off" o participante no primeiro local de partida. Instruções descrevendo o local de início são fornecidos pelo investigador no início de cada tarefa. Tempo começa imediatamente uma vez que o sujeito toma seu primeiro passo física do local de partida e terminaquando o participante verbalmente relata que chegam a uma porta de saída do edifício (a menos que o tempo demora mais do que 6 minutos, para que o funcionamento é marcado como incompleto e o local de partida seguinte é apresentado). Dados capturados é registado manualmente e, posteriormente, transferidos para a base de dados / software estatístico para análise posterior.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Os resultados de três primeiros participantes cegos (com idade entre 19 e 22 anos) são mostrados (ver Tabela 1 para as características dos participantes). Em resumo, todos os três participantes apresentaram um elevado grau de sucesso em todas as três tarefas de navegação na sequência de jogo com o software ABES. Isto foi confirmado pelos escores de desempenho (média do grupo e individual) em todas as três tarefas comportamentais (ver Figura 6). O desempenho percentagem correcta para o virtual (média: 90%) seguido pelo físico (média: 88,7%) tarefas de navegação ilustra um alto nível de sucesso e desempenho comparável para ambas as tarefas (Figura 6A). Desempenho na queda experimentos sugerem que os participantes muitas vezes selecionado o caminho mais curto possível para sair do prédio (pontuação média: 3,0) (Figura 6B). Finalmente, o tempo médio necessário para navegar para alvo é mostrada para todas as três tarefas de navegação é mostrado na Figura 6C. Virtual navtempo igation (avaliado primeiro) foi tipicamente mais longo (média: 137,3 segundos) do que física performance de navegação (73,8 seg). Os menores tempos médios de navegação observados na queda tarefa (média: 37,3 seg) são consistentes com o fato de que os participantes eram propensos a escolher o caminho mais curto possível para sair do prédio.
Avaliação dos resultados individuais de um participante do estudo representativo e rota de navegação em todas as três tarefas avaliadas revelou que a navegação virtual a partir de um começo para acabar com ponto localizado no primeiro andar levou 79 segundos (Figura 7A; caminho mostrado em amarelo). Avaliação de desempenho no mesmo caminho na construção física levou 46 segundos (Figura 7B). Avaliação do desempenho da tarefa drop off ilustra que o participante fez o caminho mais curto possível (marcando 3 pontos e um tempo de navegação tendo de 48 seg) (Figura 7C).
| assunto | idade (anos) | etiologia da cegueira | nível de função visual |
| 1 | 22 | retinopatia da prematuridade | residual (percepção de luz) |
| 2 | 19 | Peters anomalia; descolamento de retina bilateral; fase final glaucoma | profunda (ausência de percepção de luz) |
| 3 | 19 | retinopatia da prematuridade | residual (percepção de luz) |
Tabela 1. Características dos participantes.
Figura 1. Ambiente virtual prestados em ABES. Uma original) de dois história plano de chão do edifício. O edifício inclui 23 quartos e uma série de corredores de conexão, bem como três entradas separadas e 2 escadas. Dada a disposição espacial existente, há possibilidades de rotas múltiplas para entrar e sair do prédio, B) de renderização virtual do edifício-alvo em ABES, C) os objetos encontrados ao jogar ABES em modo de jogo. Clique aqui para ver maior figura .
Figura 2. Desenho do Estudo global. Todos os participantes passam por um treinamento e período fixo de jogo com a ABES seguido por uma série de avaliações de navegação (sempre em ordem seqüencial). As avaliações de desempenho incluem virtual, físico, e deixar as tarefas de navegação.
Figura 3. Keystrokes ABES.
Figura 4. Participantes de treinamento e jogo com a ABES. A) sentar-se em um terminal de computador usando um fone de ouvido estéreo e blindfold. B) Foto de um investigador com um participante do estudo.
Figura 5. Resumo da avaliação de tarefas de navegação. A) dados de captura de avaliação virtual de caminho de navegação. Os pontos de início e fim são lidos para o participante eo próximo caminho é carregado automaticamente após a conclusão. O caminho percorrido (em amarelo) e tempoa meta são recolhidos automaticamente pelo software. B) Investigador avalia o desempenho em uma tarefa de navegação físico. Timing (usando um cronômetro) começa com o primeiro passo do participante e termina quando o participante relata chegar ao ponto final de destino. C) Amostra rota e estratégia de pontuação para a queda de fora da tarefa de navegação. Há três portas de saída e, assim, múltiplas rotas possíveis para sair do prédio. Com base no ponto de partida, o caminho percorrido (em amarelo) é marcado. Três (3) pontos são dados para utilizar a saída mais curta, seguido por 2 e 1 ponto (uma pontuação de zero indica incapaz de encontrar uma saída). Clique aqui para ver maior figura .
Figura 6. Resumo dos resultados das avaliações de tarefas de navegação. Resultados (médias dos grupos e os resultados individuais de 10 vias testadas navegação) dos 3 participantes representativos do estudo são mostrados. A) desempenho percentual correto para o virtual seguido pelas tarefas de navegação físicas. Resultados B) Desempenho ( número médio de pontos) em queda tarefas. C) Tempo médio para navegar para o destino é mostrado para todas as três avaliações de navegação. Clique aqui para ver maior figura .
Figura 7. Os resultados individuais de avaliação de tarefas de navegação. Resultados representativos são mostrados de uma participante do estudo emtodas as três tarefas de navegação avaliados. Uma) virtual de navegação (caminho mostrado em amarelo). B) avaliação do desempenho no mesmo caminho no edifício físico. C) avaliação de uma queda tarefa ilustra que o participante tomou o caminho mais curto possível. Os caminhos alternativos potenciais (linhas amarelas pontilhadas) e valor de pontuação em relação ao determinado ponto de partida também são mostrados. Clique aqui para ver maior figura .
Filme Supplmental 1. Vídeo suplementar de jogo anotada vídeo game. Seqüência de vídeo mostrando um jogador (ícone amarelo em movimento) entrar em um quarto localizado no primeiro andar, onde uma jóia está escondida. Sons espacializados (canal esquerdo e direito) permitir que o jogador para orientar e identificar a localização de objetos (por exemplo, portas e obstáculos) em seu ambiente circundante. Uma vez que uma jóia é encontrada, o player sai do prédio e deve evitar monstros errantes (vermelho ícones em movimento). O jogador, então, continua a explorar o edifício (primeiro e segundo andares) para encontrar as jóias mais escondidos. Clique aqui para ver filme suplementar .
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Nós descrevemos um interativo de áudio baseada em simulador de ambiente virtual projetado para melhorar a percepção espacial geral e habilidades de navegação na cego. Nós demonstramos que a interação com a ABES fornece pistas precisas que descrevem as relações espaciais entre os objetos eo layout geral do ambiente de destino. Usuários cegos podem gerar precisos espaciais mapas cognitivos com base nesta informação auditiva e interagindo com o ambiente virtual imersiva. Além disso, a interacção com ABES dentro do contexto de um jogo de metáfora demonstra que as construções espaciais cognitivas podem ser aprendidas implicitamente e sim simplesmente através da interacção causal com o software. Como demonstrado nesta fase inicial do estudo, a natureza interativa e imersiva do jogo pode melhorar a percepção espacial do indivíduo de um novo ambiente, fornecer uma plataforma para a criação de um mapa cognitivo espacial precisa, e pode reduzir a insegurança associada independent de navegação antes de chegar em um prédio desconhecido.
Normalmente, as pessoas com deficiência visual pode ganhar independência funcional através de orientação e treinamento de mobilidade (O & M). É importante, porém, que as estratégias de formação permanecer flexível e adaptável, para que possam ser aplicados a situações novas e desconhecidas e adaptados às próprias forças de uma pessoa e fracos, de modo a enfrentar os desafios, necessidades e estratégias de aprendizagem. O uso criativo de ambientes interativos de navegação virtuais como ABES podem prever essa flexibilidade e complementar O atual & M currículo de formação. Este software representa uma estratégia de adjuvante, que não só utiliza os benefícios da unidade motivacional alta, mas também prevê uma plataforma de testes para realizar estudos mais controlados e quantificáveis para testar e validar a eficácia dessas abordagens de treinamento.
Investigações actuais e futurosincluir um estudo em grande escala, onde os participantes são escolhidos aleatoriamente para diferentes métodos de treinamento (por exemplo, jogos em comparação à aprendizagem rota direta de série) e performance de navegação (ou seja descoberta rota) serão comparados. Também vamos investigar diferenças entre cegos precoce e tardia, bem como a relação entre os fatores adicionais de interesse, incluindo idade e sexo.
Finalmente, dada a natureza aparentemente envolvente deste ambiente virtual e abordagem combinada de jogos, também seria de interesse para investigar o potencial benefício da ABES no desenvolvimento de habilidades de navegação em indivíduos cegos além do perfil descrito aqui. Por exemplo, a maior do segmento (e mais rápido crescimento) de deficiência visual é o envelhecimento da população e as tendências atuais devem aumentar 13. Assim, afigura-se altamente relevante para explorar a eficácia desta abordagem para a aquisição não-visuais de informações espaciais de apoio navhabilidades igation deste grupo demográfico. Dado que ABES é uma abordagem baseada em computador, é difícil especular neste momento sobre a sua eficácia em não digitais nativos. Na mesma linha, a ABES em desenvolvimento de maneira que seriam passíveis de indivíduos com visão residual (isto é, baixa visão) também pode valer a pena. Dado que a maioria dos indivíduos que são legalmente cegos queda nesta categoria 13, a formação em ambientes virtuais antes da viagem física real pode ser um benefício para planejar rotas e evitar dificuldades associadas com a tentativa de acessar informações em um ambiente desconhecido. Neste sentido, o trabalho atual é destinado a desenvolver ABES recursos como o zoom (ou seja, alta ampliação) e um display de alto contraste para apoiar pessoas com baixa visão.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Os autores declaram não haver conflito de interesses.
Acknowledgments
Os autores gostariam de agradecer Rabih Dow, Padma Rajagopal, Molly Connors e os funcionários do Centro de Carroll para Cegos (Newton MA, EUA) pelo apoio na realização desta pesquisa. Este trabalho foi financiado pela subvenção NIH / NEI: RO1 EY019924.
Materials
| Name | Company | Catalog Number | Comments |
| Laptop computer | Laptop used exclusively for training participants and collecting data | ||
| Stereo Head phones (fully enclosed circumaural design) | Worn by all participants during training | ||
| Blindfold | Worn by all participants during training and testing |
References
- Loomis, J. M., Klatzky, R. L., Golledge, R. G. Navigating without vision: basic and applied research. Optom. Vis. Sci. 78, 282-289 (2001).
- Siegel, A. W., White, S. H. The development of spatial representations of large-scale environments. Adv. Child Dev. Behav. 10, 9-55 (1975).
- Strelow, E. R. What is needed for a theory of mobility: direct perception and cognitive maps--lessons from the blind. Psychol. Rev. 92, 226-248 (1985).
- Giudice, N. A., Bakdash, J. Z., Legge, G. E. Wayfinding with words: spatial learning and navigation using dynamically updated verbal descriptions. Psychol. Res. 71, 347-358 (2007).
- Ashmead, D. H., Hill, E. W., Talor, C. R. Obstacle perception by congenitally blind children. Percept. Psychophys. 46, 425-433 (1989).
- Dede, C. Immersive interfaces for engagement and learning. Science. 323, 66-69 (2009).
- Bavelier, D., et al. Brains on video games. Nat. Rev. Neurosci. 12, 763-768 (2011).
- Bavelier, D., Green, C. S., Dye, M. W. Children, wired: for better and for worse. Neuron. 67, 692-701 (2010).
- Lange, B., et al. Designing informed game-based rehabilitation tasks leveraging advances in virtual reality. Disabil. Rehabil. , (2012).
- Merabet, L., Sánchez, J. Audio-based Navigation Using Virtual Environments: Combining Technology and Neuroscience. AER Journal: Research and Practice in Visual Impairment and Blindness. 2, 128-137 (2009).
- Kalia, A. A., Legge, G. E., Roy, R., Ogale, A. Assessment of Indoor Route-finding Technology for People with Visual Impairment. J. Vis. Impair. Blind. 104, 135-147 (2010).
- Lahav, O., Schloerb, D. W., Srinivasan, M. A. Newly blind persons using virtual environment system in a traditional orientation and mobility rehabilitation program: a case study. Disabil. Rehabil. Assist Technol. , (2011).
- WHO | Global trends in the magnitude of blindness and visual impairment [Internet]. , World Health Organization (WHO). Available from: http://www.who.int/blindness/causes/trends/en/index.html (2012).
