Développement d'un environnement Audio-based jeux virtuels pour aider avec des compétences de navigation dans les aveugles

Résumé

Simulateur de l'environnement Audio-based (ABES) est un logiciel environnement virtuel conçu pour améliorer les compétences réelles de navigation dans le monde aveugle.

Résumé

Simulateur de l'environnement Audio-based (ABES) est un logiciel environnement virtuel conçu pour améliorer les compétences réelles de navigation dans le monde aveugle. En utilisant uniquement des signaux audio motivée et indiquer, dans le cadre d'une métaphore du jeu vidéo, les utilisateurs de recueillir des informations pertinentes en ce qui concerne la disposition spatiale d'un bâtiment. Cela permet à l'utilisateur de développer une carte spatiale précise cognitive d'un vaste espace à trois dimensions qui peuvent être manipulés à des fins d'une tâche de navigation intérieure réelle. Après le jeu, les participants sont ensuite évalués sur leur capacité à naviguer à l'intérieur du bâtiment cible physique représentée dans le jeu. Les résultats préliminaires suggèrent que les premiers utilisateurs aveugles ont pu acquérir des informations pertinentes au sujet de la disposition spatiale d'un bâtiment précédemment inconnu indexés par leur performance sur une série de tâches de navigation. Ces tâches comprennent la recherche de chemins à travers le bâtiment virtuel et physique, ainsi que d'une série de tâches drop off. Nous constatons que l'immersionet la nature hautement interactive du logiciel Abes semble grandement participer à l'utilisateur aveugle à explorer activement l'environnement virtuel. Les applications de cette approche peut s'étendre à de plus grandes populations de personnes ayant une déficience visuelle.

Introduction

Trouver son chemin dans un environnement inconnu se présente comme un défi important pour les aveugles. Naviguer avec succès nécessite une compréhension des relations spatiales qui existent entre soi-même et les objets de la ^1,2 'environnement. La représentation mentale qui décrit l'espace environnant est considéré comme une carte cognitive spatiale ^3. Les personnes aveugles peuvent recueillir des informations pertinentes en ce qui concerne l'espace leur environnement par le biais d'autres canaux sensoriels (tels que les prothèses) permettant la génération d'une carte précise cognitive spatiale aux fins de véritables tâches de navigation monde ^4,5.

Un intérêt considérable a surgi concernant le potentiel éducatif des environnements virtuels et de jeux vidéo d'action comme un moyen d'apprendre et de maîtriser les compétences de ^6-9. En effet, de nombreuses stratégies et approches ont été développées pour les aveugles à cet effet (voir ^4,10-12). Nous avons développé AudiSimulateur o Environnement basé (ABES), une centrée sur l'utilisateur audio basé sur environnement virtuel qui permet une navigation simulée et l'exploration d'un bâtiment existant physique. Dessin de plans d'étage architecturaux originaux, un rendu virtuel d'un moderne bâtiment de deux étages (situé au centre de Carroll pour les aveugles; Newton, MA) ont été générés avec le logiciel ABES (figures 1A et B). Abes intègre une métaphore jeu d'action avec un principe visant à promouvoir l'exploration complète de l'espace de construction. En utilisant de simples touches et les indices sonores spatialisés, les utilisateurs à naviguer et à explorer l'ensemble du bâtiment pour recueillir un maximum de joyaux cachés dans les différentes pièces. Les utilisateurs doivent éviter les monstres itinérants qui peuvent les emporter et de les cacher ailleurs dans le bâtiment (figure 1C).

Nous démontrons que l'interaction avec l'ABES permet à un utilisateur aveugle pour générer une carte spatiale cognitive précise d'un bâtiment cible basée sur une information auditivecquired dans le cadre d'un jeu d'action métaphore. Ceci est confirmé par une série de post-formation des tests de performance de comportement visant à évaluer le transfert de l'information spatiale acquis auprès d'un environnement virtuel pour une tâche de navigation dans le monde réel et à grande échelle à l'intérieur (voir la figure 2 pour la conception de l'étude). Nos résultats montrent que les utilisateurs aveugles sont capables de naviguer avec succès dans un bâtiment pour lequel ils étaient précédemment inconnus, malgré le fait qu'à aucun moment ils ont été informés de l'objectif global de l'étude, ils ne se sont chargés de rappeler la disposition spatiale de la la construction tout en jouant.

Protocole

1. Profil démographique des participants

Il s'agit d'une étude en cours qui recrute des aveugles participants hommes et femmes âgés de 18-45 ans. Tous les participants sont légalement aveugle d'apparition précoce (documenté avant l'âge de 3) et des étiologies oculaires. Aucun des participants à l'étude étaient auparavant familier avec la structure spatiale de l'édifice physique cible.

2. Préparation et familiarisation avec l'ABES

1. Fournir aux participants un bandeau et écouteurs pour être porté tout au long du processus de formation et d'évaluation. Veiller à ce que le bandeau est confortablement placé sur les yeux et les écouteurs sont correctement orientés et positionnés sur les oreilles (c.-à-parleur gauche sur l'oreille gauche).
2. Participant train comment utiliser les touches assignées et de l'information représentée par les signaux audio dans ABES. Utilisation frappes spécifiques (figure 3), un utilisateur navigue à travers et explore l'construire virtuellement (aller de l'avant, à droite ou à gauche). Chaque étape correspond approximativement à une étape virtuel dans le bâtiment physique réel.
3. Familiariser avec les règles et principe du jeu.
4. Familiariser avec des signaux sonores spécifiques pour le jeu (par exemple le son de bijoux de localisation et de sons de monstres à proximité). Lorsque l'utilisateur navigue à travers le bâtiment, auditif contextuelle et l'information spatiale est acquise séquentiellement et est mis à jour dynamiquement. L'information spatiale et de la situation est basée sur des indices iconiques et sonores spatialisées fournies après chaque mesure prise. L'orientation est basée sur les caps compas cardinaux (par exemple, «nord» ou «est») et du texte par synthèse vocale (TTS) est utilisé pour fournir de plus amples informations concernant l'emplacement actuel de l'utilisateur, l'orientation et la position (par exemple, «vous êtes dans le couloir du premier étage, face à l'ouest ") ainsi que l'identité des objets et obstacles dans leur chemin d'accès (par exemple," c'est une porte »). Distance indices sont fournis sur la base on moduler l'intensité du son. La localisation spatiale des sons est mis à jour pour correspondre rubrique égocentrique de l'utilisateur. Essentiellement, le logiciel est conçu pour lire un fichier audio appropriée en fonction de l'emplacement et égocentrique tête de l'utilisateur et assure le suivi de la position de l'utilisateur qui se déplacent dans l'environnement. Par exemple, si une porte se trouve sur le côté droit de la personne, le bruit de cognement se fait entendre dans l'oreille droite de l'utilisateur (le logiciel joue un fichier audio d'un bruit de cognement dans le canal droit). Si la personne se tourne maintenant autour de 180 degrés, de sorte que la même porte est maintenant situé sur le côté gauche, le même son de cognement est maintenant entendu dans le canal gauche (c'est à dire le logiciel joue un fichier audio d'un bruit de cognement dans le canal gauche). Enfin, si l'utilisateur fait face à la porte, le même son se fait entendre frapper dans les deux oreilles à parts égales. En gardant la trace de la position à égocentrique de l'utilisateur, le logiciel peut lire les sons localisés spatiales appropriées qui permettent d'identifierla présence et la localisation des objets et de garder trace de ces changements que l'utilisateur se déplace dans l'environnement virtuel. Voir la Figure 4.

3. La formation et le jeu avec l'ABES (3 sessions d'une durée 30 minutes pour un total de 1,5 h)

1. Permettre jeu gratuit jouer et noter toutes les difficultés et les défis (à savoir l'utilisation de touches, des signaux sonores, les zones de navigation difficile). Le renforcement positif et les éclaircissements sont fournis à la fin de chaque session de formation.
2. Les performances du jeu d'enregistrement (par exemple le nombre, le temps et le lieu où un participant trouve un bijou).

4. Évaluer la performance des tâches de navigation virtuelle

1. Expliquez aux participants les détails de l'essai et de fournir des instructions sur la façon de remplir les tâches de navigation virtuelle. Le participant devra compléter 10 tâches de navigation prédéterminées présentés de manière séquentielle à l'aide du logiciel ABES (une fois la participationPantalon achève avec succès la première tâche, l'ordinateur va automatiquement re-localiser le point de départ de la tâche suivante).
2. Informer le participant qu'ils auront un maximum de 6 min pour effectuer chaque tâche de navigation.
3. 10 chemins de navigation virtuelle de difficulté comparable (distance parcourue et le nombre de tours) sont choisis en fonction de paires prédéterminées de 10 démarrage et d'arrêt emplacements (chambres par exemple). Plus précisément, la série de mesures nécessaires pour naviguer sur la route cible à distance entre 25-35 étapes (dans l'environnement virtuel) et incorporés entre 3-4 tours de 90 degrés.
4. Chargez les 10 paires de navigation dans Abes pour la présentation automatisée et la saisie des données de performance.
5. Les mesures de résultats sont automatiquement enregistrés à l'aide du logiciel interne ABES. Les mesures de résultats sont: la réussite de la tâche de navigation et le temps pris pour atteindre l'objectif. Voir la figure 5A.
6. Instructions describing l'emplacement de départ et la destination cible sont fournies automatiquement par le logiciel ABES au début de chaque tâche. Le chronométrage commence immédiatement après le sujet prend sa première étape virtuelle à partir de l'emplacement de départ et se termine une fois arrivés à l'emplacement cible (sauf si le temps est plus long que 6 min, pour laquelle le point est marqué comme incomplet et le chemin suivant est présenté). Les données capturées sont automatiquement envoyées vers un fichier texte et a ouvert par la suite dans la base de données / logiciel de statistiques pour une analyse ultérieure.

5. Évaluer la performance physique de travail de navigation

1. Expliquez aux participants les détails de l'essai et de fournir des instructions sur la façon de remplir les tâches de navigation physiques. Le participant devra compléter 10 tâches de navigation prédéterminées (présenté en crypté afin de l'évaluation de la performance virtuelle précédente) et sous la supervision d'un enquêteur expérimenté.
2. Informer le participant, ils auront un maximum de 6 min pour effectuer chaque tâche de navigation. Pour les besoins de la tâche physique de navigation, le participant est autorisé à utiliser leur canne blanche pour les aides à la mobilité.
3. 10 chemins de navigation physiques sont choisis en fonction de paires prédéterminées de 10 emplacements de début et d'arrêt (chambres par exemple) de difficulté comparable (distance parcourue et le nombre de tours).
4. Enquêteur rédige le chronomètre et le presse-papiers avec la liste de tâches de navigation pour la notation manuelle des performances.
5. Les mesures de résultats sont enregistrés manuellement par l'investigateur. Les mesures de résultats sont: la réussite de la tâche de navigation et le temps pris pour atteindre l'objectif.
6. "Square-off" du participant (par exemple position du participant à la porte de la position de départ derrière eux). Des instructions décrivant l'emplacement de départ et la destination cible sont fournies par l'investigateur au début de chaque tâche. Le chronométrage commence immédiatement lorsque l'objet takes leur première étape physique de l'emplacement de départ et se termine lorsque le participant signale verbalement arriver à la destination (sauf si le temps est plus long que 6 min, pour laquelle le point est marqué comme incomplet et le chemin suivant est présenté). Les données capturées sont enregistrées manuellement, puis transféré à la base de données / logiciel de statistiques pour une analyse ultérieure. Voir la figure 5B.

6. Évaluer chute physique hors Performance Task

1. Expliquez aux participants les détails de l'essai et de fournir des instructions sur la façon de remplir la baisse physique sur les tâches de navigation. Le participant devra effectuer 5 tâches de navigation avec les objectifs de quitter le bâtiment en utilisant la route la plus courte possible et sous la supervision d'un enquêteur expérimenté.
2. Informer le participant qu'ils auront un maximum de 6 min pour effectuer chaque tâche de navigation. Aux fins de la chute physique hors tâche de navigation, le participant est autoriséd'utiliser leur canne blanche pour les aides à la mobilité.
3. 5 emplacements prédéterminés physiques de départ sont utilisés de telle sorte que les chemins de sortie 3 de longueurs différentes sont possibles.
4. Enquêteur rédige le chronomètre et le presse-papiers avec la liste de tâches de navigation pour la notation manuelle des performances.
5. Les mesures de résultats sont enregistrés manuellement par l'investigateur. Les mesures de résultats sont: la réussite de la tâche de navigation et le temps pris pour atteindre l'objectif. En outre, les chemins sont marqués de telle sorte que le plus court chemin pris est donné le maximum de points (soit 3 pour de plus court chemin, 2 pour le deuxième, 1 pour la plus longue, et 0 pour ne pas être en mesure de terminer la tâche). Voir la figure 5C.
6. "Square-off" le participant à la première position de départ. Des instructions décrivant l'emplacement de départ sont fournies par l'investigateur au début de chaque tâche. Chronométrage commence dès que le sujet prend sa première étape physique de l'emplacement de départ et se terminelorsque le participant signale oralement à destination à une porte de sortie de l'immeuble (sauf si le temps est plus longue que 6 minutes, pour lequel le point est marqué comme étant incomplète et l'emplacement de début de présentation du prochain). Les données capturées sont enregistrées manuellement, puis transféré à la base de données / logiciel de statistiques pour une analyse ultérieure.

Résultats

Les résultats de trois premiers participants aveugles (âgés entre 19 et 22 ans) sont indiqués (voir le tableau 1 pour les caractéristiques des participants). En résumé, les trois participants ont montré un taux de réussite élevé sur toutes les tâches de navigation trois jeu avec le logiciel ABES. Cela a été confirmé par les scores de performance (moyenne du groupe et individuel) sur les trois tâches comportementales (voir figure 6). Les performances pourcentage de réponses correctes pou...

Discussion

Nous décrivons une audio interactif basé sur simulateur d'environnement virtuel conçu pour améliorer la prise de conscience générale du territoire et les compétences de navigation à l'aveugle. Nous démontrons que l'interaction avec l'ABES donne des indices précis qui décrivent les relations spatiales entre les objets et la disposition générale de l'environnement cible. Les utilisateurs aveugles peuvent générer des cartes cognitives spatiales précises sur la base de ces informations auditives et en in...

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Nom de l'équipement	Commentaires
Ordinateur portable	Ordinateur portable utilisé exclusivement pour les participants de formation et de collecte de données
Téléphones tête stéréo (entièrement clos design circumaural)	Porté par tous les participants au cours de formation
Bandeau	Porté par tous les participants au cours de formation et les tests