Développement d'un environnement Audio-based jeux virtuels pour aider avec des compétences de navigation dans les aveugles

L’objectif global de l’expérience suivante est de démontrer que l’interaction avec un environnement virtuel permet le transfert de compétences de navigation spatiale qui peuvent être évaluées ultérieurement dans l’environnement physique réel. Ceci est réalisé en apprenant d’abord les frappes utilisées pour naviguer dans l’environnement virtuel pendant le jeu. Ensuite, les participants apprennent à identifier les sons qui permettent d’identifier les objets et leur position relative.

Après le jeu, une série de tâches de navigation virtuelles et physiques sont présentées afin d’évaluer leur compréhension spatiale de l’environnement. Les résultats obtenus montrent que les participants sont capables de naviguer dans un bâtiment physique réel qui était représenté par l’environnement virtuel pendant le jeu. Le principal avantage de cette technique par rapport aux méthodes existantes, telles que l’orientation standard et l’entraînement à la mobilité, est que la disposition spatiale d’un bâtiment inconnu peut être apprise par l’exploration virtuelle de manière sûre et contrôlée.

Aaron Connors et Lindsey Aino, tous deux coordinateurs d’étude pour mon laboratoire, feront la démonstration de cette procédure. Les participants à cette étude sont légalement aveugles et n’ont aucune connaissance préalable de la disposition spatiale du bâtiment cible à apprendre, ni ne sont conscients de l’objectif global du jeu en ce qui concerne l’apprentissage de la disposition spatiale du bâtiment cible. Pour commencer, fournissez au participant un bandeau sur les yeux et des écouteurs.

Assurez-vous que le casque est correctement positionné sur les oreilles. Ensuite, expliquez au participant comment utiliser les touches attribuées et les informations présentées par les repères audio dans l’environnement audio. Simulateur. Des frappes spécifiques, comme on le voit ici, sont utilisées pour naviguer et explorer l’environnement virtuel.

Chaque étape virtuelle correspond à une étape dans le bâtiment physique réel. Après avoir expliqué les commandes, expliquez le principe et les règles du jeu. Informez le participant des différents indices audio utilisés pendant le jeu.

Par exemple, le son de la localisation de bijoux et de monstres à proximité lorsque l’utilisateur navigue dans le bâtiment, les informations auditives et spatiales sont acquises séquentiellement et sont mises à jour dynamiquement après chaque étape dans l’environnement virtuel. La synthèse vocale est utilisée pour fournir des informations supplémentaires concernant l’emplacement, l’orientation et le cap actuels d’un utilisateur, ainsi que l’identité des objets et des obstacles sur son chemin. La localisation spatiale des sons est mise à jour pour s’adapter à l’orientation égocentrique de l’utilisateur.

Par exemple, si une porte est située sur le côté droit de la personne, le bruit de frappe est entendu dans l’oreille droite de l’utilisateur. Si la personne tourne maintenant à environ 180 degrés de sorte que la même porte se trouve maintenant sur son côté gauche, le même son de frappe est maintenant entendu dans le canal gauche. Permettez au participant de jouer au jeu pendant trois sessions de 30 minutes.

Notez toutes les difficultés ou défis survenant pendant le jeu, après chaque séance d’entraînement, fournissez un renforcement positif et toute clarification ou instruction supplémentaire. Plus tard, évaluez leur performance sur le jeu en comptant le nombre, l’heure et l’endroit où un participant trouve une Juul. Pour tester les performances de la tâche de navigation virtuelle, expliquez au participant qu’il va effectuer 10 tâches de navigation prédéterminées présentées séquentiellement par le logiciel Abes.

Les chemins sont de difficulté comparable et sont choisis sur la base d’appariements prédéterminés de 10. Lieux de départ et d’arrêt. Informez le participant qu’il disposera d’un maximum de six minutes pour accomplir chaque tâche au début de chaque tâche.

Des instructions décrivant l’emplacement de départ et la destination cible sont fournies automatiquement. Le chronométrage commence automatiquement une fois que le participant reçoit les instructions audio et se termine. Une fois qu’ils arrivent à l’endroit cible, les mesures de résultat sont automatiquement enregistrées et comprennent la réussite de la tâche de navigation et le temps nécessaire pour atteindre la cible.

Pour tester les performances du participant dans l’emplacement physique, expliquez qu’on lui donnera 10 tâches de navigation prédéterminées. Sous la supervision d’un enquêteur expérimenté. Informez le participant qu’il disposera d’un maximum de six minutes pour accomplir chaque tâche et qu’il est autorisé à utiliser sa canne pour l’aide à la mobilité.

Soyez prêt avec un chronomètre, la liste des tâches de navigation et un presse-papiers pour la notation manuelle. Identifiez le participant et décrivez le lieu de départ et la destination cible. Le chronométrage commence immédiatement une fois que le sujet fait son premier pas et se termine.

Lorsque le participant signale verbalement son arrivée à destination, la réussite d’une tâche et le temps nécessaire pour atteindre l’objectif sont enregistrés. Expliquez au participant qu’il effectuera cinq tâches de navigation dans le but de sortir du bâtiment par le chemin le plus court possible. Sous la supervision d’un enquêteur expérimenté, informez le participant qu’il disposera d’un maximum de six minutes pour accomplir chaque tâche de navigation et qu’il sera autorisé à utiliser sa canne pour soutenir sa mobilité.

Cinq emplacements de départ prédéterminés sont utilisés, de sorte que trois chemins de sortie de longueurs et de complexités différentes sont possibles. Soyez prêt avec un chronomètre, la liste des tâches de navigation et un presse-papiers pour la notation manuelle. Alignez le participant et décrivez le lieu de départ.

Le chronométrage commence immédiatement lorsqu’ils font leur premier pas et se termine lorsque le participant signale verbalement son arrivée à une porte de sortie du bâtiment. La réussite de la tâche de dépose, le chemin suivi et le temps nécessaire pour sortir du bâtiment sont enregistrés. De plus, les chemins sont notés de telle sorte que le chemin le plus court vaut plus de points que les plus longs.

Les performances moyennes de trois participants sur les tâches de navigation sont présentées ici. Le pourcentage de points corrects pour les tâches de navigation virtuelle et physique illustre un haut niveau de réussite sur les deux tâches. Le temps de navigation vers la cible était plus long pour la navigation virtuelle par rapport aux performances physiques.

Lors du débarquement, Task suggère que les participants choisissaient souvent le chemin le plus court possible pour sortir du bâtiment. En témoigne le temps moyen plus court nécessaire pour atteindre et sortir. Les résultats présentés ici proviennent d’un participant individuel sur les trois tâches de navigation.

Pendant la navigation virtuelle, il a fallu 79 secondes pour le terminer. La tâche, telle qu’elle est illustrée par la performance du chemin marqué en jaune sur le même chemin dans le bâtiment physique, a duré 46 secondes. Dans la tâche de dépôt.

Le participant a emprunté le chemin le plus court possible pour sortir du bâtiment. N’oubliez pas que travailler avec des participants aveugles à l’aide de nouvelles technologies nécessite des encouragements. Nous leur sommes reconnaissants de leur temps et de leur volonté de participer à cette démonstration et à cette étude.