Développement d'un environnement Audio-based jeux virtuels pour aider avec des compétences de navigation dans les aveugles

L'objectif général de l'expérience suivante est de démontrer qu'une interaction avec un environnement virtuel permet le transfert de compétences en matière de navigation spatiale, lesquelles peuvent être évaluées ultérieurement dans un environnement physique réel. Ceci est réalisé en apprenant d'abord les frappes de touches utilisées pour se déplacer dans l'environnement virtuel pendant le jeu. Ensuite, les participants apprennent à identifier des sons permettant de reconnaître des objets ainsi que leur position relative.

Après le jeu, une série de tâches de navigation virtuelles et physiques est proposée afin d'évaluer la compréhension spatiale de l'environnement par les participants. Des résultats sont obtenus qui montrent que les participants sont capables de s'orienter dans un bâtiment physique réel qui était représenté par l'environnement virtuel pendant le jeu. Le principal avantage de cette technique par rapport aux méthodes existantes, telles que la formation standard à l'orientation et à la mobilité, est que la configuration spatiale d'un bâtiment inconnu peut être apprise par l'exploration virtuelle de manière sûre et contrôlée.

Le démonstrateur de cette procédure sera Aaron Connors et Lindsey Aino, tous deux coordinateurs d'étude dans mon laboratoire. Les participants à cette étude sont légalement aveugles et n'ont aucune connaissance préalable de la configuration spatiale du bâtiment cible à apprendre, ni ne sont conscients de l'objectif global du jeu en ce qui concerne l'apprentissage de la configuration spatiale du bâtiment cible. Pour commencer, fournissez au participant un bandeau et un casque audio.

Veillez à ce que les écouteurs soient correctement positionnés sur les oreilles. Ensuite, expliquez au participant comment utiliser les touches attribuées et les informations transmises par les indices sonores dans l'environnement basé sur l'audio.Simulateur. Des frappes de touches spécifiques, telles qu'illustrées ici, sont utilisées pour naviguer et explorer l'environnement virtuel.

Chaque étape virtuelle correspond à une étape dans le bâtiment physique réel. Après avoir expliqué les commandes, décrivez le scénario et les règles du jeu. Informez le participant des différents indices sonores utilisés pendant le déroulement du jeu.

Par exemple, le son permettant de localiser les bijoux et les monstres à proximité pendant que l'utilisateur se déplace dans le bâtiment permet d'acquérir des informations auditives et spatiales de manière séquentielle, et ces informations sont dynamiquement mises à jour après chaque pas effectué dans l'environnement virtuel. Une synthèse vocale est utilisée pour fournir des informations supplémentaires sur l'emplacement actuel de l'utilisateur, son orientation et sa direction, ainsi que sur l'identité des objets et des obstacles présents sur son parcours. La localisation spatiale des sons est actualisée afin de correspondre à la direction égocentrique de l'utilisateur.

Par exemple, si une porte se trouve du côté droit de la personne, le son de frappe est perçu dans l'oreille droite de l'utilisateur. Si la personne effectue maintenant un demi-tour de 180 degrés de sorte que la même porte se trouve désormais de leur côté gauche, le même son de frappe est désormais perçu dans le canal gauche. Permettez au participant de jouer au jeu pendant trois séances de 30 minutes.

Signalez toute difficulté ou tout défi survenu pendant le jeu. Après chaque séance d'entraînement, offrez un renforcement positif ainsi que des clarifications ou des instructions supplémentaires. Par la suite, évaluez leurs performances lors du jeu en comptabilisant le nombre, la durée et l'emplacement où un participant trouve un Juul. Pour évaluer les performances dans la tâche de navigation virtuelle, expliquez au participant qu'il devra accomplir 10 tâches de navigation prédéterminées, présentées séquentiellement par le logiciel Abes.

Les parcours sont d'une difficulté comparable et sont choisis selon des associations prédéterminées de 10 emplacements de départ et d'arrivée. Informez le participant qu'il disposera d'un maximum de six minutes pour accomplir chaque tâche, au début de chacune d'elles.

Des instructions décrivant le lieu de départ et la destination cible sont fournies automatiquement. Le chronométrage débute automatiquement dès que le participant reçoit l'instruction audio et se termine lorsqu'il arrive à l'endroit ciblé. Une fois parvenu à la destination, les mesures de résultat sont enregistrées automatiquement et comprennent la réussite de la tâche de navigation ainsi que le temps nécessaire pour atteindre la cible.

Pour évaluer les performances du participant dans un lieu physique, expliquez-lui qu'il se verra attribuer 10 tâches prédéterminées de navigation. Sous la supervision d'un chercheur expérimenté. Informez le participant qu'il disposera d'un maximum de six minutes pour accomplir chaque tâche et qu'il pourra utiliser sa canne pour un soutien à la mobilité.

Soyez prêt avec un chronomètre, la liste des tâches de navigation et un porte-bloc pour la notation manuelle. Placez correctement le participant et décrivez-lui le point de départ et la destination cible. Le chronométrage commence dès que le sujet effectue son premier pas et se termine à l'arrivée.

Lorsque le participant signale verbalement qu'il est arrivé à destination, la réussite de la tâche ainsi que le temps nécessaire pour atteindre l'objectif sont enregistrés. Expliquez au participant qu'il devra effectuer cinq tâches de navigation dont l'objectif est de sortir du bâtiment en empruntant l'itinéraire le plus court possible. Sous la supervision d'un chercheur expérimenté, informez le participant qu'il disposera d'un maximum de six minutes pour accomplir chaque tâche de navigation et qu'il pourra utiliser sa canne comme aide à la mobilité.

Cinq emplacements de départ prédéterminés sont utilisés de sorte que trois trajets de sortie soient possibles, de longueurs et de complexités différentes. Ayez un chronomètre, la liste des tâches de navigation et un bloc-notes pour la notation manuelle. Placez le participant en face et décrivez-lui l'emplacement de départ.

Le chronométrage commence dès qu’ils effectuent leur premier pas et se termine lorsque le participant annonce verbalement qu’il est arrivé à une sortie du bâtiment. La réussite de la tâche de dépôt, le trajet suivi et le temps nécessaire pour sortir du bâtiment sont enregistrés. En outre, les trajets sont notés de sorte que le chemin le plus court obtienne un plus grand nombre de points que les trajets plus longs.

Les performances moyennes de trois participants aux tâches de navigation sont présentées ici. Le pourcentage de réponses correctes pour les tâches de navigation virtuelle et physique illustre un niveau élevé de réussite dans les deux tâches. Le temps nécessaire pour atteindre la cible était plus long en navigation virtuelle par rapport à la performance physique.

Dans la tâche de dépôt, on observe que les participants choisissent souvent l'itinéraire le plus court possible pour sortir du bâtiment. Cela se traduit par un temps moyen plus court nécessaire pour atteindre la sortie et en sortir. Les résultats présentés ici proviennent d'un participant individuel ayant effectué les trois tâches de navigation.

Pendant la navigation virtuelle, la tâche a pris 79 secondes à compléter. La tâche, telle qu'observée par le trajet marqué en jaune, a pris 46 secondes sur le même parcours dans le bâtiment réel. Dans la tâche de dépôt.

Le participant a emprunté le chemin le plus court possible pour sortir du bâtiment. N'oubliez pas que travailler avec des participants aveugles utilisant une nouvelle technologie nécessite des encouragements. Nous sommes reconnaissants pour leur temps et leur volonté de participer à cette démonstration et à cette étude.