Ontwikkeling van een Audio-based Virtual Gaming Milieu om te helpen met Navigatie Vaardigheden in het Blind

Het algemene doel van het volgende experiment is om aan te tonen dat interactie met een virtuele omgeving mogelijk maakt dat ruimtelijke navigatievaardigheden worden overgedragen, die later in de werkelijke fysieke omgeving kunnen worden beoordeeld. Dit wordt bereikt door eerst de toetsaanslagen te leren die worden gebruikt voor navigatie in de virtuele omgeving tijdens het gamen. Vervolgens leren de deelnemers hoe ze geluiden kunnen identificeren waarmee objecten en hun relatieve locatie kunnen worden vastgesteld.

Na het gamen wordt een reeks virtuele en fysieke navigatietaken gepresenteerd om hun ruimtelijk begrip van de omgeving te beoordelen. De resultaten tonen aan dat deelnemers in staat zijn te navigeren door een echt fysiek gebouw dat tijdens het gamen werd gerepresenteerd door de virtuele omgeving. Het belangrijkste voordeel van deze techniek ten opzichte van bestaande methoden, zoals standaard oriëntatie- en mobiliteitstraining, is dat de ruimtelijke indeling van een onbekend gebouw op een veilige en gecontroleerde manier kan worden geleerd via virtuele exploratie.

Deze procedure zal worden gedemonstreerd door Aaron Connors en Lindsey Aino, beiden studiecoördinatoren in mijn laboratorium. De deelnemers aan dit onderzoek zijn wettelijk blind en hebben geen voorafgaande kennis van de ruimtelijke indeling van het te leren doelgebouw, noch zijn zij op de hoogte van het algemene doel van het spel met betrekking tot het leren van de ruimtelijke indeling van het doelgebouw. Om te beginnen, voorzie de deelnemer van een blinddoek en een koptelefoon.

Zorg ervoor dat de hoofdtelefoon correct over de oren is geplaatst. Instrueer de deelnemer vervolgens over het gebruik van de toegewezen toetsen en de informatie die wordt gepresenteerd door de audio-aanwijzingen in de audio-gebaseerde environment.Simulator. Specifieke toetscombinaties, zoals hier getoond, worden gebruikt om door de virtuele omgeving te navigeren en deze te verkennen.

Elke virtuele stap komt ongeveer één stap in het werkelijke fysieke gebouw overeen. Leg na het uitleggen van de bediening het uitgangspunt en de regels van het spel uit. Informeer de deelnemer over de verschillende audio-aanwijzingen die tijdens het spelen worden gebruikt.

Bijvoorbeeld, bij het geluid van het lokaliseren van juwelen en monsters in de nabijheid terwijl de gebruiker door het gebouw navigeert, wordt auditieve en ruimtelijke informatie sequentieel verkregen en dynamisch bijgewerkt na elke stap die in de virtuele omgeving wordt gezet. Tekst-naar-spraak wordt gebruikt om verdere informatie te verschaffen over de huidige locatie, oriëntatie en koers van de gebruiker, evenals de identiteit van objecten en obstakels op hun pad. De ruimtelijke lokalisatie van geluiden wordt bijgewerkt om overeen te komen met de egocentrische koers van de gebruiker.

Als een deur zich bijvoorbeeld aan de rechterkant van de persoon bevindt, wordt het kloppende geluid in het rechteroor van de gebruiker gehoord. Als de persoon zich nu 180 graden omdraait zodat dezelfde deur zich nu aan hun linkerkant bevindt, wordt hetzelfde kloppende geluid nu in het linkerkanaal gehoord. Laat de deelnemer het spel spelen gedurende drie sessies van 30 minuten.

Noteer eventuele moeilijkheden of uitdagingen die tijdens het gamen optreden; bied na elke trainingssessie positieve bekrachtiging en eventuele verduidelijkingen of verdere instructies. Score daarna hun prestaties tijdens het gamen door het aantal, het tijdstip en de locatie bij te houden waar een deelnemer een Juul vindt. Om de prestaties bij de virtuele navigatietaak te testen, legt u aan de deelnemer uit dat deze 10 vooraf vastgestelde navigatietaken zal voltooien die sequentieel door de Abes-software worden gepresenteerd.

De paden zijn van vergelijkbare moeilijkheidsgraad en worden gekozen op basis van vooraf vastgestelde koppelingen van 10 start- en stoppunten. Informeer de deelnemer aan het begin van elke taak dat zij maximaal zes minuten de tijd hebben om elke taak te voltooien.

Instructies die de startlocatie en de doelbestemming beschrijven, worden automatisch verstrekt. De tijdmeting start automatisch zodra de deelnemer de audio-instructie ontvangt en stopt wanneer zij de doellocatie bereiken. Op dat moment worden de uitkomstmaten automatisch geregistreerd, waaronder de succesvolle voltooiing van de navigatietaak en de benodigde tijd om het doel te bereiken.

Om de prestaties van de deelnemer op de fysieke locatie te testen, legt u uit dat zij 10 vooraf bepaalde navigatietaken zullen krijgen. Dit gebeurt onder toezicht van een ervaren onderzoeker. Informeer de deelnemer dat zij maximaal zes minuten de tijd hebben om elke taak te voltooien en dat het is toegestaan om hun stok als mobiliteitshulpmiddel te gebruiken.

Zorg dat een stopwatch, de lijst met navigatietaken en een klembord voor handmatige scoren klaarliggen. Markeer het startpunt voor de deelnemer en beschrijf de startlocatie en de doellocatie. De tijdmeting begint onmiddellijk zodra de proefpersoon de eerste stap zet en eindigt wanneer de bestemming is bereikt.

Wanneer de deelnemer verbaal meldt dat deze de bestemming heeft bereikt, worden de succesvolle voltooiing van de taak en de tijd die nodig was om het doel te bereiken genoteerd. Leg aan de deelnemer uit dat deze vijf navigatietaken zal voltooien met als doel het gebouw te verlaten via de kortst mogelijke route. Informeer de deelnemer, onder supervisie van een ervaren onderzoeker, dat er maximaal zes minuten de tijd is voor het voltooien van elke navigatietaak en dat het gebruik van een stok voor mobiliteitsondersteuning is toegestaan.

Er worden vijf vooraf bepaalde startlocaties gebruikt, zodat drie uitgangspaden van verschillende lengte en complexiteit mogelijk zijn. Zorg dat een stopwatch, de lijst met navigatietaken en een klembord voor handmatige scoren klaarliggen. Instrueer de deelnemer en beschrijf de startlocatie.

De tijdmeting begint onmiddellijk zodra zij hun eerste stap zetten en eindigt wanneer de deelnemer verbaal meldt dat hij of zij bij een uitgangsdeur van het gebouw is aangekomen. De succesvolle voltooiing van de aflevertaak, de gevolgde route en de tijd die nodig is om het gebouw te verlaten, worden geregistreerd. Bovendien worden de routes zo gescoord dat de kortste route meer punten oplevert dan langere routes.

De gemiddelde prestaties van drie deelnemers bij de navigatietaken worden hier gepresenteerd. Het percentage correcte antwoorden voor de virtuele en fysieke navigatietaken illustreert een hoog succesniveau bij beide taken. De tijd om naar het doel te navigeren was langer bij virtuele navigatie in vergelijking met de fysieke prestaties.

Bij de taak om het gebouw te verlaten bleek dat deelnemers vaak de kortst mogelijke route kozen om het gebouw te verlaten. Dit wordt onderbouwd door de kortere gemiddelde tijd die nodig was om de uitgang te bereiken en te verlaten. De hier getoonde resultaten zijn afkomstig van één individuele deelnemer over alle drie de navigatietaken.

Tijdens de virtuele navigatie duurde het 79 seconden om de taak te voltooien. De taak, zoals weergegeven door het geel gemarkeerde pad, nam 46 seconden in beslag op hetzelfde pad in het fysieke gebouw. In de drop-off taak.

De deelnemer nam de kortste mogelijke route om het gebouw te verlaten. Vergeet niet dat het werken met blinde deelnemers die nieuwe technologie gebruiken, aanmoediging vereist. We zijn hen dankbaar voor hun tijd en bereidheid om deel te nemen aan deze demonstratie en studie.