פיתוח של סביבת משחקים וירטואלית אודיו מבוססות המסייע במיומנויות ניווט בליינד

סיכום

סימולטור סביבת אודיו המבוסס (AbES) הוא תוכנה לסביבה וירטואלית שנועדה לשפר את כישורי ניווט של עולם אמיתיים בעיוור.

תקציר

סימולטור סביבת אודיו המבוסס (AbES) הוא תוכנה לסביבה וירטואלית שנועדה לשפר את כישורי ניווט של עולם אמיתיים בעיוור. רק באמצעות רמזים מבוססי האודים ונקבעו בהקשר של דימוי משחק וידאו, משתמשים לאסוף מידע המרחבי רלוונטי לגבי פריסתו של בניין. זה מאפשר למשתמש לפתח מפה קוגניטיבית המרחבי מדויקת של מרחב בקנה מידה גדול תלת ממדים שניתן לטפל לצורך משימת ניווט מקורה אמיתית. לאחר משחק, משתתפים העריכו אז על היכולת שלהם לנווט בתוך המבנה הפיזי היעד מיוצג במשחק. תוצאות ראשוניות מצביעות על כך שהמשתמשים עיוורים המוקדמים היו מסוגלים להשיג מידע רלוונטי בנוגע לפריסה המרחבית של בניין בעבר לא מוכר כמו באינדקס של הביצועים שלהם בסדרה של משימות ניווט. משימות אלה כללו מציאת נתיב דרך הבניין הווירטואלי ופיזי, כמו גם סדרה של טיפה את המשימות. אנו מוצאים כי immersiveוהאופי אינטרקטיווי של תוכנת AbES מופיע לעסוק משתמש העיוור מאוד אקטיבי כדי לחקור את הסביבה הווירטואלית. יישומים של גישה זו עשויים להאריך את האוכלוסיות גדולות של אנשים לקויים ראייה.

מבוא

למצוא את דרכו של אדם בסביבה לא מוכרת מתנות כמו אתגר משמעותי לעיוורים. ניווט בהצלחה דורשת הבנה של יחסים מרחביים שקיימים בין העצמי והאובייקטים בסביבתו של ^1,2 1. ייצוג מנטלי המתאר סביב החלל המכונה הקוגניטיבית ³ מפת מרחבית. אנשים עיוורים יכולים לאסוף מידע המרחבי רלוונטי לגבי הסביבה המקיפה אותם בערוצים חושיים אחרים (כמו ששמע) המאפשרים לדור של מפת קוגניטיבית מרחבית מדויקת לצרכי ניווט המשימות בעולם אמיתית ^4,5.

עניין רב התעורר לגבי הפוטנציאל החינוכי של סביבות וירטואליות ומשחקי וידאו פעולה כאמצעי ללמוד ולשלוט במיומנויות ^6-9. אכן, אסטרטגיות וגישות רבות פותחו לעיוורים למטרה זו (ראה ^4,10-12). פתחנו אאודיסימולטור o מבוססת הסביבה (AbES); סביבה וירטואלית של משתמש במרכז אודיו מבוסס המאפשרת ניווט וחיפוש מדומה של מבנה פיזי קיים. ציור מתוכניות מקוריות אדריכליות רצפה, טיוח וירטואלי של בניין מודרני בן שתי קומות (הממוקמת בקרול המרכז לעיוור; ניוטון, MA) נוצר עם תוכנת AbES (איורים 1 א 'וב'). AbES משלב מטאפורה משחק פעולה עם נחת יסוד שנועדה לקדם את חקר מלא של שטח הבניין. באמצעות הקשות פשוטות ורמזים קוליים ייצוג מרחבים, למשתמשים לנווט ולסרוק את הבניין כדי לאסוף את מספר מרבי של תכשיטים שהוסתרו בחדרים שונים. משתמשים חייבים להימנע משוטטות מפלצות שיכול להוציא אותם ולהסתיר אותם במקום אחר בבניין (התרשים 1C).

אנו מראים כי אינטראקציה עם AbES מאפשרת למשתמש עיוור כדי לייצר מפה מדויקת מרחבית הקוגניטיבי של בניין היעד בהתבסס על מידע שמיעתיcquired בהקשר של דימוי משחק פעולה. זה אושר על ידי סדרה של בדיקות ביצועים התנהגותיים שלאחר אימון שנועדו לבחון את העברת המידע המרחבי רכש מסביבה וירטואלית למשימת ניווט מקורה עולם אמיתי, בקנה מידה גדול (ראה איור 2 לתכנון מחקר הכללי). התוצאות שלנו מראות שמשתמשים עיוורים יכולים לנווט בהצלחה לאורך כל בניין שהם היו בעבר לא מוכרים, למרות ששום שעה שהודיע ​​לו את המטרה הכוללת של המחקר, והם גם הורו לזוכרים את הפריסה המרחבית של בנייה בעת ששחק את המשחק.

פרוטוקול

1. דמוגרפיה משתתף

זהו מחקר מתמשך שמגייס משתתפי גברים ונשים בגילים שבין 18-45 עיוורי שנים. כל המשתתפים הם עיוורים מהתחלה המוקדמת (שתועד לפני גיל 3) ושל שוני אטיולוגיה עינית. אף אחד מהמשתתפים במחקר היה בעבר הכיר היטב את המבנה המרחבי של המבנה הפיזי היעד.

2. הכנה והיכרות עם AbES

1. ספק את המשתתף עם כיסוי עיניים ואוזניות ללבישה לאורך האימון ותהליך הערכה. ודא כי כיסוי העיניים ממוקם בנוחות על עיניים ואת האוזניות מכוונות כראוי וממוקמות מעל האוזניים (כלומר רמקול השמאלי מעל אוזן שמאל).
2. משתתף רכבת כיצד להשתמש במקשים שהוקצו והמידע המיוצג על ידי רמזי אודיו בAbES. באמצעות משייכות מפתח ספציפיות (איור 3), משתמש מנווט ובוחןבנייה כמעט (לנוע קדימה, ימינה או שמאלה). כל צעד וירטואלי מתקרב צעד אחד בבניין הפיזי האמיתי.
3. היכרות עם חוקים ונחת יסוד של המשחק.
4. היכרות עם רמזים ספציפיים למשחק שמע (למשל צליל של תכשיטים וסאונד של מפלצות סמוכות איתור). כמשתמש מנווט בבניין, מידע מרחבים מבוססים שמיעתי וקשר הוא רכש ברצף, והוא באופן דינמי מעודכן. מידע מרחבים וצבייה מבוסס על אותות קול וייצוג מרחבי אייקונים הניתנים לאחר כל צעד שנעשה. אורינטציה מבוססת על כותרות קרדינל מצפן (למשל "צפון" או "מזרח") וטקסט דרך דיבור (TTS) משמש כדי לספק מידע נוסף לגבי המיקום הנוכחי של משתמש, התמצאות וכותרת (לדוגמה: "אתה נמצא במסדרון על 1 רצפה, מול מערב "), כמו גם את זהותו של חפצים ומכשולים בדרכם (למשל:" זה הוא דלת "). רמזי מרחק מסופקים בהתבסס on עוצמת צליל ויסות. הלוקליזציה המרחבית של הצלילים מתעדכנת כדי להתאים הכותרת האגוצנטרית של המשתמש. בעיקרון, תוכנה נועדה להפעיל קובץ שמע מתאים כפונקציה של המיקום וכיוון האגוצנטרי של המשתמש ועוקבת אחר המיקום של המשתמש, כאשר הם עוברים דרך הסביבה. לדוגמה, אם דלת ממוקמת בצדו הימני של האדם, קול הנקישה נשמע באוזן ימין של המשתמש (כלומר התוכנה מנגנת קובץ אודו של קול נקישה בערוץ הנכון). אם האדם עכשיו מסתובב 180 מעלות, כך שאותה הדלת ממוקמת כעת בצד השמאל שלהם, באותו הקול נקישה עכשיו שמע בערוץ השמאל (כלומר התוכנה מנגנת קובץ אודו של קול נקישה בערוץ השמאל). לבסוף, אם המשתמש מול הדלת, באותו הקול הנקישה נשמע בשתי האוזניים באופן שווה. על ידי שמירה על מסלול של הכותרת האגוצנטרית של המשתמש, התוכנה יכולה לנגן את הצלילים המקומיים מרחביים המתאימים המזהיםהנוכחות והמיקום של אובייקטים ולעקוב אחר שינויים אלה כמשתמש מעבירים באמצעות הסביבה הווירטואלית. ראה איור 4.

3. הדרכה ומשחק עם AbES (3 מושבים בכל 30 דקות שנמשכות בסך של 1.5 שעות)

1. אפשר למשחק חופשי לשחק ושים לב לקשיים ואתגרים (כלומר שימוש של משייכות מפתח, רמזי אודיו, תחומי הניווט קשה). חיזוקים והבהרות חיוביים מסופקים בסוף כל אימון.
2. ביצועי משחק שיא (מספר, זמן ומיקום שבו משתתף מוצא תכשיט לדוגמה).

4. להעריך את ביצועי משימות ניווט וירטואליים

1. להסביר למשתתף את הפרטים של הבדיקה ולספק הוראות כיצד להשלים את משימות ניווט הווירטואליות. המשתתף ישלים 10 משימות ניווט קבוע מראש המוצגות ברצף שימוש בתוכנת AbES (כלומר פעם אחת particiצפצף הצלחה משלים את המשימה הראשונה, מחשב באופן אוטומטי מחדש לאתר אותם לנקודת ההתחלה של המשימה הבאה).
2. להודיע ​​למשתתף כי יהיה להם מקסימום של 6 דקות כדי להשלים כל משימת ניווט.
3. 10 נתיבי ניווט וירטואליים של קושי דומה (כלומר מרחק נסע ומספר הסיבובים) נבחרים על הבסיס קבוע מראש של 10 זיווגי התחלה ולהפסיק מקומות (כלומר חדרים). באופן ספציפי, המגוון של צעדים הדרושים כדי לנווט את מסלול היעד נע בין 25-35 שלבים (בסביבה הווירטואלית) ושלב בין סיבובי 3-4 של 90 מעלות.
4. טען את 10 זוגות הניווט לAbES למצגת אוטומטית ולכידה נתונים של ביצועים.
5. מדדי תוצאות נרשמים באופן אוטומטי באמצעות התוכנה הפנימית 'AbES. מדדי תוצאות כוללים: סיום מוצלח של המשימה, והזמן שלוקח להגיע ליעד הניווט. ראה איור 5 א.
6. הוראות דescribing מיקום ההתחלה ויעד היעד ניתן באופן אוטומטי על ידי תוכנת AbES בתחילת כל משימה. עיתוי מתחיל מייד ברגע שלוקח את נושא הצעד הווירטואלי הראשון שלהם מנקודת ההתחלה ומסתיים ברגע שהגיע למיקום היעד (אלא אם כן הזמן לוקח יותר זמן מאשר 6 דקות, שלריצה היא בקיע כשלם ואת הדרך הבאה מוצגת). נתונים שנתפסו נשלחו באופן אוטומטי לקובץ טקסט ולאחר מכן פתחו במסד נתונים / תוכנות סטטיסטיות לניתוח נוסף.

5. להעריך את ביצועי משימות ניווט גופניים

1. להסביר למשתתף את הפרטים של הבדיקה ולספק הוראות כיצד להשלים את משימות ניווט הפיזיות. המשתתף ישלים 10 משימות שנקבעו מראש (ניווט מוצג במקושקש הזמנה מהערכת הביצועים הווירטואלית הקודמת) ותחת פיקוחו של חוקר מנוסה.
2. ליידע את המשתתף יהיה להם maxiאמא של 6 דקות כדי להשלים כל משימת ניווט. לצורך משימת הניווט הפיסית, המשתתף מותר להשתמש במקל הלבן שלהם לתמיכה בניידות.
3. 10 נתיבי ניווט פיסיים נבחרים על בסיס קבוע מראש של 10 זיווגי התחלה ומקומות עצירה (כלומר חדרים) קושי דומה (כלומר מרחק נסע ומספר הסיבובים).
4. חוקר מכין שעון עצר ולוח עם רשימה של משימות ניווט לניקוד ידני של ביצועים.
5. מדדי תוצאות נרשמים באופן ידני על ידי החוקר. מדדי תוצאות כוללים: סיום מוצלח של המשימה, והזמן שלוקח להגיע ליעד הניווט.
6. "כיכר הפעמית" המשתתף (משתתף עם דלת מיקום ההתחלה מאחוריהם עמדה, כלומר). הוראות המתארות את מיקום ההתחלה ויעד היעד מסופקות על ידי החוקר בתחילת כל משימה. העיתוי מתחיל מייד לאחר tak הנושאes הצעד הראשון שלהם פיזי מנקודת ההתחלה ומסתיים כאשר המשתתף מילולי מדווח שהגיע ליעד (אלא אם כן הזמן לוקח יותר זמן מאשר 6 דקות, שלריצה היא בקיע כשלם ואת הדרך הבאה מוצגת). נתונים מתועדים נרשמים באופן ידני ולאחר מכן הועברו לבסיס נתונים / תוכנה סטטיסטית לניתוח נוסף. ראה איור 5 ב.

6. הערך בגלילה פיזית את ביצוע משימה

1. להסביר למשתתף את הפרטים של הבדיקה ולספק הוראות כיצד להשלים את הירידה הפיסית את משימות ניווט. המשתתף ישלים 5 משימות ניווט עם מטרות של יציאה מהבניין באמצעות מסלול הקצר ביותר האפשרי, ותחת פיקוחו של חוקר מנוסה.
2. להודיע ​​למשתתף כי יהיה להם מקסימום של 6 דקות כדי להשלים כל משימת ניווט. לצורך הירידה הפיסית את משימת ניווט, המשתתף מותרלהשתמש במקל הלבן שלהם לתמיכה בניידות.
3. 5 מיקומים שנקבעו מראש החל פיסיים משמשים כזה ש3 נתיבי יציאה של אורכים שונים אפשריים.
4. חוקר מכין שעון עצר ולוח עם רשימה של משימות ניווט לניקוד ידני של ביצועים.
5. מדדי תוצאות נרשמים באופן ידני על ידי החוקר. מדדי תוצאות כוללים: סיום מוצלח של המשימה, והזמן שלוקח להגיע ליעד הניווט. יתר על כן, נתיבים מקבלים נקודות כך שהמסלול הקצר לקח ניתן נקודות מרביות (3 כלומר למסלול הקצר ביותר, 2 ל2, 1 לארוך ביותר, ו0 עבור לא להיות מסוגל להשלים את המשימה). ראה איור 5 ג.
6. "כיכר הפעמי" המשתתף במיקום הראשון מתחיל. הוראות המתארות את מיקום התחילה מסופקות על ידי החוקר בתחילת כל משימה. עיתוי מתחיל מייד ברגע שלוקח את נושא הצעד הפיזי הראשון שלהם מנקודת ההתחלה ומסתייםכאשר המשתתף מילולי מדווח שהגיע לדלת יציאה של הבניין (אלא אם כן הזמן לוקח יותר זמן מאשר 6 דקות, שלריצה היא בקיע כשלם ומיקום ההפעלה הבא מוצגת). נתונים מתועדים נרשמים באופן ידני ולאחר מכן הועברו לבסיס נתונים / תוכנה סטטיסטית לניתוח נוסף.

תוצאות

תוצאות משלושה משתתפים עיוורים מוקדמים (בגילים שבין 19 ל 22 שנים) מוצגות (ראה טבלת מס '1 למאפייני משתתף). לסיכום, כל שלושת המשתתפים הראו רמה גבוהה של הצלחה בכל השלוש משימות הניווט בעקבות משחק עם תוכנת AbES. זה אושר על ידי הציונים (ממוצע ביצועי קבוצה והיחיד) בכל השלוש המשימות התנהגותיות (ראה איור 6). ביצוע הנכון האחוז לוירטואלי (ממוצע: 90%) ואחריו פיזי (ממוצע: 88.7%) משימות ניווט ממחישה רמה גבוהה של הצלחה וביצועים דומים לשתי המשימות (איו...

דיון

אנו מתארים סימולטור אינטרקטיווי אודים וירטואליים מבוסס סביבה שנועד לשפר את כישורי ניווט מודעות המרחבית בכלל ובעיוור. אנו מראים כי אינטראקציה עם AbES מספקת רמזים מדויקים המתארים את היחסים מרחביים בין אובייקטים והפריסה הכוללת של סביבת היעד. משתמשים עיוורים יכולים להפיק מפות קוגניטיביות מרחביים מדויקות המבוססות על מידע שמיעתי זה ועל ידי אינטראקציה עם הסביבה הווירטואלית immersive. יתר על כן, אינטראקציה עם AbES בהקשר של דימוי משחק מראה כי מבנים קוגניטיביים מרחביים ניתן ללמוד במרומז ולא...

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה

שם	חברה	מספר קטלוג	הערות
שם ציוד	תגובות
מחשב נייד	מחשב נייד המשמש באופן בלעדי למשתתפי הכשרה ואת איסוף נתונים
ראש טלפוני סטריאו (עיצוב circumaural סגור לחלוטין)	משוחק על ידי כל המשתתפים במהלך אימון
לקשור עינים	משוחק על ידי כל המשתתפים במהלך אימונים ובדיקות