مقالة منهجية

تطوير بيئة المستندة إلى الصوت الألعاب الافتراضية للمساعدة في مهارات التنقل في مكفوفين

DOI:

10.3791/50272

⸱

مارس 27, 2013

 ,  ,  , 
1Laboratory for Visual Neuroplasticity, Department of Ophthalmology, Massachusetts Eye and Ear Infirmary, Harvard Medical School, 2Department of Computer Science and Center for Advanced Research in Education (CARE), University of Chile

في هذه المقالة

ملخص

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

الصوت القائم على محاكاة بيئة (أبيس) هو برنامج البيئة الافتراضية التي تهدف إلى تحسين مهارات حقيقية الملاحة العالمية في العمياء.

الملخص

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

الصوت القائم على محاكاة بيئة (أبيس) هو برنامج البيئة الافتراضية التي تهدف إلى تحسين مهارات حقيقية الملاحة العالمية في العمياء. باستخدام الاشارات فقط على أساس الصوت ومجموعة في سياق شريط فيديو استعارة لعبة، للمستخدمين جمع المعلومات المكانية ذات الصلة بشأن تخطيط المباني. هذا يسمح للمستخدم لوضع خريطة دقيقة المعرفي المكاني للفضاء ثلاثي الأبعاد على نطاق واسع التي يمكن التلاعب بها لأغراض الملاحة الداخلية مهمة حقيقية. بعد اللعب، ثم يتم تقييم المشاركين على قدرتها على التنقل داخل المبنى المستهدف المادية ممثلة في اللعبة. النتائج الأولية تشير إلى أن المستخدمين المكفوفين في وقت مبكر كانوا قادرين على الحصول على المعلومات ذات الصلة بشأن تخطيط المكاني للمبنى غير مألوف سابقا باسم فهرستها من قبل أدائها على سلسلة من المهام الملاحة. وشملت هذه المهام المسار من خلال إيجاد مبنى الظاهرية والمادية، فضلا عن سلسلة من المهام غلبه النعاس. نجد أن غامرةوالطبيعة التفاعلية للغاية من البرنامج ABES يبدو الانخراط بشكل كبير للمستخدم الطرف عن بنشاط على استكشاف البيئة الافتراضية. ويجوز للتطبيقات لهذا النهج يشمل أعدادا كبيرة من السكان من الأفراد ضعاف البصر.

المقدمة

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

العثور على طريقة واحدة في بيئة غير مألوفة كما يعرض تحديا كبيرا للمكفوفين. التنقل بنجاح يتطلب فهم العلاقات المكانية القائمة بين الذات والكائنات في البيئة 1،2. يشار إلى أن التمثيل العقلي يصف المحيطة الفضاء لكخريطة معرفية المكانية 3. يمكن للأفراد المكفوفين جمع المعلومات المكانية ذات الصلة بشأن البيئة المحيطة بهم من خلال القنوات الحسية الأخرى (مثل السمع) مما يسمح لتوليد خريطة دقيقة المعرفية المكانية لأغراض الملاحة المهام الحقيقية العالم 4،5.

نشأ اهتمام كبير بشأن إمكانية تربوية من البيئات الافتراضية وألعاب الفيديو العمل كوسيلة للتعلم وإتقان مهارات 6-9. وبالفعل، تم وضع العديد من الاستراتيجيات والنهج للمكفوفين لهذا الغرض (انظر 4،10-12). وقد وضعنا أوديس القائم على محاكاة بيئة (أبيس)، والتي تركز على المستخدم الصوت المستندة إلى بيئة افتراضية تسمح للملاحة محاكاة واستكشاف مبنى المادية الموجودة. رسم من خطط الكلمة الأصلية المعمارية، وتقديم الظاهري من مبنى من طابقين الحديثة (الموجود في مركز للمكفوفين كارول؛ نيوتن، MA) قد ولدت مع البرنامج ABES (أرقام 1A وB). ABES يشتمل على استعارة العمل لعبة مع فرضية تهدف إلى تعزيز استكشاف الفضاء الكامل للبناء. باستخدام ضربات لوحة المفاتيح بسيطة والعظة الصوت spatialized، مستخدمين التنقل واستكشاف المبنى بأكمله لجمع أكبر عدد ممكن من المجوهرات مخبأة في غرف مختلفة. يجب على المستخدمين تجنب متنقل الوحوش التي يمكن أن تأخذها بعيدا وإخفائها في أماكن أخرى في المبنى (الشكل 1C).

علينا أن نبرهن على التفاعل مع ABES يسمح للمستخدم لإنشاء أعمى دقيقة الخريطة المعرفية المكاني للمبنى المستهدف على أساس المعلومات السمعية علىcquired في سياق إجراء استعارة اللعبة. هذا ما تؤكده سلسلة من التدريب بعد اختبارات الأداء السلوكي مصممة لتقييم نقل المعلومات المكانية تم الحصول عليها من بيئة افتراضية لمهمة الملاحة في الأماكن المغلقة في العالم الحقيقي وعلى نطاق واسع (انظر الشكل 2 لتصميم الدراسة الشاملة). نتائجنا تظهر أن المستخدمين المكفوفين قادرين على التنقل بنجاح في جميع أنحاء مبنى التي كانت غير مألوفة من قبل، على الرغم من حقيقة أنه في أي وقت من الأوقات كانوا على علم الغرض العام من هذه الدراسة، ولا كانوا تعليمات للتذكير تخطيط المكاني لل بناء في حين لعب اللعبة.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

البروتوكول

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. مشارك التركيبة السكانية

هذا هو الدراسة المستمرة التي تجند الأعمى المشاركين من الذكور والإناث الذين تتراوح أعمارهم بين 18-45 عاما. جميع المشاركين مصابون بالعمي من الاصابة المبكرة (موثقة قبل سن 3) ومسببات مختلفة من العين. ولم يكن أي من المشاركين في الدراسة مألوفة سابقا مع تخطيط المكاني للمبنى المستهدف المادية.

2. إعداد والتعريف ABES

  1. توفير المشارك مع العصابة وسماعات لتلبس في جميع أنحاء التدريب وعملية التقييم. ضمان أن يتم وضع مريح العصابة على عينيه وموجهة بشكل صحيح سماعات الرأس والأذنين وضعه فوق (أي المتكلم الأيسر فوق الأذن اليسرى).
  2. مشارك القطار كيفية استخدام المفاتيح المخصصة والمعلومات ممثلة في العظة الصوت في ABES. باستخدام ضربات لوحة المفاتيح الخاصة (الشكل 3)، وهو يتنقل المستخدم من خلال ويستكشفبناء تقريبا (الانتقال إلى الأمام، اليمين أو اليسار). كل خطوة الظاهري يقترب خطوة واحدة في بناء المادي الحقيقي.
  3. تعريف للقواعد وفرضية اللعبة.
  4. تعريف الصوت مع العظة محددة للعب لعبة (مثل الصوت من المجوهرات وتحديد مكان الصوت وحوش قريب). كما يتنقل المستخدم من خلال المبنى، ويتم الحصول على معلومات المكانية القائمة على السمع والسياقية بالتسلسل ويتم تحديث بشكل حيوي. ويستند المعلومات المكانية والظرفية على العظة صوت مبدع وspatialized المقدمة بعد كل خطوة تتخذ. ويستند التوجه على عناوين البوصلة الكاردينال (مثل "شمال" أو "الشرق") والنص من خلال كلمة (TTS) يستخدم لتوفير مزيد من المعلومات بشأن موقع المستخدم الحالي، والتوجه والبند (على سبيل المثال "كنت في الممر في الاول الكلمة، التي تواجه الغرب ")، وكذلك هوية الأشياء والعقبات في طريقها (على سبيل المثال" هذا هو الباب "). وتقدم العظة المسافة استنادا يان شدة الصوت تحوير. يتم تحديث التعريب المكاني للأصوات لمطابقة العنوان للمستخدم أناني. أساسا، تم تصميم البرنامج لتشغيل ملف الصوت المناسبة بوصفها وظيفة من موقع وأناني عنوان المستخدم وبتتبع موقف للمستخدم لأنها تتحرك من خلال البيئة. على سبيل المثال، إذا كان موجودا على الجانب باب الشخص الصحيح، وسمع صوت طرق في الأذن اليمنى للمستخدم (أي البرنامج يلعب للملفات الصوتية للصوت يطرق في القناة اليمنى). إذا كان الشخص يتحول الآن نحو 180 درجة بحيث يقع الآن نفس الباب على الجانب الأيسر، وسمعت نفس الصوت الآن يطرق في القناة اليسرى (أي البرنامج يلعب للملفات الصوتية للصوت يطرق في القناة اليسرى). وأخيرا، إذا كان المستخدم تواجه الباب، وسمعت نفس الصوت يطرق في كلتا الأذنين حد سواء. من خلال تعقب عنوان المستخدم أناني، يمكن للبرنامج تشغيل مناسب الأصوات المحلية المكانية التي تحددوجود وموقع الأشياء وتتبع هذه التغييرات كما يقوم المستخدم بتحريك من خلال بيئة افتراضية. انظر الشكل 4.

3. التدريب واللعب مع ABES (3 جلسات مدة كل منها 30 دقيقة لإجمالي قدره 1.5 ساعة)

  1. تسمح لعبة مجانية تلعب ونلاحظ أي صعوبات وتحديات (استخدام أي من ضربات لوحة المفاتيح، العظة الصوت، ومجالات الملاحة صعبة). يتم توفير التعزيز الإيجابي وتوضيحات في نهاية كل دورة تدريبية.
  2. سجل أداء اللعبة (مثل عدد ووقت ومكان حيث يرى أحد المشاركين جوهرة).

4. تقييم الأداء الظاهري للملاحة العمل

  1. شرح لمشارك في تفاصيل الاختبار وتقديم إرشادات حول كيفية إنجاز المهام الملاحة الظاهري. سيكون المشارك إكمال 10 مهام محددة سلفا الملاحة قدم البرنامج بشكل تسلسلي باستخدام ABES (أي مرة واحدة في مشارآةبانت بنجاح يكمل المهمة الأولى، سيقوم الكمبيوتر تلقائيا إعادة العثور عليهم إلى نقطة البدء الأولى من المهمة التالية).
  2. إبلاغ المشاركين أنه سيكون لديهم قدر من 6 دقائق لإكمال كل مهمة الملاحة.
  3. ويتم اختيار 10 مسارات الملاحة الظاهري من صعوبة المقارنة (أي المسافة المقطوعة وعدد اللفات) على أساس أزواج محددة سلفا من 10 البدء والتوقف المواقع (أي الغرف). على وجه التحديد، تراوحت مجموعة من الخطوات اللازمة للتنقل في الطريق بين 25-35 الهدف الخطوات (في بيئة افتراضية) وأدرجت بين المنعطفات 3-4 من 90 درجة.
  4. تحميل أزواج الملاحة 10 في ABES للعرض الآلي والتقاط البيانات من الأداء.
  5. وتسجل تلقائيا باستخدام برنامج مقاييس النتائج ABES الداخلية. مقاييس النتائج ما يلي: الانتهاء بنجاح من مهمة الملاحة والوقت الذي يستغرقه للوصول إلى الهدف. انظر الشكل 5A.
  6. تعليمات دescribing موقع البداية والوجهة الهدف يتم توفير تلقائيا بواسطة برنامج ABES في بداية كل مهمة. توقيت يبدأ على الفور وبمجرد أن يأخذ الموضوع خطوتهم الظاهري الأول من موقع البداية وينتهي بمجرد وصوله الى موقع الهدف (إلا وقتا أطول من الوقت 6 دقائق، والتي يتم تسجيل تشغيل ك ناقصة ويتم تقديم المسار التالي). يتم إرسال البيانات التي تم التقاطها تلقائيا إلى ملف نصي، وفتح بعد ذلك في قاعدة البيانات / البرمجيات الإحصائية لمزيد من التحليل.

5. تقييم الأداء البدني المهام الملاحة

  1. شرح لمشارك في تفاصيل الاختبار وتقديم إرشادات حول كيفية إنجاز المهام الملاحة المادية. سيكون المشارك إكمال 10 مهام محددة سلفا الملاحة (مقدمة في مخلوط من أجل تقييم أداء الظاهرية السابقة) وتحت إشراف محقق من ذوي الخبرة.
  2. إبلاغ المشاركين سيكون لديهم ماكسيأمي من 6 دقيقة لإكمال كل مهمة الملاحة. لأغراض الملاحة المادية المهمة، ولا يسمح للمشارك استخدام قصب من البيض للحصول على دعم التنقل.
  3. ويتم اختيار 10 مسارات الملاحة المادية على أساس أزواج محددة سلفا بداية من 10 محطة والمواقع (أي الغرف) من صعوبة المقارنة (أي المسافة المقطوعة وعدد اللفات).
  4. المحقق تستعد ساعة توقيت والحافظة مع قائمة المهام الملاحة للتسجيل اليدوي للأداء.
  5. وتسجل يدويا مقاييس النتائج من قبل المحقق. مقاييس النتائج ما يلي: الانتهاء بنجاح من مهمة الملاحة والوقت الذي يستغرقه للوصول إلى الهدف.
  6. "ساحة حالا" المشارك (أي موقف المشارك مع باب موقع البداية وراءها). وتقدم الإرشادات التي تصف موقع البداية والوجهة الهدف من المحقق في بداية كل مهمة. توقيت يبدأ على الفور بمجرد أن تاك الموضوعES خطوة الجسدية الأولى من موقع البداية وينتهي عندما المشارك تقارير فظيا وصوله الى الوجهة (إلا وقتا أطول من الوقت 6 دقائق، والتي يتم تسجيل على المدى باعتبارها ناقصة ويتم تقديم المسار التالي). يتم تسجيل البيانات التي تم التقاطها يدويا ونقل فيما بعد إلى قاعدة البيانات / البرمجيات الإحصائية لمزيد من التحليل. انظر الشكل 5B.

6. تقييم الأداء من إسقاط الفيزيائية العمل

  1. شرح لمشارك في تفاصيل الاختبار وتقديم إرشادات حول كيفية إكمال المهام من انخفاض المادية الملاحة. سيكون المشارك إكمال المهام الملاحة 5 مع أهداف يخرج من المبنى باستخدام أقصر طريق ممكن، وتحت إشراف محقق من ذوي الخبرة.
  2. إبلاغ المشاركين أنه سيكون لديهم قدر من 6 دقائق لإكمال كل مهمة الملاحة. لأغراض الهبوط البدني من مهمة التنقل، ويسمح للمشتركلاستخدام قصب من البيض للحصول على دعم التنقل.
  3. واستخدام 5 محددة مسبقا المادية المواقع البدء في هذه المسارات التي الخروج 3 من أطوال مختلفة ممكنة.
  4. المحقق تستعد ساعة توقيت والحافظة مع قائمة المهام الملاحة للتسجيل اليدوي للأداء.
  5. وتسجل يدويا مقاييس النتائج من قبل المحقق. مقاييس النتائج ما يلي: الانتهاء بنجاح من مهمة الملاحة والوقت الذي يستغرقه للوصول إلى الهدف. علاوة على ذلك، سجل المسارات بحيث يتم إعطاء أقصر طريق اتخاذ أقصى قدر من النقاط (أي 3 للأقصر طريق، 2 للمرة الثانية (1)، لأطول، و 0 لعدم تمكنه من إكمال المهمة). انظر الشكل 5C.
  6. "ساحة حالا" المشارك في الموقع الأول بداية. وتقدم الإرشادات التي تصف موقع البدء بواسطة المحقق في بداية كل مهمة. توقيت يبدأ على الفور وبمجرد أن يأخذ الموضوع خطوة الجسدية الأولى من موقع البداية وينتهيعندما المشارك تقارير شفهيا قادمة إلى باب الخروج من المبنى (ما لم يكن وقتا أطول من الوقت 6 دقائق، والتي يتم تسجيل تشغيل ك ناقصة ويتم تقديم الموقع التالي بدء). يتم تسجيل البيانات التي تم التقاطها يدويا ونقل فيما بعد إلى قاعدة البيانات / البرمجيات الإحصائية لمزيد من التحليل.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

النتائج

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

وتظهر النتائج من المشاركين الثلاثة الأعمى في وقت مبكر (الذين تتراوح أعمارهم بين 19 و 22 عاما) (انظر الجدول رقم 1 لخصائص مشارك). وخلاصة القول، وأظهرت جميع المشاركين الثلاثة على مستوى عال من النجاح في كافة المهام الملاحة الثلاثة التالية اللعب مع البرنامج ABES. هذا ما أكده درجات الأداء (يعني الجماعة والفرد) على كافة المهام الثلاث السلوكية (انظر الشكل 6). أداء نسبة الصحيح لل(يعني: 90٪) تليها الظاهري المادية (يعني: 88.7٪) يوضح المهام الملاحة على مستوى ...

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

المناقشة

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

وصفنا تفاعلية سمعية ومقرها محاكاة بيئة افتراضية مصممة لتحسين الوعي المكاني والمهارات العامة في الملاحة أعمى. علينا أن نبرهن على التفاعل مع ABES يقدم العظة دقيقة التي تصف العلاقات المكانية بين الأشياء والتخطيط الشامل للبيئة الهدف. يمكن للمستخدمين المكفوفين توليد خرائط دقيقة المعرفي المكاني استنادا إلى هذه المعلومات السمعية والتفاعل مع البيئة الافتراضية غامرة. وعلاوة على ذلك، والتفاعل مع ABES في سياق استعارة لعبة يمكن تعلمها يوضح أن يبني المكانية والمعرفية ضمنا ببساطة بدلا من خلال ا...

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

الإفصاحات

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

الكتاب تعلن أي تضارب في المصالح.

شكر وتقدير

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

فإن الكتاب أود أن أشكر ربيع داو، راجاجوبال بادما، كونورز ومولي موظفي مركز كارول للمكفوفين (نيوتن MA، الولايات المتحدة الأمريكية) لدعمها في تنفيذ هذا البحث. وأيد هذا العمل من قبل المعاهد الوطنية للصحة منح / NEI: RO1 EY019924.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

المواد

قائمة المواد المستخدمة في هذه المقالة
الاسمالشركةرقم فهرسيالتعليقات
اسم معدات تعليقات
جهاز كمبيوتر محمول استخدام الكمبيوتر المحمول حصرا للمشاركين التدريب وجمع البيانات
سماعات للرأس ستيريو (تصميم circumaural مغلق تماما) التي يرتديها جميع المشاركين خلال التدريب
عصب العينين التي يرتديها جميع المشاركين خلال التدريب والاختبار

المراجع

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Loomis, J. M., Klatzky, R. L., Golledge, R. G. Navigating without vision: basic and applied research. Optom. Vis. Sci. 78, 282-289 (2001).
  2. Siegel, A. W., White, S. H. The development of spatial representations of large-scale environments. Adv. Child Dev. Behav. 10, 9-55 (1975).
  3. Strelow, E. R. What is needed for a theory of mobility: direct perception and cognitive maps--lessons from the blind. Psychol. Rev. 92, 226-248 (1985).
  4. Giudice, N. A., Bakdash, J. Z., Legge, G. E. Wayfinding with words: spatial learning and navigation using dynamically updated verbal descriptions. Psychol. Res. 71, 347-358 (2007).
  5. Ashmead, D. H., Hill, E. W., Talor, C. R. Obstacle perception by congenitally blind children. Percept. Psychophys. 46, 425-433 (1989).
  6. Dede, C. Immersive interfaces for engagement and learning. Science. 323, 66-69 (2009).
  7. Bavelier, D., et al. Brains on video games. Nat. Rev. Neurosci. 12, 763-768 (2011).
  8. Bavelier, D., Green, C. S., Dye, M. W. Children, wired: for better and for worse. Neuron. 67, 692-701 (2010).
  9. Lange, B., et al. Designing informed game-based rehabilitation tasks leveraging advances in virtual reality. Disabil. Rehabil. , (2012).
  10. Merabet, L., Sánchez, J. Audio-based Navigation Using Virtual Environments: Combining Technology and Neuroscience. AER Journal: Research and Practice in Visual Impairment and Blindness. 2, 128-137 (2009).
  11. Kalia, A. A., Legge, G. E., Roy, R., Ogale, A. Assessment of Indoor Route-finding Technology for People with Visual Impairment. J. Vis. Impair. Blind. 104, 135-147 (2010).
  12. Lahav, O., Schloerb, D. W., Srinivasan, M. A. Newly blind persons using virtual environment system in a traditional orientation and mobility rehabilitation program: a case study. Disabil. Rehabil. Assist Technol. , (2011).
  13. WHO | Global trends in the magnitude of blindness and visual impairment [Internet]. , World Health Organization (WHO). Available from: http://www.who.int/blindness/causes/trends/en/index.html (2012).

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

إعادة الطباعة والأذونات

طلب إذن لإعادة استخدام النص أو الأشكال في مقالة JoVE هذه

طلب إذن

الوسوم

مقالات ذات صلة