Name: 오디오 기반의 가상 게임 환경의 개발은 맹인의 탐색 기술을 지원하는 (동영상) | JoVE Journal
Uploaded: 2013-03-27T08:55:00.000+00:00
Duration: 9 min 1 s
Description: 학습하세요 가상 환경에서 오디오 기반 탐색 기술을 활용하여 맹인의 공간 인지 능력을 향상시키는 방법을. 이 연구는 가상 훈련이 실제 건물 탐색으로 기술을 전이할 수 있음을 보여줍니다.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

저자는이 연구를 수행에서의 지원 Rabih 다우, 패드 Rajagopal, 몰리 코너와 맹인을위한 캐롤 센터 (뉴턴 MA, USA)의 직원을 감사드립니다. RO1 EY019924 :이 작품은 NIH / NEI 보조금에 의해 지원되었다.

1. 참가자 인구 통계 이 18~45년 세 사이의 맹인 남성과 여성 참가자를 모집 지속적 연구입니다. 모든 참가자들은 초기 발병 (사전 3 세까지의 문서화)와 안구 etiologies를 변화의 법적으로 장님입니다. 연구 참가자 중 누구도 대상 물리적 건물의 공간 배치와 이전에 알고 없었다. 2. AbES로 준비하고 익숙해 <ol><li> 교육 및 평가 과정 전반에 걸쳐 착용 할 수있는 눈가리개와 헤드폰으로 참가자를 제공합니다. 눈가리개가 편안하게 눈 위에 위치되어 있으며 헤드폰이 제대로 지향과 귀 (왼쪽 귀에 이상 즉, 왼쪽 스피커) 위에 위치되어 있는지 확인합니다. </li><li> 방법을 지정 키와 AbES의 오디오 신​​호에 의해 표현 된 정보를 사용하는 열차 참가자. 특정 키 스트로크 (그림 3)을 사용하여, 사용자가를 통해 탐색과 탐구(오른쪽 또는 왼쪽, 전진) 거의 구축. 각 가상 단계는 실제 물리적 인 건물의 한 단계를 대략적으로. </li><li> 게임의 규칙과 전제로 지도록합니다. </li><li> 게임 플레이에 특정 오디오 신호 (위치 보석 및 인근 괴물의 소리 예 소리)로 지도록합니다. 사용자가 건물을 통해 탐색으로, 청각 기반과 콘텐츠 공간 정보는 순차적으로 취득 및 동적 업데이트됩니다. 공간 및 상황 정보를 가져 각 단계 후에 제공 상징적과 spatialized 사운드 신호를 기준으로합니다. 오리엔테이션은 추기경 나침반 제목 (예 : &quot;북쪽&quot;또는 &quot;동쪽&quot;)와 연설을 통해 텍스트 (TTS) 사용자의 현재 위치, 방향에 관한하고 (예를 들면 &quot;당신이 먼저 복도에 제목 추가 정보를 제공하는 데 사용됩니다에 기초 서쪽으로 직면 층 &quot;)뿐만 아니라 개체 및 그 경로에 장애물 (예 :의 신원&quot;이 문이다 &quot;). 거리 신호는 O 기반으로 제공됩니다N 변조 사운드 강도. 소리의 공간 국산화는 사용자의 자기 중심적 제목과 일치하도록 업데이트됩니다. 기본적으로, 소프트웨어는 사용자의 위치와 제목 자기 중심의 기능으로 적절한 오디오 파일을 재생 할 수 있도록 설계가 환경을 통해 이동 사용자의 위치를​​ 추적하고 있습니다. 문 사람의 오른쪽에있는 경우 예를 들어, 두드리는 소리 (소프트웨어가 오른쪽 채널에 노크하는 소리의 오디오 파일을 재생 IE) 사용자의 오른쪽 귀에서 들었입니다. 사람이 지금 같은 문이 이제 자신의 왼쪽에 자리 잡고 있습니다 있도록 180도 뒤돌아 경우 동일한 두드리는 소리는 이제 왼쪽 채널 (즉, 소프트웨어가 왼쪽 채널에 노크하는 소리의 오디오 파일을 재생)에 들어 있습니다. 사용자가 문을 직면하는 경우 마지막으로, 같은 노크 소리가 둘 다 귀를 들었합니다. 사용자의 자기 중심적 제목을 추적함으로써, 소프트웨어를 식별 적절한 공간 지역화 된 사운드를 재생할 수 있습니다존재 및 위치 개체와 사용자가 이러한 변경 사항을 추적은 가상 환경을 통해 이동합니다. 그림 4를 참조하십시오. </li></ol> 3. 교육 및 AbES있는 게임 플레이 (3 세션 1.5 시간의 총에 대한 각각의 지속 30 분) <ol><li> 무료 게임 어떤 어려움과 도전을 (키 스트로크의 예를 사용, 오디오 신호, 어려운 탐색 영역) 재생 및 메모 할 수 있습니다. 긍정적 인 강화 및 설명은 각 교육 세션의 끝 부분에 제공됩니다. </li><li> 기록 게임 성능 (예 : 참가자가 보석을 발견 번호, 시간 및 장소). </li></ol> 4. 가상 탐색 작업 성능을 평가 <ol><li> 참가자 테스트의 세부 사항을 설명하고 가상 탐색 작업을 완료하는 방법에 대한 지침을 제공합니다. 참가자는 순차적으로 partici되면 AbES 소프트웨어 (예를 사용하여 표시 10 미리 탐색 작업을 완료합니다바지는 첫 번째 작업을 성공적으로 완료, 컴퓨터가 자동으로) 다음 작업의 시작 지점에 다시 찾습니다. </li><li> 그들은 각 탐색 작업을 완료 할 6 분의 최대를 가질 것이라고 참가자를 알리십시오. </li><li> 비교 어려움 (예 : 거리 여행과 회전 수) 10 가상 탐색 경로는 10 시작의 미리 pairings에 따라 선택하고 (예 : 실) 위치를 중지합니다. 특히, 대상 경로를 탐색하는 데 필요한 단계의 범위는 25-35 단계 (가상 환경) 및 90도 3-4 회전 사이의 통합 사이에 나와 있습니다. </li><li> 자동 프리젠 테이션 및 성능 데이터 캡처에 대한 AbES으로 10 탐색 쌍을로드합니다. </li><li> 결과 조치가 자동으로 AbES &#39;내부 소프트웨어를 사용하여 기록됩니다. 결과 조치는 다음과 같습니다 탐색 작업과 목표를 도달하기 이동 시간을 성공적으로 완료합니다. 그림 5A를 참조하십시오. </li><li> 지침 개발시작 위치와 목적지를 escribing하는 것은 각 작업의 시작 AbES 소프트웨어에 의해 자동으로 제공됩니다. 타이밍 한번 피사체가 시작 위치에서 처음으로 가상 단계를 소요되면 (시간이 실행​​이 불완전하고 다음 경로가 표시되기 때문에 점수는되는 6 분, 이상 소요하지 않는 한) 대상 위치에 도착 끝나는 즉시 시작됩니다. 캡처 된 데이터는 자동으로 텍스트 파일로 전송 및 데이터베이스 / 추가 분석을 위해 통계 소프트웨어의 이후 열립니다. </li></ol> 5. 물리적 탐색 작업 성능을 평가 <ol><li> 참가자 테스트의 세부 사항을 설명하고 실제 탐색 작업을 완료하는 방법에 대한 지침을 제공합니다. 참가자는 10 미리 탐색 작업 (이전 가상 성능 평가에서 스크램블 순서로 표시)과 경험이 풍부한 수사관의 감독하에를 완료합니다. </li><li> 그들은 맥시가 될 참가자에게 알리6 분의 엄마는 각 탐색 작업을 완료합니다. 실제 탐색 작업의 목적은 참가자가 이동성 지원을 위해 백색 지팡이를 사용할 수 있습니다. </li><li> 10 물리적 탐색 경로는 비교 어려움의 10 시작과 정지 ​​위치 (예 : 실) (즉, 거리 여행과 회전 수)의 미리 pairings에 따라 선택됩니다. </li><li> 탐정은 스톱워치와 성능의 수동 채점을위한 탐색 작업 목록 클립 보드를 준비합니다. </li><li> 결과 조치는 수동으로 탐정에 의해 기록됩니다. 결과 조치는 다음과 같습니다 탐색 작업과 목표를 도달하기 이동 시간을 성공적으로 완료합니다. </li><li> &quot;광장 오프&quot;참가자 (즉, 위치 그 뒤에 시작 위치의 문이있는 참가자). 시작 위치와 목적지를 설명하는 지침은 각 작업의 시작에서 수사관에 의해 제공됩니다. 타이밍 한번 즉시 대상 얘기가 시작참가자가 구두 (시간이 실행​​이 불완전하고 다음 경로가 표시되기 때문에 점수는되는 6 분, 이상 소요하지 않는 한) 목적지에 도착보고 때 에스 시작 위치에서 자신의 첫 번째 물리적 단계하고 끝납니다. 캡처 된 데이터를 수동으로 기록하고 이후 데이터베이스 / 추가 분석을 위해 통계 소프트웨어에 전송됩니다. 그림 5B를 참조하십시오. </li></ol> 6. 작업 성능에서 물리적 드롭을 평가 <ol><li> 참가자 테스트의 세부 사항을 설명 및 탐색 작업에서 물리적 드롭을 완료하는 방법에 대한 지침을 제공합니다. 참가자는 가능한 가장 짧은 경로를 사용하여 건물을 종료의 목표로하고 경험이 풍부한 수사관의 감독하에 다섯 탐색 작업을 완료합니다. </li><li> 그들은 각 탐색 작업을 완료 할 6 분의 최대를 가질 것이라고 참가자를 알리십시오. 탐색 작업에서 실제 드롭의 목적은 참가자가 허용됩니다이동성 지원을위한 자신의 백색 지팡이를 사용합니다. </li><li> 5 미리 물리적 시작 위치는 다른 길이 3 출구 경로가 가능합니다 있도록하는 데 사용됩니다. </li><li> 탐정은 스톱워치와 성능의 수동 채점을위한 탐색 작업 목록 클립 보드를 준비합니다. </li><li> 결과 조치는 수동으로 탐정에 의해 기록됩니다. 결과 조치는 다음과 같습니다 탐색 작업과 목표를 도달하기 이동 시간을 성공적으로 완료합니다. 또한, 경로는 촬영 최단 경로가 최대 포인트 (최단 경로 즉, 3 번째 2, 작업을 완료 할 수 없었던 가장 긴 1, 0)을 부여하는 등 득점 있습니다. 그림 5C를 참조하십시오. </li><li> 처음 시작 위치에서 &quot;스퀘어 오프 &#39;참가자. 시작 위치를 설명하는 지침은 각 작업의 시작에서 수사관에 의해 제공됩니다. 타이밍 한번 피사체가 시작 위치에서 자신의 첫 번째 물리적 단계를 소요 종료 즉시 시작참가자는 구두 (시간이 실행​​이 불완전으로 채점되며 다음 시작 위치가 제시하는 6 분, 이상 소요하지 않는 한) 건물의 출구 문에 도착보고합니다. 때 캡처 된 데이터를 수동으로 기록하고 이후 데이터베이스 / 추가 분석을 위해 통계 소프트웨어에 전송됩니다. </li></ol>

<ol><li>Loomis, J. M., Klatzky, R. L., Golledge, R. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Navigating+without+vision%3A+basic+and+applied+research%5BTitle%5D)+AND+%22Optom.+Vis.+Sci%22%5BJournal%5D)">Navigating without vision: basic and applied research.</a> Optom. Vis. Sci. 78, 282-289 (2001).</li>
<li>Siegel, A. W., White, S. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+development+of+spatial+representations+of+large-scale+environments%5BTitle%5D)+AND+%22Adv.+Child+Dev.+Behav%22%5BJournal%5D)">The development of spatial representations of large-scale environments.</a> Adv. Child Dev. Behav. 10, 9-55 (1975).</li>
<li>Strelow, E. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((What+is+needed+for+a+theory+of+mobility%3A+direct+perception+and+cognitive+maps--lessons+from+the+blind%5BTitle%5D)+AND+%22Psychol.+Rev%22%5BJournal%5D)">What is needed for a theory of mobility: direct perception and cognitive maps--lessons from the blind.</a> Psychol. Rev. 92, 226-248 (1985).</li>
<li>Giudice, N. A., Bakdash, J. Z., Legge, G. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Wayfinding+with+words%3A+spatial+learning+and+navigation+using+dynamically+updated+verbal+descriptions%5BTitle%5D)+AND+%22Psychol.+Res%22%5BJournal%5D)">Wayfinding with words: spatial learning and navigation using dynamically updated verbal descriptions.</a> Psychol. Res. 71, 347-358 (2007).</li>
<li>Ashmead, D. H., Hill, E. W., Talor, C. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Obstacle+perception+by+congenitally+blind+children%5BTitle%5D)+AND+%22Percept.+Psychophys%22%5BJournal%5D)">Obstacle perception by congenitally blind children.</a> Percept. Psychophys. 46, 425-433 (1989).</li>
<li>Dede, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Immersive+interfaces+for+engagement+and+learning%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Immersive interfaces for engagement and learning.</a> Science. 323, 66-69 (2009).</li>
<li>Bavelier, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brains+on+video+games%5BTitle%5D)+AND+%22Nat.+Rev.+Neurosci%22%5BJournal%5D)">Brains on video games.</a> Nat. Rev. Neurosci. 12, 763-768 (2011).</li>
<li>Bavelier, D., Green, C. S., Dye, M. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Children%2C+wired%3A+for+better+and+for+worse%5BTitle%5D)+AND+%22Neuron%22%5BJournal%5D)">Children, wired: for better and for worse.</a> Neuron. 67, 692-701 (2010).</li>
<li>Lange, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Designing+informed+game-based+rehabilitation+tasks+leveraging+advances+in+virtual+reality%5BTitle%5D)+AND+%22Disabil.+Rehabil%22%5BJournal%5D)">Designing informed game-based rehabilitation tasks leveraging advances in virtual reality.</a> Disabil. Rehabil. , (2012).</li>
<li>Merabet, L., Sánchez, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Audio-based+Navigation+Using+Virtual+Environments%3A+Combining+Technology+and+Neuroscience%5BTitle%5D)+AND+%22AER+Journal%3A+Research+and+Practice+in+Visual+Impairment+and+Blindness%22%5BJournal%5D)">Audio-based Navigation Using Virtual Environments: Combining Technology and Neuroscience.</a> AER Journal: Research and Practice in Visual Impairment and Blindness. 2, 128-137 (2009).</li>
<li>Kalia, A. A., Legge, G. E., Roy, R., Ogale, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Assessment+of+Indoor+Route-finding+Technology+for+People+with+Visual+Impairment%5BTitle%5D)+AND+%22J.+Vis.+Impair.+Blind%22%5BJournal%5D)">Assessment of Indoor Route-finding Technology for People with Visual Impairment.</a> J. Vis. Impair. Blind. 104, 135-147 (2010).</li>
<li>Lahav, O., Schloerb, D. W., Srinivasan, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Newly+blind+persons+using+virtual+environment+system+in+a+traditional+orientation+and+mobility+rehabilitation+program%3A+a+case+study%5BTitle%5D)+AND+%22Disabil.+Rehabil.+Assist+Technol%22%5BJournal%5D)">Newly blind persons using virtual environment system in a traditional orientation and mobility rehabilitation program: a case study.</a> Disabil. Rehabil. Assist Technol. , (2011).</li>
<li>WHO | Global trends in the magnitude of blindness and visual impairment [Internet]. , World Health Organization (WHO). Available from:
		
	 <a target="_blank" href="http://www.who.int/blindness/causes/trends/en/index.html">http://www.who.int/blindness/causes/trends/en/index.html</a> (2012).</li>
</ol>

저자는 이익 충돌을 선언하지 않습니다.

우리는 맹인에서 일반 공간적 인식과 탐색 능력을 향상하기위한 대화 형 음성 기반 가상 환경 시뮬레이터를 설명합니다. 우리는 AbES과 상호 작용하는 개체와 대상 환경의 전반적인 레이아웃 사이의 공간 관계를 설명하는 정확한 신호를 제공하는 보여줍니다. 맹인 사용자는이 청각 정보와 몰입 가상 환경과 상호 작용에 의해 따라 정확한 공간인지지도를 생성 할 수 있습니다. 또한, 게임 은유의 컨텍스트 내에서 AbES와 상호 작용하면 해당 공간인지 구조는 소프트웨어와 인과 상호 작용을 통해 암시 적으로 그리고 단순히 배울 수 있습니다 보여줍니다. 으로 연구의 초기 단계에 시연, 게임의 상호 작용과 몰입 자연은 새로운 환경의 개인의 공간 인식을 개선하는 정확한 공간인지지도를 작성하기위한 플랫폼을 제공하고, independen와 관련된 불안을 줄일 수 있습니다t 탐색은 사전 익숙하지 않은 건물에 도착합니다. 일반적으로, 시각 장애를 가진 사람들은 방향 및 이동성 (O &amp; M) 교육을 ...

익숙하지 않은 환경에서 사람의 길을 찾는 것은 맹인을위한 중요한 과제로 제시합니다. 성공적으로 탐색하는 것은 사람의 자신과 환경 1,2의 객체 사이에 존재하는 공간 관계의 이해를 필요로합니다. 공간을 둘러싼 설명 정신 표현은 공간인지지도 3로 언급됩니다. 시각 장애인 개인은 4,5 실제 탐색 작업의 목적에 대한 정확한 공간인지지도의 생성을 허용하는 다른 감각 채널 (예 : 청각 등)을 통해 주변 환경에 대한 관련 공간 정보를 수집 할 수 있습니다. 상당한 관심 배우고 기술에게 6-9을 습득 할 수있는 수단으로 가상 환경과 액션 비디오 게임의 교육적인 가능성에 대해이 생겨났다. 사실, 많은 전략과 방법이 목적 (4,10-12 참조) 맹인을 위해 개발되었습니다. 우리는 아우디를 개발O-기반의 환경 시뮬레이터 (AbES), 기존의 물리적 인 건물의 시뮬레이션 탐색 및 탐구 기능을 제공하는 사용자 중심의 음성 기반 가상 환경을 제공합니다. AbES 소프트웨어 (그림 1A 및 B)로 생성 된, 원래의 건축 바닥 계획, 현대적인 2 층 건물 (뉴턴, MA 맹인을위한 캐롤 센터에 위치)의 가상 렌더링에서 그리기. AbES은 건물 공간의 전체 탐험을 촉진하기위한 전제있는 액션 게임 은유를 포함한다. 간단한 키 스트로크와 spatialized 사운드 신호를 사용하여 사용자가 탐색하고 다양한 객실에 숨겨진 보석의 최대 수를 수집하기 위해 건물 전체를 탐험 해보세요. 사용자들을 데려와 다른 건물 (그림 1C)에서를 숨길 수 있습니다 괴물을 roving 않도록해야합니다. 우리는 AbES와 상호 작용하는 것은 맹인 사용자가 청각 정보를 기반으로 대상 건물의 정확한 공간인지지도를 생성 할 수 있다는 것을 입증액션 게임 은유의 컨텍스트 내에서 cquired. 이것은 실제 세계와 대규모 실내 탐색 작업 (전체 학습 설계를위한 그림 2 참조)에 가상 환경에서 획득 한 공간 정보의 전송을 평가하기위한 사후 교육 행동 성능 테스트 일련의에 의해 확인된다. 우리의 결과는 결코 그 연구의 전반적인 목적에 대한 정보를이었다하거나, 사람들이의 공간 배치를 기억 지시 있다는 사실에도 불구하고, 맹인 사용자가 성공적으로는 이전에 익숙했다하는 건물 탐색 할 수 있는지 보여 게임을 재생하는 동안 구축.

오디오 기반의 가상 게임 환경의 개발은 맹인의 탐색 기술을 지원하는

Development of an Audio-based Virtual Gaming Environment to Assist with Navigation Skills in the Blind

오디오 기반의 환경 시뮬레이터 (AbES)는 맹인에서 현실 세계 탐색 능력을 향상하기위한 가상 환경 소프트웨어입니다. 비디오 게임 은유의 컨텍스트 내에서만 오디오 기반 신호 및 설정을 사용하여 사용자는 건물의 레이아웃에 대한 관련 공간 정보를 수집합니다. 이는 사용자가 실제 실내 탐색 작업의 목적을 위해 조작 할 수있는 큰 규모의 3 차원 공간의 정확한 공간인지지도를 개발 할 수 있습니다. 게임 플레이 후, 참가자들은 다음 게임에서 표현 대상 물리적 건물 내에 이동할 수있는 능력을 평가합니다. 예비 결과는 초기 맹인 사용자가 탐색 작업 일련의에서의 실적에 의해 색인으로 이전에 익숙하지 않은 건물의 공간 배치에 대한 관련 정보를 취득 할 수있었습니다하시기 바랍니다. 이러한 작업은 가상 및 실제 건물을 찾는 경로뿐만 아니라 작업에서 드롭 일련의 포함되어 있습니다. 우리는 찾아 그 몰입그리고 AbES 소프트웨어의 고도로 대화 형 특성은 크게 적극적으로 가상 환경을 둘러 시각 장애인 사용자를 참여하기 위해 나타납니다. 이 방법의 응용 프로그램은 시각 장애인 개인의 큰 인구를 연장 할 수 있습니다.

세 이른 시각 장애인 참가자 (19, 22 세 사이)의 결과는 (참가자 특성을 표 1 참조) 표시됩니다. 요약하면, 세 참가자 AbES 소프트웨어와 게임 플레이에 따라 세 가지 탐색 작업에 성공의 높은 수준을 보여 주었다. 이것은 세 가지 행동 작업 (그림 6 참조) 성능 점수 (그룹 평균 및 개인)에 의해 확인되었다. 가상 (평균 : 90 %)에 대한 비율 올바른 성능을 다음 실제 (평균 : 88.7 %) 탐색 작업이 모두 작업 (그림 6A)의 성공과 비교 성능의 높은 수준을 보여줍니다. (그림 6B) : 실험에서 드롭에 대한 성능은 참가자가 종종 건물 (3.0 점수 평균) 종료 가능한 가장 짧은 경로를 선택하는 것이 좋습니다. 마지막으로, 대상으로 이동하는 데 필요한 평균 시간은 세 가지 탐색 작업에 표시되는 그림 6C에 표시됩니다. 가상 탐색물리적 (73.8 초) 탐색 성...

오디오 기반의 환경 시뮬레이터 (AbES)는 맹인에서 현실 세계 탐색 능력을 향상하기위한 가상 환경 소프트웨어입니다.

Audio-based Environment Simulator (AbES) is virtual environment software designed to improve real world navigation skills in the blind. Using only audio ...

다음 실험의 전반적인 목표는 가상 환경과의 상호작용을 통해 공간 탐색 기술을 습득하고, 이를 이후 실제 물리적 환경에서 평가함으로써 해당 기술의 전이 가능성을 입증하는 것입니다. 이를 위해 먼저 게임 플레이 중 가상 환경에서 이동하는 데 사용되는 키 입력 방법을 익힙니다. 다음으로, 참가자들은 물체와 그 상대적 위치를 식별할 수 있게 해주는 소리를 구분하는 방법을 학습합니다.게임 플레이 후, 환경에 대한 공간적 이해도를 평가하기 위해 일련의 가상 및 실제 내비게이션 과제가 제시됩니다. 연구 결과, 참가자들이 게임 플레이 중 가상 환경으로 구현되었던 실제 물리적 건물 내에서 내비게이션이 가능하다는 것이 확인되었습니다. 표준 방향 정위 및 이동 훈련과 같은 기존 방법과 비교했을 때 이 기술의 주요 장점은, 낯선 건물의 공간 배치를 안전하고 통제된 방식으로 가상 탐색을 통해 학습할 수 있다는 점입니다.이 절차를 시연할 사람은 제 실험실의 연구 코디네이터인 Aaron Connors와 Lindsey Aino입니다. 본 연구의 참가자들은 법적 맹인이며, 학습 대상이 되는 목표 건물의 공간적 배치에 대해 사전 지식이 없고, 목표 건물의 공간적 배치를 학습하는 것과 관련된 게임 플레이의 전반적인 목적 또한 인지하지 못한 상태입니다. 먼저, 참가자에게 안대와 헤드폰을 제공하십시오.헤드폰이 귀에 제대로 위치했는지 확인하십시오. 다음으로, 오디오 기반 환경 시뮬레이터에서 지정된 키의 사용 방법과 오디오 신호로 제공되는 정보에 대해 참가자에게 설명하십시오. 여기에서 보는 것과 같은 특정 키 입력이 가상 환경을 탐색하고 조사하는 데 사용됩니다.각 가상 단계는 실제 물리적 건물의 한 단계를 근사화합니다. 조작법을 설명한 후, 게임의 전제 조건과 규칙을 설명하십시오. 게임 플레이 중에 사용되는 다양한 오디오 신호에 대해 참가자에게 안내하십시오.예를 들어, 사용자가 건물 내부를 이동할 때 보석의 위치나 주변 몬스터의 소리가 들리는 것처럼, 청각 및 공간 정보는 순차적으로 습득되며 가상 환경에서 각 단계를 밟을 때마다 동적으로 업데이트됩니다. 텍스트 음성 변환(Text to speech)은 사용자의 현재 위치, 방향 및 진행 방향뿐만 아니라 경로에 있는 객체와 장애물의 정체에 관한 추가 정보를 제공하는 데 사용됩니다. 소리의 공간적 국소화는 사용자의 자기중심적 진행 방향에 맞게 업데이트됩니다.예를 들어, 문이 사람의 오른쪽에 위치한다면 노크 소리는 사용자의 오른쪽 귀에서 들립니다. 만약 사람이 180도 회전하여 동일한 문이 이제 왼쪽에 위치하게 된다면, 동일한 노크 소리는 이제 왼쪽 채널에서 들리게 됩니다. 참가자가 30분씩 세 번의 세션 동안 게임을 플레이하도록 합니다.게임 플레이 중 발생하는 모든 어려움이나 문제점을 기록하고, 각 훈련 세션 후에 긍정적인 강화를 제공하며 필요한 설명이나 추가 지침을 전달하십시오. 이후, 참가자가 Juul을 찾은 횟수, 시간 및 위치를 집계하여 게임 플레이 성과를 점수화하십시오. 가상 내비게이션 과제 수행 능력을 테스트하기 위해, 참가자에게 Abes 소프트웨어에 의해 순차적으로 제시되는 10가지의 미리 정해진 내비게이션 과제를 수행하게 될 것임을 설명하십시오.경로들은 난이도가 비슷하며 10개의 미리 정해진 시작 및 종료 지점의 쌍을 기반으로 선택됩니다. 각 과제를 시작할 때 참가자에게 각 과제를 완료하는 데 최대 6분이 주어진다는 점을 안내하십시오.시작 위치와 목표 목적지를 설명하는 지침이 자동으로 제공됩니다. 타이밍은 참가자가 음성 지침을 받는 즉시 자동으로 시작되어 종료됩니다. 참가자가 목표 위치에 도착하면, 내비게이션 과제의 성공적인 완료 여부와 목표 도달까지 소요된 시간을 포함한 결과 측정값이 자동으로 기록됩니다.실제 장소에서의 참가자 수행 능력을 테스트하기 위해, 미리 정해진 10가지 내비게이션 과제가 부여될 것임을 설명하십시오. 이 과정은 숙련된 연구자의 감독 하에 진행됩니다. 참가자에게 각 과제를 완료하는 데 최대 6분이 주어지며, 이동 지원을 위해 지팡이를 사용할 수 있음을 안내하십시오.스톱워치, 내비게이션 과제 목록, 그리고 수동 점수 기록을 위한 클립보드를 준비하십시오. 참가자의 위치를 지정하고 시작 지점과 목표 목적지를 설명하십시오. 피실험자가 첫 발을 떼는 즉시 타이머를 시작하고, 목적지에 도착하면 종료합니다.참가자가 목적지에 도착했다고 구두로 보고하면, 과제의 성공적 완료 여부와 목표 지점까지 도달하는 데 걸린 시간을 기록합니다. 참가자에게 가능한 가장 짧은 경로를 이용하여 건물 밖으로 나가는 것을 목표로 다섯 가지 내비게이션 과제를 수행하게 될 것임을 설명하십시오. 숙련된 연구자의 감독 하에, 참가자에게 각 내비게이션 과제를 완료하는 데 최대 6분이 주어지며, 이동 보조를 위해 지팡이를 사용할 수 있음을 안내하십시오.서로 다른 길이와 복잡도를 가진 세 가지 탈출 경로가 가능하도록 미리 정해진 다섯 곳의 시작 지점을 사용합니다. 스톱워치, 내비게이션 작업 목록 및 수동 채점을 위한 클립보드를 준비하십시오. 참가자를 정렬시키고 시작 지점에 대해 설명하십시오.측정 시간은 참가자가 첫 발을 떼는 즉시 시작하여, 건물 출구 문에 도착했음을 구두로 보고할 때 종료됩니다. 하차 과제의 성공적인 완료 여부, 이동 경로 및 건물 탈출에 소요된 시간이 기록됩니다. 또한, 이동 경로는 최단 경로일수록 더 높은 점수를 받도록 채점됩니다.내비게이션 과제에 참여한 3인 참가자의 평균 성적이 여기에 제시되어 있습니다. 가상 및 실제 내비게이션 과제의 정답률은 두 과제 모두에서 높은 성공률을 보였음을 나타냅니다. 목표지점까지 이동하는 데 걸린 시간은 실제 수행 결과와 비교했을 때 가상 내비게이션에서 더 길게 나타났습니다.하차 과제에서는 참가자들이 건물에서 나가기 위해 가능한 가장 짧은 경로를 선택하는 경향이 있음이 나타났습니다. 이는 도달 및 퇴장까지 걸린 평균 시간이 더 짧았다는 점으로 입증됩니다. 여기에 제시된 결과는 세 가지 내비게이션 과제 전체를 수행한 한 명의 개별 참가자로부터 얻은 것입니다.가상 내비게이션의 경우, 완료하는 데 79초가 소요되었습니다. 노란색으로 표시된 경로와 동일한 경로를 실제 건물에서 수행한 과제는 46초가 소요되었습니다. 이는 하차 과제에서의 결과입니다.참가자는 건물 밖으로 나가기 위해 가능한 가장 짧은 경로를 택했습니다. 새로운 기술을 사용하는 시각장애인 참가자와 함께 작업할 때는 격려가 필요하다는 점을 잊지 마십시오. 이번 시연과 연구에 참여해 주신 분들의 시간과 의지에 감사드립니다.

development-an-audio-based-virtual-gaming-environment-to-assist-with

Research

연구

JoVE Journal

Medicine

의학

불안과 관련된 장애 (인트 리피드)의 치료를위한 가상 현실 지능형 멀티 센서 시스템에있는 프로젝트는 불안 관련 장애의 치료를위한 멀티 센서 컨텍스트 인식 가상 현실 시스템을 개발 목표로하고 있습니다.

임상 가상 현실의 생체 자기 제어의 사용 인트 리피드 프로젝트

정신 분열증의인지 장애에 대한 치료의 효과를 입증하기위한 도전은 일상적인 기능에 관련된 기술의 최적화 측정을 찾는 것입니다. 가상 현실 기능 능력 평가 도구 (VRFCAT)는 대화 형 게임을 기반으로 초기 손상 및 치료 관련 변경 사항 등의 일상적인 기능과 관련된 기술, 목표 컴퓨터 척도이다.

일상 생활 기술의 가상 현실 평가 개발

복잡한 통신 요구 사항이 아이들은 음성 발생 장치 (SGD)의 사용 혜택을 누릴 수 있습니다. 인지 능력은 SGDS의 수준을 탐색 할 수있는 능력에 영향을 갖는 것으로 확인되었다. 이 프로토콜은인지​​ 능력과 탐색 능력을 평가하기 위해 음성 언어 병리학에 필요한 단계를 설명합니다.

탐색 평가 이내인지 작업의 실제적인 방법론

이 문서에서는 다중 사용자 실험 의사 결정 및 네트워크 컴퓨터 실험실을 사용 하 여 탐색 하는 방법을 설명 합니다.

여러 참가자와 탐색 실험 결정 과학에 대 한 네트워크로 연결 된 데스크톱 가상 현실 설정

여기서 제시된 프로토콜은 랜덤 도트 자극에 기초한 게임화된 지각 학습 소프트웨어를 사용하여 입체성을 향상시키는 프로토콜이다. 환자는 사시없이 입체 결핍 과목입니다. 이 프로토콜은 검안 센터 방문과 소프트웨어를 사용하는 가정 운동을 결합합니다. 컴플라이언스 및 입체진화는 클라우드에 저장됩니다.

랜덤 도트 비디오 게임을 이용한 입체성 개선

가상 현실 (VR)은 신경 질환의 진단 및 치료를 발전시키기위한 강력하지만 활용도가 낮은 접근 방식입니다. 클리블랜드 클리닉 가상 현실 쇼핑 플랫폼은 최첨단 VR 콘텐츠와 전방향 러닝 머신을 결합하여 일상 생활의 도구 활동을 정량화합니다 - 신경 질환의 제안 된 prodromal 마커.

몰입형 클리블랜드 클리닉 가상 현실 쇼핑 플랫폼 일상 생활의 도구 활동 평가

이 프로토콜은 이벤트 관련 잠재적 기술을 적용하여 청각 감각 대체에 대한 짧은 훈련 기간 후에 심도 난청이 있는 피험자의 근본적인 학습 관련 전기생리학적 변화를 탐구하도록 설계되었습니다.

사건 관련 잠재적 기술을 사용한 심도 난청이 있는 참가자의 청각 감각 대체 훈련 평가

여기에서는 공간 탐색과 일화적 기억 능력을 모두 평가하는 새롭고 간단하며 능동적인 공간 탐색 작업을 제시합니다. 중요한 것은 공간 탐색과 일화 기억이 서로 연관되어 있었고 이 과제는 운동에 대한 민감성을 보여주었다는 것입니다.

가상 공간에서의 인간 공간 탐색과 운동에 대한 민감성 평가

가상 현실 환경에서의 운동 이미지는 뇌-컴퓨터 인터페이스 시스템에 광범위하게 응용됩니다. 이 원고는 가상 현실 환경에서 참가자가 상상한 동작을 수행하는 참가자와 유사한 개인화된 디지털 아바타를 사용하여 몰입감과 신체 소유 의식을 향상시키는 방법을 설명합니다.

가상 현실 지원 뇌-컴퓨터 인터페이스 환경에서 구현된 디지털 트윈을 통한 모터 이미지 성능

기증자 세포 engraftment을 결정하는 것은 잘 정의 phenotypical 마커를 부족 마우스 골수 이식 모델에서 도전을 선물한다. 우리는 여성 이식받는 마우스의 남성 기증자 세포 engraftment을 수량화하는 방법을 설명했다. 이 방법은 HSC 기능의 연구에 대한 모든 마우스 변종에 사용할 수 있습니다.

경쟁 손쥐 골수 이식 모델에서 기증자 세포 Engraftment를 확인하려면 수량 실시간 PCR을 사용하여

학습하세요 가상 환경에서 오디오 기반 탐색 기술을 활용하여 맹인의 공간 인지 능력을 향상시키는 방법을. 이 연구는 가상 훈련이 실제 건물 탐색으로 기술을 전이할 수 있음을 보여줍니다.

오디오 기반의 가상 게임 환경의 개발은 맹인의 탐색 기술을 지원하는

더 많은 동영상 탐색