Summary
이 프로토콜은 몰입형 분석에 사용되는 개발된 혼합 현실 애플리케이션의 기술 설정을 설명합니다. 이를 바탕으로 개발 된 기술 솔루션의 사용성 측면에 대한 통찰력을 얻기 위해 연구에 사용 된 조치가 제시됩니다.
Abstract
의학 또는 산업에서 고차원 데이터 세트의 분석이 점점 더 요구되고 있습니다. 그러나 사용 가능한 기술 솔루션은 사용하기가 복잡한 경우가 많습니다. 따라서 몰입형 분석과 같은 새로운 접근 방식을 환영합니다. 몰입형 분석은 다양한 사용자 그룹 및 데이터 세트에 대해 편리한 방식으로 고차원 데이터 세트를 경험할 것을 약속합니다. 기술적으로 가상 현실 장치는 몰입형 분석을 가능하게 하는 데 사용됩니다. 예를 들어, Industry 4.0에서는 고차원 데이터 세트의 이상치 또는 이상 식별과 같은 시나리오가 몰입형 분석의 목표입니다. 이러한 맥락에서 몰입형 분석에 대한 개발된 기술 솔루션에 대해 두 가지 중요한 질문을 해결해야 합니다: 첫째, 기술 솔루션이 도움이 되고 있습니까? 둘째, 기술적 해결책의 신체적 경험은 긍정적입니까 아니면 부정적입니까? 첫 번째 질문은 기술 솔루션의 일반적인 타당성을 목표로하고 두 번째 질문은 착용감을 목표로합니다. 이러한 질문을 체계적으로 다루는 현존하는 연구 및 프로토콜은 여전히 드뭅니다. 이 작업에서는 주로 Industry 4.0 시나리오에서 몰입형 분석의 유용성을 조사하는 연구 프로토콜이 제시됩니다. 특히이 프로토콜은 네 가지 기둥을 기반으로합니다. 먼저 이전 경험을 기반으로 사용자를 분류합니다. 둘째, 기술 솔루션의 타당성을 평가하는 데 사용할 수있는 작업이 제시됩니다. 셋째, 사용자의 학습 효과를 정량화하는 측정이 제시됩니다. 넷째, 설문지는 작업을 수행 할 때 스트레스 수준을 평가합니다. 이러한 기둥을 기반으로 혼합 현실 스마트 안경을 사용하여 연구 프로토콜을 적용하는 기술 설정이 구현되었습니다. 수행된 연구의 결과는 한편으로는 프로토콜의 적용 가능성과 다른 한편으로는 Industry 4.0 시나리오에서 몰입형 분석의 타당성을 보여줍니다. 제시된 프로토콜에는 발견된 제한 사항에 대한 논의가 포함되어 있습니다.
Introduction
가상 현실 솔루션(VR 솔루션)은 다양한 분야에서 점점 더 중요해지고 있습니다. 종종 VR 솔루션(가상 현실, 혼합 현실 및 증강 현실 포함)을 사용하면 많은 일상적인 작업과 절차를 쉽게 수행할 수 있습니다. 예를 들어, 자동차 도메인에서 자동차의 구성 절차는 가상 현실1 (VR)을 사용하여 지원할 수 있습니다. 연구원과 실무자는 이러한 맥락에서 다양한 접근 방식과 솔루션을 조사하고 개발했습니다. 그러나 사용성 측면을 조사하는 연구는 여전히 드뭅니다. 일반적으로 두 가지 주요 질문에 비추어 측면을 고려해야합니다. 첫째, VR 솔루션이 실제로 VR 기술을 사용하지 않는 접근 방식을 능가하는지 여부를 평가해야합니다. 둘째, VR 솔루션은 주로 무겁고 복잡한 하드웨어 장치에 의존하기 때문에 착용감 및 정신적 노력과 같은 매개 변수를 더 심층적으로 조사해야합니다. 또한 언급 된 측면은 항상 해당 응용 분야와 관련하여 조사되어야합니다. 현존하는 많은 접근법이 이러한 질문을 조사할 필요성을 알고 있지만2, 결과를 제시한 연구는 더 적습니다.
현재 중요한 VR 분야의 연구 주제는 몰입 형 분석으로 표시됩니다. 인간의 인식을 분석 작업에 포함시키려는 시각적 분석 연구 분야에서 파생됩니다. 이 프로세스는 시각적데이터 마이닝4이라고도 합니다. 몰입형 분석에는 데이터 시각화, 시각적 분석, 가상 현실, 컴퓨터 그래픽 및 인간-컴퓨터 상호 작용분야의 주제가 포함됩니다5. 헤드 마운트 디스플레이(HMD)의 최근 장점으로 인해 몰입형 방식으로 데이터를 탐색할 수 있는 가능성이 향상되었습니다. 이러한 추세에 따라 새로운 상호 작용 시스템의 개발, 사용자 피로를 조사해야 할 필요성 또는 정교한 3D 시각화 개발과 같은 새로운 과제와 연구 질문이등장합니다6. 이전 간행물6에서는 몰입형 분석의 중요한 원칙에 대해 논의했습니다. 빅 데이터에 비추어 볼 때 복잡한 데이터 풀을 더 잘 분석할 수 있도록 몰입형 분석과 같은 방법이 점점 더 필요합니다. 몰입형 분석 솔루션의 사용성 측면을 조사하는 연구는 소수에 불과합니다. 또한 해당 영역이나 분야도 이러한 연구에서 고려되어야합니다. 이 작업에서는 몰입형 분석 프로토타입이 개발되었으며, 이를 기반으로 Industry 4.0 시나리오를 위해 개발된 솔루션을 조사하는 프로토콜이 개발되었습니다. 따라서 프로토콜은 주관적, 성능 및 생리적 측면을 기반으로 하는 경험 방법2를 활용합니다. 당면한 프로토콜에서 주관적인 측면 은 연구 사용자의인지 된 스트레스를 통해 측정됩니다. 성능은 분석 작업을 수행하는 데 필요한 시간과 오류를 통해 측정됩니다. 마지막으로 피부 전도도 센서가 생리적 매개 변수를 측정했습니다. 처음 두 가지 측정은이 작업에서 제시 될 것이며, 측정 된 피부 전도도는 평가하기 위해 더 많은 노력이 필요합니다.
제시된 연구에는 특히 신경 과학 측면 및 정보 시스템을 포함한 여러 연구 분야가 포함됩니다. 흥미롭게도 정보 시스템의 신경 과학 측면에 대한 고려 사항은 최근 여러 연구 그룹 7,8의 관심을 끌었으며인지 적 관점에서도 IT 시스템의 사용을 탐구하려는 요구를 보여줍니다. 이 작업과 관련된 또 다른 분야는 정보 시스템 9,10,11의 인적 요소에 대한 조사를 구성합니다. 인간-컴퓨터 상호 작용 분야에서는 솔루션의 유용성을 조사하기 위한 도구가 존재합니다. 시스템 사용성 척도는 주로 이 컨텍스트에서 사용됩니다12. 소리내어 생각하기 프로토콜13은 정보 시스템 사용에 대해 자세히 알아보기 위해 널리 사용되는 또 다른 연구 기술입니다. 정보 시스템의 유용성 측면을 측정하기위한 많은 접근법이 존재하고 그 중 일부는 오래 전에 제시되었지만14, 새로운 측정 또는 연구 방법을 조사해야하는 질문이 여전히 제기됩니다. 따라서이 분야의 연구는 매우 활발합니다12,15,16.
다음에서는 현재 작업에서 널리 사용되는 두 가지 방법이 고려되지 않은 이유에 대해 설명합니다. 첫째, 시스템 사용성 척도를 사용하지 않았습니다. 척도는10 개의 질문 17을 기반으로하며 다른 여러 VR 연구18에서도 그 사용을 찾을 수 있습니다. 이 연구는 주로 스트레스19의 측정을 목표로하기 때문에 스트레스 관련 설문지가 더 적절했습니다. 둘째, 소리내어 생각하기 프로토콜20은 사용되지 않았습니다. 이 프로토콜 유형은 일반적으로13에서 유용성을 보여 주었지만 무겁고 복잡한 VR 장치를 사용하는 것과 병행하여 소리내어 생각 세션을 수행해야한다는 사실 때문에 연구 사용자의 스트레스 수준이 증가 할 수 있으므로 여기서는 사용되지 않았습니다. 이 두 가지 기술은 사용되지 않았지만 다른 최근 연구 결과가 당면한 연구에 통합되었습니다. 예를 들어, 이전 작품21,22에서 저자는 연구에서 초보자와 전문가를 구별합니다. 이러한 연구의 성공적인 결과를 바탕으로, 당면한 프로토콜은 제시된 연구 사용자 분리를 활용합니다. 응력 측정은 다음 작업 15,19,21,22의 아이디어를 기반으로합니다.
처음에는 연구를 수행하기 위해 분석 작업을 수행하기에 적합한 Industry 4.0 시나리오를 찾아야합니다. 저자23의 다른 작업에 영감을 받아 (1) 이상치 감지 및 (2) 클러스터 인식의 두 가지 시나리오(즉, 분석 작업)가 확인되었습니다. 두 시나리오 모두 까다로우며 처리량이 많은 생산 기계의 유지 관리와 매우 관련이 있습니다. 이 결정을 바탕으로 6 가지 주요 고려 사항이이 작업에 제시된 연구 프로토콜을 주도했습니다.
- 연구를 위해 개발된 솔루션은 기술적으로 혼합 현실 스마트 안경( 재료 표 참조)을 기반으로 하며 혼합 현실 애플리케이션으로 개발될 것입니다.
- 초보자와 고급 사용자를 구별 할 수있는 적절한 테스트를 개발해야합니다.
- 성능 측정은 시간과 오류를 고려해야 합니다.
- 몰입형 분석 솔루션과 비교할 수 있는 데스크톱 애플리케이션을 개발해야 합니다.
- 인지된 스트레스 수준을 평가하기 위한 조치를 적용해야 합니다.
- 후자의 점 외에도, 사용자가 언급된 두 가지 분석 작업(즉, (1) 이상치의 검출 및 (2) 클러스터의 인식)의 절차를 수행하는 동안 스트레스 수준을 완화하기 위한 특징이 개발되어야 한다.
언급 된 6 가지 사항을 기반으로 연구 프로토콜은 다음 절차를 통합합니다. 이상값 감지 및 클러스터 인식 분석 작업은 혼합 현실 스마트 안경을 사용하여 몰입형 방식으로 수행해야 합니다( 재료 표 참조). 따라서 새로운 응용 프로그램이 개발되었습니다. 공간 소리는 정신적 노력을 증가시키지 않고 분석 작업의 수행을 용이하게해야합니다. 음성 기능은 혼합 현실 스마트 안경의 개발된 응용 프로그램에 사용되는 탐색을 용이하게 해야 합니다( 재료 표 참조). 정신 회전 테스트는 초보자와 고급 사용자를 구별하는 기초가되어야합니다. 스트레스 수준은 설문지를 기반으로 측정됩니다. 성능은 사용자가 분석 작업에 필요한 (1) 시간과 분석 작업에 대해 사용자가 만든 (2) 오류를 기반으로 평가됩니다. 혼합 현실 smartglass의 성능은 새로 개발되고 유사한 2D 데스크톱 애플리케이션에서 동일한 작업을 수행하는 것과 비교됩니다. 또한, 피부 전도도 장치는 스트레스에 대한 가능한 지표로서 피부 전도도 수준을 측정하는 데 사용됩니다. 이 측정의 결과는 추가 분석의 대상이되며이 작업에서는 논의되지 않습니다. 저자는 동일한 장치를 사용한 다른 연구에서 추가 고려 사항이 필요하다고 밝혔습니다24.
이 프로토콜을 기반으로 다음 5 가지 연구 질문 (RQ)이 해결됩니다.
RQ1 : 참가자의 공간 상상력이 작업 수행에 큰 영향을 미칩니 까?
RQ2: 시간이 지남에 따라 작업 성능에 큰 변화가 있습니까?
RQ3: 몰입형 분석 솔루션에서 공간 사운드를 사용할 때 작업 성능에 상당한 변화가 있습니까?
RQ4: 개발된 몰입형 분석이 사용자에게 스트레스를 준다고 인식합니까?
RQ5: 2D 접근 방식에 비해 몰입형 분석 솔루션을 사용할 때 사용자의 성과가 더 향상됩니까?
그림 1 은 두 가지 척도에 대해 제시된 프로토콜을 요약합니다. 그것은 개발 및 사용 된 측정과 상호 작용 수준과 관련하여 그 참신함을 보여줍니다. 상호작용 수준은 VR 설정을 위한 기능을 개발할 때 중요한 측면을 구성하므로 그림 1은 이 작업에서 개발된 전체 프로토콜의 참신함을 더 잘 보여줍니다. 사용 된 두 척도 내의 측면에 대한 평가는 주관적이지만 전반적인 평가는 현재 관련 작업과 다음과 같은 주요 고려 사항을 기반으로합니다. 한 가지 중요한 원칙은 사용자가 조율 된 자연스러운 상호 작용을위한 환경의 추상화를 사용하는 것입니다. 당면한 프로토콜과 관련하여 포인트 클라우드의 시각화는 사용자에게 직관적 인 것으로 보이며 이러한 클라우드의 패턴 인식은 일반적으로 관리 가능한 작업으로 인식되었습니다. 또 다른 중요한 원칙은 어포던스를 오버레이하는 것입니다. 이로써, 당면한 프로토콜에서 사용되는 공간 사운드의 사용은 검색된 물체의 근접성과 상관관계가 있기 때문에 한 예입니다. 저자는 대부분의 정보가 인간의 인식에 가장 중요한 중간 영역에 위치하는 방식으로 표현을 조정할 것을 권장합니다. 저자가 이 원칙을 포함하지 않은 이유는 사용자가 스스로 최적의 지점을 찾도록 장려하고 한 번에 표시하기에는 너무 큰 데이터 시각화 공간에서 방향을 잡도록 유도하기 위함이었습니다. 제시된 접근법에서, 보여질 3D 데이터의 특성에 대한 더 이상의 고려는 이루어지지 않았다. 예를 들어 차원이 임시 차원으로 가정되면 산점도가 표시될 수 있습니다. 저자는 이러한 종류의 시각화가 Industry 4.0의 맥락에서 일반적으로 흥미롭다고 생각합니다. 그러나 합리적으로 작은 시각화 집합에 초점을 맞춰야 합니다. 또한 이전 간행물은 이미 데이터의 공동 분석에 중점을 두었습니다. 이 연구에서이 연구 질문은이 연구에서 언급 된 다른 문제의 복잡성으로 인해 제외되었습니다. 여기에 제시된 설정에서 사용자는 걸어 다니면서 몰입 형 공간을 탐색 할 수 있습니다. 다른 접근 방식은 가상 공간을 탐색하는 컨트롤러를 제공합니다. 이 연구에서는 SUS(시스템 유용성 척도)를 사용하여 유용성에 중점을 둡니다. 또 다른 이전 간행물은 경제 전문가를 대상으로 연구를 수행했지만 VR 헤드셋을 사용했습니다. 일반적으로, 그리고 가장 중요한 것은,이 연구는이 작업에서 사용 된 혼합 현실 스마트 글라스와 같은 다른 장치에 대한 제한된 시야에 대해 불평합니다 ( 재료 표 참조). 그들의 연구 결과는 VR 분야의 초보자가 분석 도구를 효율적으로 사용할 수 있음을 보여줍니다. 이것은 이 연구의 경험과 일치하지만, 이 작업에서 초보자는 VR 또는 게임 경험이 있는 것으로 분류되지 않았습니다. 대부분의 VR 솔루션과 달리 혼합 현실은 실제 환경을 추적할 수 있으므로 위치에 고정되어 있지 않습니다. 360° 경험을 위해 특수 의자를 사용하여 사용자를 데스크탑에서 해방시키는 것과 같은 VR 접근 방식. 의 저자는 인식 문제가 몰입형 분석의 성능에 영향을 미친다는 것을 나타냅니다. 예를 들어 그림자를 사용합니다. 당면한 연구에서는 사용 된 혼합 현실 스마트 안경 (재료 표 참조)이 그림자를 표시 할 수 없기 때문에 불가능합니다. 해결 방법은 가상 바닥일 수 있지만 이러한 설정은 이 연구의 범위를 벗어났습니다. 몰입형 분석 분야의 설문 조사에서는 3D 산점도가 다차원 데이터의 가장 일반적인 표현 중 하나로 확인되었습니다. 전체적으로 그림 1 에 표시된 측면은 현재 Industry 4.0 시나리오에 대한 몰입형 분석의 유용성 측면을 조사하는 프로토콜로 컴파일된 것을 찾을 수 없습니다.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
모든 자료와 방법은 울름 대학교 윤리위원회의 승인을 받았으며 승인 된 지침에 따라 수행되었습니다. 모든 참가자는 서면 동의서를 제출했습니다.
1. 적절한 학습 환경 조성
알림: 이 연구는 복잡한 하드웨어 설정에 대처하기 위해 통제된 환경에서 수행되었습니다. 사용 된 혼합 현실 스마트 안경 ( 재료 표 참조)과 2D 응용 프로그램 용 노트북을 연구 참가자에게 설명했습니다.
- 각 참가자 전에 기술 솔루션을 확인하십시오. 기본 모드로 설정합니다. 설문지를 준비하고 참가자 옆에 놓습니다.
- 참가자가 한 세션에서 사용 사례 이상값 감지 및 클러스터 인식에서 작업을 해결하도록 합니다(즉, 평균 시간은 43분).
- 참가자를 환영하고 연구의 목표와 전반적인 절차를 소개하여 연구를 시작하십시오.
- 피부 전도도 측정 장치( 재료 표 참조)를 사용하는 참가자는 기준 측정을 받기 위해 짧은 휴식 단계를 준수해야 합니다. 참가자의 절반 만이이 장치를 사용했습니다.
- 모든 참가자는 실험 시작 전에 상태 특성 불안 인벤토리 (STAI) 설문지31을 작성해야합니다.
- 다음으로, 참가자는 정신 회전 테스트 ( 그림 4 참조,이 테스트는 공간 상상력 능력을 평가)를 수행해야하며, 이는 높은 성과자와 낮은 성과자를 구별하기위한 기초였습니다 (고성과자는 고급 사용자, 저성과자는 초보자), 참가자의 공간 청력 능력을 측정하기위한 공간 소리 테스트.
참고: 정신 회전 테스트(32 )에서 시험 점수의 중앙값 분할은 저성과자와 고성과자를 구별하기 위해 사용되었습니다.
- 다음으로, 참가자는 정신 회전 테스트 ( 그림 4 참조,이 테스트는 공간 상상력 능력을 평가)를 수행해야하며, 이는 높은 성과자와 낮은 성과자를 구별하기위한 기초였습니다 (고성과자는 고급 사용자, 저성과자는 초보자), 참가자의 공간 청력 능력을 측정하기위한 공간 소리 테스트.
- 무작위로 참가자를 두 그룹으로 나눕니다. 이상값 감지 또는 클러스터 인식에 대한 작업으로 시작하고 나중에 다른 사용 사례를 계속합니다. 클러스터 인식 작업의 경우 참가자의 절반은 먼저 사용된 혼합 현실 스마트 안경(재료 표 참조)으로 시작한 다음 2D 응용 프로그램을 사용했고, 나머지 절반은 먼저 2D 응용 프로그램으로 시작한 다음 혼합 현실 스마트 안경을 사용했습니다(재료 표 참조). 이상값 감지 작업의 경우 사운드 지원을 받는 그룹 하나를 임의로 선택하고 그룹의 다른 부분은 사운드 지원을 받지 않습니다.
- 세션을 마치면 참가자는 상태 특성 불안 인벤토리 (STAI) 설문지31 과 자체 개발 및 인구 통계 학적 설문지에 다시 응답해야합니다.
- 개발된 각 애플리케이션에서 자동으로 기록된 생성된 데이터를 세션이 완료된 후 노트북의 스토리지에 저장합니다.
2. 참가자를 위한 학습 프로토콜
- 각 참가자에 대해 실험을 준비하십시오 (실험 실의 경우 그림 2 참조). 데스크톱 PC, 사용된 혼합 현실 스마트 안경을 제시하고 설문지를 나눠줍니다.
- 참가자들에게 실험은 40-50 분이 소요되며, 그 중 절반은 사전 테스트 (연구 프로토콜의 포인트 3-6 참조) 후에 이상치 검출 테스트 (연구 프로토콜의 포인트 7 참조)로 먼저 시작하고, 클러스터 인식 테스트 (연구 프로토콜의 포인트 8 참조)가 뒤 따르는 반면, 다른 사람들은이 두 가지 테스트를 그 반대로 수행합니다 (즉, 포인트 7 이전의 연구 프로토콜의 포인트 8).
- 피부 전도도 측정이 수행되는지 여부를 무작위로 결정합니다. 예인 경우, 피부 전도도 측정 장치(33 )를 준비하고 참가자에게 장치를 착용하도록 알린다. 참가자에게 짧은 휴식 단계를 요청하여 스트레스 수준에 대한 기준 측정을 받으십시오.
- 참가자들에게 상태 특성 불안 인벤토리 (STAI) 설문지31 을 작성하고 실험 전에 현재인지 된 스트레스를 측정한다고 알리도록 요청하십시오.
- 정신 회전 테스트를 실시하십시오.
- 참가자들에게 정신 회전 능력이 평가되었음을 알리고 데스크톱 컴퓨터 앞으로 안내합니다. 참가자들에게 시험 절차에 대해 알립니다. 시뮬레이션된 3D 공간에서 위치가 다른 유사한 개체를 식별해야 했습니다.
- 참가자들에게 표시된 5 개의 물체 중 2 개만 유사하며 전체 테스트에 2 분이 주어질 것이라고 알립니다. 참가자들에게 주어진 2 분 이내에 7 개의 작업을 수행 할 수 있음을 알리고 수행 된 각 작업에 대해 성과 측정이 기록된다고 알려줍니다.
- 공간 사운드 능력을 평가합니다.
- 참가자들에게 공간 음향 능력이 평가되었음을 알리고 데스크톱 컴퓨터 앞으로 안내합니다. 참가자들에게 시험 절차에 대해 알립니다. 참가자들에게 6 개의 사운드 샘플을 감지해야하며 각각 13 초 동안 재생된다고 설명합니다.
- 참가자들에게 소리가 나오는 방향 (4 개의 나침반 방향과 유사)을 감지해야한다고 알립니다.
- 이상값 탐지 기술을 평가합니다.
- 참가자에게 혼합 현실 스마트 안경을 착용하도록 요청합니다. 혼합 현실 스마트 안경을 위해 만들어진 세계 내에서 이상치를 찾아야한다고 설명합니다.
- 이상값은 빨간색으로 표시된 점이고 다른 모든 점은 흰색으로 표시됨을 추가로 알립니다. 그런 다음 그것을 감지하려면 시선을 붉은 색 점으로 향해야한다고 설명하십시오.
- 참가자들에게 시각적 도움이 제공 될뿐만 아니라 환경 소리가 이상치를 찾도록 지원한다는 점을 추가로 알립니다. 참가자에게 8 개의 이상치 작업을 수행해야한다는 정보를 제공하여 가상 세계에서 8 번 빨간색 점을 찾아야한다는 것을 의미합니다. 각 참가자에 대해 4개의 작업은 사운드로 지원되고 4개의 작업은 사운드가 지원되지 않습니다. 각 참가자에 대해 사운드 지원 작업을 시작할지 여부를 무작위로 선택합니다. 그런 다음 첫 번째 작업에 따라 건전한 지원이 제공되는지 여부에 관계없이 작업마다 변경됩니다.
- 참가자들에게 기록 될 정보를 알려줍니다 : 각 작업에 필요한 시간, 걷는 시간, 최종 이동 위치가 시작 위치와 어떻게 관련되어 있는지 알려줍니다. 마지막으로 참가자들에게 빨간색으로 표시된 점이 감지되면 녹색으로 바뀝니다 ( 그림 3 참조).
- 클러스터 인식 기술을 평가합니다.
- 참가자가 먼저 혼합 현실 스마트 안경을 사용할지 아니면 참가자를 데스크톱 컴퓨터로 안내할지 여부를 임의로 결정합니다. 다음에서는 혼합 현실 설정에 대한 절차만 설명합니다. 참가자가 데스크톱 컴퓨터에서 처음 시작하는 경우 절차는 변경된 순서에서 동일하며 음성 명령을 제외하고 혼합 현실 솔루션을 사용하는 경우에만 제공됩니다.
- 혼합 현실을 사용하는 참가자의 경우: 참가자에게 혼합 현실 스마트 안경을 착용하도록 요청합니다. 참가자에게 사용된 혼합 현실 스마트 안경으로 만든 세계 내에서 클러스터를 찾는 방법을 알립니다. 참가자들에게 겹치는 클러스터를 주위로 이동하여 구별해야 함을 강조합니다.
- 혼합 현실을 사용하는 참가자의 경우: 음성 명령을 사용하여 가상 세계와 클러스터 주변을 탐색할 수 있다고 참가자에게 설명합니다. 마지막으로 참가자들에게 6 개의 클러스터를 감지해야한다고 말합니다.
- 혼합 현실을 사용하는 참가자의 경우: 참가자에게 사용된 혼합 현실 스마트 안경을 제거하도록 요청합니다. 참가자를 데스크톱 컴퓨터로 안내하고 데스크톱 컴퓨터 화면에 표시된 소프트웨어를 사용하도록 지시합니다. 사용된 혼합 현실 스마트 글라스에 표시된 것과 동일한 유형의 클러스터를 데스크톱 컴퓨터의 소프트웨어를 사용하여 검색해야 한다고 알립니다(그림 7 및 그림 8 참조).
- 참가자들에게 세 가지 설문지, 즉 상태 특성 불안 인벤토리 (STAI) 설문지31, 주관적인 피드백을 수집하기위한 자체 개발 설문지, 정보 수집을위한 인구 통계 학적 설문지를 작성하도록 요청하십시오.
- 참가자들에게 피부 전도도 측정 장치(33 )를 착용하도록 처음에 요청되었다면 제거하도록 요청한다.
- 참여에 대한 감사의 말을 전하여 실험 참가자를 안심시킵니다.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
실험에 대한 측정값 설정
이상값 감지 작업의 경우 시간, 경로 및 각도와 같은 성능 측정값이 정의되었습니다. 측정값은 그림 6 을 참조하십시오.
적색 표시점이 발견될 때까지 시간이 기록되었다(즉, 이상치). 이 성능 측정값은 참가자가 빨간색으로 표시된 지점을 찾는 데 필요한 시간을 나타냅니다. 시간은 결과에서 변수 "time"(밀리초)으로 표시됩니다.
참가자들이 빨간색으로 표시된 지점을 찾으려고 시도하는 동안 도보 경로 길이가 결정되었습니다. 이 계산의 기초는 사용된 혼합 현실 스마트 안경( 재료 표 참조)이 초당 60프레임의 프레임 속도로 시작 위치에 상대적으로 3D 벡터로 현재 위치를 수집하는 것이었습니다. 이를 바탕으로 참가자가 걸었던 경로의 길이를 계산할 수 있습니다. 이 성능 측정은 참가자가 많이 걸었는지 여부를 나타냅니다. 경로는 결과에서 경로 길이로 표시됩니다. PathLength에 따라 세 가지 성능 측정값인 PathMean, PathVariance 및 BoundingBox가 추가로 파생되었습니다. PathMean은 참가자의 평균 속도(프레임당 미터)를 나타내고, PathVariance는 움직임의 불규칙성을 나타내고, BoundingBox는 참가자가 경계 상자를 집중적으로 사용했는지 여부를 나타냅니다. 후자는 모든 움직임의 최대 및 최소 위치를 기반으로 결정됩니다 (즉, 보행 위치를 자주 변경하는 참가자는 더 높은 BoundingBox 값을 나타냄).
측정된 마지막 값은 AngleMean으로 표시되며 각도의 파생 값을 구성하며 AngleMean으로 표시됩니다. 후자는 초당 60의 프레임 속도로 참가자의 현재 위치와 시작 위치 사이의 회전을 나타냅니다. 이를 바탕으로 프레임당 평균 회전 속도를 도 단위로 계산했습니다. 이 값에서 파생된 분산을 사용한 회전의 불규칙성이 계산되었으며, 이를 AngleVariance로 표시합니다.
계산된 경로 및 각도 값의 목적을 요약하기 위해 경로는 사용자가 많이 걷는지 여부를 나타냅니다. 그들이 많이 걷지 않는다면, 그것은 그들의 방향 부족을 나타낼 수 있습니다. 각도는 참가자가 머리를 빠르게 움직이거나 갑자기 움직이는지 여부를 나타내야합니다. 갑작스러운 머리 움직임을 여러 번 하는 경우 이는 다시 방향 부족을 나타낼 수 있습니다.
클러스터 검색 작업의 경우 시간 및 오류와 같은 성능 측정값이 정의되었습니다. 참가자가 얼마나 많은 클러스터를 감지했는지 보고한 시점까지 시간이 기록되었습니다. 이 성능 측정값은 참가자가 클러스터를 찾는 데 필요한 시간을 나타냅니다. 시간은 시간(밀리초)으로 표시됩니다. 오류는 이진 결정(참/거짓)의 의미에서 식별됩니다. 보고된 클러스터의 수가 올바르거나(true) 올바르지 않습니다(false). 오류는 오류로 표시됩니다.
상태 특성 불안 인벤토리 (STAI) 설문지31 의 주 버전은 상태 스트레스와 유사한 구조 인 상태 불안을 측정하는 데 사용되었습니다. 설문지는 20 개 항목으로 구성되어 있으며 연구가 시작되기 전과 이후에 상태 불안의 변화를 평가하기 위해 배포되었습니다. 이 설문지의 평가를 위해 모든 긍정적 인 속성이 뒤집히고 (예 : 답변 '4'가 '1'이 됨) 모든 답변이 최종 STAI 점수로 합산됩니다. 피부 전도도는 피부 전도도 측정 장치( 재료 표 참조)33을 사용하여 무작위로 선택된 참가자 30명에 대해 측정되었습니다.
두 가지 작업 유형이 완료된 후 연구가 끝날 때 참가자의 피드백을 요청하기 위해 자체 개발 설문지를 배포했습니다. 설문지는 표 1에 나와 있습니다. 또한 인구 통계 학적 설문지는 모든 참가자의 성별, 연령 및 교육에 대해 질문했습니다.
전반적인 연구 절차 및 연구 정보
수행 된 전체 연구 절차는 그림 9에 나와 있습니다. 60 명의 참가자가이 연구에 참여했습니다. 참가자들은 대부분 울름 대학교와 울름의 소프트웨어 회사에서 모집되었습니다. 참여 학생들은 주로 컴퓨터 과학, 심리학 및 물리학 분야에서 왔습니다. 10 명은 여성이었고 50 명은 남성이었습니다.
정신 회전 사전 테스트를 기반으로 31 명은 저성과자로 분류되었고 29 명은 고성과자로 분류되었습니다. 특히 여성 7명과 남성 24명은 저성과자로 분류되었고, 여성 3명과 남성 26명은 고성과자로 분류되었습니다. 통계 평가를 위해 3 개의 소프트웨어 도구가 사용되었습니다 ( 재료 표 참조).
빈도, 백분율, 평균 및 표준 편차는 기술 통계로 계산되었습니다. 저성과자와 고성과자는 독립 표본에 대한 Fisher의 정확한 검정과 t-검정을 사용하여 기준 인구 통계 변수에서 비교되었습니다. RQ1 -RQ5의 경우, 완전 최대우도 추정을 갖는 선형 다단계 모델이 수행되었다. 두 가지 수준이 포함되었으며, 수준 1은 반복 평가 (이상치 탐지 또는 클러스터 인식)를 나타내고 수준 2는 참가자를 나타냅니다. 성능 측정값(오류 제외)은 이러한 모델의 종속 변수였습니다. RQ 1에서는 오류 확률에 대한 Fisher의 정확한 테스트도 사용되었습니다. RQ3에서는 공간 소리와 소리가 없는 시간의 성능을 조사했습니다(소리 대 소리가 없는 경우 모델에 예측 변수로 포함됨). STAI 점수는 RQ4에 대한 종속 샘플에 대한 t-테스트를 사용하여 평가되었습니다. RQ5에서는 오류 확률에 대한 McNemar의 테스트를 사용하여 사용된 혼합 현실 스마트 안경(재료 표 참조)과 비교하여 2D 애플리케이션의 효과를 조사했습니다. 모든 통계 시험은 두 개의 꼬리로 수행되었다; 유의 값은 P<.05로 설정되었습니다.
피부 전도도 결과는 분석되지 않았으며 향후 연구 대상이됩니다. 중요하게도, 저자는 동일한 장치를 사용한 다른 연구에서 추가 고려 사항이 필요하다는 것을 밝혔습니다24.
정신 회전 테스트의 경우 참가자 간의 정신 회전 테스트 결과의 차이를 사용하여 저성과자와 고성과자를 구별했습니다. 공간 능력 테스트의 경우 모든 참가자가 좋은 점수를 보였으므로 공간 능력과 관련하여 모두 높은 성과자로 분류되었습니다.
처음에는 참가자의 중요한 결과가 요약됩니다 : 정신 순환에서 저성과자와 고성과자는 기준 변수 (성별, 연령 및 교육)에 차이가 없었습니다. 설명적으로, 저성과자는 고성과자보다 여성 참가자의 비율이 높았고 고성과자는 저성과자보다 젊었습니다. 표 2 는 참가자에 대한 특성을 요약한 것입니다.
RQ1의 결과와 관련하여 클러스터 인식 작업의 경우 2D 애플리케이션(저성과자의 경우 4개 오류, 고성과자의 경우 2개 오류)과 3D 접근 방식(저성과자의 경우 8개 오류, 고성과자의 경우 2개 오류)에서 저성과자와 고성과자가 크게 다르지 않았습니다. 이상값의 탐지 작업의 경우 고성과자가 저성과자보다 훨씬 빨랐습니다. 또한 고성과자는 작업을 해결하기 위해 더 짧은 도보 거리가 필요했습니다. 이상값의 작업에 대해 표 3 은 자세한 결과를 요약합니다.
RQ2에 대한 결과와 관련하여 이상치의 탐지 작업에 대해서만 유의미한 결과가 나타났습니다. BoundingBox, PathLength, PathVariance, PathMean, Angle-Variance 및 AngleMean은 작업마다 크게 증가했습니다( 표 4 참조). 기록된 시간은 혼합 현실 스마트 안경을 사용하여 작업마다 크게 변경되지 않았습니다( 재료 표 참조).
RQ3에 대한 결과와 관련하여 공간 소리를 기반으로 참가자는 공간 소리를 사용하지 않을 때보다 이상치 감지 사례의 작업을 더 빨리 해결할 수 있었습니다( 표 5 참조).
RQ4에 대한 결과와 관련하여 사전 평가에서 STAI 점수의 평균 상태는 M = 44.58(SD = 4.67)이었습니다. 사후 평가에서는 M = 45.72 (SD = 4.43)였습니다. 이러한 변화는 통계적 유의성을 달성하지 못했다(p=.175). 자체 개발 설문지의 답변에 대한 기술 통계가 그림 10에 나와 있습니다.
RQ5에 대한 결과와 관련하여 혼합 현실 스마트 안경( 재료 표 참조) 접근 방식은 데스크톱 컴퓨터를 사용하는 것보다 훨씬 빠른 클러스터 인식 시간을 나타냅니다(T able 6 참조). 그러나 혼합 현실 스마트 안경( 재료 표 참조)을 사용할 때의 속도 이점은 다소 작았습니다(즉, 밀리초 범위).
마지막으로,이 연구의 데이터는36에서 찾을 수 있습니다.
그림 1: 상호 작용 대 참신성 척도에서 조사된 측면. 이 그림은 사용된 측도와 교호작용 수준과 관련된 참신함을 보여줍니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 2: 스터디 룸 사진. 스터디 룸의 사진 두 장이 제공됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 3: 감지된 이상값. 스크린샷은 감지된 이상값을 보여줍니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 4: 정신 회전 테스트의 예. 스크린 샷은 참가자가 직면 한 3D 개체를 보여줍니다. 즉, 동일한 물체 구조를 가진 서로 다른 위치에있는 5 개의 물체 중 2 개가 감지되어야했습니다. 이 수치는이 작품35를 기반으로 수정되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 5: 공간 능력 테스트를 위한 설정. (A)에는 작업 뒤로에 대한 오디오 구성이 표시되고, (B)에는 테스트의 개략적인 사용자 인터페이스가 표시됩니다. 이 수치는이 작품35를 기반으로 수정되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 6: 작업 이상값 탐지 설정 그림. 세 가지 주요 측면이 표시됩니다. 먼저, 이상값이 설명됩니다. 둘째, 성능 측정이 표시됩니다. 셋째, 사운드 지원이 어떻게 계산되었는지 보여줍니다. 이 수치는이 작품35를 기반으로 수정되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 7: 작업 클러스터 인식 설정의 그림 더 나은 인상을 위해 시나리오 A-C를 고려하면 참가자는 클러스터를 올바르게 식별하기 위해 시선을 변경해야했습니다. 이 수치는이 작품35를 기반으로 수정되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 8: Matlab의 작업 클러스터 인식 설정 그림. 이 그림은 2D 데스크톱 응용 프로그램의 기반이 된 Matlab에서 제공되는 클러스터를 보여줍니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 9: 전체 연구 절차 한 눈에 보기. 이 그림은 참가자가 수행해야 하는 단계를 시간순으로 보여줍니다. 이 수치는이 작품35를 기반으로 수정되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 10 : 자체 개발 설문지의 결과 (표 1 참조). 결과는 상자 그림을 사용하여 표시됩니다. 이 수치는이 작품35를 기반으로 수정되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
| #Question | 질문 | 과녁 | 저울 | 의미 |
| 1 | 안경을 착용하면서 얼마나 스트레스를 받았습니까? | 입고 | 1-10 | 10은 높음, 1은 낮음을 의미합니다. |
| 2 | 이상치의 작업은 얼마나 스트레스가 많았습니까? | 이상값 | 1-10 | 10은 높음, 1은 낮음을 의미합니다. |
| 3 | 공간 소리를 얼마나 스트레스 받았습니까? | 소리 | 1-10 | 10은 높음, 1은 낮음을 의미합니다. |
| 4 | 혼합 현실에서 클러스터를 찾는 작업이 얼마나 스트레스를 받았나요? | 클러스터 MR | 1-10 | 10은 높음, 1은 낮음을 의미합니다. |
| 5 | 데스크톱 접근 방식에서 클러스터를 찾는 작업이 얼마나 스트레스를 받았습니까? | 클러스터 DT | 1-10 | 10은 높음, 1은 낮음을 의미합니다. |
| 6 | 음성 명령의 사용이 얼마나 스트레스가 되었습니까? | 목소리 | 1-10 | 10은 높음, 1은 낮음을 의미합니다. |
| 7 | 공간적 소리에 의해 뒷받침된다고 느꼈습니까? | 소리 | 1-10 | 10은 높음, 1은 낮음을 의미합니다. |
표 1: 사용자 피드백을 위한 자체 개발 설문지. 7 개의 질문으로 구성되어 있습니다. 각 질문에 대해 참가자는 1-10의 척도 내에서 값을 결정해야 했으며, 여기서 1은 낮은 값(즉, 나쁜 피드백)을 의미하고 10은 높은 값(즉, 매우 좋은 피드백)을 의미합니다.
| 변수 | 저성과자(n=31) | 고성능자 | P 값 |
| (n=31) | (n=29) | ||
| 성별, n(%) | |||
| 여성 | 7 (23%) | 3 (10%) | |
| 남성 | 24 (77%) | 26 (90%) | .302 (ᄀ) |
| 연령 카테고리, n(%) | |||
| <25 | 1 (3%) | 5 (17%) | |
| 25-35 | 27 (87%) | 21 (72%) | |
| 36-45 | 0 (0%) | 2 (7%) | |
| 46-55 | 1 (3%) | 0 (0%) | |
| >55 | 2 (6%) | 1 (3%) | .099 (ᄀ) |
| 최고 교육, n (%) | |||
| 고등학교 | 3 (10%) | 5 (17%) | |
| 학사 | 7 (23%) | 6 (21%) | |
| 주 | 21 (68%) | 18 (62%) | .692 (ᄀ) |
| 정신 회전 테스트, 평균 (SD) | |||
| 정답 | 3.03 (1.40) | 5.31 (0.76) | .001 (b) |
| 오답 | 2.19 (1.47) | 1.21 (0.56) | .000 (ᄂ) |
| 공간 청력 검사, 평균 (SD) © | |||
| 정답 | 4.39 (1.09) | 4.31 (1.00) | .467 (나) |
| 오답 | 1.61 (1.09) | 1.69 (1.00) | .940 (b) |
| a: 피셔의 정확한 테스트 | |||
| b: 2표본 t-검정 | |||
| c: SD 표준 편차 | |||
표 2: 참가자 샘플 설명 및 기준 변수에서 저성과자와 고성과자 간의 비교. 이 표는 성별, 연령 및 교육에 대한 세 가지 인구 통계 학적 질문에 대한 데이터를 보여줍니다. 또한 두 가지 사전 테스트의 결과가 표시됩니다.
| 변수 | 평가하다 | SE (a) | 결과 |
| 작업 전반에 걸쳐 저성과자를 위한 경계상자 | 2,224 | .438 | t(60.00) = 5.08; 피<.001 |
| 작업 전반에 걸쳐 고성과자를 위한 BoundingBox 변경 | +.131 | .630 | t(60.00) = .21; p=.836 |
| 작업 전반에 걸쳐 저성과자를 위한 시간 | 20,919 | 1,045 | t(60.00) = 20.02; 피<.001 |
| 작업 전반에 걸쳐 고성과자를 위한 시간 변경 | -3,863 | 1,503 | t(60.00) = -2.57; p=.013 |
| 작업 전반에 걸쳐 저성과자의 경로 길이 | 5,637 | .613 | t(60.00) = 9.19; 피<.001 |
| 작업 전반에 걸쳐 고성과자를 위한 경로 길이 변경 | -1,624 | .882 | t(60.00) = -1.84; p=.071 |
| 작업 간 저성과자에 대한 경로 분산 | 4.3E-4 | 4.7E-5 | t(65.15) = 9.25; 피<.001 |
| 작업 전반에 걸쳐 고성과자를 위한 경로 분산 변경 | +4.3E-6 | 6.7E-5 · | t(65.15) = .063; p=.950 |
| 작업 전반에 걸쳐 저성과자를 위한 PathMean | .0047 | 5.3E-4 | t(60.00) = 8.697; 피<.001 |
| 작업 전반에 걸쳐 고성과자를 위한 PathMean 변경 | +3.8E-5 | 7.7E-4 · | t(60.00) = .05; p=.960 |
| 작업 간 저성과자를 위한 각도 분산 | .0012 | 7.3E-5 · | t(85.70) = 16.15; 피<.001 |
| 작업 전반에 걸쳐 고성과자를 위한 각도 분산 변경 | -2.7E-5 | 1.0E-4 | t(85.70) = -.26; p=.796 |
| 작업 전반에 걸쳐 저성과자를 위한 각도 평균 | .015 | .001 | t(60.00) = 14.27; 피<.001 |
| 작업 전반에 걸쳐 고성과자를 위한 AngleMean의 변경 | -3.0E-4 · | 1.5E-3 | t(60.00) = -.20; p=.842 |
| (a) SE = 표준 오차 | |||
표 3: RQ1에 대한 다단계 모델의 결과(스마트 안경을 사용한 이상값 감지). 이 표는 이상값의 탐지 작업에 대한 RQ1의 통계 결과를 보여줍니다(모든 성능 측정값에 대해).
| 변수 | 평가하다 | SE (a) | 결과 |
| 첫 번째 작업의 경계 상자 | .984 | .392 | t(138.12) = 2.51; p=.013 |
| 작업마다 경계 상자 변경 | +.373 | .067 | t(420.00) = 5.59; 피<.001 |
| 첫 번째 작업 시간 | 19,431 | 1,283 | t(302.08) = 15.11; 피<.001 |
| 작업에서 작업으로의 시간 변경 | -.108 | .286 | t(420.00) = -.37; p=.709 |
| 첫 번째 작업의 경로 길이 | 3,903 | .646 | t(214.81) = 6.05; 피<.001 |
| 작업마다 경로 길이 변경 | +.271 | .131 | t(420.00) = 2.06; p=.040 |
| 첫 번째 작업의 경로 분산 | 3.1E-4 | 3.7E-5 | t(117.77) = 8.43; 피<.001 |
| 작업마다 경로 분산 변경 | +3.5E-5 | 4.5E-6 | t(455.00) = 7.90; 피<.001 |
| 첫 번째 작업의 경로 평균 | .0033 | 4.2E-4 | t(88.98) = 7.66; 피<.001 |
| 작업마다 경로 평균 변경 | +4.1E-4 | 5.2E-5 | t(420.00) = 7.81; 피<.001 |
| 첫 번째 작업의 각도 분산 | .001 | 5.7E-5 | t(129.86) = 17.92; 피<.001 |
| 작업마다 각도 변화 | +4.1E-5 | 6.5E-6 | t(541.75) = 6.34; 피<.001 |
| 첫 번째 작업의 각도 평균 | .0127 | 8.1E-4 · | t(82.17) = 15.52; 피<.001 |
| 작업마다 각도 평균 변경 | +6.1E-4 | 9.0E-5 · | t(420.00) = 6.86; 피<.001 |
| (a) SE = 표준 오차 | |||
표 4: RQ2에 대한 다중 레벨 모델의 결과(스마트 안경을 사용한 이상값 감지). 이 표는 이상값의 탐지 작업에 대한 RQ2의 통계 결과를 보여줍니다(모든 성능 측정값에 대해).
| 변수 | 평가하다 | SE (a) | 결과 |
| 작업 간에 소리가 나지 않는 경계상자 | 2,459 | .352 | t(93.26) = 6.98; 피<.001 |
| 작업 전반에 걸쳐 소리가 나는 경계 상자 변경 | -.344 | .316 | t(420.00) = -1.09; p=.277 |
| 작업 전반에 걸쳐 소리가 나지 않는 시간 | 20,550 | 1,030 | t(161.17) = 19.94; 피<.001 |
| 작업 전반에 걸쳐 소리로 시간 변경 | -2,996 | 1,319 | t(420.00) = -2.27; p=.024 |
| 작업 전체에서 소리가 나지 않는 경로 길이 | 5,193 | .545 | t(121.81) = 9.54; 피<.001 |
| 작업 전반에 걸쳐 소리로 경로 길이 변경 | -.682 | .604 | t(420.00) = -1.13; p=.260 |
| 작업 간에 소리가 없는 경로 분산 | .0004 | 3.5E-5 | t(79.74) = 12.110; 피<.001 |
| 작업 전반에 걸쳐 소리에 따른 경로 분산 변경 | +1.3E-5 | 2.2E-5 | t(429.20) = .592; p=.554 |
| 작업 전체에서 소리가 나지 않는 경로 평균 | .005 | 4.0E-4 | t(73.66) = 11.35; 피<.001 |
| 작업 전반에 걸쳐 소리로 PathMean의 변경 | +1.4E-4 | 2.5E-4 | t(420.00) = .56; p=.575 |
| 작업 간에 소리가 없는 각도 변화 | .0012 | 5.4E-5 · | t(101.32) = 21.00; 피<.001 |
| 작업 전반에 걸쳐 소리에 따른 각도 변화 변경 | +3.3E-5 | 3.1E-5 | t(648.56) = 1.07; p=.284 |
| 작업 전반에 걸쳐 소리가 없는 각도 평균 | .0145 | 7.8E-4 · | t(70.17) = 18.51; 피<.001 |
| 작업 전반에 걸쳐 소리에 따른 각도 평균 변경 | +6.0E-4 | 4.3E-4 | t(420.00) = 1.39; p=.166 |
| (a) SE = 표준 오차 | |||
표 5: RQ3에 대한 다단계 모델의 결과(스마트글라스를 사용한 이상값 감지). 이 표는 이상값의 탐지 작업에 대한 RQ3의 통계 결과를 보여줍니다(모든 성능 측정값에 대해).
| 변수 | 평가하다 | SE (a) | 결과 |
| 작업 전반에 걸쳐 데스크톱을 사용하는 시간 | 10,536 | .228 | t(156.43) = 46.120; 피<.001 |
| 작업 전반에 걸쳐 Hololens를 사용한 시간 변경 | -.631 | .286 | t(660.00) = -2.206; p=.028 |
| (a) SE = 표준 오차 | |||
표 6: RQ5(스마트글라스를 사용한 클러스터 인식)에 대한 다중 레벨 모델의 결과. 이 표는 클러스터 인식 태스크에 대한 RQ5의 통계 결과를 보여줍니다(모든 성능 측정에 대해).
Subscription Required. Please recommend JoVE to your librarian.
Discussion
개발된 혼합 현실 스마트 안경( 재료 표 참조) 적용과 관련하여 두 가지 측면이 특히 유용했습니다. 이상치의 감지 작업에 공간 사운드를 사용하는 것은 한편으로는 긍정적으로 인식되었습니다(RQ3 결과 참조). 다른 한편으로는 음성 명령의 사용도 긍정적으로 인식되었습니다 ( 그림 10 참조).
연구 참가자와 관련하여 경험적 연구의 경우 모집 된 참가자 수가 다소 적었지만 다른 많은 작품에 비해 경쟁력이 있습니다. 그럼에도 불구하고 표시된 프로토콜을 기반으로 더 큰 규모의 연구가 계획됩니다. 그러나 60 명의 참가자에게 타당성을 보여 주었기 때문에 더 많은 참가자가 더 이상 도전하지 않을 것으로 예상됩니다. 참가자 선택은 더 광범위할 수 있으며(참가자가 오는 분야의 의미에서) 고성과자와 저성과자를 구별하기 위한 기준 변수의 수가 더 많을 수 있다고 논의되었습니다. 다른 한편으로, 이러한 측면이 더 높은 숫자로 변경되면 프로토콜 자체가 크게 변경되지 않아도됩니다.
일반적으로 밝혀진 한계는이 작업에 표시된 프로토콜을 기반으로 한 연구의 수행에 영향을 미치지 않으며 인구 통계 학적 설문지에 대한 모집 및 사용 된 질문에만 영향을 미칩니다. 그러나 그럼에도 불구하고 이 연구의 한 가지 한계는 한 참가자의 실험을 완료하는 데 필요한 전체 시간이 높다는 것입니다. 반면에 참가자가 착용감에 대해 불평하지 않았거나 테스트 장치가 너무 많은 부담을 준다고 불평하지 않았기 때문에 한 참가자에 대한 전체 프로토콜을 수행하는 시간은 수용 가능한 것으로 간주 될 수 있습니다. 마지막으로, 향후 실험에서는 프로토콜에 몇 가지 측면을 추가해야합니다. 특히 이상값 감지 작업은 2D 데스크톱 애플리케이션에서도 평가해야 합니다. 또한 사용된 혼합 현실 스마트 안경( 재료 표 참조)과 같은 다른 하드웨어 장치도 평가해야 합니다. 그러나 프로토콜은 더 넓은 의미에서 유익한 것으로 보입니다.
제시된 프로토콜에 대해 다음과 같은 주요 통찰력을 얻었습니다. 첫째, 혼합 현실 솔루션에 대한 몰입형 분석을 평가할 수 있는 타당성을 보여주었습니다. 특히 사용된 혼합 현실 스마트글라스( 재료 표 참조)는 Industry 4.0 시나리오에 대한 혼합 현실 애플리케이션에서 몰입형 분석을 평가할 수 있는 가능성을 보여주었습니다. 둘째, 개발된 혼합 현실 스마트 안경( 재료 표 참조) 응용 프로그램과 2D 데스크톱 응용 프로그램을 비교하면 혼합 현실 솔루션이 VR 기술을 사용하지 않는 응용 프로그램을 능가할 수 있는지 여부를 조사하는 데 도움이 되었습니다. 셋째, 생리적 매개 변수 또는 활력 징후의 측정은 항상 그러한 실험에서 고려되어야한다. 이 작업에서는 설문지와 피부 전도도 장치를 사용하여 스트레스를 측정했습니다. 후자는 기술적으로 적절하게 작동했지만 저자는 동일한 장치를 사용한 다른 연구에서 추가 고려 사항이 필요하다고 밝혔습니다24. 넷째, 공간 능력 테스트와 고성과자와 저성과자의 분리가 유리했다. 요약하면, 제시된 프로토콜은 언뜻보기에는 복잡해 보이지만 ( 그림 9 참조) 기술적으로 유용성을 보여주었습니다. 결과와 관련하여 그 유용성도 드러났습니다.
이상치 감지 및 클러스터 인식은 Industry 4.0 시나리오에서 많은 고차원 데이터 세트를 평가하는 일반적인 작업이므로 경험적 연구에서의 사용은 이 연구 분야를 대표합니다. 이 프로토콜은 이러한 시나리오가 몰입형 분석에 대한 사용성 연구에 잘 통합될 수 있음을 보여주었습니다. 따라서 사용 된 설정은 이러한 맥락에서 다른 연구에 권장 될 수 있습니다.
표시된 연구의 결과에 따르면 활용된 스마트 안경( 재료 표 참조)을 기반으로 하는 혼합 현실 솔루션을 사용하는 것이 Industry 4.0 시나리오에 대한 몰입형 분석을 조사하는 데 유용하므로 이 프로토콜은 주어진 컨텍스트에서 다른 사용성 연구에도 사용될 수 있습니다.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
저자는 공개 할 것이 없습니다.
Acknowledgments
저자는 인정할 것이 없습니다.
Materials
| Name | Company | Catalog Number | Comments |
| edaMove | movisens | ||
| HoloLens | Microsoft | ||
| Matlab R2017a | MathWorks | ||
| RPY2 | GNU General Public License v2 or later (GPLv2+) (GPLv2+) | https://pypi.org/project/rpy2/ | |
| SPSS 25.0 | IBM |
References
- Korinth, M., Sommer-Dittrich, T., Reichert, M., Pryss, R. Design and Evaluation of a Virtual Reality-Based Car Configuration Concept. Science and Information Conference. , Springer, Cham. 169-189 (2019).
- Whalen, T. E., Noël, S., Stewart, J. Measuring the human side of virtual reality. IEEE International Symposium on Virtual Environments, Human-Computer Interfaces and Measurement Systems, 2003. , IEEE. 8-12 (2003).
- Martens, M. A., et al. It feels real: physiological responses to a stressful virtual reality environment and its impact on working memory. Journal of Psychopharmacology. 33 (10), 1264-1273 (2019).
- Keim, D. A. Information visualization and visual data mining. IEEE transactions on Visualization and Computer Graphics. 8 (1), 1-8 (2002).
- Dwyer, T., et al. Immersive analytics: An introduction. Immersive analytics. , Springer, Cham. 1-23 (2018).
- Moloney, J., Spehar, B., Globa, A., Wang, R. The affordance of virtual reality to enable the sensory representation of multi-dimensional data for immersive analytics: from experience to insight. Journal of Big Data. 5 (1), 53 (2018).
- Davis, F. D., Riedl, R., Vom Brocke, J., Léger, P. M., Randolph, A. B. Information Systems and Neuroscience. , Springer. (2018).
- Huckins, J. F., et al. Fusing mobile phone sensing and brain imaging to assess depression in college students. Frontiers in Neuroscience. 13, 248 (2019).
- Preece, J., et al. Human-computer interaction. , Addison-Wesley Longman Ltd. (1994).
- Card, S. K. The psychology of human-computer interaction. , CRC Press. (2018).
- Pelayo, S., Senathirajah, Y. Human factors and sociotechnical issues. Yearbook of Medical Informatics. 28 (01), 078-080 (2019).
- Bangor, A., Kortum, P., Miller, J. Determining what individual SUS scores mean: adding an adjective rating scale. Journal of Usability Studies. 4 (3), 114-123 (2009).
- Krahmer, E., Ummelen, N. Thinking about thinking aloud: A comparison of two verbal protocols for usability testing. IEEE Transactions on Professional Communication. 47 (2), 105-117 (2004).
- Hornbæk, K. Current practice in measuring usability: Challenges to usability studies and research. International Journal of Human-Computer Studies. 64 (2), 79-102 (2006).
- Peppa, V., Lysikatos, S., Metaxas, G. Human-Computer interaction and usability testing: Application adoption on B2C websites. Global Journal of Engineering Education. 14 (1), 112-118 (2012).
- Alwashmi, M. F., Hawboldt, J., Davis, E., Fetters, M. D. The iterative convergent design for mobile health usability testing: mixed-methods approach. JMIR mHealth and uHealth. 7 (4), 11656 (2019).
- System Usability Scale (SUS). Assistant Secretary for Public Affairs. , Available from: https://www.hhs.gov/about/agencies/aspa/how-to-and-tools/methods/system-usability-scale.html (2013).
- Fang, Y. M., Lin, C. The Usability Testing of VR Interface for Tourism Apps. Applied Sciences. 9 (16), 3215 (2019).
- Pryss, R., et al. Exploring the Time Trend of Stress Levels While Using the Crowdsensing Mobile Health Platform, TrackYourStress, and the Influence of Perceived Stress Reactivity: Ecological Momentary Assessment Pilot Study. JMIR mHealth and uHealth. 7 (10), 13978 (2019).
- Zugal, S., et al. Investigating expressiveness and understandability of hierarchy in declarative business process models. Software & Systems Modeling. 14 (3), 1081-1103 (2015).
- Schobel, J., et al. Learnability of a configurator empowering end users to create mobile data collection instruments: usability study. JMIR mHealth and uHealth. 6 (6), 148 (2018).
- Schobel, J., Probst, T., Reichert, M., Schickler, M., Pryss, R. Enabling Sophisticated Lifecycle Support for Mobile Healthcare Data Collection Applications. IEEE Access. 7, 61204-61217 (2019).
- Hoppenstedt, B., et al. Dimensionality Reduction and Subspace Clustering in Mixed Reality for Condition Monitoring of High-Dimensional Production Data. Sensors. 19 (18), 3903 (2019).
- Winter, M., Pryss, R., Probst, T., Reichert, M. Towards the Applicability of Measuring the Electrodermal Activity in the Context of Process Model Comprehension: Feasibility Study. Sensors. 20, 4561 (2020).
- Butscher, S., Hubenschmid, S., Müller, J., Fuchs, J., Reiterer, H. Clusters, trends, and outliers: How immersive technologies can facilitate the collaborative analysis of multidimensional data. Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. , 1-12 (2018).
- Wagner Filho, J. A., Rey, M. F., Freitas, C. M. D. S., Nedel, L. Immersive analytics of dimensionally-reduced data scatterplots. 2nd Workshop on Immersive Analytics. , (2017).
- Batch, A., et al. There is no spoon: Evaluating performance, space use, and presence with expert domain users in immersive analytics. IEEE Transactions on Visualization and Computer Graphics. 26 (1), 536-546 (2019).
- Cliquet, G., Perreira, M., Picarougne, F., Prié, Y., Vigier, T. Towards hmd-based immersive analytics. HAL. , Available from: https://hal.archives-ouvertes.fr/hal-01631306 (2017).
- Luboschik, M., Berger, P., Staadt, O. On spatial perception issues in augmented reality based immersive analytics. Proceedings of the 2016 ACM Companion on Interactive Surfaces and Spaces. , 47-53 (2016).
- Fonnet, A., Prié, Y.
- Spielberger, C. D., Gorsuch, R. L., Lushene, R. E. STAI Manual for the Stait-Trait Anxiety Inventory (self-evaluation questionnaire). Consulting Psychologist. 22, Palo Alto, CA, USA. 1-24 (1970).
- Vandenberg, S. G., Kuse, A. R. Mental rotations, a group test of three-dimensional spatial visualization. Perceptual Motor Skills. 47 (2), 599-604 (1978).
- Härtel, S., Gnam, J. P., Löffler, S., Bös, K. Estimation of energy expenditure using accelerometers and activity-based energy models-Validation of a new device. European Review of Aging and Physical Activity. 8 (2), 109-114 (2011).
- Gautier, L. RPY2: A Simple and Efficient Access to R from Python. , Available from: https://sourceforge.net/projects/rpy/ (2020).
- Hoppenstedt, B., et al. Applicability of immersive analytics in mixed reality: Usability study. IEEE Access. 7, 71921-71932 (2019).
- Hoppenstedt, B. Applicability of Immersive Analytics in Mixed Reality: Usability Study. IEEE Dataport. , (2019).
