Summary
このプロトコルは、イマーシブ分析に使用される開発された Mixed Reality アプリケーションの技術設定を示します。これに基づいて、開発された技術ソリューションのユーザビリティの側面についての洞察を得るために研究で使用された対策が提示されます。
Abstract
医学や産業では、高次元データセットの分析がますます必要とされています。ただし、利用可能な技術的ソリューションは、多くの場合、使用するのが複雑です。したがって、没入型分析のような新しいアプローチは大歓迎です。没入型分析は、さまざまなユーザーグループやデータセットにとって便利な方法で高次元データセットを体験することを約束します。技術的には、仮想現実デバイスは没入型分析を可能にするために使用されます。たとえば、インダストリー4.0では、高次元データセットの外れ値や異常の特定などのシナリオが、没入型分析の目標として追求されています。この文脈では、没入型分析に関する開発された技術ソリューションについて、2つの重要な質問に取り組む必要があります:まず、技術的ソリューションが役立つかどうか?第二に、技術的解決策の身体的経験はポジティブですか、それともネガティブですか?最初の質問は技術的解決策の一般的な実現可能性を目的とし、2番目の質問は着用の快適さを目的としています。これらの質問に体系的に対処する現存する研究とプロトコルはまだまれです。この作業では、主にインダストリー4.0シナリオでの没入型分析の使いやすさを調査する調査プロトコルが提示されます。具体的には、プロトコルは4つの柱に基づいています。まず、以前のエクスペリエンスに基づいてユーザーを分類します。次に、技術的解決策の実現可能性を評価するために使用できるタスクが提示されます。第三に、ユーザーの学習効果を定量化する測定値が提示されます。第四に、アンケートはタスクを実行する際のストレスレベルを評価します。これらの柱に基づいて、複合現実スマートグラスを使用して研究プロトコルを適用する技術設定が実装されました。実施された調査の結果は、一方ではプロトコルの適用可能性を示し、他方ではインダストリー4.0シナリオにおける没入型分析の実現可能性を示しています。提示されたプロトコルには、発見された制限の説明が含まれています。
Introduction
バーチャルリアリティソリューション(VRソリューション)は、さまざまな分野でますます重要になっています。多くの場合、VRソリューション(仮想現実、複合現実、拡張現実を含む)を使用すると、多くの日常のタスクと手順の達成が容易になります。例えば、自動車領域では、自動車の構成手順は、バーチャルリアリティ1 (VR)の使用によってサポートすることができる。研究者と実務家は、この文脈で多数のアプローチと解決策を調査し、開発してきました。ただし、ユーザビリティの側面を調査する研究はまだまれです。一般に、側面は2つの主要な質問に照らして考慮されるべきです。まず、VRソリューションがVR技術を使用しないアプローチよりも実際に優れているかどうかを評価する必要があります。第二に、VRソリューションは主に重くて複雑なハードウェアデバイスに依存しているため、着用の快適さや精神的な努力などのパラメーターをより詳細に調査する必要があります。さらに、言及された側面は、問題のアプリケーション分野に関して常に調査する必要があります。多くの現存するアプローチは、これらの質問を調査する必要があると考えていますが2、結果を提示した研究は少ないです。
現在重要なVR分野の研究トピックは、没入型分析で示されます。これは、人間の知覚を分析タスクに含めようとするビジュアル分析の研究分野に由来します。このプロセスは、ビジュアル データ マイニング4 とも呼ばれます。没入型分析には、データ視覚化、ビジュアル分析、仮想現実、コンピューターグラフィックス、人間とコンピューターの相互作用の分野のトピックが含まれます5。ヘッドマウントディスプレイ(HMD)の最近の利点により、没入型の方法でデータを探索する可能性が向上しました。これらの傾向に沿って、新しいインタラクションシステムの開発、ユーザーの疲労を調査する必要性、洗練された3Dビジュアライゼーションの開発など、新しい課題と研究課題が浮上しています6。以前の出版物6では、没入型分析の重要な原則が議論されています。ビッグデータに照らして、複雑なデータプールのより良い分析を可能にするために、没入型分析のような方法がますます必要になっています。没入型分析ソリューションのユーザビリティの側面を調査した研究はごくわずかです。さらに、問題のドメインまたはフィールドもそのような研究で考慮されるべきです。この作業では、没入型分析プロトタイプが開発され、それに基づいて、インダストリー4.0シナリオ用に開発されたソリューションを調査するプロトコルが開発されました。プロトコルは、それによって、主観的、パフォーマンス、および生理学的側面に基づく経験方法2を利用します。手元のプロトコルでは、 主観的な側面 は、研究ユーザーの知覚されたストレスを通じて測定されます。次に、パフォーマンスは、分析タスクを実行するために必要な時間とエラーによって測定されます。最後に、皮膚コンダクタンスセンサーが生理学的パラメータを測定しました。この作業では、最初の2つの測定値が提示されますが、測定された皮膚コンダクタンスを評価するにはさらに努力が必要です。
提示された研究には、特に神経科学の側面や情報システムを含むいくつかの研究分野が含まれます。興味深いことに、情報システムの神経科学的側面に関する考察は、最近、いくつかの研究グループ7,8の注目を集めており、認知の観点からもITシステムの使用を探求する需要を示しています。この作業に関連する別の分野は、情報システムの人的要因の調査を構成する9,10,11。人間とコンピュータの相互作用の分野では、ソリューションの有用性を調査するための機器が存在します。システムユーザビリティスケールは、主にこのコンテキストで使用されることに注意してください12。声を出して考えるプロトコル13は、情報システムの使用についてさらに学ぶために広く使用されている別の研究手法です。情報システムのユーザビリティの側面を測定するための多くのアプローチが存在し、それらのいくつかはずっと前に提示されていますが14、新しい対策や研究方法を調査する必要がある疑問が浮かび上がってきます。したがって、この分野の研究は非常に活発です12,15,16。
以下では、現在の研究で一般的に使用されている2つの方法が考慮されていない理由について説明します。まず、システムユーザビリティスケールが使用されませんでした。スケールは17の質問に基づいており、その使用法は他のいくつかのVR研究でも見つけることができます18。本研究は主にストレス19の測定を目的としているため,ストレス関連質問紙がより適切であった。第二に、シンキングアラウドプロトコル20は使用されませんでした。このプロトコルタイプは一般的にその有用性を示していますが13、重くて複雑なVRデバイスの使用と並行して思考セッションを達成する必要があるという事実のためにのみ、研究ユーザーのストレスレベルが増加する可能性があるため、ここでは使用しませんでした。これらの2つの手法は使用されていませんが、他の最近の研究の結果が手元の研究に組み込まれています。たとえば、以前の研究21,22では、著者は研究において初心者と専門家を区別しています。これらの研究の成功結果に基づいて、手元のプロトコルは、この提示された研究ユーザーの分離を利用します。次に、応力測定は、次の作品15,19,21,22のアイデアに基づいています。
まず、調査を実施するには、分析タスクを実行するための適切なインダストリー4.0シナリオを見つける必要があります。著者23の別の研究に触発されて、(1)外れ値の検出、および(2)クラスターの認識の2つのシナリオ(すなわち、分析タスク)が特定されました。どちらのシナリオも困難であり、高スループットの生産機械のメンテナンスのコンテキストで非常に関連性があります。この決定に基づいて、6つの主要な考慮事項が、この作業で提示された研究プロトコルを推進しました。
- この研究のために開発されたソリューションは、技術的には複合現実スマートグラス(「 材料表」を参照)に基づいており、複合現実アプリケーションとして開発されます。
- 初心者と上級ユーザーを区別できる適切なテストを開発する必要があります。
- パフォーマンス測定では、時間とエラーを考慮する必要があります。
- 没入型分析ソリューションと比較できるデスクトップ アプリケーションを開発する必要があります。
- 知覚されるストレスレベルを評価するために、メジャーを適用する必要があります。
- 後者の点に加えて、ユーザーが上記の2つの分析タスク(すなわち、(1)外れ値の検出、および(2)クラスターの認識)の手順を完了する間に、ストレスレベルを軽減するための機能を開発する必要があります。
上記の6つのポイントに基づいて、研究プロトコルには次の手順が組み込まれています。外れ値検出とクラスター認識分析のタスクは、複合現実スマートグラスを使用して没入型の方法で実行する必要があります (「 材料表」を参照)。そのため、新しいアプリケーションが開発されました。空間音は、精神的な努力を増やすことなく、分析タスクの実行を容易にします。音声機能は、Mixed Reality スマートグラスの開発アプリケーションに使用されるナビゲーションを容易にします (「 資料の表」を参照)。メンタルローテーションテストは、初心者と上級ユーザーを区別するための基礎となるものとします。ストレスレベルはアンケートに基づいて測定されます。次に、パフォーマンスは、(1) ユーザーが分析タスクに要する時間と、(2) 分析タスクに対してユーザーが行ったエラーに基づいて評価されます。複合現実スマートグラスのパフォーマンスは、新しく開発された同等の2Dデスクトップアプリケーションでの同じタスクの達成と比較されます。さらに、皮膚コンダクタンスデバイスを使用して、ストレスの可能な指標として皮膚コンダクタンスレベルを測定します。この測定の結果はさらなる分析の対象であり、この作業では説明しません。著者らは、同じデバイスを使用した別の研究で、追加の考慮事項が必要であることを明らかにしました24。
このプロトコルに基づいて、次の5つの研究質問(RK)に対処します。
RQ1:参加者の空間的想像力は、タスクのパフォーマンスに大きく影響しますか?
RQ2: 時間の経過と共にタスクのパフォーマンスに大きな変化はありますか?
RQ3: 没入型分析ソリューションで空間サウンドを使用すると、タスクのパフォーマンスに大きな変化はありますか?
RQ4:開発された没入型分析は、ユーザーにストレスを感じていますか?
RQ5: 没入型分析ソリューションを使用した方が、2D アプローチと比較してユーザーのパフォーマンスは向上しますか?
図1 は、提示されたプロトコルを2つのスケールに関して要約したものです。これは、開発および使用された対策と、相互作用のレベルに関するそれらの新規性を示しています。相互作用レベルはVR設定の機能を開発する際の重要な側面を構成するため、図1は、この作業で開発されたプロトコル全体の新規性をよりよく示しています。使用される2つの尺度内の側面の評価は主観的ですが、それらの全体的な評価は、現在の関連作業と次の主要な考慮事項に基づいています。 1つの重要な原則は、ユーザーが同調するようになった自然な相互作用のための環境の抽象化の使用を構成します。手元のプロトコルに関しては、点群の視覚化はユーザーにとって直感的であるように思われ、そのような雲のパターンの認識は一般的に管理可能なタスクとして認識されています。別の重要な原則は、アフォーダンスをオーバーレイすることです。これにより、手元のプロトコルで使用される空間音の使用は、検索されたオブジェクトの近接性と相関するため、一例です。著者らは、ほとんどの情報が人間の知覚にとって最も重要な中間ゾーンに位置するように表現を調整することを推奨しています。著者がこの原則を含めなかった理由は、ユーザーが自分で最適な場所を見つけることと、一度に表示するには大きすぎるデータ視覚化空間に自分自身を向けようとすることを奨励するためでした。提示されたアプローチでは、表示される3Dデータの特性についてそれ以上の考慮は行われませんでした。たとえば、ディメンションが時間的であると仮定した場合、散布図が表示される可能性があります。著者らは、この種の視覚化は、インダストリー4.0のコンテキストでは一般的に興味深いと考えています。ただし、適度に小さな視覚化のセットに焦点を当てる必要があります。さらに、以前の出版物はすでにデータの共同分析に焦点を当てています。この研究では、この研究で取り上げられた他の問題の複雑さのために、この研究の質問は除外されました。ここで提示されたセットアップでは、ユーザーは歩き回って没入型空間を探索できます。他のアプローチは、仮想空間を探索するためのコントローラを提供します。本研究では、システムユーザビリティ尺度(SUS)を用いてユーザビリティに着目する。別の以前の出版物は、経済専門家向けの調査を実施しましたが、VRヘッドセットを使用しています。一般的に、そして最も重要なことに、この研究は、この研究で使用されている複合現実スマートグラスのような他のデバイスの限られた視野について不満を持っています( 材料の表を参照)。彼らの調査結果は、VR分野の初心者が分析ツールを効率的に使用できることを示しています。これはこの研究の経験と一致しますが、この作品では初心者はVRやゲームの経験があると分類されていませんでした。ほとんどのVRソリューションとは対照的に、複合現実は実際の環境を追跡できるため、位置に固定されていません。VRアプローチでは、ユーザーをデスクトップから解放するための360°エクスペリエンスのための特別な椅子の使用について言及しています。著者は、知覚の問題が没入型分析のパフォーマンスに影響を与えることを示しています。たとえば、影を使用します。手元の研究では、使用されている複合現実スマートグラス(材料の表を参照)は影を表示できないため、これは実行可能ではありません。回避策は仮想フロアである可能性がありますが、そのような設定はこの調査の範囲外でした。没入型分析の分野の調査研究では、3D 散布図が多次元データの最も一般的な表現の 1 つとして特定されました。 全体として、図 1 に示す側面は、インダストリー 4.0 シナリオの没入型分析のユーザビリティの側面を調査するプロトコルにコンパイルされた現在のものを見つけることができません。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
すべての材料と方法はウルム大学の倫理委員会によって承認され、承認されたガイドラインに従って実施されました。すべての参加者は、書面によるインフォームドコンセントを与えました。
1. 適切な学習環境の整備
注:この調査は、複雑なハードウェア設定に対処するために、制御された環境で実施されました。使用された複合現実スマートグラス( 材料表を参照)と2Dアプリケーション用のラップトップが研究参加者に説明されました。
- 各参加者の前に技術的な解決策を確認してください。デフォルトモードに設定します。アンケートを準備し、参加者の隣に配置します。
- 参加者がユースケースの外れ値検出とクラスター認識のタスクを1回のセッションで解決できるようにします(つまり、平均時間は43分でした)。
- 参加者を歓迎し、研究の目標と全体的な手順を紹介することから研究を開始します。
- 皮膚コンダクタンス測定装置( 材料表を参照)を使用する参加者は、ベースライン測定を受けるために、短い休止段階を順守する必要があります。参加者の半数だけがこのデバイスを使用しました。
- すべての参加者は、実験の開始前に、状態特性不安インベントリ(STAI)アンケート31に記入する必要があります。
- 次に、参加者は、ハイパフォーマーとローパフォーマーを区別するための基礎となるメンタルローテーションテスト( 図4を参照、このテストは空間的想像力を評価しました)を実行し(ハイパフォーマーは上級ユーザーであり、ローパフォーマーは初心者です)、続いて、参加者の空間聴覚能力を測定するための空間サウンドテストを実行する必要があります。
注:メンタルローテーションテスト32 のテストスコアの中央値分割を使用して、低いパフォーマーと高いパフォーマーを区別しました。
- 次に、参加者は、ハイパフォーマーとローパフォーマーを区別するための基礎となるメンタルローテーションテスト( 図4を参照、このテストは空間的想像力を評価しました)を実行し(ハイパフォーマーは上級ユーザーであり、ローパフォーマーは初心者です)、続いて、参加者の空間聴覚能力を測定するための空間サウンドテストを実行する必要があります。
- 参加者をランダムに2つのグループに分けます。外れ値検出またはクラスター認識に関するタスクから開始し、その後、他のユースケースに進みます。クラスター認識タスクでは、参加者の半数は最初に使用した複合現実スマートグラス (「 材料表」を参照) から開始し、次に 2D アプリケーションを使用し、残りの半分は最初に 2D アプリケーションから開始し、次に複合現実スマートグラスを使用し ました (「材料表」を参照)。外れ値検出タスクでは、サウンドサポートを受けるグループをランダムに選択し、グループの他の部分はサウンドサポートを受けません。
- セッションを終了すると、参加者は、状態特性不安インベントリ(STAI)質問票31 に再度回答しなければならず、ならびに自己開発の、および人口統計学的質問票である。
- セッションが完了した後、開発された各アプリケーションによって自動的に記録された生成されたデータをラップトップのストレージに保存します。
2.参加者のための研究プロトコル
- 各参加者の実験を準備します(実験の部屋については 図2 を参照)。デスクトップ PC、使用済みの複合現実スマートグラスを提示し、アンケートを配布します。
- 実験には40〜50分かかり、参加者の半分は事前テスト(研究プロトコルのポイント3〜6を参照)の後に最初に外れ値検出テスト(研究プロトコルのポイント7を参照)で開始され、次にクラスター認識テスト(研究プロトコルのポイント8を参照)が開始され、他のテストはこれら2つのテストも同様にその逆(つまり、 ポイント7の前の研究プロトコルのポイント8)。
- 皮膚コンダクタンス測定を行うかどうかをランダムに決定します。はいの場合は、皮膚コンダクタンス測定装置33 を準備し、装置を装着するように参加者に知らせる。参加者に短い休息段階を要求して、ストレスレベルのベースライン測定を受け取ります。
- 参加者に、状態特性不安インベントリ(STAI)アンケート31 に記入し、実験前に現在知覚されているストレスを測定することを通知するように要求する。
- メンタルローテーションテストを実施します。
- メンタルローテーション能力が評価されていることを参加者に通知し、デスクトップコンピューターの前に案内します。テスト手順について参加者に通知します。シミュレートされた3D空間で異なる位置を持つ類似のオブジェクトを識別する必要があることに注意してください。
- 表示された5つのオブジェクトのうち2つだけが類似していること、およびテスト全体で2分間の猶予があることを参加者に通知します。与えられた2分以内に7つのタスクを達成できることを参加者に通知し、達成されたタスクごとにパフォーマンス測定値が記録されることを伝えます。
- 空間音響能力を評価します。
- 空間音響能力が評価されることを参加者に伝え、デスクトップコンピューターの前に案内します。テスト手順について参加者に通知します。6つのサウンドサンプルを検出する必要があり、それぞれ13秒間再生されることを参加者に説明します。
- 音が聞こえている方向(コンパスの4つの方向と同様に)を検出する必要があることを参加者に通知します。
- 外れ値検出スキルを評価します。
- 参加者に複合現実スマートグラスを装着するように要求します。複合現実スマートグラス用に作成された世界内で外れ値を見つける必要があることを彼らに説明します。
- 外れ値は赤でマークされたポイントであり、他のすべてのポイントは白でマークされていることをさらに通知します。次に、それを検出するには、赤い点に視線を向ける必要があることを説明します。
- さらに、視覚的なヘルプが提供されるだけでなく、環境音が外れ値を見つけるのをサポートすることを参加者に伝えます。参加者に、8つの外れ値タスク、つまり仮想世界内で8回、赤い色のポイントを見つける必要があるという情報を提供します。参加者ごとに、4 つのタスクがサウンドでサポートされ、4 つのタスクがサウンドでサポートされません。参加者ごとに、サウンドサポートされたタスクを開始するかどうかがランダムに選択されます。次に、最初のタスクに応じて、健全なサポートが提供されているかどうかをタスクごとに変更します。
- 各タスクに必要な時間、歩行時間、開始位置との関係で最終的な移動位置がどのように見えるかなど、どの情報を記録するかを参加者に伝えます。最後に、赤でマークされた点が検出されると緑に変わることを参加者に伝えます( 図3を参照)。
- クラスター認識スキルを評価します。
- 最初に複合現実スマートグラスを使用するか、参加者をデスクトップ コンピューターに案内するかを参加者にランダムに決定します。以下では、複合現実設定の手順のみを説明します。参加者が最初にデスクトップ コンピューターから起動する場合、手順は変更された順序で同じであり、音声コマンドを除いて、Mixed Reality ソリューションを使用する場合にのみ提供されます。
- 複合現実を使用する参加者の場合: 複合現実スマートグラスを装着するように参加者に要求します。使用済みの Mixed Reality スマートグラスで作成された世界内のクラスターを見つける方法を参加者に通知します。参加者に、重なり合うクラスターの周りを移動することで区別する必要があることを強調します。
- Mixed Reality を使用する参加者の場合: 音声コマンドを使用して仮想世界内およびクラスター内を移動できることを参加者に説明します。最後に、6つのクラスターを検出する必要があることを参加者に伝えます。
- Mixed Reality を使用している参加者の場合: 使用されている Mixed Reality スマートグラスを削除するように参加者に要求します。参加者をデスクトップコンピュータに案内し、デスクトップコンピュータの画面に表示されているソフトウェアを使用するように指示します。使用されている Mixed Reality スマートグラスに示されているのと同じ種類のクラスターを、デスクトップ コンピューターのソフトウェアを使用して検出する必要があることを通知します (図 7 および 図 8 を参照)。
- 参加者に、状態特性不安インベントリ(STAI)アンケート31、主観的なフィードバックを収集するための自己開発アンケート、およびそれらに関する情報を収集するための人口統計アンケートの3つのアンケートに記入するように要求します。
- 参加者に、最初に装着するよう求められた場合は皮膚コンダクタンス測定装置33 を取り外すよう要請する。
- 参加に感謝の気持ちを言って、参加者を実験から解放します。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
実験のメジャーの設定
外れ値検出タスクでは、時間、パス、角度のパフォーマンス指標が定義されました。測定値については 、図6 を参照してください。
赤でマークされたポイント(つまり、外れ値)が見つかるまでの時間を記録しました。このパフォーマンス指標は、参加者が赤でマークされたポイントを見つけるのに要した時間を示します。時間は、結果では変数 "time" (ミリ秒単位) として示されます。
参加者が赤印のポイントを見つけようとしている間、彼らの歩行経路の長さは決定されました。この計算の基礎は、使用されている複合現実スマートグラス (「 材料表」を参照) が、開始位置に対して相対的な 3D ベクトルとして現在の位置を 60 フレーム/秒のフレーム レートで収集することでした。これに基づいて、参加者が歩いた経路の長さを計算することができます。このパフォーマンス指標は、参加者がたくさん歩いたかどうかを示します。パスは、結果ではパス長として示されます。PathLength に基づいて、さらに 3 つのパフォーマンス測定値 (PathMean、PathVariance、および BoundingBox) が導き出されました。PathMean はフレームあたりのメートル単位の参加者の平均速度を示し、PathVariance は動きの不安定さを示し、BoundingBox は参加者が境界ボックスを集中的に使用したかどうかを示します。後者は、すべての動きの最大位置と最小位置に基づいて決定されます(つまり、歩行位置を頻繁に変更する参加者は、より高いBoundingBox値を示しました)。
測定された最後の値は AngleMean で示され、角度の派生値を構成します。この値は AngleMean で示されます。後者は、現在の位置と参加者の開始位置との間の回転を毎秒60のフレームレートで示します。これに基づいて、フレームあたりの平均回転速度(度単位)が計算されました。この値に基づいて、分散を使用した回転の不規則性が計算され、AngleVariance として示されます。
計算されたパスと角度の値の目的を要約すると、パスはユーザーが多く歩くかどうかを示します。彼らがあまり歩いていない場合は、方向性の欠如を示している可能性があります。角度は、参加者が頭を素早く動かすか突然に動かすかを示す必要があります。彼らが突然の頭の動きを複数回行っている場合、これは再び方向性の欠如を示している可能性があります。
クラスター検出タスクでは、時間とエラーのパフォーマンス指標が定義されました。参加者は、参加者が検出したクラスターの数を報告した時点までの時間を記録しました。このパフォーマンス指標は、参加者がクラスターを見つけるのに要した時間を示します。時間は時間(ミリ秒単位)として示されます。エラーは、バイナリ決定(真/偽)の意味で識別されます。報告されたクラスターの数が正しい (true) か、正しくない (false) かのいずれかです。エラーはエラーで示されます。
状態特性不安インベントリ(STAI)質問書31 の状態バージョンを使用して、状態不安を測定した、状態ストレスに類似した構成物。質問紙は20項目で構成され、研究開始前とその後に配布され、状態不安の変化を評価しました。このアンケートの評価では、すべての肯定的な属性が反転され(たとえば、回答「4」が「1」になります)、すべての回答が最終的なSTAIスコアに合計されます。皮膚コンダクタンスは、皮膚コンダクタンス測定装置( 材料表参照)を用いて無作為に選択された30人の参加者について測定された33。
2つのタスクタイプが達成された後、参加者のフィードバックを求めるために、研究の最後に自己開発のアンケートが配布されました。アンケートを 表1に示す。さらに、すべての参加者の性別、年齢、および教育について尋ねた人口統計学的アンケート。
全体的な研究手順と研究情報
実施された全体的な調査手順を 図9に示します。60人の参加者が研究に参加しました。参加者は主にウルム大学とウルムのソフトウェア会社で採用されました。参加した学生は主にコンピュータサイエンス、心理学、物理学の分野からでした。10人が女性、50人が男性でした。
メンタルローテーションの事前テストに基づいて、31人がローパフォーマーに分類され、29人がハイパフォーマーに分類されました。具体的には、女性7人、男性24人が低パフォーマーに分類され、女性3人、男性26人がハイパフォーマーに分類されました。統計的評価には、3つのソフトウェアツールを使用しました( 材料表を参照)。
度数、パーセンテージ、平均、および標準偏差は、記述統計量として計算されました。低パフォーマーと高パフォーマーは、フィッシャーの正確確率検定と独立サンプルのt検定を使用して、ベースライン人口統計変数で比較されました。RQ1-RQ5については、完全な最尤推定値を有する線形多水準モデルを行った。レベル1は繰り返し評価(外れ値検出またはクラスター認識のいずれか)を表し、レベル2は参加者を表す2つのレベルが含まれていました。パフォーマンス指標(誤差を除く)は、これらのモデルの従属変数でした。RQ 1では、誤差確率に関するフィッシャーの正確確率検定も使用されました。RQ3では、空間音と音なしにおける時間的性能を調査した(音対無音がモデルの予測変数として含まれた)。STAIスコアは、RQ4の従属サンプルのt検定を使用して評価されました。RQ5では、エラー確率に関するMcNemarの検定を使用して、使用されている複合現実スマートグラス(材料の表を参照)に対する2Dアプリケーションの影響を調査しました。すべての統計的検定は両側で行われた。有意値はP<.05に設定されました。
皮膚コンダクタンスの結果は分析されておらず、今後の作業の対象となります。重要なことに、著者らは、同じデバイスを使用した別の研究で、追加の考慮事項が必要であることを明らかにしました24。
メンタルローテーションテストでは、参加者間のメンタルローテーションテストの結果の違いを使用して、パフォーマンスが低い人と高いパフォーマンスを区別しました。空間能力テストでは、すべての参加者が良好なスコアを示したため、全員が空間能力に関してハイパフォーマーに分類されました。
最初に、参加者の重要な結果が要約されます:メンタルローテーションの低パフォーマーと高パフォーマーは、ベースライン変数(性別、年齢、および教育)に差を示さなかった。説明的には、低パフォーマーはハイパフォーマーよりも女性参加者の割合が高く、ハイパフォーマーは低パフォーマーよりも若かった。 表2 は、参加者に関する特徴をまとめたものです。
RQ1の結果については、クラスタ認識タスクでは、2Dアプリケーション(ローパフォーマーで4エラー、ハイパフォーマーで2エラー)と3Dアプローチ(ローパフォーマーで8エラー、ハイパフォーマーで2エラー)で、ローパフォーマーとハイパフォーマーで有意差はありませんでした。外れ値の検出タスクでは、高いパフォーマーは低いパフォーマーよりも大幅に高速でした。さらに、ハイパフォーマーは、タスクを解決するためにより短い歩行距離を必要としました。外れ値のタスクについては、 表3 に詳細な結果をまとめます。
RQ2の結果については、外れ値の検出タスクについてのみ有意な結果が得られました。境界ボックス、パス長、パス分散、パス平均、角度分散、および角度平均は、タスクごとに大幅に増加しました( 表4を参照)。記録された時間は、複合現実スマートグラスを使用してタスクごとに大きく変化しませんでした (「 材料表」を参照)。
RQ3の結果については、空間音に基づいて、参加者は空間音を使用しない場合よりも迅速に外れ値検出ケースのタスクを解決することができました( 表5を参照)。
RQ4の結果については、事前評価時、STAIスコアの平均状態はM = 44.58(SD = 4.67)でした。事後評価では、M = 45.72(SD = 4.43)でした。この変化は統計的有意性を達成しなかった(p = 0.175)。自作質問票の回答の記述統計量を 図10に示します。
RQ5の結果に関しては、複合現実スマートグラス( 材料表を参照)アプローチは、デスクトップコンピューターを使用するよりもクラスター認識時間が大幅に速いことを示しています(Table 6を参照)。ただし、複合現実スマートグラス (「 材料表」を参照) を使用する場合の速度の利点は、かなり小さかった (つまり、ミリ秒の範囲)。
最後に、この研究のデータは36で見つけることができることに注意してください。
図1:相互作用と新規性のスケールで調査された側面。 この図は、使用されたメジャーと、相互作用レベルに関するそれらの新規性を示しています。 この図の拡大版を表示するには、ここをクリックしてください。
図2:自習室の写真。 自習室の2枚の写真が提示されています。 この図の拡大版を表示するには、ここをクリックしてください。
図3:検出された外れ値。 スクリーンショットは、検出された外れ値を示しています。 この図の拡大版を表示するには、ここをクリックしてください。
図4:メンタルローテーションテストの例。 スクリーンショットは、参加者が直面した3Dオブジェクトを示しています。つまり、同じオブジェクト構造を持つ異なる位置にある5つのオブジェクトのうち2つが検出される必要がありました。この図は、この作品35に基づいて修正されています。 この図の拡大版を表示するには、ここをクリックしてください。
図5:空間能力テストの設定。 (A)には、タスクBackのオーディオ構成が示され、(B)には、テストの概略ユーザーインターフェイスが示されています。この図は、この作品35に基づいて修正されています。 この図の拡大版を表示するには、ここをクリックしてください。
図6:タスク外れ値の検出の設定の図。 3つの主要な側面が示されています。まず、外れ値を示します。次に、パフォーマンス指標を示します。第三に、サウンドサポートがどのように計算されたかが示されています。この図は、この作品35に基づいて修正されています。この図の拡大版を表示するには、ここをクリックしてください。
図7:タスククラスタ認識の設定の図。 シナリオA〜Cを考慮してください より良い印象のために、参加者はクラスターを正しく識別するために視線を変える必要がありました。この図は、この作品35に基づいて修正されています。この図の拡大版を表示するには、ここをクリックしてください。
図8:Matlabでのタスククラスター認識の設定の図。 この図は、2D デスクトップ アプリケーションの基礎となった Matlab で提供されるクラスターを示しています。 この図の拡大版を表示するには、ここをクリックしてください。
図9:一目でわかる全体的な学習手順。 この図は、参加者が達成しなければならなかったステップを時系列で示しています。この図は、この作品35に基づいて修正されています。 この図の拡大版を表示するには、ここをクリックしてください。
図10:自己開発アンケートの結果(表1参照)。 結果は箱ひげ図を使用して表示されます。この図は、この作品35に基づいて修正されています。 この図の拡大版を表示するには、ここをクリックしてください。
#Question | 質問 | ターゲット | 規模 | 意味 |
1 | メガネをかけた時のストレスはどれくらいありましたか? | 佩用 | 1-10 | 10は高いことを意味し、1は低いことを意味します |
2 | 外れ値のタスクはどの程度ストレスがかかりましたか? | 外れ 値 | 1-10 | 10は高いことを意味し、1は低いことを意味します |
3 | 空間音はどのくらいストレスを感じましたか? | 音 | 1-10 | 10は高いことを意味し、1は低いことを意味します |
4 | Mixed Reality でクラスターを見つけるタスクはどの程度ストレスがかかりましたか? | クラスター MR | 1-10 | 10は高いことを意味し、1は低いことを意味します |
5 | デスクトップアプローチでクラスターを見つけるタスクはどのくらいストレスがかかりましたか? | クラスタ DT | 1-10 | 10は高いことを意味し、1は低いことを意味します |
6 | 音声コマンドの使用はどれほどストレスがかかりましたか? | 声 | 1-10 | 10は高いことを意味し、1は低いことを意味します |
7 | 空間音に支えられていると感じましたか? | 音 | 1-10 | 10は高いことを意味し、1は低いことを意味します |
表1:ユーザーフィードバックのための自社開発アンケート。 それは7つの質問で構成されています。各質問について、参加者は1〜10のスケール内の値を決定する必要があり、1は低い値(つまり、悪いフィードバック)を意味し、10は高い値(つまり、非常に良いフィードバック)を意味します。
変数 | 低いパフォーマー(n = 31) | ハイパフォーマー | p値 |
(n=31) | (n=29) | ||
性別、n(%) | |||
女性 | 7 (23%) | 3 (10%) | |
男性 | 24 (77%) | 26 (90%) | .302 (a) |
年齢カテゴリ、n(%) | |||
<25 | 1 (3%) | 5 (17%) | |
25-35 | 27 (87%) | 21 (72%) | |
36-45 | 0 (0%) | 2 (7%) | |
46-55 | 1 (3%) | 0 (0%) | |
>55 | 2 (6%) | 1 (3%) | .099 (a) |
最高教育、n(%) | |||
高等学校 | 3 (10%) | 5 (17%) | |
学士 | 7 (23%) | 6 (21%) | |
主人 | 21 (68%) | 18 (62%) | .692 (a) |
メンタルローテーションテスト、平均(SD) | |||
正解 | 3.03 (1.40) | 5.31 (0.76) | .001 (b) |
間違った答え | 2.19 (1.47) | 1.21 (0.56) | .000 (b) |
空間聴力検査、平均(SD) © | |||
正解 | 4.39 (1.09) | 4.31 (1.00) | .467 (b) |
間違った答え | 1.61 (1.09) | 1.69 (1.00) | .940 (b) |
a:フィッシャーの正確確率検定 | |||
b:2標本t検定 | |||
c: SD標準偏差 |
表2:参加者のサンプルの説明と、ベースライン変数の成績が低い人と高い人の比較。 この表は、性別、年齢、教育に関する 3 つの人口統計学的質問のデータを示しています。さらに、2つの事前テストの結果が表示されます。
変数 | 見積もる | SE (a) | 結果 |
タスク全体のパフォーマンスが低いバウンディングボックス | 2,224 | .438 | t(60.00) = 5.08;頁<.001 |
タスク間でハイパフォーマーを実現するためのバウンディングボックスの変更 | +.131 | .630 | t(60.00) = .21;p=.836 |
タスク全体でパフォーマンスが低い時間 | 20,919 | 1,045 | t(60.00) = 20.02;頁<.001 |
タスク間でのハイパフォーマーの時間の変更 | -3,863 | 1,503 | t(60.00) = -2.57;p=.013 |
タスク全体のパフォーマンスが低いパス長 | 5,637 | .613 | t(60.00) = 9.19;頁<.001 |
タスク間のハイパフォーマーのためのパス長の変更 | -1,624 | .882 | t(60.00) = -1.84;p=.071 |
タスク全体のパフォーマンスが低い場合のパス差異 | 4.3E-4 | 4.7E-5 | t(65.15) = 9.25;頁<.001 |
タスク間のハイパフォーマーのためのパス分散の変更 | +4.3E-6 | 6.7E-5 | t(65.15) = .063;p=.950 |
タスク全体のパフォーマンスが低い場合のパス平均 | .0047 | 5.3E-4 | t(60.00) = 8.697;頁<.001 |
タスク間でのハイパフォーマーのためのパス平均の変更 | +3.8E-5 | 7.7E-4 | t(60.00) = .05;p=.960 |
タスク全体のパフォーマンスが低い場合の角度分散 | .0012 | 7.3E-5 | t(85.70) = 16.15;頁<.001 |
タスク間のハイパフォーマーのための角度分散の変更 | △2.7E-5 | 1.0E-4 | t(85.70) = -.26;p=.796 |
タスク全体のパフォーマンスが低い場合の角度平均 | .015 | .001 | t(60.00) = 14.27;頁<.001 |
タスク間でのハイパフォーマーのための角度平均の変更 | △3.0E-4 | 1.5E-3 | t(60.00) = -.20;p=.842 |
(a) SE = 標準誤差 |
表3:RQ1のマルチレベルモデル(スマートグラスを使用した外れ値検出)の結果。 この表は、外れ値の検出タスク(すべてのパフォーマンス指標)のRQ1の統計結果を示しています。
変数 | 見積もる | SE (a) | 結果 |
最初のタスクでのバウンディングボックス | .984 | .392 | t(138.12) = 2.51;p=.013 |
タスクからタスクへのバウンディングボックスの変更 | +.373 | .067 | t(420.00) = 5.59;頁<.001 |
最初のタスクの時間 | 19,431 | 1,283 | t(302.08) = 15.11;頁<.001 |
タスクからタスクへの時間の変更 | -.108 | .286 | t(420.00) = -.37;p=.709 |
最初のタスクでのパス長 | 3,903 | .646 | t(214.81) = 6.05;頁<.001 |
タスクからタスクへのパス長の変更 | +.271 | .131 | t(420.00) = 2.06;p=.040 |
最初のタスクでのパス分散 | 3.1E-4 | 3.7E-5 | t(117.77) = 8.43;頁<.001 |
タスク間のパス分散の変更 | +3.5E-5 | 4.5E-6 | t(455.00) = 7.90;頁<.001 |
最初のタスクでのパス平均 | .0033 | 4.2E-4 | t(88.98) = 7.66;頁<.001 |
タスクからタスクへのパス平均の変更 | +4.1E-4 | 5.2E-5 | t(420.00) = 7.81;頁<.001 |
最初のタスクでの角度分散 | .001 | 5.7E-5 | t(129.86) = 17.92;頁<.001 |
タスク間の角度分散の変更 | +4.1E-5 | 6.5E-6 | t(541.75) = 6.34;頁<.001 |
最初のタスクでの角度平均 | .0127 | 8.1E-4 | t(82.17) = 15.52;頁<.001 |
タスクからタスクへの角度平均の変更 | +6.1E-4 | 9.0E-5 | t(420.00) = 6.86;頁<.001 |
(a) SE = 標準誤差 |
表4:RQ2のマルチレベルモデルの結果(スマートグラスを使用した外れ値検出)。 この表は、外れ値の検出タスク(すべてのパフォーマンス指標)のRQ2の統計結果を示しています。
変数 | 見積もる | SE (a) | 結果 |
タスク間で音が出ないバウンディングボックス | 2,459 | .352 | t(93.26) = 6.98;頁<.001 |
タスク間のサウンドによるバウンディングボックスの変更 | -.344 | .316 | t(420.00) = -1.09;p=.277 |
タスク間で音のない時間 | 20,550 | 1,030 | t(161.17) = 19.94;頁<.001 |
タスク間の音による時間の変更 | -2,996 | 1,319 | t(420.00) = -2.27;p=.024 |
タスク間で音のないパス長 | 5,193 | .545 | t(121.81) = 9.54;頁<.001 |
タスク間のサウンドによるパス長の変更 | -.682 | .604 | t(420.00) = -1.13;p=.260 |
タスク間の音のないパス分散 | .0004 | 3.5E-5 | t(79.74) = 12.110;頁<.001 |
タスク間のサウンドによるパス分散の変更 | +1.3E-5 | 2.2E-5 | t(429.20) = .592;p=.554 |
タスク間で音のないパス平均 | .005 | 4.0E-4 | t(73.66) = 11.35;頁<.001 |
タスク間のサウンドによるパス平均の変更 | +1.4E-4 | 2.5E-4 | t(420.00) = .56;p=.575 |
タスク間の音のない角度分散 | .0012 | 5.4E-5 | t(101.32) = 21.00;頁<.001 |
タスク間の音による角度分散の変更 | +3.3E-5 | 3.1E-5 | t(648.56) = 1.07;p=.284 |
タスク間で音が出ない角度平均 | .0145 | 7.8E-4 | t(70.17) = 18.51;頁<.001 |
タスク間のサウンドによる角度平均の変更 | +6.0E-4 | 4.3E-4 | t(420.00) = 1.39;p=.166 |
(a) SE = 標準誤差 |
表5:RQ3のマルチレベルモデル(スマートグラスを使用した外れ値検出)の結果。 この表は、外れ値の検出タスク(すべてのパフォーマンス指標)のRQ3の統計結果を示しています。
変数 | 見積もる | SE (a) | 結果 |
タスク間でデスクトップを使用する時間 | 10,536 | .228 | t(156.43) = 46.120;頁<.001 |
タスク間での Hololens を使用した時間の変更 | -.631 | .286 | t(660.00) = -2.206;p=.028 |
(a) SE = 標準誤差 |
表6:RQ5のマルチレベルモデル(スマートグラスを用いたクラスタ認識)の結果。 この表は、クラスタ認識タスク(すべてのパフォーマンス指標)のRQ5の統計結果を示しています。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
開発された複合現実スマートグラス( 材料表を参照)アプリケーションに関しては、2つの側面が特に有益でした。外れ値の検出タスクに空間音を使用することは、一方では肯定的に認識されました(RQ3の結果を参照)。一方、音声コマンドの使用も肯定的に認識されていました ( 図 10 を参照)。
研究参加者に関しては、募集された参加者の数は実証研究としてはかなり少なかったが、その数は他の多くの研究と比較して競争的である。それにもかかわらず、示されたプロトコルに基づいて、より大規模な研究が計画されています。しかし、60人の参加者の実現可能性を示したため、より多くの参加者がそれ以上の課題を明らかにしないことが期待されています。参加者の選択は(参加者が来ている分野の意味で)より広く、パフォーマーの高い人と低い人を区別するためのベースライン変数の数が多くなる可能性があることが議論されました。一方、これらの側面がより大きな数値に変更された場合、プロトコル自体を大幅に変更する必要はありません。
一般に、明らかにされた制限は、この作業に示されているプロトコルに基づく研究の実施に影響を与えず、人口統計学的アンケートの募集と使用される質問にのみ影響します。ただし、この研究の1つの制限は、1人の参加者の実験を完了するのに必要な全体的な時間が高いことです。一方、参加者が装着感に不満を抱いていない、またはテストデバイスの負担が大きすぎるなど、1人の参加者に対して全体的なプロトコルを実施する時間は許容できると考えられます。最後に、将来の実験では、いくつかの側面をプロトコルに追加する必要があります。特に、外れ値検出タスクは、2D デスクトップ アプリケーションでも評価する必要があります。さらに、使用されている複合現実スマートグラス (「 材料表」を参照) などの他のハードウェア デバイスも評価する必要があります。ただし、このプロトコルは広い意味で有益であるように思われます。
提示されたプロトコルについて、以下の主要な洞察が得られました。まず、複合現実ソリューションの没入型分析を評価する可能性を示しました。具体的には、使用されている複合現実スマートグラス (「 材料表」を参照) は、インダストリー 4.0 シナリオの複合現実アプリケーションで没入型分析を評価する可能性を明らかにしました。次に、開発された複合現実スマートグラス (「 部品表」を参照) アプリケーションと 2D デスクトップ アプリケーションの比較は、複合現実ソリューションが VR 技術を使用しないアプリケーションよりも優れているかどうかを調査するのに役立ちました。第三に、生理学的パラメータまたはバイタルサインの測定は、そのような実験で常に考慮されるべきです。本研究では、質問票と皮膚コンダクタンス装置を用いて応力を測定した。後者は技術的には適切に機能しましたが、著者らは同じデバイスを使用した別の研究で、追加の考慮事項が必要であることを明らかにしました24。第四に、空間能力テストと成績の高い人と低い人の分離が有利でした。要約すると、提示されたプロトコルは一見複雑に見えますが( 図9を参照)、技術的にはその有用性を示しました。結果に関しては、その有用性も明らかになりました。
外れ値の検出とクラスターの認識は、インダストリー4.0シナリオにおける多くの高次元データセットの評価における典型的なタスクであるため、実証研究での使用はこの研究分野の代表です。プロトコルは、これらのシナリオが没入型分析のユーザビリティ調査にうまく統合できることを示しました。したがって、このコンテキストの他の研究には、使用される設定を推奨できます。
示された調査の結果は、利用されているスマートグラス( 材料の表を参照)に基づく複合現実ソリューションの使用がインダストリー4.0シナリオの没入型分析を調査するのに役立つことを示したため、このプロトコルは、特定のコンテキストで他のユーザビリティ調査にも使用される可能性があります。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
著者は開示するものは何もありません。
Acknowledgments
著者は何も認めていません。
Materials
Name | Company | Catalog Number | Comments |
edaMove | movisens | ||
HoloLens | Microsoft | ||
Matlab R2017a | MathWorks | ||
RPY2 | GNU General Public License v2 or later (GPLv2+) (GPLv2+) | https://pypi.org/project/rpy2/ | |
SPSS 25.0 | IBM |
References
- Korinth, M., Sommer-Dittrich, T., Reichert, M., Pryss, R. Design and Evaluation of a Virtual Reality-Based Car Configuration Concept. Science and Information Conference. , Springer, Cham. 169-189 (2019).
- Whalen, T. E., Noël, S., Stewart, J. Measuring the human side of virtual reality. IEEE International Symposium on Virtual Environments, Human-Computer Interfaces and Measurement Systems, 2003. , IEEE. 8-12 (2003).
- Martens, M. A., et al. It feels real: physiological responses to a stressful virtual reality environment and its impact on working memory. Journal of Psychopharmacology. 33 (10), 1264-1273 (2019).
- Keim, D. A. Information visualization and visual data mining. IEEE transactions on Visualization and Computer Graphics. 8 (1), 1-8 (2002).
- Dwyer, T., et al. Immersive analytics: An introduction. Immersive analytics. , Springer, Cham. 1-23 (2018).
- Moloney, J., Spehar, B., Globa, A., Wang, R. The affordance of virtual reality to enable the sensory representation of multi-dimensional data for immersive analytics: from experience to insight. Journal of Big Data. 5 (1), 53 (2018).
- Davis, F. D., Riedl, R., Vom Brocke, J., Léger, P. M., Randolph, A. B. Information Systems and Neuroscience. , Springer. (2018).
- Huckins, J. F., et al. Fusing mobile phone sensing and brain imaging to assess depression in college students. Frontiers in Neuroscience. 13, 248 (2019).
- Preece, J., et al. Human-computer interaction. , Addison-Wesley Longman Ltd. (1994).
- Card, S. K. The psychology of human-computer interaction. , CRC Press. (2018).
- Pelayo, S., Senathirajah, Y. Human factors and sociotechnical issues. Yearbook of Medical Informatics. 28 (01), 078-080 (2019).
- Bangor, A., Kortum, P., Miller, J. Determining what individual SUS scores mean: adding an adjective rating scale. Journal of Usability Studies. 4 (3), 114-123 (2009).
- Krahmer, E., Ummelen, N. Thinking about thinking aloud: A comparison of two verbal protocols for usability testing. IEEE Transactions on Professional Communication. 47 (2), 105-117 (2004).
- Hornbæk, K. Current practice in measuring usability: Challenges to usability studies and research. International Journal of Human-Computer Studies. 64 (2), 79-102 (2006).
- Peppa, V., Lysikatos, S., Metaxas, G. Human-Computer interaction and usability testing: Application adoption on B2C websites. Global Journal of Engineering Education. 14 (1), 112-118 (2012).
- Alwashmi, M. F., Hawboldt, J., Davis, E., Fetters, M. D. The iterative convergent design for mobile health usability testing: mixed-methods approach. JMIR mHealth and uHealth. 7 (4), 11656 (2019).
- System Usability Scale (SUS). Assistant Secretary for Public Affairs. , Available from: https://www.hhs.gov/about/agencies/aspa/how-to-and-tools/methods/system-usability-scale.html (2013).
- Fang, Y. M., Lin, C. The Usability Testing of VR Interface for Tourism Apps. Applied Sciences. 9 (16), 3215 (2019).
- Pryss, R., et al. Exploring the Time Trend of Stress Levels While Using the Crowdsensing Mobile Health Platform, TrackYourStress, and the Influence of Perceived Stress Reactivity: Ecological Momentary Assessment Pilot Study. JMIR mHealth and uHealth. 7 (10), 13978 (2019).
- Zugal, S., et al. Investigating expressiveness and understandability of hierarchy in declarative business process models. Software & Systems Modeling. 14 (3), 1081-1103 (2015).
- Schobel, J., et al. Learnability of a configurator empowering end users to create mobile data collection instruments: usability study. JMIR mHealth and uHealth. 6 (6), 148 (2018).
- Schobel, J., Probst, T., Reichert, M., Schickler, M., Pryss, R. Enabling Sophisticated Lifecycle Support for Mobile Healthcare Data Collection Applications. IEEE Access. 7, 61204-61217 (2019).
- Hoppenstedt, B., et al. Dimensionality Reduction and Subspace Clustering in Mixed Reality for Condition Monitoring of High-Dimensional Production Data. Sensors. 19 (18), 3903 (2019).
- Winter, M., Pryss, R., Probst, T., Reichert, M. Towards the Applicability of Measuring the Electrodermal Activity in the Context of Process Model Comprehension: Feasibility Study. Sensors. 20, 4561 (2020).
- Butscher, S., Hubenschmid, S., Müller, J., Fuchs, J., Reiterer, H. Clusters, trends, and outliers: How immersive technologies can facilitate the collaborative analysis of multidimensional data. Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. , 1-12 (2018).
- Wagner Filho, J. A., Rey, M. F., Freitas, C. M. D. S., Nedel, L. Immersive analytics of dimensionally-reduced data scatterplots. 2nd Workshop on Immersive Analytics. , (2017).
- Batch, A., et al. There is no spoon: Evaluating performance, space use, and presence with expert domain users in immersive analytics. IEEE Transactions on Visualization and Computer Graphics. 26 (1), 536-546 (2019).
- Cliquet, G., Perreira, M., Picarougne, F., Prié, Y., Vigier, T. Towards hmd-based immersive analytics. HAL. , Available from: https://hal.archives-ouvertes.fr/hal-01631306 (2017).
- Luboschik, M., Berger, P., Staadt, O. On spatial perception issues in augmented reality based immersive analytics. Proceedings of the 2016 ACM Companion on Interactive Surfaces and Spaces. , 47-53 (2016).
- Fonnet, A., Prié, Y.
Survey of Immersive Analytics. IEEE Transactions on Visualization and Computer. , (2019). - Spielberger, C. D., Gorsuch, R. L., Lushene, R. E. STAI Manual for the Stait-Trait Anxiety Inventory (self-evaluation questionnaire). Consulting Psychologist. 22, Palo Alto, CA, USA. 1-24 (1970).
- Vandenberg, S. G., Kuse, A. R. Mental rotations, a group test of three-dimensional spatial visualization. Perceptual Motor Skills. 47 (2), 599-604 (1978).
- Härtel, S., Gnam, J. P., Löffler, S., Bös, K. Estimation of energy expenditure using accelerometers and activity-based energy models-Validation of a new device. European Review of Aging and Physical Activity. 8 (2), 109-114 (2011).
- Gautier, L. RPY2: A Simple and Efficient Access to R from Python. , Available from: https://sourceforge.net/projects/rpy/ (2020).
- Hoppenstedt, B., et al. Applicability of immersive analytics in mixed reality: Usability study. IEEE Access. 7, 71921-71932 (2019).
- Hoppenstedt, B. Applicability of Immersive Analytics in Mixed Reality: Usability Study. IEEE Dataport. , (2019).