視線追跡データによる対話型仮想オブジェクトの回転の3次元マッピング

Summary

私たちは、インタラクティブな空間タスクからの定量的なプロセスデータを記録し、これらの回転データを視線追跡データでマッピングするための、シンプルでカスタマイズ可能で効率的な方法を開発しました。

Abstract

私たちは、3次元(3D)仮想オブジェクトと人間の相互作用をリアルタイムに記録する方法を提示します。このアプローチは、操作されたオブジェクトの回転データをアイトラッキングなどの行動手段と関連付けて、根底にある認知プロセスについてより適切に推論することで構成されています。

このタスクは、同じ3Dオブジェクト(分子)の2つの同一モデルを表示し、コンピューター画面に表示することで構成されます:回転するインタラクティブなオブジェクト(iObj)と静的なターゲットオブジェクト(tObj)。参加者は、マウスを使用して iObj を回転させ、その向きが tObj と同じであると考えるまで回転させる必要があります。コンピュータは、すべてのインタラクションデータをリアルタイムで追跡します。参加者の視線データもアイトラッカーを使用して記録されます。測定周波数は、コンピューターで10 Hz、アイトラッカーで60 Hzです。

tObj に対する iObj の向きデータは、回転四元数で記録されます。視線データは iObj の向きに同期され、この同じシステムを使用して参照されます。この方法により、iObjおよびtObjを使用した人間の相互作用プロセスの次の視覚化を取得できます:(1)他の時間依存データと同期した角度視差。(2)「回転のボール」と呼ぶことにしたものの内部の3D回転軌道。(3)3D固定ヒートマップ。プロトコルのすべてのステップは、GNU OctaveやJmolなどのフリーソフトウェアを使用しており、すべてのスクリプトは補助資料として利用可能です。

このアプローチにより、到達した結果だけでなく、精神的または物理的な回転を含む課題解決プロセスの詳細な定量的研究を行うことができます。3Dモデルの各部分が参加者にとって課題解決にどれほど重要であるかを正確に測定することができ、その結果、モデルがオブジェクトの特性、個人の認知能力、ヒューマンマシンインターフェースの特性などの関連変数に関連づけられます。

Introduction

メンタルローテーション(MR)は、個人が精神的にオブジェクトを操作および回転することを可能にする認知能力であり、オブジェクトの特徴と空間的関係の理解を深めます。これは視空間能力の1つであり、1890年に早くも研究された基本的な認知グループ^です1。視空間能力は、遺伝的要因と環境要因の両方によって影響を受ける個人の認知レパートリーの重要な要素です2,3,4,5。視空間能力への関心は、老化⁶と発達⁷、科学、技術、工学、数学(STEM)^8,9、創造性¹⁰、進化形質¹¹などの主要な科目におけるその重要性の証拠が積み重なっているため、20世紀を通じて高まってきました。

MRの現代的な考え方は、1971年にシェパードとメッツラー(SM)によって発表された先駆的な研究に由来しています¹²。彼らは、一連の「同じまたは異なる」タスクを使用してクロノメトリック法を考案し、抽象的な3Dオブジェクトの2つの投影を並べて表示しました。参加者は、ある軸上でオブジェクトを精神的に回転させ、それらの投影が描かれているのと同じオブジェクトが異なる回転をしたオブジェクトか、または異なるオブジェクトを示しているかを決定する必要がありました。この研究では、同じオブジェクトの表現間の応答時間(RT)と角度視差(AD)との間に正の線形相関があることが明らかになりました。この相関関係は、角度視差効果 (ADE) と呼ばれます。ADEはMRの行動症状と見なされており、その後のいくつかの影響力のある研究で遍在するようになりました13,14,15,16,17,18,19,20,21,22,23,24,25.SM研究で採用された3Dオブジェクトは、ベル研究所²⁶のコンピューターグラフのパイオニアであるマイケル・ノルによって生成された10個の連続した立方体で構成されていました。これらはSM数値と呼ばれ、MR研究で広く使用されています。

シェパードとメッツラーの独創的な仕事では、2つの進歩が非常に重要でした。まず、MR評価の分野における貢献について考えます。1978年、ヴァンダーバーグと久世²⁷は、SMの「同一または異なる」数値に基づく20項目の鉛筆と紙の心理測定テストを開発しました。各テスト項目は、ターゲット刺激を示します。参加者は、4つの刺激から選択しなければならず、どれが標的刺激に描かれているのと同じ物体を表し、どれがそうでないか。VKMRTは、MR能力と、性差^{6、21、24、28、29、30}、老化と発達^6、31、32、学業成績⁸など、他のさまざまな要因との相関関係を調査するために使用されてきた^、33、音楽とスポーツのスキル³⁴。1995年、PetersらはVKMRT^35,36の数値を再描画した研究を発表しました。同様に、「同一または異なる」タスク設計に続いて、MRプロセスを調査し、MR能力を評価するために、コンピュータ生成刺激の様々な他のライブラリが採用されてきた(元のSM刺激19,22,23,37,38の3Dバージョン、SM図25,39,40を模倣した人体、2D回転のための平坦なポリゴン^41、42、解剖学、および臓器⁴³、有機形状⁴⁴、分子^45,46、とりわけ²¹)。1976⁴⁷年にGuayによって提案されたPurdue Spatial Visualization Test(PSVT)も関連しています。これには、MR (PSVT:R) を含む一連のテストが含まれます。VKMRT とは異なる刺激を使用して、PSVT:R では、参加者はモデル刺激の回転操作を特定し、それを別の刺激に精神的に適用する必要があります。PSVT:Rは、特にSTEMの達成におけるMRの役割を調査する研究でも広く使用されています48,49,50。

シェパードとメッツラーの独創的な研究で非常に重要な2番目の進歩は、特に視線追跡デバイスの使用によるMRプロセスの理解への貢献です。1976年、ジャストとカーペン^ター14は、アナログビデオベースの視線追跡装置を使用して、シェパードとメッツラーのADE実験に基づく研究を行った。サッカード眼球運動とRTに関する結果から、彼らは3つのフェーズで構成されるMRプロセスのモデルを提案しました:1)図の類似部分が認識される探索フェーズ。2)識別された部品の1つが精神的に回転する変換および比較段階。3)数値が同じかどうかが決定される確認フェーズ。フェーズは、決定を下すことができるまで再帰的に繰り返されます。各ステップは、観察されたADEと密接な関係にある特定のサッカードおよび固定眼球運動パターンに対応しています。このように、目の活動をクロノメトリックデータに関連付けることにより、JustとCarpenterはMRプロセスの研究に認知的特徴を提供しました。今日までに、このモデルは、適応はあるものの、いくつかの研究で採用されています15,42,46,51,52,53。

このトラックに続いて、行動18,19,22,23,25,34,40,54,55および脳活動20,22,56,57を監視するいくつかの研究が進行中です刺激回転中の機能を行った。彼らの発見は、MRと運動プロセスの間の協力的な役割を示しています。さらに、MRを含む問題解決戦略を個人差15,41,46,51,58に関連して調査することへの関心が高まっています。

全体として、MRプロセスの理解を目的とした研究のデザインは、参加者にMR操作を実行するように要求する視覚刺激を伴うタスクを提示することに基づいていると考えることができます。この反応が刺激の回転を可能にする場合、それはしばしば物理的回転(PR)と呼ばれます。各研究の特定の目的に応じて、MRとPRのデータ取得と分析にさまざまな戦略とデバイスが採用されています。タスク刺激提示ステップでは、刺激のタイプ(すなわち、前に引用した例)を変更することが可能である。投影(従来のディスプレイ^{22、23、25、29、40、41、59}、ならびにステレオスコープ¹⁹、仮想⁶⁰、および混合⁴³の現実環境におけるコンピュータ生成画像)。そして、刺激の双方向性(静止画像12,27,36、アニメーション⁶¹、およびインタラクティブな仮想オブジェクト19,22,23,43,53,59)。

MRは通常、RT(ADE)の測定値、ならびに眼および脳の活動25,46,62から推測されます。眼活動は、サッカード運動および凝視14,15,42,51,52,54,58,60、ならびに瞳孔測定⁴⁰からなる視線追跡データを用いて測定される。RTデータは、典型的には、^レバー13、ボタンおよびスイッチ^14、53、ペダル⁵³、ロータリーノブ¹⁹、ジョイスティック³⁷、キーボード⁶¹およびマウス^29、58、60、駆動輪⁵³、慣性センサ^22、23、タッチスクリーン^52、59などの種々の装置を操作している間に記録された運動応答データから生じる、およびマイク²²。PRを測定するために、RTに加えて、研究デザインには、参加者がMRタスク^22,23,52,53を実行している間のインタラクティブ刺激の手動回転の記録も含まれます。

1998年、WohlschlägerとWohlschläger¹⁹ は、ノブで操作するインタラクティブな仮想SM刺激による「同一または異なる」タスクを使用し、タスクごとに回転を1軸に制限しました。彼らは、RTとタスク中に実行された身体的回転の累積記録を測定しました。インタラクティブ刺激が実際に回転する場合とない場合の状況を比較した結果、MRとPRは、想像上の回転と実際に実行される回転の両方について共通のプロセスを共有していると結論付けました。

2014年には、仮想インタラクティブ刺激^22,23を用いた同じタイプのタスクを用いて2^つの研究が実施された。しかし、物体は3D空間で動きを捉える慣性センサーで操作されていました。どちらの場合も、RTに加えて、回転軌道、つまりタスク中の参照刺激と対話型刺激の間の回転差の進化が記録されました。これらの軌跡から、累積情報(つまり、四元数単位での回転の総数)と解法戦略に関する詳細な情報の両方を抽出することができました。Adamsら²³は、MRとPRの間の協力効果を研究しました。RTに加えて、彼らは回転軌道の積分を精度と解像度の客観性のパラメータとして使用しました。曲線プロファイルは、3ステップのモデル⁶³(計画、主回転、微調整)に従って解釈されました。この結果は、MRとPRが必ずしも単一の共通の因子を持っているわけではないことを示しています。Gardony et ^al.22 は、RT、精度、およびリアルタイム回転に関するデータを収集しました。MRとPRの関係性を確認するとともに、回転軌跡の解析により、参加者が数字が違うかどうかがわかるまで操作していたことが明らかになりました。それらが同じ場合、参加者はそれらが同じように見えるまでそれらを回転させます。

この戦略を継続し、2018年にWetzelとBertel⁵² は、タッチスクリーンタブレットをインターフェースとして使用して、「同じまたは異なる」タスクでインタラクティブなSMフィギュアも使用しました。さらに、視線追跡装置を用いて、MR課題の解決に関与する認知負荷のパラメータとして、凝視時間とサッカード振幅の累積データを取得しました。著者らは、MRとPRの関係と課題解決プロセスに関して、上記の先行研究を確認した。しかし、この研究では、彼らは刺激に対して固視マッピングとサッカードのデータを使用しませんでした。

仮想3Dオブジェクト上に視線追跡データをマッピングするための方法論的アプローチは、一般的に仮想環境における視覚的注意に関連する要因を研究することに関心のある研究者によって提案され、絶えず改善されてきた⁶⁴。手頃な価格で同様の視線追跡デバイスを使用しているにもかかわらず、これらの方法は、前述のようなインタラクティブな3Dオブジェクトを使用したメンタルローテーション研究で採用されている実験レパートリーに効果的に統合されていないようです。逆に、インタラクティブな3Dオブジェクト上の凝視とサッカード運動データのリアルタイムマッピングを報告した文献には、研究は見つかりませんでした。目の活動データと回転軌道を簡単に統合する便利な方法はないようです。本研究では、このギャップを埋めることに貢献することを目指しています。データ集録からグラフィカルな出力生成まで、手順を詳しく説明します。

この論文では、仮想のインタラクティブな3Dオブジェクトを使用した精神的な回転プロセスを研究する方法について詳しく説明します。次の進歩が強調表示されています。まず、3D仮想モデルとのインタラクションセッション中に、定量的な行動運動(コンピューターインターフェースを介した手動の物体回転)と眼球(視線追跡)データの収集を統合します。次に、視覚的なタスク設計、データ取得、記録、および処理に必要なのは、従来のコンピューター機器と視線追跡デバイスのみです。第3に、角度視差、物理的回転、四元数回転軌道、3D仮想オブジェクト上の視線追跡データのヒットマッピングなど、データ分析を容易にするグラフィック出力を簡単に生成できます。最後に、この方法に必要なのはフリーソフトウェアだけです。開発されたすべてのコードとスクリプトは無料で利用できます(https://github.com/rodrigocnstest/rodrigocnstest.github.io)。

Protocol

1. データ収集ツールの準備

1. オンライン データ収集を設定します (オプション)。
   注: この手順では、プロジェクト コードと作業 Web ページのカスタマイズ可能なクローンを設定する方法について説明します ( 補足ファイル1).この手順は、https://pages.github.com/ と https://github.com/jamiewilson/form-to-google-sheets で提供されているチュートリアルから抜粋したものです。ユーザーがデータ処理方法のみに関心があり、データ記録には関心がない場合は、Webページ https://rodrigocnstest.github.io/iRT_JoVE.html を一緒に使用できます。補足表S1 とリポジトリ ファイルを https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave に表示し、手順 1.1、1.2、およびそのサブステップをスキップします。
   1. GitHub (https://github.com/) にサインインします。
   2. 元の GitHub ページ リポジトリの公開クローンを作成します。
      1. アカウントにログインした状態で、https://github.com から リポジトリをインポート をクリックします。
      2. [ 古いリポジトリのクローン URL] フィールドで、URL https://github.com/rodrigocns/rodrigocns_JoVE を [リポジトリ名 ] フィールドに貼り付け、「 username.github.io ( username はアカウントで使用されているユーザー名) を入力して、[ 公開 ] オプションが有効になっていることを確認します。次に、緑色のボタン [インポートの開始]をクリックします。
         注: リポジトリには、このセットアップの残りの部分に必要なほとんどのファイルが含まれており、リポジトリに加えられた変更は数分後に Web サイトで更新されます。たとえば、rodrigocnstest という名前のユーザーは、https://rodrigocnstest.github.io で自分のページにアクセスし、https://github.com/rodrigocnstest/rodrigocnstest.github.io で GitHub リポジトリにアクセスします。
   3. 実験データをオンラインで保存するためのクラウドスプレッドシートを設定します。
      1. Google アカウントにサインアップまたはサインインします。
      2. アカウントにログインした状態で、 iRTスプレッドシートのクリーン ファイルに移動します file https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
         ops1wZrXI/edit?usp=sharingです。
      3. このスプレッドシート内で、[ ファイル] |コピーを作成します。小さな確認ウィンドウが表示されます。
      4. 小さなウィンドウで、ファイルに名前を付け、[ コピーを作成 ]ボタンをクリックします。
   4. Google Apps Script を設定して、作成したスプレッドシート内のデータ ストレージを自動化します。
      1. スプレッドシートファイル内で、 オプション[拡張子]|Apps スクリプト。
         注: このスクリプトは、関連付けるためにスプレッドシート内から作成またはアクセスする必要があります。スクリプトを外部で作成しようとすると、うまくいかない場合があります。
      2. [ 実行 ] ボタンをクリックして、スクリプトを初めて実行します。
      3. 「権限の確認」ボタンをクリックします。新しいウィンドウが表示されます。スプレッドシートの作成時に使用したのと同じアカウントをクリックします。
         注: この手順を初めて実行する場合は、アプリがアカウントから情報へのアクセスを要求していることをユーザーに警告する安全アラートが表示される場合があります。アプリがスプレッドシートの内容にアクセスしようとし、データを入力する許可を求めているため、安全です。警告が表示されない場合は、手順 1.1.4.4 をスキップできます。
      4. [詳細設定] |iRT からシートへ (安全ではありません) |[許可] ボタン。
         注: 実行後、実行が完了したことを示す通知が実行ログ内に表示されます。
      5. 左側のスライドパネルで、[ トリガー ] ボタン (上から 4 番目のアイコン) | [+ トリガーの追加 ] ボタンをクリックします。
      6. [Choose which function to run] で [doPost] を選択します。[イベント ソースの選択] で [スプレッドシートから] を選択します。[イベントタイプの選択] で、[フォーム送信時] を選択します。次に、[保存] をクリックします。権限のポップアップが表示された場合は、手順1.1.4.3-1.1.4.4に従います。ブラウザがポップアップをブロックしてしまった場合は、ブロックを解除してください。
      7. [デプロイ]ドロップダウンボタンをクリックします |新しいデプロイ。
      8. 歯車のアイコンの上にマウスを置き、[Webアプリ]オプションが選択されていることを確認します。
      9. [新しい説明] フィールドに説明を入力します (「Deployment 1」など)。[アクセス権を持つユーザー] フィールドで [すべてのユーザー] を選択し、[デプロイ] ボタンをクリックします。
         注: [新しい説明 ] フィールドの目的は、スクリプトのデプロイを整理することです。読者の希望に応じて、 First deployment などと名付けることができます。 [実行者 ] フィールドは既に [自分 (email)] と表示されており、email はこれまで使用されていた電子メールです。
      10. 新しいポップアップ内で、スクリプト デプロイの Web アプリの URL をコピーします。
          注:何らかの理由でコピーしたWebアプリのURLが失われた場合は、[ デプロイ ]ドロップダウンメニューをクリックして取得します 。デプロイメントを管理します。Web アプリの URL がそこにあるはずです。
      11. GitHub で使用されているユーザー名が rodrigocnstest である の https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js ページに移動します。手順 1.1.4.10 でコピーした Web アプリの URL の 5 行目の既存の URL を置き換え、緑色のボタン [変更のコミット] をクリックします。
          注: コピーされた URL の値は、1 つの ' ' または 2 つの " "' 引用符で囲む必要があります。コピーした URL が Web アプリから正しいものであることを再確認してください。
      12. 最後に、画面中央の[ 変更のコミット ]確認ボタンをクリックします。
   5. プロセスが正しく完了し、ページが機能していることを確認します。
      1. https://github.com/username/username.github.io/ のリポジトリ (username は GitHub で使用されているユーザー名) に移動し、ステップ 1.4.14 で行った変更後にデプロイが更新されているかどうかを確認します。
      2. https://username.github.io/iRT_JoVE の Web ページに移動し、ユーザー名 を GitHub で使用されているユーザー名に変更して、[ 次へ] をクリックします。
      3. 「Go」をクリックし、マウスで右側のオブジェクトをクリックしてドラッグし、「DONE!」ボタンをクリックします。
      4. 手順 1.1.3 と 1.1.4 で設定したスプレッドシート ファイルに戻り、[ 完了 ] ボタンが押されるたびに新しく追加されたデータ行が存在することを確認します。
2. オフラインデータ集録を設定します(オプション)。
   注:インタラクティブローテーションタスク(iRT)のデータを実行および取得することを目的とした方法は、上記の手順で構成されたクラウドサービスを介してオンラインです。必要に応じて (インターネット接続に問題がある場合や、インターネット接続を実行する別の方法がある場合があるため)、テストが実行される場所でインターネット接続の有無にかかわらず、テストをローカルで実行することもできます。次の手順はオプションの代替手段であり、これを実現する方法について説明します。それ以外の場合は、ステップ 1.3 に進みます。
   1. 次のリンクから GitHub リポジトリにアクセスします: https://github.com/rodrigocnstest/rodrigocnstest.github.io。緑色のボタンをクリックします < > コード |ZIPをダウンロードし、ダウンロードしたファイルを解凍します。
      注: ローカルに保存されたファイルに変更を加えても、リポジトリ内のファイルは変更されません。また、 その逆も同様です。両方のバージョンを対象とした変更は、更新されたファイルを手動でコピーするか、git/GitHub デスクトップを使用して、両方の場所に適用する必要があります。
   2. Mozilla Firefoxの最新バージョンは、次のリンクから入手してください:https://www.mozilla.org/en-US/firefox/new/。
   3. Mozilla Firefoxブラウザを開き、URLスロットに「about:config」と入力し、検索フィールドに「security.fileuri.strict_origin_policy」と入力して、値をfalseに変更します。注:これで、WindowsオペレーティングシステムのMozilla Firefoxは、コンピューター上にダウンロードしたWebページファイルにローカルにアクセスできるはずです。他のブラウザやオペレーティングシステムは、ローカルで動作するように構成でき、それぞれにリンク http://wiki.jmol.org/index.php/Troubleshooting/Local_Files で説明されている設定があります。
3. データ処理ツールを設定します。
   1. https://octave.org/download で最新バージョンのGNU Octaveをダウンロードしてインストールします。
4. 視線追跡デバイスを設定します。
   1. 録音システムソフトウェアがラップトップにインストールされていることを確認してください。
   2. 気を散らさないように、研究室が清潔で整理されていることを確認してください。
   3. 部屋では人工照明を使用して、一日中一貫した照明を維持します。
   4. コンピューターをテーブルに設置し、参加者がマウスを快適に動かせるようにします。
   5. テスト中の動きを最小限に抑えるために、参加者に快適な椅子、できれば固定椅子を提供します。
   6. 1本のUSBケーブルを赤外線照明に電力を供給し、ラップトップ/コンピューターとカメラのアイトラッカーを接続する別のUSBケーブルを接続します。
   7. アイトラッカーを画面の下に配置します。

2. データ収集

1. データ収集ソフトウェアを初期化します。
   1. コンピューターで視線追跡ソフトウェアを実行して、アイトラッカーからデータを受信します。
   2. ソフトウェアのメインウィンドウで「 Screen Capture 」オプションを選択して、実験中に視線をキャプチャします(このソフトウェアをヒートマップの視覚化や生のエクスポートデータに使用することも可能です)。
   3. [新しいプロジェクト] をクリックして、データを保存する新しいプロジェクトとプロジェクト フォルダーを作成します。
   4. 例として提供されているページまたは手順1.1で作成したページを使用する場合は、https://rodrigocnstest.github.io/iRT_JoVE.html でテストページを開きます。または、手順 1.2 で以前に設定したブラウザから iRT_JoVE.html ファイルをローカルで開きます。
   5. 必要に応じて、データの識別に役立つ名前と電子メールのフィールドに入力し、生成されたデータのバックアップコピーをダウンロードするためのボックスにチェックを入れます。
      注:オフライン方式(ステップ1.2)を使用する場合は、バックアップコピーをダウンロードすることをお勧めします。
   6. 実験を一度実行してみて、ブラウザが要素を正しく読み込み、提示されたタスクやデータ取得に問題がないことを確認してください。
2. テストを実行します。
   1. 実験の目的、使用した技術、および選択/除外基準を参加者に説明します。参加者がすべてを理解したことを確認してください。参加者に同意書に記入してもらいます。
   2. 参加者に視線追跡システムの前に座って、できるだけ快適に過ごすように依頼します。
   3. 椅子を動かして、参加者とカメラの間に最適な距離を確保します(アイトラッカーから参加者の目までの長さは65cmが理想的です)。
   4. 実験中は、参加者にできるだけじっとしているように依頼します。カメラの高さを調整して、参加者の瞳孔を正しくキャプチャします(一部のソフトウェアは、瞳孔を強調表示して角膜反射を表示します)。
   5. [自動ゲインを有効にする]をクリックして、瞳孔が見つかるまでカメラゲインを変更することにより、瞳孔の追跡を最適化します(一部のソフトウェアにはこのオプションがありません)。
   6. 参加者に画面上の一連のドットを見て、頭を動かさずにドットの動きを追うように依頼します。
   7. 「キャリブレーション」をクリックしてキャリブレーションを開始します(これにより、アイトラッカーが参加者が画面を見ている場所を追跡できるようになります)。
      注意: 画面が空白になり、キャリブレーションマーカー(ドット)が画面上の5つの位置に移動します。
   8. キャリブレーション後、キャリブレーションの精度を確認するために、視覚的な視線推定値が画面に描画されます。参加者にディスプレイ上の特定のポイントを見てもらい、視線入力が正しく表示されるかどうかを確認します。
   9. キャリブレーションが不十分な場合は、カメラを調整し、システムが視線を適切に追跡するまでキャリブレーションを再試行します。
   10. アイトラッキングソフトウェア(メインメニュー)の右側にある[ データ収集 ]ボタンをクリックして、データ収集モードをアクティブにします。キャプチャされた画面のリアルタイム表示は、プライマリ表示ウィンドウに表示される視線データとともに表示されます。
   11. メインメニューの「 視線ビデオ 」ボタンをクリックすると、アイトラッカーでキャプチャされたユーザーの顔が表示されます。次に、[ Start record ] をクリックして実験を開始します。
       注:実験中、参加者の瞳孔が強調表示され、その目がラップトップ画面を横切る点として表示されます。アイトラッカーが画面全体で瞳孔と目を追跡していることを確認します。
   12. ドットが消えたり、頻繁にちらついたりする場合は、実験を停止して、もう一度キャリブレーションを試みてください。
   13. 前に開いたiRTのウィンドウを開き、参加者に [次へ]をクリックするように指示します。
   14. 参加者に次の指示を与えます:「このセクションでは、3つのローテーションタスクを実行します。 GO! ボタンを押すと、画面の反対側に2つのオブジェクトが表示されます。目標は、右側のオブジェクトを回転させて、左側のオブジェクトとできるだけ一致するようにすることです。オブジェクトを回転させるには、オブジェクトをクリックしてマウスをドラッグします。3つのタスクをそれぞれ終了したら、[ 完了]をクリックします。 結論を出すボタン。
       注:各タスクについて、5分マーク(正確には327^秒 目)を超えるiRTデータは失われる可能性があります。この手法をさらに発展させるにつれて、この制限を拡大する必要があります。
   15. 実験の最後に、アイトラッカーが延長ケーブルからオフになっていることを確認し、レンズキャップをカメラに戻します。
3. データを抽出します。
   1. アイトラッカーのデータ収集が完了したら、「 データの分析 」をクリックして、収集したデータにアクセスします。
   2. ユーザーのために記録されたすべてのデータを含む.csvファイルをエクスポートします。
      注:アイ トラッカーデータの最初の 列は、データのUNIXエポックである必要があります。これは、異なるデータセットを時間的に正しく一致させる唯一の方法であるためです。ファイルに 1 つ含まれていない場合は、使用されている他の時間標準から変換する必要があります。ファイルは「.csv」または「.xlsx」形式にすることができます。
   3. オンライン版のインタラクティブローテーションタスクページ(ステップ1.1)を使用している場合は、オンラインデータの受信に使用したGoogleスプレッドシートファイル(ステップ1.1.3で作成)を開き、[ ファイル]|ダウンロード |Microsoft Excel (.xlsx) です。
      注: これらのデータは、データの転送を容易にするためにパッケージ化されています (各タスクは、データが入力された 1 行に対応します)。内部のデータを処理するには、パッケージ化されたデータの各行を最初に「解凍」する必要があります。

3. データの処理と分析

1. データをパッケージ化解除、マージ、および処理します。
   注: 次の手順では、提供されているスクリプトを使用してデータを処理する方法について説明します ( 補足ファイル 2 を参照)。GNU Octaveスクリプトは、ユーザーにファイルに関する入力を求めます。入力が空白として送信される場合は、ユーザーデータが上書きされていない場合は、提供されたサンプルデータを参照するデフォルト値が代わりに使用されます。スクリプトの実行が完了したら、スクリプトを閉じることができます。
   1. まだダウンロードされていない場合は、使用中のリポジトリ (ユーザー自身または https://github.com/rodrigocns/rodrigocns_JoVE 元のリポジトリ) をダウンロードして解凍します。
   2. スクリプト 1.unpacking_sheets.m、2.data_merge_and_process.m、3.3D rotational trajectory.m、およびフォルダ models がダウンロードしたリポジトリの Octave フォルダ内にあることを確認し、手順 2.3.2 と 2.3.3 でダウンロードしたデータ ファイルを Octave スクリプトと同じフォルダに移動します。
      注: 新しく書き込まれたファイルと同じ名前のフォルダに既に存在するファイルは、上書きされる可能性があります。それに応じて、ファイルの名前を変更するか、ファイルを別のフォルダに移動します。
   3. スクリプト 1.unpacking_sheets.m を GNU Octave Launcher で開きます。 [エディター ] タブで、緑色の [ファイルを保存して実行 ] ボタンをクリックしてスクリプトを実行し、データをより読みやすい構造にアンパッケージします。
      注 : 要求されたデータ ファイルのいずれかがローカルで開いている場合は、スクリプトを実行する前に必ず閉じてください。すべての.mスクリプトファイルは、GNU Octave Launcherを使用して実行されました。
   4. 2 つのプロンプトが 1 つずつ表示されます。最初のプロンプトにダウンロードしたファイルの名前を入力し、2番目のフィールドにパッケージ化されていないファイルの名前を入力します。または、両方のプロンプト・フィールドをブランクのままにして、含まれるサンプル・ファイルのデフォルト名を使用します。プロセスが完了し、新しいファイルが書き込まれたことをユーザーに通知するポップアップが表示されるまで、数分待ちます(データの量によって異なります)。
   5. スクリプト2.data_merge_and_process.mを開いて実行し、アイトラッカーとiRTの両方のデータをマージします。
      注 : このスクリプトは複雑で、数百行のコードを含みますが、設定、関数、スクリプトの 3 つの主要なセクションに分かれています。それらはすべて徹底的にコメントされ、説明されているため、必要に応じて将来の変更が容易になります。
   6. 4つのプロンプトが表示されます。 sessionID値、taskID値 (どちらもiRTデータテーブルから)、 未パッケージ化のiRTデータファイル名 (手順3.1.5で書き込んだ)、 アイトラッカーデータファイル名 (手順2.3.2でエクスポート)を入力するか、すべて空白のままにしてデフォルト値を使用します。
      注:数分後、スクリプトが計算を完了したことを示すヘルプポップアップと、使用および作成されたファイルの名前が表示されます。スクリプト プロセス中に、角度視差の 3 つのサンプル プロット (単純なプロット、色付きの視線データを含むプロット、瞳孔径データを含むプロット) が表示されます。作成される2つのファイルは 、output merge X Y.xlsx と output jmol console X Y.xlsx で、 X は sessionID 値、 Y は taskID 値で、どちらもステップ 3.1.6 の冒頭で書き込まれています。
2. 3D回転軌道画像をレンダリングします。
   1. rotation trajectory.m 3.3Dスクリプトを開いて実行します。
   2. 3つのプロンプトが表示されます。 sessionID 値、taskID 値、 およびパッケージ化されていない iRT データ ファイル名を入力するか、空白のままにしてデフォルト値を使用します。
      注:3Dグラフが表示されます。レンダリングされたグラフは、指定されたセッションとタスクの 3D 回転軌跡です。
3. アニメーションを再生します。
   1. 参加者のタスクインタラクションを再生するには、まずインタラクティブタスクのWebページに移動し、テストを開始し(両方の3Dモデルを表示)、マウスアイコンがテキストに変わるまで画面の右上隅にあるマウスポインタを移動し( 補足ファイル2に示すように)、非表示の デバッグ テキストをクリックして デバッグモードを有効にします。
   2. モデル間に表示されるボタンから、 timerStop ボタンをクリックしてタスクを中断し、 コンソール ボタンをクリックして右側のモデルのJSmolコンソールを開きます。対象のインタラクションのタスクが最初のタスクでない場合は、上部のデバッグ領域内の番号付きボタンをクリックして、画面に表示されるタスクを変更します。
      注:JSmolは、Webページで使用されている分子モデリングソフトウェアです。
   3. jmol console.xlsx出力ファイルを開き、Jmolコマンドの全ページをコピーします。
      注: 各ページには、異なるシーンまたはアニメーションのコマンドが含まれています。
   4. JSmolコンソール内で、コピーしたコマンドのリストを貼り付け、[ 実行 ]ボタンをクリックするか、キーボードの Enter キーを押して実行します。
   5. 必要に応じて、.gifアニメーションを生成します。JSmolコンソール内に コマンドcapture "filename" SCRIPT "output" を書き込みます。ここで、 filename は作成する.gifファイルの名前、 output はステップ3.3.3でコピーしたコマンドの全リストであり、両方を二重引用符で囲みます。
      注:コマンドが複雑になるほど、モデルが大きくなったり、時間の変更が増えたり、使用するコンピューターの仕様の効力が弱くなったりすると、アニメーションは遅くなります。Jmolは化合物や反応の可視化に重点を置いており、私たちの研究で生み出されるアニメーションは、Jmolのレンダリング能力の限界を押し広げています。これらの点は、このアニメーションで定量的な測定を行う際に考慮し、考慮する必要があります。

4. タスクのカスタマイズ

注: このセクション全体はオプションであり、コーディング方法を実験したり理解したりしたい人にのみ推奨されます。以下に、利用可能な多くのカスタマイズ可能なオプションの一部を示しますが、方法をさらに開発するにつれて、さらに多くのオプションが利用可能になります。

1. 新規または既存のタスクを設定します。
   1. 参加者が実行する対話型タスクの数を定義し、配列内のファイル object_configs.js でそれぞれに名前を付け task_list 既存の項目名を置き換えたり、さらに追加したりします。各名前は、後で識別子として使用されるため、一意であることを確認してください。
   2. JSmol 互換の 3D 座標ファイルを選択して、対話型タスク (http://wiki.jmol.org/index.php/File_formats) を実行します。これらのファイルを models フォルダーにコピーします。
      注: この記事に含まれるスクリプトは、.xyz ファイル形式を使用する非対称モデル用に最適化されています。座標ファイルを選択するときは、回転対称性はあいまいな解決策を持っているため、避けてください⁶⁵。
   3. 関数 prepMolecule(num) 内で 3D オブジェクトのレンダリング設定を定義します。
      注:JSmolによって実行される1つのタスクから次のタスクへのすべての変更は、カラーパターンの変更、グラフィック要素のサイズまたはレンダリング方法の変更、向き、移動、オブジェクトの一部を非表示にする、新しい3Dモデルの読み込みなどを行います(その他の例は https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm を参照してください)。task_list で名前が付けられた各タスクは、ケースに対応します。JSmolが実行する各コマンドは、次の構造に従います: Jmol.script（ jsmol_obj , " jsmol_command1;jsmol_command2 "); ここで 、jsmol_obj は変更されるオブジェクト (jsmol_ref と jsmol_obj がターゲットオブジェクトとインタラクティブオブジェクトのデフォルトです) と、その後に ";" で区切られた 1 つ以上のコマンドが続きます。
2. 新しいモデルを作成します。
   1. オンラインでダウンロードした、またはAvogadro(https://avogadro.cc/)などの分子エディターによって構築された.xyzモデルを使用します。

Results

角度視差と他の変数の進化
補足ファイル2のステップ3.3.1に示されているように、2つのキャンバスがビデオモニター画面上に参加者に表示され、同じ3D仮想オブジェクトのコピーが異なる向きで表示されます。左側のキャンバスでは、ターゲット オブジェクト (tObj) は静的なままで、ターゲット位置または tObj 位置として機能します。右側のキャンバスでは、インタラクティブオブジェクト(iObj)が別の位置に表示され、参加者はマウスを使用して固定された回転中心を中心に時間をかけて移動できます(回転のみ、平行移動は無効です)。当面の課題は、参加者の判断に基づいて tObj と厳密に一致するように iObj を調整することです。使用されている 3 つの 3D オブジェクトを図 1 に示します。解析プロセスは複雑ですが、その後の分析のために細心の注意を払って記録できます。この記録は単なるビデオ映像にとどまらず、各位置を0.1秒間隔で四元数として経時的に捉えることで、プロセス全体を完全に再構築できる時系列を形成しています。どの位置でも、0°から180°までの範囲の特定の軸を中心に独自の回転が存在し、tObjの位置をiObjの位置に直接変換します。この回転は抽象的であり、タスク中の参加者の PR とは無関係ですが、tObj に対する正確な iObj の位置を正確に示しています。ADはこの回転の角度であり、それぞれの四元数から計算できます。iObj の位置が tObj の位置に近づくと、この値は 0 に近づきます。

データ処理と分析セクションのステップ3.1.6の後、2つのファイルを作成しました: output merge X Y.xlsx と output jmol console X Y.xlsx ここで、 X は sessionID 値、 Y は taskID 値です。入力フィールドを空白のままにしてデフォルト値を使用する場合、ファイルの名前は output merge 1682707472090 bolaBastao_c.xlsx と output jmol console 1682707472090 bolaBastao_c.xlsxにする必要があります。 出力マージ X Y.xlsx ファイルには、選択したアイトラッカーデータが iRT データにマージされ、UNIX エポック時間で整列されます。すべてが正しく進行した場合は 図 2A 、問題が発生した場合は 図 2B と同様です。

出力されたjmolコンソールXのY.xlsxファイルには、最大5つのタブがJmolコンソールコマンドで埋め尽くされており、Jmolコンソールに貼り付けると、タスクを解く際の参加者の動きを再現します。視線再生intは、透明度/不透明スケールを使用して、オブジェクトに時間内の固定ヒートマップを追加してiObj回転を再現します。視線リプレイtgtは、タスク中にtObjの3D固定ヒートマップのみを表示します。gaze frame int と gaze frame tgt は、iObj と tObj の両方のプロセス全体の全体的な固定マッピングを示します。それらすべてを図 3A-F に示します。JmolとJSmolは基本的に同じで、JmolはJavaプログラミング言語に基づくプラグインであり、JSmolはJavaScriptプログラミング言語に基づいており、どちらも同じ機能を持ち、同じ意味で使用されています。

図 4 は、2 人の参加者と 3 つのオブジェクトを含む 6 つの異なるシナリオについて、角度視差の時間関数としての進化を示しています。プロセスの期間は、インタラクティブタスクオブジェクトでの参加者のパフォーマンスによって大きく異なります。参加者が正しく完了したタスクでは、ADは最後にゼロになる傾向があります。同じグラフでこの動作が見られない場合は、参加者がタスクごとに制限時間 (約 5 分) をあきらめたか、または到達したためにタスクを完了できなかったか、データ処理でエラーが発生しました。

図 5に、iObj PRレコードとアイトラッキング測定から得られたデータを組み合わせた結果を示します。ターゲットと慣性物体との間の角度差の時間関数としての変動は、与えられたタスクを解くプロセスの3つの異なる段階を示しています。インタラクティブモデルの弾道回転。インタラクティブモデルの回転の微調整。 図5A は、初期フェーズ、より具体的には微調整フェーズでモデル間で交互に視線を交互に示しています。 図5B は、瞳孔が初期段階と微調整段階でより拡張したままであることを示しています。微調整段階では、インタラクティブモデル上の長い固定期間( 図5Aの40-47秒)は、瞳孔径のプラトー(40-47秒、 図5B)に対応します。

これらの結果は、ここで提案した方法で得られたデータが、静的モデル^14,66およびインタラクティブモデル²³の視線固定データに基づいて提案された心的回転問題解決のモデルと一致していることを示唆している。このようなモデルには、検索、変換、比較、およびモデル間の一致または不一致の確認という 3 つの段階が含まれます。さらに、図5Aで観察された比較段階におけるターゲットモデルとインタラクティブモデルとの間の固定の交代は、静止画像^42,66を使用するシェパードおよびメッツラータイプのテストで得られた結果と一致しています。しかし、インタラクティブモデルの場合、これらの探索、変換、比較、確認の段階は、インタラクティブモデルの相互作用と再配置を通じて連続して発生する可能性が高いです。

3D回転軌道
3D空間での0°から180°までの各回転は、半径が180°に等しいボール内の点(球の内側のボリュームとして理解される)に変換できます。 図 6 は、この対応を 3 つの回転の例で示しています。点からボールの中心までの距離は、tObj 位置からの iObj 角度視差であり、ボールの中心から点を指すベクトルは回転方向であり、中心から見て時計回りに回転します。このように回転をボール内の点に変換することで、タスクの参加者が行った回転の軌跡全体を 1 つの 3D 図面で直接視覚化できます。この描画を 3D回転軌道と呼んでいます。

ADメジャーと同様に、参加者が正しく完了したタスクの場合、軌道は最終的にボールの中心に近づく必要があります。軌道が 180° 回転して球の境界に達すると、球の対蹠点まで巻き込みます。 図7 は、前述の2人の参加者が3番目のタスク( 図4のC1とC2)を実行した回転軌跡を、3つの座標平面上の遠近法と投影の両方で見たものです。この図から明らかなように、開始ADが45°に近い比較的小さいにもかかわらず、参加者1は、タスクをより早く完了した参加者2とは異なり、解への明確な道を見つける前に、最初に目標位置から逸脱したことがわかります。

3D固定ヒートマップ
問題解決プロセス中、参加者は iObj と対話しながら、tObj と iObj の間で視線を交互に動かします。アイトラッキングデータを使用して、参加者の視線位置を抽出し、任意の間隔で参加者から最も注意を引いた画面領域と最も注意を引かなかった画面領域のヒートマップを作成できます。さらに、視線追跡データとiRTクォータニオンデータの両方を同期させることで、時間的に回転しているオブジェクトに対しても、各オブジェクトの頂点がどれだけの注意を払っているかを3D空間と時間で同時にマッピングできます。

図 3 では、オブジェクトに与えられる注意は、各頂点の不透明度レベルによって表されます。参加者の視線に近づくほど、そして近くに長く留まるほど、より多くの注目を集め、オブジェクトのその領域の不透明度が高くなります。注意の空間的な減少は、視線位置の 2 変量均質ガウス関数と、経過時間に適用される単純な均質ガウス関数を使用してモデル化されます。これらのガウス分布の標準偏差は、視角が 2 度⁶⁷、視覚短期記憶が 10 秒⁶⁸ であると仮定して選択されました。この方法で視覚的なアーティファクトを防ぐために、視線入力がオブジェクト キャンバスの外側にある間、視線入力の近接データは 0 に設定されます (視線入力が tObj キャンバスの内側または両方の外部にある場合、iObj は残りの注意を受け取りません)。図 3 は、リプレイ アニメーション全体の各オブジェクトの 1 つのフレームと、3D 固定ヒートマップを使用した同じフレームを示しています。解法プロセス中の参加者によるtObjとiObjの比較は、タスクが結論に近づいている(時間= 6.3秒)ときに見ることができます(図3C、D)。プロセス全体は、補足ビデオS1でビデオとして見ることができます。参加者に提示された3Dモデルのコンピュータによる回転結果を、通常の条件下でのタスクとして報告します。

図 1: 使用されたターゲット オブジェクト。Web ページのタスクで使用される 3D モデルの画像。 (A)ボールとスティックを表現する分子。(B)同じ分子で、ポリゴンが塗りつぶされ、水素はなく、スティックのみで表されます。(C)ピーターズとバッティスタの刺激ライブラリから派生した、シェパードとメッツラーの図¹³の1つに類似したポリキューブ³⁶。 この図の拡大版を表示するには、ここをクリックしてください。

図2:シートの比較 (A,B) 画像はスプレッドシートの出力マージ1682707472090 bolaBastao_c.xlsxから取得されます。列AからGにはiRTデータ値が含まれ、列HからNにはアイトラッカーデータ値が含まれます。(A)では、すべてが正しく、(B)では、アイトラッカー列では、すべての値が一定であり、iRTシステム時間値と一致しません。データ同期プロセスで問題が発生した場合、このエラーが発生する可能性があります。この図の拡大版を表示するには、ここをクリックしてください。

図3:3D固定ヒートマップ。不透明度のスケールを使用して 3D オブジェクト上の固定ヒートマップを作成し、不透明であるほど参加者の視線の近くで過ごす時間が増えることと相関します。(A,B) 6.3 秒の時点で参加者が解決しているタスクの tObj および iObj 画像。(C,D)(A,B) と同じ画像に、ヒートマップの不透明度スケールが追加された同じ瞬間。(E,F)参加者がオブジェクトを見ることができた全期間を考慮した凝視ヒートマップ画像。この図の拡大版を表示するには、ここをクリックしてください。

図 4: AD グリッド。 2 人の参加者と 3 つのタスク間の角度差のグリッドをプロットします。列は参加者 1 と 2 を表し、 行は図 3 に示す 3 つのオブジェクトを使用して参加者が解決したタスクを表します。ADは0°から180°の間で変動しますが、時間範囲は固定されておらず、参加者のパフォーマンスとプロセスを停止するという参加者自身の決定によって異なることに注意してください。参加者が iObj を回転させると、tObj と iObj の間の AD は時間の経過と共に変化し、最終的には参加者は現在の iObj の向きを tObj に最も近いものとして選択します。^1番目 と^2番目の タスクでは、両方の参加者が同じように進行したように見えましたが、参加者1は参加者2の半分の時間を費やしました。また、^3番目の タスクでは、参加者2がタスクを完了するのにかかる時間が短縮されましたが、参加者1は20秒のマークより前にタスクを解決し、iObjとtObjをより適切に一致させるために小さな調整を続けました。略語:AD = 角度視差。 この図の拡大版を表示するには、ここをクリックしてください。

図5:視線追跡データを持つAD。アイトラッカーデータと組み合わせた角度視差の進化。 (A)角度視差と視線位置、tObjとiObjの間の角度視差の進化、および各モデルの局所固定データ。グラフは、参加者の視線がどの領域にあるかを示しています (iObj キャンバスの内側にあるときは赤、tObj キャンバスの内側にあるときは青、両方の外側にあるときは灰色で、画面上の別の要素を見ているとき、またはそこから目をそらしているとき)。(B)角視差と瞳孔径。角度の視差(青色)、瞳孔径データ(オレンジ色)。瞳孔径は、各時点における左右の瞳孔の平均値です。略語:AD = 角度視差。 この図の拡大版を表示するには、ここをクリックしてください。

図6:回転のボール。 この図は、参照位置からのオブジェクトの各可能な回転位置を半径180°のボール内の点として表し、3つの軸すべてでオブジェクトの回転位置を完全に表現する方法を示しています。ここでは、ボールは球で囲まれた体積として理解されます。(A) 例として使用されているオブジェクトは、上部、左側に描かれている 7 つの立方体の非対称結合です。このオブジェクトには、右に示すように、I、II、III の番号が付けられた 3 つの単純な回転が適用されます。それぞれ、x軸が+90°、z軸が-60°、+xと-yの間の軸が180°で、両軸から45°です。(B)回転球は、回転I、II、およびIIIに対応する点で示されています。ボールの中心までの距離が角度視差です。IIIが最大回転角度(180°)を達成すると、基本的に同じであるため、対蹠点でも表されます。回転 II は、軸 z の正の方向に対して反時計回りであり、負の側に表示されます。 この図の拡大版を表示するには、ここをクリックしてください。

図7:3D回転軌道。3番目のタスクで2人の参加者が取った回転のボール内の回転軌跡は、遠近法(A)と座標平面上の投影(B-D)の両方で見ました。線の太さは時間の経過とともに減少します。各列は、参加要素 (v1 と v2) に対応します。軌道がボールの中心に近づくと、参加者は課題の解決に近づきます。「0」はタスクの初期位置を示します。後続の数字は、軌道がボールの端に到達し、反対側の対蹠点(1から2、2から3、3から4など)を通って続くポイントを示します。この図の拡大版を表示するには、ここをクリックしてください。

補足表S1:シートヘッダー。 クローン作成されたシート ファイル内のヘッダーのリスト。各ヘッダーは変数名に対応し、この変数からデータを受け取り、データの処理と分析に使用される値の列を形成します。 このファイルをダウンロードするには、ここをクリックしてください。

補足ファイル1:プロトコルステップ1ガイド。 プロトコルメソッド「1.データ収集ツールの準備」。 このファイルをダウンロードするには、ここをクリックしてください。

補足ファイル2:プロトコルステップ3ガイド。 プロトコルメソッド「3.データ処理と分析」。 このファイルをダウンロードするには、ここをクリックしてください。

補足ビデオ1:固定マッピングの再生。 iObj と tObj から同時に 3D でテンポラル アテンション マッピングをアニメーション化したリプレイの例。OBS Studiosを使用して録画し、OpenShotビデオエディターを使用してレンダリングしました。 このファイルをダウンロードするには、ここをクリックしてください。

Discussion

前述のように、この論文は、インタラクティブな3Dオブジェクト上の凝視およびサッカードモーションデータのリアルタイムマッピングの詳細な手順を提示することを目的としています。これは簡単にカスタマイズでき、無料で利用可能なソフトウェアのみを使用し、すべてを機能させるためのステップバイステップの手順を提供します。

この実験的なセットアップには、3D オブジェクトを移動して別のオブジェクトの向きに合わせるなど、非常にインタラクティブなタスクが含まれていましたが、3D オブジェクトを移動して PR を 3 つの可能な軸のうち 2 つで一致させるなど、非常にインタラクティブなタスクが含まれていましたが、カスタマイズを容易にするために適切なコメントを通じてスクリプトの徹底的な文書化を確保しました。他にも様々なタイプの実験を設計することができますが、視線追跡装置は、時間データ取得に使用される他の多くの可能な装置の1つにすぎません。

ステップ 1.1.3.3 でコピーしたファイルのヘッダーは、データをオンラインで収集する内容と場所を定義します。 補足表 S1 には、変数名 (すべて大文字と小文字が区別されます) とその意味が一覧表示されます。これらの変数は、GitHub リポジトリ内の JavaScript ファイルにある変数を反映しています。このシートとJavaScriptファイルの両方から、データの種類と種類、および変数名は、研究の範囲と要件に応じて変更する必要があります。

回転データをクォータニオンで記録することで、研究者はタスク中に参加者が行ったのと同じ動きを再現できるため、プロセスの分析が容易になり、スクリーンキャプチャと比較してストレージスペースをはるかに効率的に使用できます。 図 7 に示すように、回転のボールを使用した 3D 回転軌跡などのより詳細な解析は、対話型オブジェクトの内部クォータニオン データを通じてのみ可能です。Gardony²² と Adams²³ による AD プロットから経時的に拡張されたこの新しいタイプのグラフは、実際の 3D 回転座標を時間で示す、より詳細な情報を提供します。

もう 1 つの利点は、標準の時間メジャーを使用してすべてのデータ ソースを同期することです。これにより、図 5B のように複数のデータソースにグラフを重ね合わせたり、図 5A のように複数のデータソースにグラフを重ね合わせたり、iObjで回転がほとんど起こっていない場合でも、参加者の解法プロセスの可能なパターンを示す色付きの垂直帯を使用したりするなど、時間依存情報の異なるレイヤーをマージすることがはるかに容易になります。 図3 に示す3D固定ヒートマップは、クォータニオンデータとデータ同期の両方からのみ可能です。

時間データの統合を確実にするために、標準の時間メジャーによる同期を使用することが重要です。私たちのプロジェクトで選択された時間標準は、JavaScriptや他のほとんどのプログラミング言語で使用されているUNIXエポックでした。各データ・セットには、後でUNIX エポックに変換できる別の標準であっても、何らかの既知の時間標準が使用されている必要があります。標準を使用しない時間データは、ほとんどの場合、同期できず、有用性を失います。

もう 1 つの制限は、アイトラッカーの周波数である 60 Hz に対して、iRT テストで使用される周波数が 10 Hz と比較的低いことです。これは、ブラウザ内のデータ処理と転送の制限が一因であり、より高い周波数を使用すると、各タスクの最大制限時間が比例して減少します(現在は327秒)。さらに、Jmolで複雑なアニメーションをこのフレームレートでスムーズにレンダリングすることは、すでに課題となっていました。 Supplemental Video S1 は、Jmolが時間の不透明度の変化に合わせてリプレイをレンダリングし、各頂点が受けたフォーカスの量をマッピングしたビデオ録画です。ビデオの長さは約 2 分ですが、実際のタスクは 63 秒で完了しました。既存の機能を適応させるのではなく、そのような機能に特化した将来のソフトウェア開発は、これらの制限に対処し、データ収集と分析の機能を強化することができます。

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (オープンソース)		WebGL (https://caniuse.com/webgl) と互換性があり、さらに Jmol と互換性のある最新の更新されたブラウザは、
GNU Octave	オープンソース
https://octave.org/ Google Apps Script	Google LLC
script.google.com Google スプレッドシート、	Google LLC		を使用できます。https://www.google.com/sheets/about/
ラップトップアイ			トラッキングシステムソフトウェアを実行できる任意のコンピューター。
マンゴールドソフトウェアスイート	マンゴールド		アイトラッキングデバイスに使用されるソフトウェアインターフェース。システム時刻の値でデータを出力するソフトウェアであれば、どれでも使用できます。
マウス			簡単な動きでクリックしたりドラッグしたりできるマウスは、互換性がある必要があります。タッチスクリーンやポインターなど、同じ機能を持つマウスに似たヒューマン インターフェイスは互換性がある必要がありますが、動作が異なる場合があります。
VT3mini	EyeTechデジタルシステム		60 Hz。動作するアイトラッキングデバイスは互換性がある必要があります。