モバイルアイトラッカーを用いた関節視覚注意を捉える方法論

こんにちは、私の名前はベルトラン・シュナイダーで、私はハーバード大学教育大学院の助教授です。このビデオでは、モバイルアイトラッカーを使用して、社会科学、共同視覚的注意の中心構造をキャプチャする方法を紹介します。共同視覚注意は心理学者によって広範囲に研究されており、グループメンバー間の相互作用の質と密接に相関していることが分かってきた。

人々が共通の根拠を築き、タスクの共通の理解を作り出すとき、彼らは頻繁に同じ場所を同時に見る傾向があることが判明しました。従来、研究者は手動でビデオをコーディングすることによって質的に共同視覚注意を研究してきました。私は、モバイルアイトラッカーを使用して、同じ場所にある設定でこの構造の定量的尺度を取得する方法を紹介します。

このビデオでは、Tobiiプロメガネ2を使用します。これらのメガネは、現実世界の環境で目の動きをキャプチャすることができるウェアラブルアイトラッカーです。目の動きを追跡するフレーム上の特殊なカメラに加えて、デバイスにはフルHDシーンカメラとマイクも装備されているので、視線の挙動は着用者の視野の文脈内で視覚化することができます。

これらのメガネの視線は毎秒50回キャプチャされ、メガネからのライブビデオフィードは、ワイヤレスまたはイーサネットケーブルを介してコンピュータにストリーミングすることができます。しかし、メガネには通常の眼鏡では機能しないため、1つの制限があります。アイトラッカーを設定する手順は比較的簡単です。

まず、参加者は通常のメガネと同じように、アイトラッキンググラスを着用するよう求められます。参加者の顔の特徴に基づいて、異なる高さの鼻の部分は、データ品質を維持するために使用する必要があります。アイトラッカーをオンにした後、参加者は、奔放な身体の動きを可能にするために、データ収集ユニットを自分の人にクリップする必要があります。

Tobii Pro Glassesコントローラを開き、ソフトウェアのキャリブレーション機能が有効になっている間、参加者はTobiiが提供するキャリブレーションマーカーの中心を見るように指示する必要があります。キャリブレーションが完了すると、ソフトウェア内から録音を開始できます。録音セッションが完了したら、参加者にアイトラッキンググラスとデータ収集ユニットを取り外す前にTobiiソフトウェアから録音を終了します。

次に、ユニットの電源を切ります。データは、データ収集ユニットからSDカードを取り外し、コンピュータにカードを挿入することによって、別のソフトウェア、Tobii Pro Labを介して抽出することができます。Tobii Pro Labは、SDカードに保存されているすべての録画セッションを同時にインポートすることができます。

その後、Tobii Pro Lab内でファイルを処理して、ビデオ、さまざまなビジュアライゼーションを生成したり、タブ区切り値またはTSVファイルとして出力して詳細な分析を行うことができます。ここでは、2人の参加者がロボットをプログラムすることを学んでいた最近行った研究の生のアイトラッキングデータを見ることができます。各側面には、各アイトラッカーが生成したビデオストリームと参加者の視線の位置が表示されます。

ご覧のとおり、各参加者の視点が異なるため、同じ場所を同時に見ているかどうかを見分けることは不可能です。さらに、データの記録は異なる時間に開始する場合があります。つまり、データは時間的および空間的に同期する必要があります。

このビデオでは、これら 2 つの問題に対処する方法を紹介します。まず、データを一時的に同期する手順について説明します。最初の参加者には、一定数のビデオフレームがあります。

そのうちのいくつかは、実際の実験タスクの前または後です。実験者がアイトラッカーをキャリブレーションしている最初のフレームのように。同様に、他の参加者にも同じ種類のデータがあります。

ここでは示されていませんが、ビデオの各フレームは、各参加者の視線を表すxとy座標にも関連付けられます。データを同期させるために、実験タスクの前後にコンピュータ画面に受託マーカーを簡単に表示します。コンピュータビジョンアルゴリズムを使用することで、このマーカーが各参加者にいつ提示されるかを検出し、データをトリミングして整列させることができます。

したがって、これはデータ同期の問題に対処する 1 つの方法です。次の部分では、2 番目の問題を見てみましょう: データを空間的に同期する方法。前述のように、データは各参加者の視線の位置に関連付けられたビデオフィードの形で、各アイトラッカーから来ています。

x 座標と y 座標は両方の参加者で同じかもしれませんが、2 つの異なる視点から画面を見ているため、同じ場所を見ているわけではありません。この問題を解決する 1 つの方法は、参照として機能する実験用セットアップのイメージを構築し、各参加者のケースの場所を再マップする場所です。これにより、参加者が同じ場所を同時に見ている場合に、アイトラッキングビデオのフレームごとに検出することができます。

しかし、これらの座標を左側の画像に再マップするにはどうすればよいですか?以前にデータを同期させるのと同じ協調ビジョンアルゴリズムを使用します。ビデオ録画の各フレームに適用することで、参加者の視点から受託者マーカーの位置を検出できるようになりました。

これにより、左側の参照画像上の同じマーカーを接続することができます。この共有ポイントの座標を知ることで、ホモグラフィと呼ばれる数学的演算を使用して、各人の視線の位置を推測することができます。この手順を各フレームに適用することで、ホモグラフィが機能していることを確認するビデオを生成できます。

右側には、青と緑で自分の視線の位置と各参加者のビデオ録画を見ることができます。同じ受託者マーカーは、左側の画像と右側の参加者の視点との間に白い線で接続されています。再マッピングされた視線は左側に表示され、いくつかの共同視覚的注意がある場合、それらは赤に変わります。

このビデオを生成することは、データがクリーンで、ホモグラフィが正しく実行されていることを確認するための重要なステップです。さらに、データを健全性チェックするために生成できる他の 2 つの視覚化があります。最初のビジュアライゼーションはヒート マップです。

各参加者について、実験用セットアップの画像に各視線点をプロットすることができます。これにより、ホモグラフィが正しく機能し、これらのケースポイントをさまざまな分野の関心領域に分類できるようになります。ここでは、例えば、ほとんどの時間がコンピュータの画面を見て費やされ、チートシートを見るのにほとんど時間が費やされなかったことがわかります。

2 つ目のビジュアライゼーションは、クロス反復グラフと呼ばれます。クロス反復グラフを使用すると、参加者のペアの視線追跡データを視覚化できます。第1参加者の時間はx軸に表示され、第2の参加者の時間はy軸に表示される。

黒い四角形は、両方の参加者が同じ場所を見ている、白い四角は欠けているデータを表し、灰色の正方形は参加者が異なる場所を見ているときに表されることを意味します。対角線に沿った黒い正方形は、同じ場所を同時に見ているということです。対角線の黒い正方形は、参加者が同じ場所を見ているが、異なる時間を見ているという意味です。

左側には、高レベルの関節視覚的注意を持つダイアドが表示されます。途中で、関節の視覚注意の低レベルのダイアド。右側には、不足データが多いグループ。

この健全性チェックを実行することで、データを正しく同期し、実験用セットアップの共通のイメージに再マップしたことを確認できます。これらの手順は重要であり、分析を行う前に実行する必要があります。最後に、視覚的な注意を共同で測定する前に選択する必要がある 2 つのパラメーターがあります。

最初のパラメーターは、参加者が同じ場所を見ることができる時間枠です。リチャードソンとデールの以前の作品は、参加者がパートナーが何をしているかに注意を払うために彼らがやっていることから離れるのに最大2秒かかることを確立していました。したがって、2人の参加者がプラスとマイナス2秒のウィンドウ内の同じ場所を見ている場合、共同視覚的注意があると判断しました。

2 番目のパラメーターは、2 つの視線点間の最小距離で、2 つの視線ポイントが視覚的な注意を合うように見極めます。この距離は文脈依存であり、管理されるタスクとその研究の質問に応じて研究者によって定義される必要があります。タスクによっては、距離が短い場合があります。

ここでは、例えば、100ピクセルを使用しました。他のタスクでは、この距離が大きくなる可能性があります。次に、この方法論を使用して見つかったいくつかの結果を提示します。

グループ内の共同視覚注意の量の推定値を取得した後、このメジャーを他の対象となる変数と関連付けることができます。例えば、この尺度を、グループのコラボレーションの質を捉える学習科学に発展した格付けスキームと相関しています。各グループに対して、ここで提示されたディメンションのナインにスコアを割り当てました。

例えば、人々が相互理解をどれだけうまく維持したか、どれだけ簡単に合意に達したかなどです。これらのスコアは、別のクォータとの許容範囲内の信頼性を受け取る必要があります。最後に、これらのスコアを 1 つの一般的な指標に集約して、グループごとにコラボレーションの品質を近似することもできます。

我々の研究と他の研究で発見された結果は、共同視覚注意が以前に提示された評価スキームによって測定されるように、コラボレーションの質と有意に相関しているということです。このコーディングスキームを使用して高い評価を受けているグループは、低得点を受けたグループよりも視覚的に見やすい傾向があります。これは、生産的な相互作用がしばしばより多くの共同視覚的注意に関連付けられていることを示しています。

次のスライドでは、この結果に基づいて別の結果を示します。したがって、細かい視線追跡データを持つ利点の1つは、共同の視覚的注意の他の尺度を抽出できることです。たとえば、共同の視覚的注意の申し出を開始し、応答した人を計算できます。

特に、このグラフのX軸では、ゼロのスコアはこれらの行動の等分布を意味し、1のスコアは、1人が常に視覚的注意に参加する瞬間に応答または始動していたことを意味する。この研究では、前および後のテストで測定されたy軸に示された学習利益との逆相関を発見した。同じ人物が一貫して共同視覚的注意の瞬間を起こしていたり反応したりするグループは学ぶ可能性が低く、この責任が均等に共有されたグループは、プレテストでスコアを制御する際にポストテストでより高いスコアを獲得する可能性が高かった。

このビデオでは、研究者がモバイルアイトラッキングデータを時間的にも空間的にも同期させるのに役立つ方法論を紹介しました。この知見は、二重アイトラッキングデータが、共同の視覚的注意の尺度を計算することによって、コラボレーションの指標を提供できることを示唆している。さらに、共同の視覚的注意のエピソードを開始または応答した人を見て、共同注意の単純な尺度を超えることができることを示す結果を提示しました。

この措置は、学習利益などの他の結果対策に関連していることがわかりました。この種のメジャーを計算するには、アイトラッキングデータなしでは不可能です。要約すると、このビデオで紹介する方法論は、研究者が共同プロセスに関する新しい洞察を得るのを助けることができることがわかりました。

このビデオを見ていただきありがとうございますし、詳細については、紙を参照してください自由に感じます.