Summary
マルチモーダルセンサーの使用は、教育の設定における社会的相互作用の役割を理解する有望な方法です。本論文では、モバイルアイトラッカーを用いて共振ダイアドから関節視覚的注意を捉える方法論について述べている。
Abstract
新しい技術の進歩の出現により、前例のない精度でマイクロレベルでの社会的相互作用の研究が可能です。アイトラッカー、電極活動リストバンド、脳波バンド、モーションセンサーなどの高周波センサは、ミリ秒レベルでの観測を提供します。この精度レベルにより、研究者は社会的相互作用に関する大規模なデータセットを収集できます。本稿では、複数のアイトラッカーが社会的相互作用、関節視覚的注意(JVA)の基本的な構成要素をどのように捉えることができるかについて論じた。JVAは、発達心理学者によって、子どもたちが言語を習得する方法を理解し、小さな学習者のグループがどのように協力するかを理解するための科学者を学び、社会科学者が小さなチームの相互作用を理解するために研究されています。本論文では、モバイルアイトラッカーを使用して併置された設定でJVAをキャプチャする方法について説明します。これは、いくつかの経験的な結果を提示し、社会的相互作用を理解するために顕微鏡観察をキャプチャすることの意味を議論します。
Introduction
JVAは、特に言語習得を研究する発達心理学者によって、過去1世紀にわたって広く研究されてきました。共同の注意は単に言葉を学ぶ方法ではなく、むしろ子供の心の理論の前駆体であるということがすぐに確立されました。したがって、他者とのコミュニケーション、共同作業、共感の育成など、多くの社会プロセスにおいて重要な役割を果たしています。自閉症の小児は、例えば、重要な社会的障害に関連する介護者と視覚的な注意を調整する能力を欠いている2.人間は、社会の機能的なメンバーになり、行動を調整し、他の人から学ぶために共同の注意を必要とします。最初の言葉を身につける子どもたち、学校の先生から学ぶ10代の若者、プロジェクトでの共同作業を行う学生、共通の目標に向かって取り組む大人のグループまで、共同の注意は個人間の共通点を確立するための基本的なメカニズムです 3.本論文では、教育研究におけるJVAの研究に焦点を当てています。時間の経過と共に共同の注意がどのように展開されるかを理解することは、共同学習プロセスの研究において最も重要です。このように、それは社会構成主義者の設定で主な役割を果たしています。
共同注意の正確な定義はまだ議論されている4.本論文は、共同注意(JA)、すなわちJVAのサブコンストラクトに関する。JVAは、2つの被験者が同時に同じ場所を見ているときに起こります。JVAは、JAの研究に関心のある他の重要な構成要素に関する情報を提供しないことに留意すべきである。本論文では、2人の参加者の視線追跡データを組み合わせ、視線を揃える頻度を分析することで、JVAを運用・簡素化します。より包括的な議論のために、興味のある読者はシポソバエットal.4のJAコンストラクトの研究についての詳細を学ぶことができます。
過去10年間で、技術の進歩はJVAに関する研究を根本的に変革してきました。主なパラダイムシフトは、実験室や生態学的な設定でビデオ録画を定性的に分析するのではなく、複数のアイトラッカーを使用して注意アライメントの定量的な測定値を得ることになっていました。この開発により、研究者はダイアドの視覚的な調整に関する正確で詳細な情報を収集することができました。さらに、アイトラッカーはより手頃な価格になりつつあります:最近まで、その使用は学術的な設定や大企業に予約されていました。信頼性の高いデータセットを生成する安価なアイトラッカーを購入できるようになりました。最後に、ハイエンドラップトップや仮想および拡張現実ヘッドセットなどの既存のデバイスに視線追跡機能をプログレッシブに組み込むことは、アイトラッキングがすぐにユビキタスになることを示唆しています。
視線追跡装置の普及により、社会的な相互作用について何ができること、教えてくれないのかを理解することが重要です。このホワイト ペーパーで紹介する方法論は、この方向の第一歩です。私は、複数のアイトラッカーからJVAをキャプチャする際の2つの課題に対処します:1)時系列スケール、および2)空間スケール上のデータを同期します。具体的には、このプロトコルは、実際の環境に配置された受託マーカーを利用して、参加者が視線を向けているコンピュータビジョンアルゴリズムを通知します。この新しい種類の方法論は、小さなグループの人間の行動の厳格な分析への道を開きます。
この研究プロトコルは、ハーバード大学の人間研究倫理委員会のガイドラインに準拠しています。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. 参加者審査
- 正常または修正された正常な視力を持つ参加者が募集されていることを確認します。参加者はモバイルアイトラッカーの着用を求められるため、コンタクトレンズは着用できますが、通常の眼鏡は着用できません。
2. 実験の準備
- 視線追跡装置
- 現実世界の環境で目の動きをキャプチャすることができる任意のモバイルアイトラッカーを使用してください。
注:ここで使用されるモバイルアイトラッカーは、2つのトビイプロメガネ2でした(材料の表を参照)。眼鏡には、目の動きを追跡できる特殊なカメラに加え、HDシーンカメラとマイクも搭載されており、ユーザーの視野のコンテキストで視線を可視化することができます。これらのメガネは、1秒間に50回視線データをキャプチャします。他の研究者は、ASL Mobile Eye5、SMI6、または瞳ラボ7を使用しており、そのすべてがシーンカメラからのビデオストリームとさまざまなサンプリングレート(30~120 Hz)での視線追跡座標を提供しています。以下の手順は、他の視線追跡デバイスによって若干異なる場合があります。
- 現実世界の環境で目の動きをキャプチャすることができる任意のモバイルアイトラッカーを使用してください。
- フィデューシャルマーカー
- 以下の 2 つのステップ (時間的および空間的な配置) では、受託マーカーを使用する必要があります。これらのマーカーとアルゴリズムを研究者に提供して、画像やビデオフィードで検出するコンピュータビジョンライブラリがいくつかあります。説明されているプロトコルは、チリタグ ライブラリ8を使用します。
- 時間配置
- 視線追跡データは 2 つの別々の単位に記録されるため、データが正しく同期されていることを確認します (図 1)。2 つの主要な方法を使用できます。この原稿は、サーバーの同期はモバイルアイトラッカーの各ブランドで異なって動作するため、最初の方法のみをカバーしています。
- セッションの開始と終了を示す受託マーカーをコンピュータ画面に簡単に表示します。これは視覚的な"手拍子"に似ています(図2)。
- または、サーバーを使用して、2 つのデータ収集ユニットのクロックを同期します。この方法は、より高い時間精度が必要な場合に、若干正確で推奨されます。
- 視線追跡データは 2 つの別々の単位に記録されるため、データが正しく同期されていることを確認します (図 1)。2 つの主要な方法を使用できます。この原稿は、サーバーの同期はモバイルアイトラッカーの各ブランドで異なって動作するため、最初の方法のみをカバーしています。
- 空間的な配置
- 2 人の参加者が同時に同じ場所を見ているかどうかを確認するには、視線を共通の平面にマップします。この平面は、実験設定の画像にすることができます(図3の左側を参照)。実験の前にこの画像を慎重に設計してください。
- フィデューシャルマーカーのサイズ: フィデューシャルマーカーの一般的なサイズは、視線追跡ビデオからそれらを検出するために使用されるアルゴリズムによって異なります。参加者に近いサーフェスは、より小さなフィデューシャル マーカーを持つことができますが、それらから遠く離れたサーフェスは、参加者の視点から見た目から見えるように、より大きくする必要があります。事前に異なるサイズを試して、視線追跡ビデオから検出できることを確認してください。
- フィデューシャル マーカーの数: 視線を共通の平面にマッピングするプロセスを成功させるには、参加者の視点から特定の時点で複数のフィデューシャル マーカーが表示されるようにします。
- フィデューシャルマーカーの位置:フィデューシャルマーカーのストリップを使用して関心のある領域をフレームします(例えば、図3のラップトップ画面を参照)。
- 最後に、パイロットを実行して同期手順をテストし、最適な位置、サイズ、およびフィデューシャル マーカーの数を決定します。視線追跡ビデオは、コンピュータビジョンアルゴリズムを介して処理して、フィデューシャルマーカーが確実に検出されているかどうかを確認できます。
3. 実験の実行
- 指示
- 通常の眼鏡と同じように、視線追跡眼鏡をかけるように参加者に指示する。参加者の明確な顔の特徴に基づいて、異なる高さの鼻片を使用してデータ品質を維持する必要がある場合があります。
- アイトラッカーをオンにした後、参加者に自然な身体の動きを可能にするために記録ユニットを自分自身にクリップさせます。
- 校正
- ソフトウェアのキャリブレーション機能が有効になっている間に、Tobiiが提供するキャリブレーションマーカーの中心を見るように参加者に指示します。キャリブレーションが完了したら、ソフトウェア内から録音を開始できます。
- キャリブレーション後にモバイルアイトラッカーを動かさないことを参加者に指示します。その場合、データが不正確になる可能性が高く、キャリブレーション手順を再度実行する必要があります。
- データ監視
- 調査中にデータ収集プロセスを監視し、視線追跡データが正しく収集されていることを確認します。ほとんどのモバイルアイトラッカーは、この目的のために別のデバイス(例えば、タブレット)上のライブストリームを提供することができます。
- データエクスポート
- 記録セッションが完了したら、視線追跡メガネとデータ収集ユニットを取り外するように参加者に指示します。ユニットの電源を切ります。
- セッションデータをインポートするデータ収集ユニットからSDカードを取り外して、別のソフトウェアTobii Pro Labを使用してデータを抽出します。Tobii Pro Lab を使用すると、ビデオの再生、ビジュアライゼーションの作成、および視線追跡データのコンマ区切り (.csv) またはタブ区切り (.tsv) ファイルとしてエクスポートできます。
4. 二重アイトラッキングデータの前処理
- アイトラッキングデータの健全性チェック
- データ収集後に目覚ますデータを視覚的に確認します。一部の参加者がデータを欠落していることは珍しくありません。たとえば、特定の眼生理学は、視線追跡アルゴリズムに問題を引き起こす可能性があり、実験中に眼鏡がずれる可能性があり、データ収集ソフトウェアがクラッシュする可能性があります。
- 説明統計を使用して、各セッション中に失われたデータの量を確認し、大量の欠落データまたは騒々しいデータを持つセッションを除外します。
- 時間配置
- 各モバイルアイトラッカーからデータをトリミングして、参加者間のインタラクションのみを含めます。これは、上記の方法を使用して達成することができる(すなわち、セッションの開始時と終了時に参加者に2つの特別なフィデューシャルマーカーを提示する)。これらのフィデューシャル マーカーは、視線追跡ビデオから検出してデータセットをトリミングできます。
- 空間的な配置
注:2人の参加者が同時に同じ場所を見ているかどうかを検出するには、参加者の視線を共通の平面(実験設定の画像)に再マップする必要があります。この目標を達成するための計算方法は、ホモグラフィ(すなわち、平面の遠近法変換)です。技術的な観点からは、空間内の同じ平面サーフェスの 2 つのイメージは、ホモグラフィ マトリックスによって関連付けられます。このマトリックスは、共通の点のセットに基づいて、2 つの平面間の追加ポイントの位置を推測するために使用できます。図 3では、たとえば、コンピュータビジョンアルゴリズムが受付の位置を知っている場合、参加者の視線を左側の共通平面に再マップできます。白い線は、各参加者のビデオ フィードとシーンによって共有される 2 つのポイント セットを接続し、左側の緑と青の点を再マップするためにホモグラフィを構築するために使用されます。- Python バージョンの OpenCV を使用して、フィデューシャル マーカーからホモグラフィ行列を計算し、アイトラッキング データを実験設定のシーン (または任意の言語のその他の適切なライブラリ) に再マップします。OpenCV には、ホモグラフィー行列を取得するためのfindHomography()と、ある視点から他方の視点にポイントを変換するperspectiveTransform()の 2 つの便利な関数があります。
- findHomography()を使用するには、ソースポイントのX、Y座標(つまり、参加者のシーンビデオから検出されたフィデューシャルマーカー、図3の右側に示すフィデューシャルマーカー)と、対応するターゲットポイント(つまり、シーン画像で検出されたのと同じフィデューシャルマーカー(図3に示す)の2つの引数を指定して実行します。
- 結果のホモグラフィ行列をperspectiveTransform()関数に送り、ソース イメージからターゲット イメージにマップする必要がある新しいポイント (図3の右側に青/緑のドットとして表示されるアイトラッキング データなど) を送ります。perspectiveTransform関数は、シーン イメージ上の同じポイントの新しい座標を返します (つまり、図 3の左側に表示される青/緑の点)。
注: 詳細については、OpenCV 公式ドキュメントに、ホモグラフィを実装するためのサンプル コードと例を示します: docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html。
- 同調をチェックする正気
- セッション全体のセクション4.3を完了し、モバイルアイトラッキングビデオの各フレームでホモグラフィーを実行して、ホモグラフィーの品質を確認します。結果として得られる視線追跡データの精度を推定する自動化された方法はありませんが、図 4に示すようなビデオを使用して、各セッションを手動で正気チェックする必要があります。
- 品質が予想よりも低い場合は、ホモグラフィの結果を改善するために追加のパラメータを検討してください。
- 検出されたフィデューシャル マーカーの数: ビデオ ストリームから十分なフィデューシャル マーカーを検出できる場合にのみ、ホモグラフィーを実行します。この数は、上記で制作されたビデオを調べることによって決定できます。
- フィデューシャルマーカーの位置: 異なるマーカーの深さと向きが異なる場合、堅牢なマーカーを構築するのに十分なマーカーがあることを考えると、視線座標に最も近いマーカーを選択すると、ホモグラフィーの品質が通常向上します。ホモグラフィー。
- フィデューシャルマーカーの向き:異なる向きを持つフィデューシャルマーカー(例えば、水平および垂直)を組み合わせると、不正確なホモグラフィーが生成されます。最初に参加者がどの平面または関心のある領域(AOI)を見ているかを検出し(例えば、コンピュータ画面、チートシート、表、図3を参照)、ホモグラフィーのためにこの平面上のフィデューシャルマーカーを使用することをお勧めします。
- ビデオストリームの品質:突然のヘッドの動きは、フィデューシャルマーカーを確実に検出できないため、ビデオフレームをぼかし、データを使用不能にすることができます(図4)。この論文の方法論は、突然の頭部の動きを伴う実験には適していない。
5. 二重アイトラッキングデータの分析
- データがありません
- データが参照イメージに正しく再マップされたことを確認するには、視覚化グラフ (図5、図 6など) と説明統計を作成して、不足しているデータの量を確認します。
- クロス繰り返しグラフ
- クロスランス グラフ9を使用して、2 人の参加者間の視覚的な同期を表します (図 6)。黒い四角形は、参加者が同じ領域を見ていることを示し、黒い斜線はまったく同じ時間に同じものを見ている2つの被験者を記述し、斜めの線から黒い四角形は、タイムラグで同じものを見ている2人の被験者を記述します。最後に、欠損データ (白い四角形) と JVA (灰色の四角形) のない既存のデータを区別すると、問題のあるセッションを特定するのに役立ちます。これは、研究者に視覚的な健全性チェックを提供します。
- JVAのコンピューティング
- 欠落データをフィルタリングした後、-2/+2 s タイム ウィンドウで、参加者の視線がシーン内の同じ半径 (以下に定義) にある回数をカウントして、JVA のメトリックを計算します。この数値を、JVA の計算に使用できる有効なデータ ポイントの数で割ります。除算の結果は、2 人の被験者が共同で同じ場所を見ていた時間の割合を表します。この最後のステップは、ホモグラフィーの後により多くのデータを持つグループのスコアを膨らませないようにするために必要です。
注:JVAを計算する前に2つのパラメータを設定する必要があり、2つの視線ポイント間の最小距離とそれらの間の時間枠(図7):1)タイムウィンドウ:初期の基礎研究10は、リスナーとスピーカーの間のJVAを測定するために単一のアイトラッカーを使用しました。研究者は、最初の参加者(「スピーカー」)に、キャラクターが目の前に表示されたテレビ番組について話すように頼みました。2番目の参加者セット(「リスナー」)は、スピーカーのオーディオ録音を聴きながら同じ番組を見ました。話し手と聞き手の目の動きを比較すると、聞き手の目の動きが2sの遅延で話し手の目の動きに密接に一致していることがわかりました。その後の研究では、11人の研究者がライブ対話を分析し、JVAの3 s最高のキャプチャモーメントの遅延を発見しました。各タスクは一意であり、異なるタイム ラグを示す可能性があるため、異なるタイム ラグが特定の実験の結果に与える影響を調べることもできます。全体的に見ると、実験タスクに応じて±2/3秒のタイムウィンドウでJVAを探し、異なるタイムラグによって結果がどのように変化するかを調べるのが一般的です。2)視線間の距離:JVAとしてカウントするために2つの視線間に経験的に定義された距離はありません。この距離は、研究者によって定義された研究の質問に依存します。研究の質問は、関心のあるターゲットのサイズを知らせる必要があります。図 7に示す例では、参加者が迷路内のロボットを見ているときにキャプチャするのに十分なため、シーン イメージ上の半径 100 ピクセル (青/緑の円) が解析用に選択されました。
- 欠落データをフィルタリングした後、-2/+2 s タイム ウィンドウで、参加者の視線がシーン内の同じ半径 (以下に定義) にある回数をカウントして、JVA のメトリックを計算します。この数値を、JVA の計算に使用できる有効なデータ ポイントの数で割ります。除算の結果は、2 人の被験者が共同で同じ場所を見ていた時間の割合を表します。この最後のステップは、ホモグラフィーの後により多くのデータを持つグループのスコアを膨らませないようにするために必要です。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
上記の方法論は、ロジスティクス(n =54)12の職業訓練プログラムに従っていた学生を研究するために使用されました。この実験では、小規模倉庫をシミュレートする有形ユーザー インターフェイス (TUI) と対話する学生のペア。TUIに配置された受託マーカーは、研究チームが学生の視線を共通の平面に再マップし、JVAのレベルを計算することを可能にしました。調査結果は、より高いレベルのJVAを持つグループは、彼らに与えられたタスクでより良い結果を出す傾向があり、より多くのことを学び、コラボレーションの質が高いことを示しました(図8、左側)。デュアルアイトラッキングデータセットでは、フリーライダー効果などの特定のグループダイナミクスをキャプチャすることもできます。この効果は、JVAの各瞬間を開始した可能性が高い人物(つまり、その視線が最初にあった人)と、それに反応した人(つまり、視線が2番目にあった人)を特定することによって推定しました。学習の向上と、JVAのオファーを開始し、対応する責任を均等に共有する学生の傾向との間に有意な相関関係があることがわかりました。言い換えれば、同じ人が常にJVAの瞬間を開始したグループ(図8、右側)と、この責任が均等に共有されたグループは、学習する可能性が高かった。この知見は、単にJVを定量化するだけでなく、実際に二重アイトラッキングデータを使用してグループのダイナミクスと生産性を特定できることを示しています。
図 1: 各参加者は、各ビデオ フレーム上の視線の X、Y 座標を持つ 2 つのビデオ フィードを生成します。この方法論は、参加者間でデータを時間的および空間的に同期することに取り組みます。この図の大きなバージョンを表示するには、ここをクリックしてください。
図 2: 2 つのデータセットを同期する方法アクティビティの開始と終了をタグ付けするために、コンピュータ画面上に一意のフィデューシャル マーカーを簡単に表示します。この図の大きなバージョンを表示するには、ここをクリックしてください。
図3:環境内に普及したフィデューシャルマーカーを使用して、参加者の視線を共通の計画(左側)に再マップする。白い線は、両方の画像で検出されたフィデューシャルマーカーを示します。この図の大きなバージョンを表示するには、ここをクリックしてください。
図 4: データ品質の低下の例左: 突然の頭の動きによって引き起こされる視線追跡ビデオのぼやけたフレーム。この画像ではフィデューシャル マーカーを検出できませんでした。右: 受託マーカーデータがビデオフィードと正しく同期されなかったホモグラフィーが失敗しました。この図の大きなバージョンを表示するには、ここをクリックしてください。
図 5: ヒートマップ左: 実験シーンに再マップされた視線追跡データのヒートマップ。このビジュアライゼーションは、ホモグラフィの健全性チェックとして使用されました。右: 欠落データが多すぎて破棄する必要があったグループ。この図の大きなバージョンを表示するには、ここをクリックしてください。
図6:JVAを可視化するために3つのダイアドから生成されたクロス再発グラフ。P1 は最初の参加者の時間を表し、P2 は 2 番目の参加者の時間を表します。黒い正方形はJVAを示しています。灰色の正方形は、参加者が異なる場所を見ている瞬間を示しています。白い正方形は、欠落しているデータを示しています。主対角線に沿った正方形は、参加者が同時に同じ場所を見た瞬間を示します。この可視化は、組み合わされた視線追跡データからJVAの測定値の健全性チェックとして使用されました。この図の大きなバージョンを表示するには、ここをクリックしてください。
図 7: 2 人の参加者間で JVA が検出されたビデオ フレーム (赤い点)リチャードソンら11は、JVAを計算する際に+/-2 s.の時間枠を見てお勧めします。さらに、研究者は、JVA としてカウントする 2 つの視線ポイント間の最小距離を定義する必要があります。上の中央の画像では、半径 100 ピクセルが選択されました。この図の大きなバージョンを表示するには、ここをクリックしてください。
図 8: 結果の例同じ場所を同時に見る時間の割合が参加者のコラボレーションの質と相関していたシュナイダーら12のデータ:r(24)=0.460、P= 0.018(左側)、JVAのオファーの開始/応答の不均衡は、彼らの学習利益と相関していた: r(24) = −0.47, P = 0.02 (右) この図の大きなバージョンを表示するには、ここをクリックしてください。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
このホワイト ペーパーで説明する方法論は、併置されたダイアドで JVA をキャプチャする厳密な方法を提供します。手頃な価格のセンシング技術とコンピュータビジョンアルゴリズムの改良により、これまで利用できなかった精度で協調的な相互作用を研究できるようになりました。この方法論は、環境中で広められた受託マーカーを利用し、参加者の視線を共通の平面に再マップする方法としてホモグラフィーを使用します。これにより、研究者は併置されたグループでJVAを厳格に研究することができます。
この方法には、実験のさまざまな時点で実行する必要がある複数の正気チェックが含まれます。これは複雑な手順であるため、研究者は、結果のデータセットが完全で有効であることを確認する必要があります。最後に、実際の実験の前にパイロット研究を行い、データ収集後のビデオを使用して参加者とのやり取りを再構築することをお勧めします (図 3、図 4、図 5、図 6)。
この方法にはいくつかの制限があります。
参加者数:この方法論は 2 人の参加者に適していますが、より大きなグループでは分析がより複雑になります。フィデューシャルマーカーは、地面の真実に視線を再マップするために引き続き使用できますが、JVAを識別する方法を知ることは、より微妙なプロセスになります。JVAは、誰もが同時に同じ場所を見ている時間、または2人の参加者が同じ場所を見ている時間として定義する必要がありますか?さらに、クロスリバイラグラフのような視覚化は、2~3人以上の人では実用的ではありません。
設定。本論文に記載の方法は、小さく制御された設定(例えば、実験室での研究)に適している。屋外や大きなスペースなどのオープンエンドの設定は、通常、フィデューシャルマーカーを使用して計測するには複雑すぎるため、視線追跡データの有用性を制限できます。さらに、フィデューシャル マーカーは、環境を妨げ、混乱する可能性があります。将来的には、より優れたコンピュータビジョンアルゴリズムは、2つの視点の間で共通の機能を自動的に抽出できるようになります。この目的のために既に存在するアルゴリズムがありますが、上記の実験の種類に対して精度のレベルがまだ受け入れられないことがわかりました。
AOI.上記の点に関連して、コンピューティングホモグラフィとクロスラニサンスグラフは、関心のある領域の数が安定してうまく機能しますが、関心のある領域の数が異なる異なるタスクを比較する場合は修正する必要があります。
機器の使用。モバイルアイトラッカーは目障りで、参加者の行動に影響を与えたり、特定の眼生理学で働けなかったりする可能性があります。
結論として、本論文で述べる方法論は、共存相互作用を研究する有望な方法である。これは、研究者が社会科学1の重要な構成要素であるJVAのための正確なメトリックをキャプチャすることができます。さらに、従来の定性分析と比較して、この方法論12を通じて協調学習のより詳細な指標を検出することができる。要するに、それは社会的相互作用を研究するためのより効率的かつ正確な方法です。
この方法の潜在的な適用には、リアルタイムの視線追跡データを通じたコラボレーションをサポートする介入の設計が含まれます。いくつかの先駆的な作業は、距離14からの共同学習の恩恵を受けるために示されているリモートアイトラッカーを使用して共有視線の可視化を生成しました。リアルタイムでパートナーの視線を見ることができたダイアドは、より多くのJVAを展示し、より良いコラボレーションを行い、コントロールグループと比較してより高い学習の向上を達成しました。今後の作業では、この種の介入が共存する設定 (仮想または拡張現実ヘッドセットを介した) で共同作業プロセスをサポートできるかどうかを検討します。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
著者らは、競合する財政的利益がないことを宣言する。
Acknowledgments
この方法論の開発は、国立科学財団(NSF#0835854)、スイス教育・研究・イノベーション事務局、ハーバード大学教育学部のディーン・ベンチャー基金が出資する職業教育のリーディング・ハウス・テクノロジーによって支援されました。
Materials
| Name | Company | Catalog Number | Comments |
| Tobii Glasses 2 | Tobii | N/A | https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/ |
| Fiducial markers | Chili lab – EPFL, Switzerland | N/A | https://github.com/chili-epfl/chilitags |
References
- Tomasello, M. Joint attention as social cognition. Joint attention: Its origins and role in development. Moore, C., Dunham, P. J. , Lawrence Erlbaum Associates, Inc. Hillsdale, NJ, England. 103-130 (1995).
- Mundy, P., Sigman, M., Kasari, C. A longitudinal study of joint attention and language development in autistic children. Journal of Autism and Developmental Disorders. 20, 115-128 (1990).
- Clark, H. H., Brennan, S. E. Grounding in communication. Perspectives on socially shared cognition. Resnick, L. B., Levine, J. M., Teasley, S. D. , American Psychological Association. Washington, DC, US. 127-149 (1991).
- Siposova, B., Carpenter, M. A new look at joint attention and common knowledge. Cognition. 189, 260-274 (2019).
- Gergle, D., Clark, A. T. See What I'm Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , ACM. New York, NY, USA. 435-444 (2011).
- Renner, P., Pfeiffer, T., Wachsmuth, I. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. Spatial Cognition IX. Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. , Springer International Publishing. 121-136 (2014).
- Shvarts, A. Y. Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology. The Russian Journal of Cognitive Science. 5, 4 (2018).
- Bonnard, Q., et al. Chilitags: Robust Fiducial Markers for Augmented Reality [software]. , Available from: https://github.com/chili-epfl/qml-chilitags (2013).
- Jermann, P., Mullins, D., Nüssli, M. -A., Dillenbourg, P. Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice. CSCL2011 Conference Proceedings., Volume I - Long Papers. , 184-191 (2011).
- Richardson, D. C., Dale, R. Looking To Understand: The Coupling Between Speakers' and Listeners' Eye Movements and Its Relationship to Discourse Comprehension. Trends in Cognitive Sciences. 29, 1045-1060 (2005).
- Richardson, D. C., Dale, R., Kirkham, N. Z. The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue. Psychological Science. 18, 407-413 (2007).
- Schneider, B., et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning. ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).
- Meier, A., Spada, H., Rummel, N. A rating scheme for assessing the quality of computer-supported collaboration processes. Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).
- Schneider, B., Pea, R. Real-time mutual gaze perception enhances collaborative learning and collaboration quality. Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).
