マルチモーダルセンサーの使用は、教育の設定における社会的相互作用の役割を理解する有望な方法です。本論文では、モバイルアイトラッカーを用いて共振ダイアドから関節視覚的注意を捉える方法論について述べている。
Method Article
マルチモーダルセンサーの使用は、教育の設定における社会的相互作用の役割を理解する有望な方法です。本論文では、モバイルアイトラッカーを用いて共振ダイアドから関節視覚的注意を捉える方法論について述べている。
新しい技術の進歩の出現により、前例のない精度でマイクロレベルでの社会的相互作用の研究が可能です。アイトラッカー、電極活動リストバンド、脳波バンド、モーションセンサーなどの高周波センサは、ミリ秒レベルでの観測を提供します。この精度レベルにより、研究者は社会的相互作用に関する大規模なデータセットを収集できます。本稿では、複数のアイトラッカーが社会的相互作用、関節視覚的注意(JVA)の基本的な構成要素をどのように捉えることができるかについて論じた。JVAは、発達心理学者によって、子どもたちが言語を習得する方法を理解し、小さな学習者のグループがどのように協力するかを理解するための科学者を学び、社会科学者が小さなチームの相互作用を理解するために研究されています。本論文では、モバイルアイトラッカーを使用して併置された設定でJVAをキャプチャする方法について説明します。これは、いくつかの経験的な結果を提示し、社会的相互作用を理解するために顕微鏡観察をキャプチャすることの意味を議論します。
JVAは、特に言語習得を研究する発達心理学者によって、過去1世紀にわたって広く研究されてきました。共同の注意は単に言葉を学ぶ方法ではなく、むしろ子供の心の理論の前駆体であるということがすぐに確立されました。したがって、他者とのコミュニケーション、共同作業、共感の育成など、多くの社会プロセスにおいて重要な役割を果たしています。自閉症の小児は、例えば、重要な社会的障害に関連する介護者と視覚的な注意を調整する能力を欠いている2.人間は、社会の機能的なメンバーになり、行動を調整し、他の人から学ぶために共同の注意を必要とします。最初の言葉を身につける子どもたち、学校の先生から学ぶ10代の若者、プロジェクトでの共同作業を行う学生、共通の目標に向かって取り組む大人のグループまで、共同の注意は個人間の共通点を確立するための基本的なメカニズムです 3.本論文では、教育研究におけるJVAの研究に焦点を当てています。時間の経過と共に共同の注意がどのように展開されるかを理解することは、共同学習プロセスの研究において最も重要です。このように、それは社会構成主義者の設定で主な役割を果たしています。
共同注意の正確な定義はまだ議論されている4.本論文は、共同注意(JA)、すなわちJVAのサブコンストラクトに関する。JVAは、2つの被験者が同時に同じ場所を見ているときに起こります。JVAは、JAの研究に関心のある他の重要な構成要素に関する情報を提供しないことに留意すべきである。本論文では、2人の参加者の視線追跡データを組み合わせ、視線を揃える頻度を分析することで、JVAを運用・簡素化します。より包括的な議論のために、興味のある読者はシポソバエットal.4のJAコンストラクトの研究についての詳細を学ぶことができます。
過去10年間で、技術の進歩はJVAに関する研究を根本的に変革してきました。主なパラダイムシフトは、実験室や生態学的な設定でビデオ録画を定性的に分析するのではなく、複数のアイトラッカーを使用して注意アライメントの定量的な測定値を得ることになっていました。この開発により、研究者はダイアドの視覚的な調整に関する正確で詳細な情報を収集することができました。さらに、アイトラッカーはより手頃な価格になりつつあります:最近まで、その使用は学術的な設定や大企業に予約されていました。信頼性の高いデータセットを生成する安価なアイトラッカーを購入できるようになりました。最後に、ハイエンドラップトップや仮想および拡張現実ヘッドセットなどの既存のデバイスに視線追跡機能をプログレッシブに組み込むことは、アイトラッキングがすぐにユビキタスになることを示唆しています。
視線追跡装置の普及により、社会的な相互作用について何ができること、教えてくれないのかを理解することが重要です。このホワイト ペーパーで紹介する方法論は、この方向の第一歩です。私は、複数のアイトラッカーからJVAをキャプチャする際の2つの課題に対処します:1)時系列スケール、および2)空間スケール上のデータを同期します。具体的には、このプロトコルは、実際の環境に配置された受託マーカーを利用して、参加者が視線を向けているコンピュータビジョンアルゴリズムを通知します。この新しい種類の方法論は、小さなグループの人間の行動の厳格な分析への道を開きます。
この研究プロトコルは、ハーバード大学の人間研究倫理委員会のガイドラインに準拠しています。
1. 参加者審査
2. 実験の準備
3. 実験の実行
4. 二重アイトラッキングデータの前処理
5. 二重アイトラッキングデータの分析
上記の方法論は、ロジスティクス(n =54)12の職業訓練プログラムに従っていた学生を研究するために使用されました。この実験では、小規模倉庫をシミュレートする有形ユーザー インターフェイス (TUI) と対話する学生のペア。TUIに配置された受託マーカーは、研究チームが学生の視線を共通の平面に再マップし、JVAのレベルを計算することを可能にしました。調査結果は、より高いレベルのJVAを持つグループは、彼らに与えられたタスクでより良い結果を出す傾向があり、より多くのことを学び、コラボレーションの質が高いことを示しました(図8、左側)。デュアルアイトラッキングデータセットでは、フリーライダー効果などの特定のグループダイナミクスをキャプチャすることもできます。この効果は、JVAの各瞬間を開始した可能性が高い人物(つまり、その視線が最初にあった人)と、それに反応した人(つまり、視線が2番目にあった人)を特定することによって推定しました。学習の向上と、JVAのオファーを開始し、対応する責任を均等に共有する学生の傾向との間に有意な相関関係があることがわかりました。言い換えれば、同じ人が常にJVAの瞬間を開始したグループ(図8、右側)と、この責任が均等に共有されたグループは、学習する可能性が高かった。この知見は、単にJVを定量化するだけでなく、実際に二重アイトラッキングデータを使用してグループのダイナミクスと生産性を特定できることを示しています。

図 1: 各参加者は、各ビデオ フレーム上の視線の X、Y 座標を持つ 2 つのビデオ フィードを生成します。この方法論は、参加者間でデータを時間的および空間的に同期することに取り組みます。この図の大きなバージョンを表示するには、ここをクリックしてください。

図 2: 2 つのデータセットを同期する方法アクティビティの開始と終了をタグ付けするために、コンピュータ画面上に一意のフィデューシャル マーカーを簡単に表示します。この図の大きなバージョンを表示するには、ここをクリックしてください。

図3:環境内に普及したフィデューシャルマーカーを使用して、参加者の視線を共通の計画(左側)に再マップする。白い線は、両方の画像で検出されたフィデューシャルマーカーを示します。この図の大きなバージョンを表示するには、ここをクリックしてください。

図 4: データ品質の低下の例左: 突然の頭の動きによって引き起こされる視線追跡ビデオのぼやけたフレーム。この画像ではフィデューシャル マーカーを検出できませんでした。右: 受託マーカーデータがビデオフィードと正しく同期されなかったホモグラフィーが失敗しました。この図の大きなバージョンを表示するには、ここをクリックしてください。

図 5: ヒートマップ左: 実験シーンに再マップされた視線追跡データのヒートマップ。このビジュアライゼーションは、ホモグラフィの健全性チェックとして使用されました。右: 欠落データが多すぎて破棄する必要があったグループ。この図の大きなバージョンを表示するには、ここをクリックしてください。

図6:JVAを可視化するために3つのダイアドから生成されたクロス再発グラフ。P1 は最初の参加者の時間を表し、P2 は 2 番目の参加者の時間を表します。黒い正方形はJVAを示しています。灰色の正方形は、参加者が異なる場所を見ている瞬間を示しています。白い正方形は、欠落しているデータを示しています。主対角線に沿った正方形は、参加者が同時に同じ場所を見た瞬間を示します。この可視化は、組み合わされた視線追跡データからJVAの測定値の健全性チェックとして使用されました。この図の大きなバージョンを表示するには、ここをクリックしてください。

図 7: 2 人の参加者間で JVA が検出されたビデオ フレーム (赤い点)リチャードソンら11は、JVAを計算する際に+/-2 s.の時間枠を見てお勧めします。さらに、研究者は、JVA としてカウントする 2 つの視線ポイント間の最小距離を定義する必要があります。上の中央の画像では、半径 100 ピクセルが選択されました。この図の大きなバージョンを表示するには、ここをクリックしてください。

図 8: 結果の例同じ場所を同時に見る時間の割合が参加者のコラボレーションの質と相関していたシュナイダーら12のデータ:r(24)=0.460、P= 0.018(左側)、JVAのオファーの開始/応答の不均衡は、彼らの学習利益と相関していた: r(24) = −0.47, P = 0.02 (右) この図の大きなバージョンを表示するには、ここをクリックしてください。
このホワイト ペーパーで説明する方法論は、併置されたダイアドで JVA をキャプチャする厳密な方法を提供します。手頃な価格のセンシング技術とコンピュータビジョンアルゴリズムの改良により、これまで利用できなかった精度で協調的な相互作用を研究できるようになりました。この方法論は、環境中で広められた受託マーカーを利用し、参加者の視線を共通の平面に再マップする方法としてホモグラフィーを使用します。これにより、研究者は併置されたグループでJVAを厳格に研究することができます。
この方法には、実験のさまざまな時点で実行する必要がある複数の正気チェックが含まれます。これは複雑な手順であるため、研究者は、結果のデータセットが完全で有効であることを確認する必要があります。最後に、実際の実験の前にパイロット研究を行い、データ収集後のビデオを使用して参加者とのやり取りを再構築することをお勧めします (図 3、図 4、図 5、図 6)。
この方法にはいくつかの制限があります。
参加者数:この方法論は 2 人の参加者に適していますが、より大きなグループでは分析がより複雑になります。フィデューシャルマーカーは、地面の真実に視線を再マップするために引き続き使用できますが、JVAを識別する方法を知ることは、より微妙なプロセスになります。JVAは、誰もが同時に同じ場所を見ている時間、または2人の参加者が同じ場所を見ている時間として定義する必要がありますか?さらに、クロスリバイラグラフのような視覚化は、2~3人以上の人では実用的ではありません。
設定。本論文に記載の方法は、小さく制御された設定(例えば、実験室での研究)に適している。屋外や大きなスペースなどのオープンエンドの設定は、通常、フィデューシャルマーカーを使用して計測するには複雑すぎるため、視線追跡データの有用性を制限できます。さらに、フィデューシャル マーカーは、環境を妨げ、混乱する可能性があります。将来的には、より優れたコンピュータビジョンアルゴリズムは、2つの視点の間で共通の機能を自動的に抽出できるようになります。この目的のために既に存在するアルゴリズムがありますが、上記の実験の種類に対して精度のレベルがまだ受け入れられないことがわかりました。
AOI.上記の点に関連して、コンピューティングホモグラフィとクロスラニサンスグラフは、関心のある領域の数が安定してうまく機能しますが、関心のある領域の数が異なる異なるタスクを比較する場合は修正する必要があります。
機器の使用。モバイルアイトラッカーは目障りで、参加者の行動に影響を与えたり、特定の眼生理学で働けなかったりする可能性があります。
結論として、本論文で述べる方法論は、共存相互作用を研究する有望な方法である。これは、研究者が社会科学1の重要な構成要素であるJVAのための正確なメトリックをキャプチャすることができます。さらに、従来の定性分析と比較して、この方法論12を通じて協調学習のより詳細な指標を検出することができる。要するに、それは社会的相互作用を研究するためのより効率的かつ正確な方法です。
この方法の潜在的な適用には、リアルタイムの視線追跡データを通じたコラボレーションをサポートする介入の設計が含まれます。いくつかの先駆的な作業は、距離14からの共同学習の恩恵を受けるために示されているリモートアイトラッカーを使用して共有視線の可視化を生成しました。リアルタイムでパートナーの視線を見ることができたダイアドは、より多くのJVAを展示し、より良いコラボレーションを行い、コントロールグループと比較してより高い学習の向上を達成しました。今後の作業では、この種の介入が共存する設定 (仮想または拡張現実ヘッドセットを介した) で共同作業プロセスをサポートできるかどうかを検討します。
著者らは、競合する財政的利益がないことを宣言する。
この方法論の開発は、国立科学財団(NSF#0835854)、スイス教育・研究・イノベーション事務局、ハーバード大学教育学部のディーン・ベンチャー基金が出資する職業教育のリーディング・ハウス・テクノロジーによって支援されました。
| Name | Company | Catalog Number | Comments |
|---|---|---|---|
| Tobii メガネ 2 | Tobii | N/A | https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/ |
| Fiducial markers | Chili lab –EPFL、スイス | N/A | https://github.com/chili-epfl/chilitags |
Request permission to reuse the text or figures of this JoVE article
Request Permission