Name: モバイルアイトラッカーを用いた関節視覚注意を捉える方法論 (動画) | JoVE Journal
Uploaded: 2020-01-18T14:00:00.000+00:00
Duration: 12 min 39 s
Description: 学ぶモバイルアイトラッカーを用いた関節視覚注意の定量的測定法。協働学習における視線パターンの同期と空間的マッピングにより、社会的相互作用の質を客観的に評価できる。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

この方法論の開発は、国立科学財団(NSF#0835854)、スイス教育・研究・イノベーション事務局、ハーバード大学教育学部のディーン・ベンチャー基金が出資する職業教育のリーディング・ハウス・テクノロジーによって支援されました。

1. 参加者審査
<ol><li>正常または修正された正常な視力を持つ参加者が募集されていることを確認します。参加者はモバイルアイトラッカーの着用を求められるため、コンタクトレンズは着用できますが、通常の眼鏡は着用できません。</li>
</ol>2. 実験の準備
<ol><li>視線追跡装置<ol>
<li>現実世界の環境で目の動きをキャプチャすることができる任意のモバイルアイトラッカーを使用してください。 注:ここで使用されるモバイルアイトラッカーは、2つのトビイプロメガネ2でした(材料の表を参照)。眼鏡には、目の動きを追跡できる特殊なカメラに加え、HDシーンカメラとマイクも搭載されており、ユーザーの視野のコンテキストで視線を可視化することができます。これらのメガネは、1秒間に50回視線データをキャプチャします。他の研究者は、ASL Mobile Eye5、SMI6、または瞳ラボ7を使用しており、そのすべてがシーンカメラからのビデオストリームとさまざまなサンプリングレート(30~120 Hz)での視線追跡座標を提供しています。以下の手順は、他の視線追跡デバイスによって若干異なる場合があります。</li>
	</ol>
</li>
	<li>フィデューシャルマーカー<ol>
<li>以下の 2 つのステップ (時間的および空間的な配置) では、受託マーカーを使用する必要があります。これらのマーカーとアルゴリズムを研究者に提供して、画像やビデオフィードで検出するコンピュータビジョンライブラリがいくつかあります。説明されているプロトコルは、チリタグ ライブラリ8を使用します。</li>
	</ol>
</li>
	<li>時間配置<ol>
<li>視線追跡データは 2 つの別々の単位に記録されるため、データが正しく同期されていることを確認します (図 1)。2 つの主要な方法を使用できます。この原稿は、サーバーの同期はモバイルアイトラッカーの各ブランドで異なって動作するため、最初の方法のみをカバーしています。<ol>
<li>セッションの開始と終了を示す受託マーカーをコンピュータ画面に簡単に表示します。これは視覚的な"手拍子"に似ています(図2)。</li>
			<li>または、サーバーを使用して、2 つのデータ収集ユニットのクロックを同期します。この方法は、より高い時間精度が必要な場合に、若干正確で推奨されます。</li>
		</ol>
</li>
	</ol>
</li>
	<li>空間的な配置<ol>
<li>2 人の参加者が同時に同じ場所を見ているかどうかを確認するには、視線を共通の平面にマップします。この平面は、実験設定の画像にすることができます(図3の左側を参照)。実験の前にこの画像を慎重に設計してください。</li>
		<li>フィデューシャルマーカーのサイズ: フィデューシャルマーカーの一般的なサイズは、視線追跡ビデオからそれらを検出するために使用されるアルゴリズムによって異なります。参加者に近いサーフェスは、より小さなフィデューシャル マーカーを持つことができますが、それらから遠く離れたサーフェスは、参加者の視点から見た目から見えるように、より大きくする必要があります。事前に異なるサイズを試して、視線追跡ビデオから検出できることを確認してください。</li>
		<li>フィデューシャル マーカーの数: 視線を共通の平面にマッピングするプロセスを成功させるには、参加者の視点から特定の時点で複数のフィデューシャル マーカーが表示されるようにします。</li>
		<li>フィデューシャルマーカーの位置:フィデューシャルマーカーのストリップを使用して関心のある領域をフレームします(例えば、図3のラップトップ画面を参照)。</li>
	</ol>
</li>
	<li>最後に、パイロットを実行して同期手順をテストし、最適な位置、サイズ、およびフィデューシャル マーカーの数を決定します。視線追跡ビデオは、コンピュータビジョンアルゴリズムを介して処理して、フィデューシャルマーカーが確実に検出されているかどうかを確認できます。</li>
</ol>3. 実験の実行
<ol><li>指示<ol>
<li>通常の眼鏡と同じように、視線追跡眼鏡をかけるように参加者に指示する。参加者の明確な顔の特徴に基づいて、異なる高さの鼻片を使用してデータ品質を維持する必要がある場合があります。</li>
		<li>アイトラッカーをオンにした後、参加者に自然な身体の動きを可能にするために記録ユニットを自分自身にクリップさせます。</li>
	</ol>
</li>
	<li>校正<ol>
<li>ソフトウェアのキャリブレーション機能が有効になっている間に、Tobiiが提供するキャリブレーションマーカーの中心を見るように参加者に指示します。キャリブレーションが完了したら、ソフトウェア内から録音を開始できます。</li>
		<li>キャリブレーション後にモバイルアイトラッカーを動かさないことを参加者に指示します。その場合、データが不正確になる可能性が高く、キャリブレーション手順を再度実行する必要があります。</li>
	</ol>
</li>
	<li>データ監視<ol>
<li>調査中にデータ収集プロセスを監視し、視線追跡データが正しく収集されていることを確認します。ほとんどのモバイルアイトラッカーは、この目的のために別のデバイス(例えば、タブレット)上のライブストリームを提供することができます。</li>
	</ol>
</li>
	<li>データエクスポート<ol>
<li>記録セッションが完了したら、視線追跡メガネとデータ収集ユニットを取り外するように参加者に指示します。ユニットの電源を切ります。</li>
		<li>セッションデータをインポートするデータ収集ユニットからSDカードを取り外して、別のソフトウェアTobii Pro Labを使用してデータを抽出します。Tobii Pro Lab を使用すると、ビデオの再生、ビジュアライゼーションの作成、および視線追跡データのコンマ区切り (.csv) またはタブ区切り (.tsv) ファイルとしてエクスポートできます。</li>
	</ol>
</li>
</ol>4. 二重アイトラッキングデータの前処理
<ol><li>アイトラッキングデータの健全性チェック<ol>
<li>データ収集後に目覚ますデータを視覚的に確認します。一部の参加者がデータを欠落していることは珍しくありません。たとえば、特定の眼生理学は、視線追跡アルゴリズムに問題を引き起こす可能性があり、実験中に眼鏡がずれる可能性があり、データ収集ソフトウェアがクラッシュする可能性があります。</li>
		<li>説明統計を使用して、各セッション中に失われたデータの量を確認し、大量の欠落データまたは騒々しいデータを持つセッションを除外します。</li>
	</ol></li>
	<li>時間配置<ol>
<li>各モバイルアイトラッカーからデータをトリミングして、参加者間のインタラクションのみを含めます。これは、上記の方法を使用して達成することができる(すなわち、セッションの開始時と終了時に参加者に2つの特別なフィデューシャルマーカーを提示する)。これらのフィデューシャル マーカーは、視線追跡ビデオから検出してデータセットをトリミングできます。</li>
	</ol></li>
	<li>空間的な配置 注:2人の参加者が同時に同じ場所を見ているかどうかを検出するには、参加者の視線を共通の平面(実験設定の画像)に再マップする必要があります。この目標を達成するための計算方法は、ホモグラフィ(すなわち、平面の遠近法変換)です。技術的な観点からは、空間内の同じ平面サーフェスの 2 つのイメージは、ホモグラフィ マトリックスによって関連付けられます。このマトリックスは、共通の点のセットに基づいて、2 つの平面間の追加ポイントの位置を推測するために使用できます。図 3では、たとえば、コンピュータビジョンアルゴリズムが受付の位置を知っている場合、参加者の視線を左側の共通平面に再マップできます。白い線は、各参加者のビデオ フィードとシーンによって共有される 2 つのポイント セットを接続し、左側の緑と青の点を再マップするためにホモグラフィを構築するために使用されます。<ol>
<li>Python バージョンの OpenCV を使用して、フィデューシャル マーカーからホモグラフィ行列を計算し、アイトラッキング データを実験設定のシーン (または任意の言語のその他の適切なライブラリ) に再マップします。OpenCV には、ホモグラフィー行列を取得するためのfindHomography()と、ある視点から他方の視点にポイントを変換するperspectiveTransform()の 2 つの便利な関数があります。</li>
		<li>findHomography()を使用するには、ソースポイントのX、Y座標(つまり、参加者のシーンビデオから検出されたフィデューシャルマーカー、図3の右側に示すフィデューシャルマーカー)と、対応するターゲットポイント(つまり、シーン画像で検出されたのと同じフィデューシャルマーカー(図3に示す)の2つの引数を指定して実行します。</li>
		<li>結果のホモグラフィ行列をperspectiveTransform()関数に送り、ソース イメージからターゲット イメージにマップする必要がある新しいポイント (図3の右側に青/緑のドットとして表示されるアイトラッキング データなど) を送ります。perspectiveTransform関数は、シーン イメージ上の同じポイントの新しい座標を返します (つまり、図 3の左側に表示される青/緑の点)。 注: 詳細については、OpenCV 公式ドキュメントに、ホモグラフィを実装するためのサンプル コードと例を示します: docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html。</li>
	</ol></li>
	<li>同調をチェックする正気<ol>
<li>セッション全体のセクション4.3を完了し、モバイルアイトラッキングビデオの各フレームでホモグラフィーを実行して、ホモグラフィーの品質を確認します。結果として得られる視線追跡データの精度を推定する自動化された方法はありませんが、図 4に示すようなビデオを使用して、各セッションを手動で正気チェックする必要があります。</li>
		<li>品質が予想よりも低い場合は、ホモグラフィの結果を改善するために追加のパラメータを検討してください。<ol>
<li>検出されたフィデューシャル マーカーの数: ビデオ ストリームから十分なフィデューシャル マーカーを検出できる場合にのみ、ホモグラフィーを実行します。この数は、上記で制作されたビデオを調べることによって決定できます。</li>
			<li>フィデューシャルマーカーの位置: 異なるマーカーの深さと向きが異なる場合、堅牢なマーカーを構築するのに十分なマーカーがあることを考えると、視線座標に最も近いマーカーを選択すると、ホモグラフィーの品質が通常向上します。ホモグラフィー。</li>
			<li>フィデューシャルマーカーの向き:異なる向きを持つフィデューシャルマーカー(例えば、水平および垂直)を組み合わせると、不正確なホモグラフィーが生成されます。最初に参加者がどの平面または関心のある領域(AOI)を見ているかを検出し(例えば、コンピュータ画面、チートシート、表、図3を参照)、ホモグラフィーのためにこの平面上のフィデューシャルマーカーを使用することをお勧めします。</li>
			<li>ビデオストリームの品質:突然のヘッドの動きは、フィデューシャルマーカーを確実に検出できないため、ビデオフレームをぼかし、データを使用不能にすることができます(図4)。この論文の方法論は、突然の頭部の動きを伴う実験には適していない。</li>
		</ol>
</li>
	</ol></li>
</ol>5. 二重アイトラッキングデータの分析
<ol><li>データがありません<ol>
<li>データが参照イメージに正しく再マップされたことを確認するには、視覚化グラフ (図5、図 6など) と説明統計を作成して、不足しているデータの量を確認します。</li>
	</ol>
</li>
	<li>クロス繰り返しグラフ<ol>
<li>クロスランス グラフ9を使用して、2 人の参加者間の視覚的な同期を表します (図 6)。黒い四角形は、参加者が同じ領域を見ていることを示し、黒い斜線はまったく同じ時間に同じものを見ている2つの被験者を記述し、斜めの線から黒い四角形は、タイムラグで同じものを見ている2人の被験者を記述します。最後に、欠損データ (白い四角形) と JVA (灰色の四角形) のない既存のデータを区別すると、問題のあるセッションを特定するのに役立ちます。これは、研究者に視覚的な健全性チェックを提供します。</li>
	</ol>
</li>
	<li>JVAのコンピューティング<ol>
<li>欠落データをフィルタリングした後、-2/+2 s タイム ウィンドウで、参加者の視線がシーン内の同じ半径 (以下に定義) にある回数をカウントして、JVA のメトリックを計算します。この数値を、JVA の計算に使用できる有効なデータ ポイントの数で割ります。除算の結果は、2 人の被験者が共同で同じ場所を見ていた時間の割合を表します。この最後のステップは、ホモグラフィーの後により多くのデータを持つグループのスコアを膨らませないようにするために必要です。 注:JVAを計算する前に2つのパラメータを設定する必要があり、2つの視線ポイント間の最小距離とそれらの間の時間枠(図7):1)タイムウィンドウ:初期の基礎研究10は、リスナーとスピーカーの間のJVAを測定するために単一のアイトラッカーを使用しました。研究者は、最初の参加者(「スピーカー」)に、キャラクターが目の前に表示されたテレビ番組について話すように頼みました。2番目の参加者セット(「リスナー」)は、スピーカーのオーディオ録音を聴きながら同じ番組を見ました。話し手と聞き手の目の動きを比較すると、聞き手の目の動きが2sの遅延で話し手の目の動きに密接に一致していることがわかりました。その後の研究では、11人の研究者がライブ対話を分析し、JVAの3 s最高のキャプチャモーメントの遅延を発見しました。各タスクは一意であり、異なるタイム ラグを示す可能性があるため、異なるタイム ラグが特定の実験の結果に与える影響を調べることもできます。全体的に見ると、実験タスクに応じて±2/3秒のタイムウィンドウでJVAを探し、異なるタイムラグによって結果がどのように変化するかを調べるのが一般的です。2)視線間の距離:JVAとしてカウントするために2つの視線間に経験的に定義された距離はありません。この距離は、研究者によって定義された研究の質問に依存します。研究の質問は、関心のあるターゲットのサイズを知らせる必要があります。図 7に示す例では、参加者が迷路内のロボットを見ているときにキャプチャするのに十分なため、シーン イメージ上の半径 100 ピクセル (青/緑の円) が解析用に選択されました。</li>
	</ol>
</li>
</ol>

<ol><li>Tomasello, M. Joint attention as social cognition. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aTomasello%2C+M+%22Joint+attention%3A+Its+origins+and+role+in+development%22">Joint attention: Its origins and role in development</a>. Moore, C., Dunham, P. J. , Lawrence Erlbaum Associates, Inc. Hillsdale, NJ, England. 103-130 (1995).</li>
<li>Mundy, P., Sigman, M., Kasari, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+longitudinal+study+of+joint+attention+and+language+development+in+autistic+children%5BTitle%5D)+AND+%22Journal+of+Autism+and+Developmental+Disorders%22%5BJournal%5D)">A longitudinal study of joint attention and language development in autistic children.</a> Journal of Autism and Developmental Disorders. 20, 115-128 (1990).</li>
<li>Clark, H. H., Brennan, S. E. Grounding in communication. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aClark%2C+HH+%22Perspectives+on+socially+shared+cognition%22">Perspectives on socially shared cognition</a>. Resnick, L. B., Levine, J. M., Teasley, S. D. , American Psychological Association. Washington, DC, US. 127-149 (1991).</li>
<li>Siposova, B., Carpenter, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+look+at+joint+attention+and+common+knowledge%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">A new look at joint attention and common knowledge.</a> Cognition. 189, 260-274 (2019).</li>
<li>Gergle, D., Clark, A. T. See What I'm Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGergle%2C+D+%22Proceedings+of+the+ACM+2011+Conference+on+Computer+Supported+Cooperative+Work%22">Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work</a>. , ACM. New York, NY, USA. 435-444 (2011).</li>
<li>Renner, P., Pfeiffer, T., Wachsmuth, I. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aRenner%2C+P+%22Spatial+Cognition+IX%22">Spatial Cognition IX</a>. Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. , Springer International Publishing. 121-136 (2014).</li>
<li>Shvarts, A. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+detection+of+gaze+convergence+in+multimodal+collaboration%3A+a+dual+eye-tracking+technology%5BTitle%5D)+AND+%22The+Russian+Journal+of+Cognitive+Science%22%5BJournal%5D)">Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology.</a> The Russian Journal of Cognitive Science. 5, 4(2018).</li>
<li>Bonnard, Q., et al. Chilitags: Robust Fiducial Markers for Augmented Reality [software]. , Available from: 
 <a target="_blank" href="https://github.com/chili-epfl/qml-chilitags">https://github.com/chili-epfl/qml-chilitags</a> (2013).</li>
<li>Jermann, P., Mullins, D., Nüssli, M. -A., Dillenbourg, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Collaborative+Gaze+Footprints%3A+Correlates+of+Interaction+Quality.+Connecting+Computer-Supported+Collaborative+Learning+to+Policy+and+Practice%5BTitle%5D)+AND+%22CSCL2011+Conference+Proceedings.%2C+Volume+I+-+Long+Papers%22%5BJournal%5D)">Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice.</a> CSCL2011 Conference Proceedings., Volume I - Long Papers. , 184-191 (2011).</li>
<li>Richardson, D. C., Dale, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Looking+To+Understand%3A+The+Coupling+Between+Speakers%27+and+Listeners%27+Eye+Movements+and+Its+Relationship+to+Discourse+Comprehension%5BTitle%5D)+AND+%22Trends+in+Cognitive+Sciences%22%5BJournal%5D)">Looking To Understand: The Coupling Between Speakers' and Listeners' Eye Movements and Its Relationship to Discourse Comprehension.</a> Trends in Cognitive Sciences. 29, 1045-1060 (2005).</li>
<li>Richardson, D. C., Dale, R., Kirkham, N. Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+Art+of+Conversation+Is+Coordination+Common+Ground+and+the+Coupling+of+Eye+Movements+During+Dialogue%5BTitle%5D)+AND+%22Psychological+Science%22%5BJournal%5D)">The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue.</a> Psychological Science. 18, 407-413 (2007).</li>
<li>Schneider, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+Mobile+Eye-Trackers+to+Unpack+the+Perceptual+Benefits+of+a+Tangible+User+Interface+for+Collaborative+Learning%5BTitle%5D)+AND+%22ACM+Transactions+on+Computer-Human+Interaction%22%5BJournal%5D)">Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning.</a> ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).</li>
<li>Meier, A., Spada, H., Rummel, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+rating+scheme+for+assessing+the+quality+of+computer-supported+collaboration+processes%5BTitle%5D)+AND+%22Int.+J.+Comput.-Support.+Collab.+Learn%22%5BJournal%5D)">A rating scheme for assessing the quality of computer-supported collaboration processes.</a> Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).</li>
<li>Schneider, B., Pea, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+mutual+gaze+perception+enhances+collaborative+learning+and+collaboration+quality%5BTitle%5D)+AND+%22Journal+of+Computer-Supported+Collaborative+Learning%22%5BJournal%5D)">Real-time mutual gaze perception enhances collaborative learning and collaboration quality.</a> Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).</li>
</ol>

著者らは、競合する財政的利益がないことを宣言する。

このホワイト ペーパーで説明する方法論は、併置されたダイアドで JVA をキャプチャする厳密な方法を提供します。手頃な価格のセンシング技術とコンピュータビジョンアルゴリズムの改良により、これまで利用できなかった精度で協調的な相互作用を研究できるようになりました。この方法論は、環境中で広められた受託マーカーを利用し、参加者の視線を共通の平面に再マップする方法としてホモグラフィーを使用します。これにより、研究者は併置されたグループでJVAを厳格に研究することができます。
この方法には、実験のさまざまな時点で実行する必要がある複数の正気チェックが含まれます。これは複雑な手順であるため、研究者は、結果のデータセットが完全で有効であることを確認する必要があります。最後に、実際の実験の前にパイロット研究を行い、データ収集後のビデオを使用して参加者とのやり取りを再構築することをお勧めします (図 3、図 4、図 5、図...

JVAは、特に言語習得を研究する発達心理学者によって、過去1世紀にわたって広く研究されてきました。共同の注意は単に言葉を学ぶ方法ではなく、むしろ子供の心の理論の前駆体であるということがすぐに確立されました。したがって、他者とのコミュニケーション、共同作業、共感の育成など、多くの社会プロセスにおいて重要な役割を果たしています。自閉症の小児は、例えば、重要な社会的障害に関連する介護者と視覚的な注意を調整する能力を欠いている2.人間は、社会の機能的なメンバーになり、行動を調整し、他の人から学ぶために共同の注意を必要とします。最初の言葉を身につける子どもたち、学校の先生から学ぶ10代の若者、プロジェクトでの共同作業を行う学生、共通の目標に向かって取り組む大人のグループまで、共同の注意は個人間の共通点を確立するための基本的なメカニズムです 3.本論文では、教育研究におけるJVAの研究に焦点を当てています。時間の経過と共に共同の注意がどのように展開されるかを理解することは、共同学習プロセスの研究において最も重要です。このように、それは社会構成主義者の設定で主な役割を果たしています。
共同注意の正確な定義はまだ議論されている4.本論文は、共同注意(JA)、すなわちJVAのサブコンストラクトに関する。JVAは、2つの被験者が同時に同じ場所を見ているときに起こります。JVAは、JAの研究に関心のある他の重要な構成要素に関する情報を提供しないことに留意すべきである。本論文では、2人の参加者の視線追跡データを組み合わせ、視線を揃える頻度を分析することで、JVAを運用・簡素化します。より包括的な議論のために、興味のある読者はシポソバエットal.4のJAコンストラクトの研究についての詳細を学ぶことができます。
過去10年間で、技術の進歩はJVAに関する研究を根本的に変革してきました。主なパラダイムシフトは、実験室や生態学的な設定でビデオ録画を定性的に分析するのではなく、複数のアイトラッカーを使用して注意アライメントの定量的な測定値を得ることになっていました。この開発により、研究者はダイアドの視覚的な調整に関する正確で詳細な情報を収集することができました。さらに、アイトラッカーはより手頃な価格になりつつあります:最近まで、その使用は学術的な設定や大企業に予約されていました。信頼性の高いデータセットを生成する安価なアイトラッカーを購入できるようになりました。最後に、ハイエンドラップトップや仮想および拡張現実ヘッドセットなどの既存のデバイスに視線追跡機能をプログレッシブに組み込むことは、アイトラッキングがすぐにユビキタスになることを示唆しています。
視線追跡装置の普及により、社会的な相互作用について何ができること、教えてくれないのかを理解することが重要です。このホワイト ペーパーで紹介する方法論は、この方向の第一歩です。私は、複数のアイトラッカーからJVAをキャプチャする際の2つの課題に対処します:1)時系列スケール、および2)空間スケール上のデータを同期します。具体的には、このプロトコルは、実際の環境に配置された受託マーカーを利用して、参加者が視線を向けているコンピュータビジョンアルゴリズムを通知します。この新しい種類の方法論は、小さなグループの人間の行動の厳格な分析への道を開きます。
この研究プロトコルは、ハーバード大学の人間研究倫理委員会のガイドラインに準拠しています。

<table><tbody><tr><td>Tobii メガネ 2</td><td>Tobii</td><td>N/A</td><td><a href="https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/" target="_blank">https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/</a></td></tr><tr><td>Fiducial markers</td><td>Chili lab &ndash;EPFL、スイス</td><td>N/A</td><td><a href="https://github.com/chili-epfl/chilitags" target="_blank">https://github.com/chili-epfl/chilitags</a></td></tr></tbody></table>

モバイルアイトラッカーを用いた関節視覚注意を捉える方法論

A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers

新しい技術の進歩の出現により、前例のない精度でマイクロレベルでの社会的相互作用の研究が可能です。アイトラッカー、電極活動リストバンド、脳波バンド、モーションセンサーなどの高周波センサは、ミリ秒レベルでの観測を提供します。この精度レベルにより、研究者は社会的相互作用に関する大規模なデータセットを収集できます。本稿では、複数のアイトラッカーが社会的相互作用、関節視覚的注意(JVA)の基本的な構成要素をどのように捉えることができるかについて論じた。JVAは、発達心理学者によって、子どもたちが言語を習得する方法を理解し、小さな学習者のグループがどのように協力するかを理解するための科学者を学び、社会科学者が小さなチームの相互作用を理解するために研究されています。本論文では、モバイルアイトラッカーを使用して併置された設定でJVAをキャプチャする方法について説明します。これは、いくつかの経験的な結果を提示し、社会的相互作用を理解するために顕微鏡観察をキャプチャすることの意味を議論します。

上記の方法論は、ロジスティクス(n =54)12の職業訓練プログラムに従っていた学生を研究するために使用されました。この実験では、小規模倉庫をシミュレートする有形ユーザー インターフェイス (TUI) と対話する学生のペア。TUIに配置された受託マーカーは、研究チームが学生の視線を共通の平面に再マップし、JVAのレベルを計算することを可能にしました。調査結果は、より高いレベルのJVAを持つグループは、彼らに与えられたタスクでより良い結果を出す傾向があり、より多くのことを学び、コラボレーションの質が高いことを示しました(図8、左側)。デュアルアイトラッキングデータセットでは、フリーライダー効果などの特定のグループダイナミクスをキャプチャすることもできます。この効果は、JVAの各瞬間を開始した可能性が高い人物(つまり、その視線が最初にあった人)と、それに反応した人(つまり、視線が2番目にあった人)を特定することによって推定しました。学習の向上と、JVAのオファーを開始し、対応する責任を均...

マルチモーダルセンサーの使用は、教育の設定における社会的相互作用の役割を理解する有望な方法です。本論文では、モバイルアイトラッカーを用いて共振ダイアドから関節視覚的注意を捉える方法論について述べている。

With the advent of new technological advances, it is possible to study social interactions at a microlevel with unprecedented accuracy. High frequency ...

こんにちは、私の名前はベルトラン・シュナイダーで、私はハーバード大学教育大学院の助教授です。このビデオでは、モバイルアイトラッカーを使用して、社会科学、共同視覚的注意の中心構造をキャプチャする方法を紹介します。共同視覚注意は心理学者によって広範囲に研究されており、グループメンバー間の相互作用の質と密接に相関していることが分かってきた。人々が共通の根拠を築き、タスクの共通の理解を作り出すとき、彼らは頻繁に同じ場所を同時に見る傾向があることが判明しました。従来、研究者は手動でビデオをコーディングすることによって質的に共同視覚注意を研究してきました。私は、モバイルアイトラッカーを使用して、同じ場所にある設定でこの構造の定量的尺度を取得する方法を紹介します。このビデオでは、Tobiiプロメガネ2を使用します。これらのメガネは、現実世界の環境で目の動きをキャプチャすることができるウェアラブルアイトラッカーです。目の動きを追跡するフレーム上の特殊なカメラに加えて、デバイスにはフルHDシーンカメラとマイクも装備されているので、視線の挙動は着用者の視野の文脈内で視覚化することができます。これらのメガネの視線は毎秒50回キャプチャされ、メガネからのライブビデオフィードは、ワイヤレスまたはイーサネットケーブルを介してコンピュータにストリーミングすることができます。しかし、メガネには通常の眼鏡では機能しないため、1つの制限があります。アイトラッカーを設定する手順は比較的簡単です。まず、参加者は通常のメガネと同じように、アイトラッキンググラスを着用するよう求められます。参加者の顔の特徴に基づいて、異なる高さの鼻の部分は、データ品質を維持するために使用する必要があります。アイトラッカーをオンにした後、参加者は、奔放な身体の動きを可能にするために、データ収集ユニットを自分の人にクリップする必要があります。Tobii Pro Glassesコントローラを開き、ソフトウェアのキャリブレーション機能が有効になっている間、参加者はTobiiが提供するキャリブレーションマーカーの中心を見るように指示する必要があります。キャリブレーションが完了すると、ソフトウェア内から録音を開始できます。録音セッションが完了したら、参加者にアイトラッキンググラスとデータ収集ユニットを取り外す前にTobiiソフトウェアから録音を終了します。次に、ユニットの電源を切ります。データは、データ収集ユニットからSDカードを取り外し、コンピュータにカードを挿入することによって、別のソフトウェア、Tobii Pro Labを介して抽出することができます。Tobii Pro Labは、SDカードに保存されているすべての録画セッションを同時にインポートすることができます。その後、Tobii Pro Lab内でファイルを処理して、ビデオ、さまざまなビジュアライゼーションを生成したり、タブ区切り値またはTSVファイルとして出力して詳細な分析を行うことができます。ここでは、2人の参加者がロボットをプログラムすることを学んでいた最近行った研究の生のアイトラッキングデータを見ることができます。各側面には、各アイトラッカーが生成したビデオストリームと参加者の視線の位置が表示されます。ご覧のとおり、各参加者の視点が異なるため、同じ場所を同時に見ているかどうかを見分けることは不可能です。さらに、データの記録は異なる時間に開始する場合があります。つまり、データは時間的および空間的に同期する必要があります。このビデオでは、これら 2 つの問題に対処する方法を紹介します。まず、データを一時的に同期する手順について説明します。最初の参加者には、一定数のビデオフレームがあります。そのうちのいくつかは、実際の実験タスクの前または後です。実験者がアイトラッカーをキャリブレーションしている最初のフレームのように。同様に、他の参加者にも同じ種類のデータがあります。ここでは示されていませんが、ビデオの各フレームは、各参加者の視線を表すxとy座標にも関連付けられます。データを同期させるために、実験タスクの前後にコンピュータ画面に受託マーカーを簡単に表示します。コンピュータビジョンアルゴリズムを使用することで、このマーカーが各参加者にいつ提示されるかを検出し、データをトリミングして整列させることができます。したがって、これはデータ同期の問題に対処する 1 つの方法です。次の部分では、2 番目の問題を見てみましょう: データを空間的に同期する方法。前述のように、データは各参加者の視線の位置に関連付けられたビデオフィードの形で、各アイトラッカーから来ています。x 座標と y 座標は両方の参加者で同じかもしれませんが、2 つの異なる視点から画面を見ているため、同じ場所を見ているわけではありません。この問題を解決する 1 つの方法は、参照として機能する実験用セットアップのイメージを構築し、各参加者のケースの場所を再マップする場所です。これにより、参加者が同じ場所を同時に見ている場合に、アイトラッキングビデオのフレームごとに検出することができます。しかし、これらの座標を左側の画像に再マップするにはどうすればよいですか?以前にデータを同期させるのと同じ協調ビジョンアルゴリズムを使用します。ビデオ録画の各フレームに適用することで、参加者の視点から受託者マーカーの位置を検出できるようになりました。これにより、左側の参照画像上の同じマーカーを接続することができます。この共有ポイントの座標を知ることで、ホモグラフィと呼ばれる数学的演算を使用して、各人の視線の位置を推測することができます。この手順を各フレームに適用することで、ホモグラフィが機能していることを確認するビデオを生成できます。右側には、青と緑で自分の視線の位置と各参加者のビデオ録画を見ることができます。同じ受託者マーカーは、左側の画像と右側の参加者の視点との間に白い線で接続されています。再マッピングされた視線は左側に表示され、いくつかの共同視覚的注意がある場合、それらは赤に変わります。このビデオを生成することは、データがクリーンで、ホモグラフィが正しく実行されていることを確認するための重要なステップです。さらに、データを健全性チェックするために生成できる他の 2 つの視覚化があります。最初のビジュアライゼーションはヒート マップです。各参加者について、実験用セットアップの画像に各視線点をプロットすることができます。これにより、ホモグラフィが正しく機能し、これらのケースポイントをさまざまな分野の関心領域に分類できるようになります。ここでは、例えば、ほとんどの時間がコンピュータの画面を見て費やされ、チートシートを見るのにほとんど時間が費やされなかったことがわかります。2 つ目のビジュアライゼーションは、クロス反復グラフと呼ばれます。クロス反復グラフを使用すると、参加者のペアの視線追跡データを視覚化できます。第1参加者の時間はx軸に表示され、第2の参加者の時間はy軸に表示される。黒い四角形は、両方の参加者が同じ場所を見ている、白い四角は欠けているデータを表し、灰色の正方形は参加者が異なる場所を見ているときに表されることを意味します。対角線に沿った黒い正方形は、同じ場所を同時に見ているということです。対角線の黒い正方形は、参加者が同じ場所を見ているが、異なる時間を見ているという意味です。左側には、高レベルの関節視覚的注意を持つダイアドが表示されます。途中で、関節の視覚注意の低レベルのダイアド。右側には、不足データが多いグループ。この健全性チェックを実行することで、データを正しく同期し、実験用セットアップの共通のイメージに再マップしたことを確認できます。これらの手順は重要であり、分析を行う前に実行する必要があります。最後に、視覚的な注意を共同で測定する前に選択する必要がある 2 つのパラメーターがあります。最初のパラメーターは、参加者が同じ場所を見ることができる時間枠です。リチャードソンとデールの以前の作品は、参加者がパートナーが何をしているかに注意を払うために彼らがやっていることから離れるのに最大2秒かかることを確立していました。したがって、2人の参加者がプラスとマイナス2秒のウィンドウ内の同じ場所を見ている場合、共同視覚的注意があると判断しました。2 番目のパラメーターは、2 つの視線点間の最小距離で、2 つの視線ポイントが視覚的な注意を合うように見極めます。この距離は文脈依存であり、管理されるタスクとその研究の質問に応じて研究者によって定義される必要があります。タスクによっては、距離が短い場合があります。ここでは、例えば、100ピクセルを使用しました。他のタスクでは、この距離が大きくなる可能性があります。次に、この方法論を使用して見つかったいくつかの結果を提示します。グループ内の共同視覚注意の量の推定値を取得した後、このメジャーを他の対象となる変数と関連付けることができます。例えば、この尺度を、グループのコラボレーションの質を捉える学習科学に発展した格付けスキームと相関しています。各グループに対して、ここで提示されたディメンションのナインにスコアを割り当てました。例えば、人々が相互理解をどれだけうまく維持したか、どれだけ簡単に合意に達したかなどです。これらのスコアは、別のクォータとの許容範囲内の信頼性を受け取る必要があります。最後に、これらのスコアを 1 つの一般的な指標に集約して、グループごとにコラボレーションの品質を近似することもできます。我々の研究と他の研究で発見された結果は、共同視覚注意が以前に提示された評価スキームによって測定されるように、コラボレーションの質と有意に相関しているということです。このコーディングスキームを使用して高い評価を受けているグループは、低得点を受けたグループよりも視覚的に見やすい傾向があります。これは、生産的な相互作用がしばしばより多くの共同視覚的注意に関連付けられていることを示しています。次のスライドでは、この結果に基づいて別の結果を示します。したがって、細かい視線追跡データを持つ利点の1つは、共同の視覚的注意の他の尺度を抽出できることです。たとえば、共同の視覚的注意の申し出を開始し、応答した人を計算できます。特に、このグラフのX軸では、ゼロのスコアはこれらの行動の等分布を意味し、1のスコアは、1人が常に視覚的注意に参加する瞬間に応答または始動していたことを意味する。この研究では、前および後のテストで測定されたy軸に示された学習利益との逆相関を発見した。同じ人物が一貫して共同視覚的注意の瞬間を起こしていたり反応したりするグループは学ぶ可能性が低く、この責任が均等に共有されたグループは、プレテストでスコアを制御する際にポストテストでより高いスコアを獲得する可能性が高かった。このビデオでは、研究者がモバイルアイトラッキングデータを時間的にも空間的にも同期させるのに役立つ方法論を紹介しました。この知見は、二重アイトラッキングデータが、共同の視覚的注意の尺度を計算することによって、コラボレーションの指標を提供できることを示唆している。さらに、共同の視覚的注意のエピソードを開始または応答した人を見て、共同注意の単純な尺度を超えることができることを示す結果を提示しました。この措置は、学習利益などの他の結果対策に関連していることがわかりました。この種のメジャーを計算するには、アイトラッキングデータなしでは不可能です。要約すると、このビデオで紹介する方法論は、研究者が共同プロセスに関する新しい洞察を得るのを助けることができることがわかりました。このビデオを見ていただきありがとうございますし、詳細については、紙を参照してください自由に感じます.

a-methodology-for-capturing-joint-visual-attention-using-mobile-eye

Research

JoVE Journal

Behavior

行動

実験室の設定を再現するために、視覚タスクのためのオンラインデータ収集方法は、刺激の提示を厳密に制御する必要があります。Webアプリケーションを使用して、視覚的注意の2つのテストでパフォーマンスデータを収集する方法を概説します。...

オンライン視覚的注意をテストする方法

最近眠視覚刺激呈示と両眼眼球1を同時に追跡できる方法を提案します。キーは、赤外線の目追跡システムと対応する赤外線透過ミラーの組み合わせです。この原稿は、深さで初期セットアップおよび日常の操作のためのプロトコル。...

アイト ラッカーを含む眠プレゼンテーション システムを構築する方法

現在の記事のレビュー言語理解研究の目追跡の方法論。信頼性の高いデータを取得するには、プロトコルの主要な手順に従わなければなりません。これらの中で、目の追跡者 (例えば目と頭の画像の品質の良い)...

視覚的に位置の言語理解の中に目の追跡: 柔軟性の視覚的文脈の発見の効果の制限

視覚世界のパラダイムは、聴いても話されていた言語を話すビジュアル...

眼球運動の視覚世界のパラダイムに記録を使用して話されていた言語のオンライン処理を探索するには

プロトコルの目的は、実験室で使用するためのビデオデータを収集する方法を詳述することです。データを見ている参加者の目を追跡するデータと、機械学習の手法を使用して見ていたビデオのコンテンツを効率的に分析する方法を記録する方法。...

都市公園環境における歩行の映像を自由に視聴する映像コンテンツの分析とアイトラッキングデータを組み合わせる

幼児ない受動的、世界を観察が、むしろ積極的に探索を行い環境に従事。このプロトコルは、原則の自然な動作のコンテキストで乳児を記録する目のヘッド...

アクションの視線: 自然主義的な行動の中に子供の動的視覚的注意のヘッド マウント型の目の追跡

この実験的なプロトコルを組み合わせてアイトラッ キングと自由な選択の眼球と視覚空間的注意の展開を調べるには、弁別タスクから成るデュアル タスク...

アイトラッ キングによる正確かつ平均サッカード前に視覚的注意の展開と視覚感度の評価を調査

アイトラッキングは、情報処理をプローブするための非侵襲的な方法です。この記事では、アイトラッキングを使用して、短時間パイロットのフライトシミュレーション緊急タスク中の視線行動を研究する方法について説明します(つまり、&lt;350飛行時間)。...

複雑な航空タスク中のアイトラッキングによる情報処理への洞察

この方法論では、視運動および全身回転中の視線安定化に対する視覚的および前庭の寄与を調査しました。刺激は、視覚、前庭、および視前庭の試験を通じて実施されました。ねじれ眼球運動の増加と眼振の頻度は、各試験の反射的脳幹反応に対する感覚特異的運動情報の皮質下リレーの指標として機能しました。...

アイトラッキングを使用して、ロール面での皮質下運動処理に対する視覚および前庭入力の相対的な重要性を評価する

我々は、床の投影迷路に完全に自動化された認知課題の慢性電気生理学的記録のためにラットを訓練するためのプロトコルを記述します。...

フロアプロジェクション迷路を用いた記録神経活動のための自動化された視覚認知課題

学ぶモバイルアイトラッカーを用いた関節視覚注意の定量的測定法。協働学習における視線パターンの同期と空間的マッピングにより、社会的相互作用の質を客観的に評価できる。

モバイルアイトラッカーを用いた関節視覚注意を捉える方法論

さらに動画を探す