Summary
現在の記事のレビュー言語理解研究の目追跡の方法論。信頼性の高いデータを取得するには、プロトコルの主要な手順に従わなければなりません。これらの中で、目の追跡者 (例えば目と頭の画像の品質の良い) と正確な校正の正しい設定されています。
Abstract
現在の仕事は説明と言語処理と視覚世界の知覚の相互作用のさまざまな側面を定量化するために設計された方法の評価。視線パターンの記録は、両方の視覚的コンテキストと言語理解する言語/世界知識の貢献のため十分な証拠を提供しています。初期の研究は、言語処理のモジュール化の理論をテストするオブジェクト コンテキストの効果を評価しました。述べる導入、その後の調査は、言語独自の権利で研究トピックとして処理でより広い視覚的文脈の役割を撮影して、どのように質問をこのようなイベントのスピーカーの視覚に寄与するようにcomprehenders の経験によって情報の理解。視覚状況の検査の側面中のアクション イベント、話者の視線と感情的な表情と同様、空間オブジェクトの構成。目追跡法とそのさまざまなアプリケーションの概要については、次のプロトコルでは、方法論の重要なステップを一覧表示、正常にそれを使用して視覚的に位置しています言語理解過程を研究する方法を説明します。最後のセクションは代表的な結果の 3 つセットをプレゼントし、利点と視覚的世界と言語理解の認識間の相互作用を調査するための目追跡の制限を示しています。
Introduction
心理言語学的研究は、言語理解に関与するプロセスを理解することで眼球運動解析の重要性を強調しています。視線レコードから理解過程を推論のコア目の動き5に認知をリンクしている仮説であります。眼球運動の 3 つの主要なタイプがある: サッケード、前庭眼の動き、および滑らかな追求の動き。サッケードほとんど無意識のうちに起こる、確実に注意6でシフトに関連付けられている高速かつ弾道運動であります。サッカード、凝視、として知られている相対的な視線の安定度の瞬間インデックス現在の視覚的注意と見なされます。注視と認知過程に関連して彼らの時間の軌跡を計測「アイトラッ キング法」と呼ばれます。このメソッドの初期の実装は、(レビューのレイナー7参照) 厳密に言語のコンテキストで読解力を調べるに提供。そのアプローチの単語や文の領域の検査期間は難易度の処理に関連付けられます。視線もされている、しかし、世界内のオブジェクトの検査時の音声言語理解を調べる (またはコンピューターに表示2) に適用されます。この 『 ビジュアル世界 』 アイトラッ キング バージョン オブジェクトの検査は言語によって導かれます。シマウマ画面にシマウマの例えば、彼らの検査を聞くときに、comprehenders は動物について考えていることを反映するように取られます。視覚世界のパラダイムとして知られている、comprehender の視線は話されていた言語の理解と関連付けられているナレッジの活性化を反映するように撮影 (放牧を聞くときなどリスナーもシマウマの検査を示す、シマウマが実行するアクション)2。このような検査は、言語世界関係と目の動き2間の体系的なリンクをお勧めします。このリンクを定量化する一般的な方法は、画面の異なる事前に決められた範囲に見えるの割合を計算することによってです。これにより特定の時間とどのようにこれらの値は、ミリ秒単位で変更で別のオブジェクトを与えられた注目の量、直接 (条件により、参加者など) の間で比較する研究者。
心理言語学の研究は心1の建築について離れて競合する理論的仮説をいじめるに視覚的世界の目追跡を悪用します。描かれたオブジェクトの注視が、comprehenders ができますさらに、明らかに、充分制限的言語学の文脈を想定して-漸進的意味解釈8を実行し、今後文字についての期待をも開発9ですこのような目の視線データ持っている多義解像度10,11, 代名詞解像度12, 構造と主題の役割の曖昧性の解消など、さらに読解プロセスの範囲に光を当てるも。割り当てでビジュアル コンテキスト13,14,16、および実用的なプロセス15、その他多くの情報4を意味します。明らかに、言語理解の中にオブジェクトに眼球運動が関係のプロセスの形成にすることができます。
アイ ・ トラッキング メソッドは非侵襲的、幼児、若くて古い言語のユーザーで使用できます。主な利点は、プローブに点状の応答とは異なりまたは注意と方法の言語のガイドにミリ秒単位で時間をかけて洞察力を提供します検証タスクの応答ボタンを押す (オブジェクト、アクションの形でビジュアル コンテキストイベント スピーカーの視線と感情的な表情と同様、空間オブジェクトの構成) 言語処理に貢献します。文理中にメジャーの継続性は、あからさまな画像/動画-文検証、理解の質問、およびメモリ リコール タスクからなど他の後文と後の実験測定でよく補完します。これらのタスクのあからさまな反応できる読解プロセス、メモリ、および学習2の結果に洞察力を提供することによって眼視線記録の解釈を豊かに。これらの他のタスクとの目追跡を組み合わせることは、どの程度まで視覚状況のさまざまな側面を調節する視覚的注意と (即時のだけで遅延) の理解生涯を通した発見しました。
言語 (口頭または書面) のプレゼンテーションとシーンは、同時または連続のいずれかをすることができます。例えば、Knoeferle との共同研究17発表シーン話されていた文の前に 1,000 ms、それ残った読解中に存在。彼らはオブジェクト-動詞-主語 (OVS) 文と比較してドイツ主題動詞オブジェクト (SVO) でローカルの構造的曖昧性の解消にアクション イベントのクリップアート描写に貢献する証拠を報告しました。Knoeferle やクロッカー18アート シーン前に書かれた文章を発表し、文理の中にアート イベントのインクリメンタルな統合をテストします。彼らが観察された (対一致) 増分合同効果これらが一致しない場合、文成分の参加者の読書時間が長かったことを意味イベントの前のシーンで描かれています。他の刺激プレゼンテーション形式で参加者はまず空間的な関係を記述するセンテンスを読み、それからオブジェクト線画19を含む特定の空間的配置のシーンを見た。本研究は、シーンの取り調べ中に記録されている眼球運動と、シーンに与えられる文の適合を評価するための質問をして計算空間言語モデルの予測を評価しました。参加者の視線パターンは彼らが直面されたオブジェクトの形状によって変調された-部分的にモデルの予測を確認し、洗練されたモデルのデータを提供します。
それは現実世界を結合することも多くの研究では、クリップアートの描写17,18,19,20,21,22,23を使用しても、オブジェクトは、これらのオブジェクト、または話されていた言語1,21,24,25,26,46と静的な写真の動画。Knoeferle と同僚は、実世界の設定24を使いました、・ アバシーゼおよび同僚はアクション イベントおよび緊張効果25を調べるため録画プレゼンテーション形式を使用します。正確なコンテンツをさまざまなシーン (例えば、かどうかのアクションを描いた) の22,27,38が可能です、また視覚的文脈の効果を明らかにすることができます。・ ロドリゲスとの共同研究26関連研究は、話し言葉を解説の理解にビデオテープに録画された視覚的性別の手がかりの影響を検討しました。参加者は、オスかメスのどちらかの手が型通りのジェンダー関連のアクションを実行するを表示するビデオを見ました。その後、彼らは聞いた文についてのいずれか型通り男性または女性アクション イベント同時に男と女の他の 1 つ示す 2 枚の写真を並べて、ディスプレイを検査中。この豊かな視覚と言語環境は、いじめる離れて視覚的に提示された (手) 性別手がかりの効果から理解の言語を介した陳腐な知識の影響を著者を許可しました。
このパラダイムのそれ以上の適用は言語処理の発達的変化を対象とします。音声言語理解の中にオブジェクトに眼球運動では、若年者と比較して 4 - 5 歳児27,28と古い大人29リアルタイムで多少の遅れで描かれたイベントの効果を明らかにしました。Kröger との共同研究の22は、韻律の手がかりと実験内マーキングと比較実験を大人と子供の間でこれらの効果を検討しました。参加者は、関連事例を明確にマークのドイツ語文を聞きながらあいまいなアクション イベント シーンを検査しました。目の動きは人-は-な-に-人を明確に区別するときに、異なる韻律パターンで大人も、4- または 5-歳を助けたことを明らかにしました。大人がいない子供の眼球運動文初期ケースのマーキング、しかし、影響を受けます。格標示の 5 歳児の理解がテーマ別の役割の割り当てを有効にするのには十分に堅牢ではないことが示唆された (Özge と共同研究30によって研究を参照)、少なくともいないときアクション イベントはない明確主題役割関係。これらの結果は、韻律に及ぼす主題役割割り当て31の以前の結果とは対照的な興味深い。Kröger との共同研究22 (もっとまたはより少なく支持) ビジュアル コンテキストが対照的な結果に責任があることを提案しました。これらの解釈を保持する、という程度に、彼らは生涯を通した言語理解における文脈の役割を強調します。
アイ ・ トラッキング メソッドを組み合わせた画像 - (またはビデオ) 文検証タスク18,20,26, 画像検証タスク32, コーパス研究24, 評価から対策もタスク19、または実験後リコール タスク25,33。・ アバシーゼと共同編集者34および Kreysa との共同研究33のための手がかりとして、それぞれスピーカー視線と現実世界の行動動画34とスピーカー視線とアクション描写33の相互作用を検討しました。今後の文章コンテンツ。話者の視線と描かれたアクションの聞き手の知覚が対話し、両方に影響を与える方法のより良い理解を得た後実験的記憶課題と言語理解の間に場面で視線の追跡を組み合わせて、即時の言語処理とメモリのリコール。結果は、後実験メモリ リコール プロセスとリアルタイムの理解に対スピーカー視線行動の明瞭な貢献を明らかにしました。
アイトラッ キング法は、大きな柔軟性を用いることが、一定の基準は、重要です。次のプロトコルは、研究者の特定のニーズに応じて研究の質問の種類を調整することができます一般的な手順をまとめたものです。このプロトコルは標準化されたプロシージャ、ベルリンのフンボルト大学祖心理言語学研究所をはじめ元の言語・認知研究所で認知相互作用技術優秀クラスター (CITEC) での採用ビーレ フェルト大学。プロトコルでは、デスクトップとリモートのセットアップについて説明します。後者は、子供や高齢者との研究での使用にお勧めします。代表の結果に記載されているすべての実験は、1,000 Hz のサンプリング レートを頭部スタビライザー、参加者 (ディスプレイ PC) をテスト用の PC と実験を監視するための PC と併用は目トラッカー デバイスを使用し、参加者の眼球運動 (ホスト PC)。前任者にこのデバイスの主な違いは、両眼眼球追跡できるということです。プロトコルは、ヘッドの安定剤を含み、デュアル PC を使用する他の目追跡装置で使用するため十分な一般設定 (ホスト + 表示)。しかし、彼らの特定のデバイスの手動他のセットアップは、キャリブレーションの失敗や線路損失、実験者の場合する必要がありますユーザーを参照しているなどの問題を処理するための異なる方法可能性が念頭に置いておくことが重要です。
Protocol
このプロトコル機関のデータが収集されたすなわち、認知相互作用技術優秀クラスター (CITEC) ビーレ フェルト大学とフンボルト大学ベルリンの倫理ガイドラインに従います。ビーレ フェルト大学で行われる実験は、ビーレ フェルト大学の倫理委員会が個別に承認しました。フンボルト大学祖心理研究所ベルリンにはドイツ協会で Sprachwissenschaft、ドイツ語言語学会 (DGfS) の倫理委員会で承認された研究所倫理プロトコル。
1. デスクトップのセットアップ
注: 次、アイトラッ キング実験で重要なステップです。
- 計測器の準備
- アイトラッ キング ・ カメラとホスト PC をオンに (研究室でのデータの収集と処理前のセットアップの図は、図 1を参照)。
- 目の追跡者ソフトウェアを開始します。
- PC の表示をオンにします。実験が含まれているフォルダーを開きます。
- それをダブルクリックして、.exe 拡張子を持つ '展開' のバージョンを起動します。
- 設定によっては通常タブ区切り.csv/.txt ファイルを含んだ条件、サウンド ファイル名、文、または参加者が被るイメージ実験リストを選択するためのプロンプトが表示されます。リストを選択し、プログラムが開始されます。結果を格納する出力ファイルを名前します。
メモ: ディスプレイ PC に出力ファイルを保存、ホスト PC にバックアップが保存されます。 - (導入やようこそ画面) の実験の最初の画面を開いたまま。
- 目の追跡者のカメラから保護カバーを取り外します。
- 衛生目的のためには、あごホルダーにティッシュを配置します。
- オプション: 応答パッドおよび/または実験によって必要に応じてキーボードを準備します。
- オプション: 聴覚刺激を提示する場合は、スピーカーの音量を調整し、実験を実行する前にそれらをテストします。また、参加者が使用するヘッドフォンの機能をテストします。
- 参加者が署名する必要な書類を準備します。
- データ収集プロセスの全体の持続期間のための一定の輝度と薄暗い部屋を持つためには、研究室の光の強度を調整します。
- 参加者のための準備
- 参加者が到着した後は、自己紹介します。
- 不可の場所は、研究室のドアにサインします。
- 座席を取る参加者を求めます。
- 情報シートに必要な同意と人口統計学的フォームを通し、参加者をガイドします。
- 参加者を読むし、同意書に署名をしましょう。
- 実験とその期間の一般的な側面を簡単に説明します。参加者の視線行動と結果のデータに影響を与える可能性がありますので、実験前にあまりにも多くの情報を提供しません。
- 書かれた指示を提供し、参加者に質問をする機会を与えます。
- 目の追跡者の機能を簡単に説明します。
- 必要に応じて、タスクを明確にし、実験中に押される必要があります任意のボタン/キーを指摘します。
- 実験中にヘッドの動きを最小限に抑えるためあごの残りを意図する方法について説明します。デバイス機能最高場合参加者は、任意の動きを回避するに言及します。
- 目の追跡者を設定
- 実験の参加者を準備: テーブルに座るし、あごの残りに彼らのあごを配置してもらいます。ヘッドレストに対してその額を傾くしてもらいます。
- 必要に応じて椅子の位置や高さを調整するように参加者を求める: 参加者はあごの残りとヘッドレストの額に自分のあごを快適に感じる必要があります。
- それは実験中に誤って頭を移動する一般的なことを説明、これは避けるべきであります。頭の姿勢が実験中に修正する必要があることを説明します。
- 実験では、(例えば、 経由で応答パッド) ボタンを押す必要がある場合に指示ボタンを休んで指を残して参加者を押すと応答パッド見てボタンを押すときを避けるために。
- 参加者歓迎/紹介画面を読むことを求めます。
- ホスト PC の前に座る。カメラの設定の画面が表示されていない場合は、右の画面を取得するカメラのセットアップをクリックします。参加者の目の 3 つの画像を表示する必要があります保護カバーは、カメラのレンズから削除されている場合、参加者はあごの残りに正しく配置されて: 上、左と右上の下部に 2 つの小さなもので大きな画像です。これらの小さな画像は、左目と右目にそれぞれ対応する 1 つの目を見る。
- 追跡する目を選択します。参加者の支配的な目を追跡するが通例です。目は支配的な参加者が分かっていない場合は、眼優位性テスト (手順 1.3.8) を行います。
- 眼優位性を決定します。参加者に、片方の腕を伸ばし、両方の目が開いていると遠くのオブジェクトと親指を合わせをお願いします。代替は、左または右の目を閉じてする参加者を求めます。支配的な目、目が開いている35,36を親指ままオブジェクトに整列。
- 画像をクリックして |ディスプレイ pc(または、 Enterキーを押します)、1.3.6 の手順に記載されている画像も参加者の画面が、一度に 1 つだけ表示されます。
- 目のより小さくより大きい画像を切り替える実験者のまたは参加者のコンピューターのキーボードの左/右矢印を押します。小さい画像 (目) に焦点を当てます。
- プレス センターの瞳位置の検索ボックスに制限するためにいずれかのキーボードA (Align 目ウィンドウ)。その後、目の周りに赤い正方形は瞳孔の下部にある ['角膜反射像 』, (cr)] ターコイズ ブルー サークルと共に表示されます。生徒自体を青にする必要があります。
- 2 つの十字 (「十字線」) 画面に表示されることを確認瞳孔、角膜反射像中央に 1 つの中央に 1 つ。赤のボックスと 2 つの目の追跡者は瞳孔と cr を認識して意味を交差させます。
注: 赤いボックスまたは十字架がない場合目追跡されませんが-ない瞳孔が実験者のコンピューターに表示されますこの場合。 - カメラのフォーカスを調整するには、手動でフォーカス レンズを回します。レンズの前面に触れないように注意してください。最高のフォーカス ポイントに到達するまでは、レンズを向けます。
注: 最適なフォーカス ポイントに達するターコイズ円 (角膜反射) が小さい限り (すなわちフォーカス、この円の場合)。 - 瞳孔のしきい値を設定します。瞳のイメージだけが青であることを確認 (例えば、まつげならないブルー) ホスト PC 上。また、全体の生徒 (だけでなく中央部分) は青を確認します。赤の広場の中にあるものを心配するのみ。
- Aを押す。これは自動的に瞳孔のしきい値を設定します。ブルーの瞳が正確に表示されていない場合は、増加するをキーと像面の青い部分の量を削減するをキーを使用して手動でしきい値を調整します。
注意: (これは通常は黒、瞳のような) マスカラーのしきい値の設定を妨げる可能性があります — 目トラッカーは、瞳孔は濃いまつげをかかることがあります。この場合は、化粧を落とし組織を提供することにより、化粧を削除する参加者をお問い合わせください。 - Cr のしきい値を設定します。1.3.15 の手順でAが押されていた場合cr しきい値が自動的に設定されています。
注: すべてのしきい値設定の数値が表示されます。それらのいずれかに疑問符が表示されている場合は、上記の手順のいずれかで問題があったし、しきい値を手動で設定する必要があります。
- 目の追跡者の校正
注: チェックかどうか目トラッカーでは、参加者になったら画面の他の部分で一貫して目の位置を特定できます。- 時間画面の 4 つのコーナーを見てカメラのセットアップ ウィンドウの表示中に参加者を求めます。視線はコーナーで指示されたとき、角膜反射を妨げる (これらがターコイズ画面に blob として表示されます)、任意の不規則な反射を慎重に探してください。
- 1.4.1 段階目とクロスヘア カーソルのいずれかを囲む赤いボックスが任意の時点で表示されない場合、問題のあるコーナーに視線を直接、画面の中心を見て参加者を求めます。問題の原因を判断に役立ちます。
- 参加者の頭の位置を再調整し、これにより任意の改善であるかどうかを確認します。必要な場合は、この手順を繰り返します。デバイスがまだいくつかの試みの後、参加者の視線を正確に追跡することができるは、実験を中止します。
- 目の追跡者が校正され、画面の異なる部分に移動 (小さな灰色の点) を持つ黒い円を参照してくださいにしている参加者に知らせます。それは新しい場所に移動するまで円を固執する参加者に指示します。彼らの目の負担を避けるために、最適な結果を得るのため黒円の中に小さな灰色の点に集中する参加者に指示します。
- まだ保つために、キャリブレーション中に次の円の位置を予測しようとすることは重要である参加者に伝えます。彼らの目とない頭を円を実行するように指示します。校正校正プロセスを開始するをクリックします。通常は、9 ポイントの校正手順を使用し、黒い円が連続的に 9 つの場所に移動します。
- 自動校正後、参加者は最初に画面の中央にドットを執着して正確にENTERキーを押します。手動校正 (例えば、追跡参加者の目または特別参加者を扱うグループ子供などのときの問題がある場合)、 enter キーを押して各固定を受け入れる (または同意の固定をクリックして/space キーを押すと)。
注: 校正プロセスの最後には、実験者の画面でほぼ長方形のパターンが表示されます。これは、参加者の視線視線パターンを表します。さらに、良い調整の結果は、緑色でハイライトされてする必要があります。ない場合は、校正手順 (すなわち、校正をクリック) を繰り返します。 - 結果を検証します。校正プロセスの結果を検証するために (ドット見て) 同じプロシージャを通過する参加者に伝えます。ドットを見て、まだそれらを思い出させます。
メモ: 検証のプロセスは校正のような目が正確に追跡されていることを確認する目の追跡者ソフトウェアによって両方の結果を比較しました。 - クリックしてを検証します。
- 各固定を受け入れるenter キーを押して (または固定を受け入れるをクリックスペースバーを押すことによって)。
- 検証後、結果は実験者の画面に表示されます。2 つのエラー対策、平均のエラー (例えば、0.23 °) と最大エラー (例えば、0.70 °) に特に注意してください。履歴の画像は、参加者の実際の注視位置から逸脱度を表します。
- 視覚世界のパラダイムを使用する場合は、0.5 ° と最大エラー (2 番目の数字) の下で平均誤差 (最初の番号) をください 1 ° 未満。
- エラー値がしきい値を超えると、自分の頭の位置を再調整し、キャリブレーション手順を再起動する参加者を求めます。改善が認められなかった場合は、実験を中止します。
注意: 参加者は、コンタクト レンズを着ているときに高い目盛り定めエラーを観察する一般的です。参加者は、自分のコンタクト レンズではなく眼鏡を持って事前に要求必要があります。 - 校正プロセスが正常に完了した後、出力/記録実験を開始するをクリックします。実験を今すぐ開始することを参加者に知らせます。
- 実験中に
注: (個々 の実験のプログラミング方法に応じて、通常各実験的試みの前に) 実験中にチェックをドリフトやドリフトの正しい画面に表示されますドット画面の中央。その目的は、試用や視線トラッカー モデル、自動的にそれを調整するに応じて現在の計算された固定エラーを報告することです。- 命令フェーズでは、参加者は、それが表示されるたびに、中央のドットを凝視する言われています。すべてのドリフトのチェック/ドリフト正しい位相のドット、参加者が再び岡城を確認します。これは、参加者の視線が移動緑の丸として表示されますホスト PC に参加者の視線に従うことによって行うことができます。
- ドリフト チェック/ドリフト正しいを完了すると、ドットが消えるし、次の試行を表示するを入力してください(またはspace キー) を押します。
- 使用目トラッカーのモデルによるとドリフト チェック フェーズに失敗したことに対処する方法を決定します。モデルによっては、目の追跡者を披露するか自動補正をドリフトは中央のドットに合わせて視線の座標を調整することによって、または続行する前に再調整する実験者のプロンプトのビープ音、(チェックをドリフト) を試してみてください。
- 自動ドリフト補正を使用している場合は覚えておいて、連続した試験および/または大きすぎるドリフト補正の程度であまりにも多くのドリフト修正が結果を歪曲され、デバイスの再キャリブレーションを必要とします。
- 実験中に再校正
- 実験中にいつでも再調整することが可能です。ドリフト補正/ドリフト チェック画面のプレゼンテーション中にカメラのセットアップをクリックし、[キャリフレーション] をクリックします。満足のいく値に到達するまで、校正と検証のプロセスを通過、出力/レコードをクリックします。実験は、トライアルのシーケンスの終了時点から再開されます。
- 実験後
- キーの実験操作を推測することができたかを評価するアンケート調査を用いて参加者を提供します。ここでは、それも実験を通して開発されている可能性があります潜在的な戦略について尋ねること重要です。
- 実験の目的について参加者の感想を聞きます。彼らの参加のお礼と必要な金銭的補償を提供または該当する場合コース クレジットを割り当てます。
2. リモート セットアップ: 子供や高齢者研究のセットアップを調整します。
注: このセクションでは、手順 1 で説明したリモート セットアップとデスクトップのセットアップの違いのみについて説明します。ポイントは、ここで手順 1 で説明した手順と同じあると仮定する必要があります明示的に言及しました。
- 16 mm レンズ用標準 35 mm 目トラッカーのカメラのレンズを交換します。
- (ホスト PC、スピーカー、目追跡システムとラップトップ、ラップトップを使用する場合)、すべての必要な装置を接続します。
- ラップトップ スタンドおよびそれの前に目の追跡者にノート パソコンを置く (参加者が画面の上部の 75% を見ることができるはず)。
- 「ターゲット ステッカー」を配置 (トラッカーの製造元から入手できます) 参加者額に (右の頬、額があまりにも場合でも右目の眉上小さい (すなわち、幼児); あごの残りの部分このステッカーに置き換えられます、デスクトップのセットアップとそれは、参加者の頭の位置を正確に判断する目トラッカーをことができます。
- 参加者のカメラ (カメラにターゲット シールの距離) から 550-600 mm が装着されていることを確認します。
- 確認言葉「大きな角」か「目近」ホスト PC に表示されません。彼らが行う場合は、ターゲットのステッカーの位置が理想的ではないことを意味します。この場合、ターゲット ステッカーを再調整します。参加者の額は特に小さいことでもあります。この場合は、参加者の頬にステッカーを配置します。
注: ステッカーが配置されている場合、耳に近すぎる、「大きな角」のメッセージが表示される可能性ステッカー位置を変更する必要があります。 - 1.4 の手順に従って校正プロセスを開始する前に、参加者が快適に座っていることを確認します。全体の実験中の同じ位置を維持し、目トラッカーは体の動きに非常に敏感であることを説明してもらいます。彼らはまだ彼らの頭を保つことを主張します。参加者はあまりに移動する場合、デバイスはハミング ノイズを出力します。
注: 子供や高齢者などの機密性の高い集団をテストするリモート目トラッカーのセットアップを使用している場合、手動キャリブレーション手順を使用することをお勧めです。
3. 研究に読書のためのセットアップを調整します。
メモ: 読書に視覚的文脈の効果を調査するとき、調整と再調整のプロセスに特定の注意を払う必要が。視覚世界の研究ではなく読み取り中に視線単語 - と手紙を読むパターンを追跡するために必要な精度を与えられたデバイス精度のより高い学位が必要です。
- 両方検証段階で表示される平均と最大エラーまま下 0.5 ° であることを確認します。
- 校正のために少なくとも 9 ポイント スケールを使用することを確認します。これは読み取り中に関心のある分野の小型を与えられては、不可欠です目の視線の位置のより正確なトラッキングを保証します。
Representative Results
ミュンスターと協力者37による文の構造の相互作用を調査、言語理解の中にアクション、および感情のシグナルで顔が描かれています。本研究は、それを示したアクション効果と限界文理解に及ぼす感情のシグナルで顔を描かれている両方の堅牢な利点とメソッドの制限事項を説明するために適しています。著者は、女性の表情に幸せまたは悲しい表情に安静時の位置から変更の 5 s ビデオを作成しました。彼らはまた、感情的に積極的に valenced ドイツ オブジェクト-動詞-副詞-主題 (OVAdvS) を作成フォームの文 ' [オブジェクト/患者対格ケース] [動詞] [肯定的な副詞] [件名/エージェント主格].'経由で肯定的な副詞文 '幸せ' のビデオと一致し、不一致代理 (人は笑って、喜んで肯定的な副詞で演技として記述されている) の原理を見越して許可 '悲しい' のビデオ。次のビデオのスピーカー文はエージェント患者, アート シーンの 2 つのバージョンのいずれかで登場。1 つのバージョンのエージェント ディス トラクター文字が別のアクションを実行しながら、患者の述べられたアクションの実行として描かれました。他のシーンのバージョンにない文字の間の行動が描かれています。シーンの目の動きは、アクションや文理に話者の表情の影響を明らかにしました。
アクション描写は参加者の視覚的注意、述べられたアクションの頃、参加者、ディス トラクターでよりも代理店で以上に見えた意味急速に影響を受ける (対でした) 描かれています。これらのルックスが先行 (すなわちエージェントが述べられた前に発生している)、文の前にアクション描写がエージェントを明らかにすることを示唆しています。アクション描写の最も早い効果が動詞の中に浮上して (すなわち動詞は、関連付けられたアクション エージェントを介した)。対照的に、前のスピーカーが微笑んだまたは不機嫌かどうかクリアの影響なかったエージェント予想 (図 2)。後者の結果は、スピーカーの笑顔と (関連付けられたアクション エージェントを仲介する直接動詞-アクションのリファレンスと比較して) 描かれたエージェントの行動に関して肯定的な文の副詞間のより微妙なリンクを反映できます。また、それはタスクと刺激するかもしれない: おそらく感情効果と発音されているよりより多くの社会的対話型タスク、またはスピーカーの顔 (前にではなく) 中文理解を示す 1 つの。ただし、読解中に笑みを浮かべて話者の顔を提示が原因で参加者に焦点を他のシーンの内容を犠牲にして顔におそらくマスキング操作変数のそれ以外の場合に観察可能な効果 (ソース: 未発表のデータ)。
パラダイムのそれ以上の変形、ゲラと Knoeferle32は、世界言語の空間的意味関係ことができます読み込み中に抽象的な意味内容の理解を調節するかどうかを尋ねた。ゲラと Knoeferle は、抽象的な意味関係 (例えば類似) の意味を空間的な間隔 (例えば、近さ) に根拠の概念メタファー理論38からアイデアを借りてください。この仮説に沿った参加者読み取り調整抽象名詞より速くと同様 (対反対) 意味が先行されていたビデオ搬送近接 (トランプ移動近い一緒に対対距離。遠く離れて)。研究39の 2 番目のセット、文章には互いに近づく 2 つのカードのビデオは社会的伝達文地域の読書によってスピードアップの発見に親密なのか、優しくないリードとして 2 人の間の相互作用が記載されています。近接/親密。空間距離に文読み上げの迅速かつ段階的も、文章を参照しなかったビデオ内のオブジェクトが影響を受けることに注意してください。動画では、文の意味の意味として社会面と空間距離の合同の関数として測定時間独特変調。これらの効果は登場回目読み取り時間 (あらかじめ決められた文章領域の最初の検査の期間) の両方とその文地域で過ごした合計時間 (ゲラでの研究の結果の図は、図 3を参照してください。・ Knoeferle32。ただし、分析はまたそのような微妙なカード距離効果は 1 つの例を述べない、動詞アクション関係の効果のように堅牢かもしれない結論につながる、参加者間の実質的な変動を明らかにしました。
さらに一連の研究は、文の構造の変化で役立つ視覚的文脈の効果の汎用性を評価を示しています。・ アバシーゼと共同編集者34 ・ ロドリゲスとの共同研究の26は、話し言葉の後続の処理の最近のアクションの効果を検討しました。両方の研究で参加者はまずアクション ビデオを検査 (例えば、実験者調味料きゅうり、またはケーキを焼く女性の手)。次に、彼らは最近のアクションまたは実行可能性のある別のアクションに関連していたかドイツ語文に耳を傾け次 (調味料トマト34; 建物モデル26)。読解中に参加者検査 (女性と男性エージェント顔、『 スザンナ 』 と 『 きかんしゃトーマス 』 をそれぞれ命名) の顔 2 つのオブジェクト (きゅうり、トマト)34またはエージェントの 2 つの写真を示すシーン26。・ アバシーゼと協力者34研究でスピーカー最初言及し、(例えば香料)、動詞、実験者(、キュウリやトマトなどのテーマについての期待を引き出します。26・ ロドリゲスとの共同研究による、スピーカー最初テーマ (ケーキ) と言及し (ベーキング) 動詞アクションのエージェントに関する期待を引き出す (女性: スザンナ、または男性: トーマス、描写の写真を介して女性と男性の顔のような)。
両方の研究で当面の問題は、最近のアクション イベントのテーマ/エージェントまたは他のテーマ/エージェントに基づいてさらに文脈手がかりの読解中に提供されるかどうか人々 が予測 (視覚的に) だった。動詞の発症から将来のテーマ オブジェクト (トマト) をキューに実験者の視線・ アバシーゼと共同研究34(ドイツ語から直訳: '実験者エージェント味すぐに...」)。・ ロドリゲスとの共同研究26、陳腐なアクションの性別ナレッジ利用可能になったテーマと動詞が記載されたとき (例えば、ドイツの刺激のリテラルの翻訳された: 'ケーキ テーマ焼きすぐに...」)。研究の両方のセットに参加者優先的に検査 (きゅうり34またはスザンナ26) の最近の行動のターゲット/エージェント (トマト34またはトーマス ・26) 代替 (未来/その他男女) ターゲット上中文。
このいわゆる「最近のイベント優先'、したがって、文の構造と実験材料の相当な変動堅牢であることが表示されます。それは変調すると、ただし、同時シーン26日から視覚上の制約によって最近検査アクション イベントに依存度は低く動詞テーマの説得力のある写真にエージェントのさらにジェンダーの写真を提示するよう、言語によって伝えられるジェンダー ステレオタイプ知識に基づく変調注意。図 4は、26・ ロドリゲスとの共同研究によって、実験の主な結果を示します。
視覚世界のパラダイムのこのバージョンには、堅牢な結果が得られた、一方、他の研究はリンクの仮説の複雑さ (および制限) を強調しています。その参加者を明らかに Burigo と Knoeferle20 -死ぬボックス ist ユーバー ・ デル ・ ソーセージなどの発話を聞いているとき ('、ボックスのソーセージの上)-大抵これらのオブジェクトのストック フォト描写を検査における発話の後します。しかし、試験の割合、何から切り離されて参加者の視線が言及されました。「ソーセージ」とソーセージを視察し、少なくとも 1 回を聞いて、参加者の次検査は試験速検証 (実験 1) と後文の検証 (試験の 90% のおよそ 21% ボックスに戻ります実験 2)。この視線パターンでは、参照 (聴覚 ' ソーセージ') 誘導のみいくつか (検査ソーセージ) が、すべてではなく眼球運動 (ボックスの検査) を示唆しています。このようなデザインをいじめる (文レベルの解釈を含む) 他から離れて語彙参照プロセスに使用できるプロセス。ただし、研究者をつけなければならないとき認知に視線をリンクのあいまいさを与えられた眼球運動の比率の相対的な違いに基づく言語処理のさまざまなレベルについての主張を行うと理解過程。
図 1: データ コレクション環境の概要。グラフでは、データ コレクションに使用されるさまざまなソフトウェアおよびハードウェア要素とお互いに関連の前処理方法を示しています。この図の拡大版を表示するのにはここをクリックしてください。
図 2: ミュンスターと協力者の37の代表の結果。これらのパネルは (描かれたアクション) の動詞領域と (感情的なプライムの効果) の複合動詞副詞地域条件確率比件名によって平均ログ視線を表示します。文に記載されているアクションがより描かれていたときにそれが描かれてないとき見えるターゲット イメージに向けてのかなり高い割合を示した。感情的な顔素数の影響の結果が少ない決定的: 顔の総理が負の価 (悲しい顔) を持っていたときよりも肯定的な感情的な原子価 (笑) を持っていたとき、彼らはターゲットに見えるの平均対数比のわずかな増加だけを示唆しています。誤差は、平均値の標準誤差を表しています。この図は、ミュンスターらから変更されています。37.この図の拡大版を表示するのにはここをクリックしてください。
図 3: ゲラと Knoeferle32の代表の結果。このパネルは、(dis) 類似形容詞のミリ秒単位で平均初回通過読書時間を示します。遠く離れてに比べ一緒に近づく 2 つの再生カードを見て後類似文章の読書時間の短縮を示した。誤差は、平均値の標準誤差を表しています。この図は、ゲラと Knoeferle32から変更されています。この図の拡大版を表示するのにはここをクリックしてください。
図 4: 代表的な結果・ ロドリゲスとの共同研究26します。このパネルは、動詞領域のテーマ別平均ログ視線条件確率比を示しています。割合 0 を見る上記ターゲット エージェント イメージのための好みのよう、0 以下の割合は、競合他社エージェント イメージの選好を示します。結果は、被験者は、目的語と動詞文に記載していないときよりも以前のビデオテープに録画されたイベントの照合時にターゲット エージェント イメージを検査する可能性が高い。さらに、ジェンダー ・ ステレオタイプに適合した文で示されているアクション ターゲット エージェント イメージに向かってより多くのルックスもあった。誤差は、平均値の標準誤差を表しています。この図は、ロドリゲスらから変更されています。26.この図の拡大版を表示するのにはここをクリックしてください。
Discussion
要約すると、視覚的文脈で視線の見直しの亜種はビジュアル シーンが言語理解に影響することが多くの方法を発見しました。このメソッドは、反応時間の測定などの方法と比較して重要な利点を提供します。例えば、継続的な眼球運動をご提供ウィンドウに言語理解過程、これらは時間の経過とともに視覚的世界の私たちの知覚を操作する方法。さらに、参加者は (ボタンを押す、文経由の正誤を判断する) などの言語の理解の間に明示的なタスクの実行に必ずしも必要はありません。これにより、研究者など乳児の視線以外あからさまな行動応答に苦労があります集団でメソッドを使用する子供と、いくつかのケースでは、高齢者。アイトラッ キングは、参加者の注意応答を反映で生態学上有効な — 展開発言にもっとまたはより少なく注意深く話を聞く中にそれらの周りの世界で通信関連のものの人間の視覚的尋問とは異なり。
視覚世界のパラダイムの境界 (または多分特性) の 1 つは、素直かつ明確にすべてのイベントを描くことができますです。コンクリートのオブジェクトとイベントを描くことが、もちろん、できます。抽象的な概念は最もよい方法がより少なく明確が描かれています。言語処理とアイトラッ キング視覚世界のパラダイムを使用して視覚的な世界の知覚の相互作用についての洞察を制限 (または定義) このことができます。さらなる挑戦行動と理解過程の間リンクの仮説に関連しています。注視は、おそらく言語理解 (例えば、語彙アクセス、参照プロセス、言語を介した期待、他の中の視覚的文脈効果) の間に多くのサブプロセスを反映している 1 つの行動応答です。この洞察力を与え、研究者は注意する必要がある以上には, 視線パターンを誤って解釈するか。この問題に対処するため、先行研究は視線レコード40の解釈を明確に理解サブタスクの役割を強調しています。
眼球運動の解釈可能性を向上させる方法の 1 つは、事象関連脳電位 (Erp) など他の手段でそれらを統合することです。自分の時間的な粒度に匹敵すると彼らのリンクの仮説で相補的な 2 つの方法で同じ現象を調査して研究者がその結果の代わりとなる説明を排除でき豊かにそれぞれの解釈個別施策41。このアプローチ追求されてきた実験43, しかしより多くの間で最近、また単一の実験内 (いえ、厳密に言語のコンテキスト) で44。今後の研究はこのような方法論的統合の恩恵し、試験後、実験後のタスクと組み合わせてを続けた。
アイトラッ キング法は言語理解との相互作用場面における視覚的注意についての新しい仮説をテストし同様、確立された結果を複製することができます。プロトコルに記載されている手順は、実験者もマイナー エラーはデータの品質に影響を与えるので慎重に従わなければなりません。研究を読んで、例えば、関連する分析領域がしばしば個々 の単語または英数字でも、小さくてもキャリブレーション エラーが (ラニー氏と同僚の42の記事を参照) の結果を歪めるかもしれないことを意味します。手順 1.4 と 1.5 のプロトコル、目の追跡者およびドリフト チェック/ドリフト正しい校正記録精度に直接影響が及ぶので特に重要なは。目の追跡者を正しく調整、事前に確立された領域に眼球運動を正確に追跡追跡者が発生します。このような追跡の失敗、不足しているデータ ポイントおよび世界の言語関係は非常に微妙な統計的効果が小さく収量を調査するときに問題が発生することができます統計的検出力の損失につながる (の説明を参照してください、ゲラと Knoeferle32と代表結果間ミュンスターと同僚の37実験)。
電源と装置の感度を最大化する必要性を考えると、実験者が実験的セッション中に定期的に発生する問題に対処する方法を知っていることが重要です。たとえば、瞳位置および眼鏡をかけて参加者の動きは、参加者のメガネのレンズの光の反射による校正の難しさで起因できます。この問題を解決する方法の 1 つは、ディスプレイ PC に参加者の目の画像をミラーし、ガラスに光の反射がもはやカメラによって捕獲されることを意味自分の画面上に表示されなくなるまで、自分の頭を移動するようにすることです。さらにキャリブレーションに失敗した原因は、瞳孔の縮小、光に露出オーバーの結果である可能性がありますをすることができます。その場合は、研究室では、光を調光増加瞳孔拡張し、瞳孔を正確に検出するに目の追跡者のため。
最終的な思想として、視覚世界のパラダイムは、第二言語学習に関する研究潜在能力に対応したいと思います。パラダイムが既に正常に使用されて心理言語学的研究のクロス言語の語彙と音韻の相互作用46,47,48などの現象を調査します。さらに、視覚的注意と言語学習の間の近いリンクは、第二言語習得49,50,51の応用言語学文献で強調表示されている頻繁。第二言語学習に関する今後の研究は、ミリ秒の分解能で視覚的注意のインデックスを提供する方法として目追跡の有利な位置から利益を得る可能性が高いいきます。
Disclosures
著者が明らかに何もありません。
Acknowledgments
ZuKo (卓越性の率先、祖フンボルト大学ベルリン)、卓越性クラスター 277 によって資金が供給されたこの研究 '認知相互作用技術' (ドイツの研究議会, DFG)、研究では、欧州連合の第 7 フレームワーク プログラム技術開発と補助金契約 n ° 316748 (LanPercept) の下でデモ。著者はまた、プロジェクト FB0003 プロジェクト"FoTeRo"で、フォーカス中心 XPrag (DFG) から連想のチリの研究プログラム (チリの政府)、センターオブエクセレンスのための基底の資金からサポートを認めます。ぴあ Knoeferle ビーレ フェルト大学でヘレン Kreysa がインスタンス化実験プロトコルによって記事の最初のドラフト情報提供ベルリン フンボルト大学祖で使用し続けます。すべての著者は、方法と結果を 1 つのフォームまたは別の入力を提供することで内容に貢献しました。カミロ ・ ロドリゲス Ronderos とぴあ Knoeferle 著者からの入力を調整して、2 つのイテレーションの最初のドラフトを大幅に改訂します。エルネスト ゲラ生産図 2 - 4カーチャ ミュンスター、アルバ ・ ロドリゲス、エルネスト ・ ゲラからの入力に基づいて。ヘレーネ ・ Kreysa は、図 1とぴあ Knoeferle、それを更新を提供されています。報告の結果の一部は、認知科学会年会論文集に掲載されています。
Materials
| Name | Company | Catalog Number | Comments |
| Desktop mounted eye-tracker including head/chin rest | SR Research Ltd. | EyeLink 1000 plus | http://www.sr-research.com/eyelink1000plus.html |
| Software for the design and execution of an eye-tracking experiment | SR Research Ltd. | Experiment Builder | http://www.sr-research.com/eb.html |
References
- Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
- Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
- Knoeferle, P., Guerra, E. What is non-linguistic context? A view from language comprehension. In What is a Context? Linguistic Approaches and Challenges. Finkbeiner, R., Meibauer, J., Schumacher, P. B. , John Benjamins Publishing Company. Amsterdam, The Netherlands. 129-150 (2012).
- Knoeferle, P., Guerra, E. Visually situated language comprehension. Language and Linguistics Compass. 10 (2), 66-82 (2016).
- Just, M. A., Carpenter, P. A. A theory of reading: From eye fixations to comprehension. Psychological Review. 87 (4), 329-354 (1980).
- Deubel, H., Schneider, W. X. Saccade target selection and object recognition: Evidence for a common attentional mechanism. Vision Research. 36 (12), 1827-1837 (1996).
- Rayner, K. Eye movements in reading and information processing: 20 years of research. Psychological Bulletin. 124 (3), 372-422 (1998).
- Sedivy, J. C., Tanenhaus, M. K., Chambers, C. G., Carlson, G. N. Achieving incremental semantic interpretation through contextual representation. Cognition. 71 (2), 109-147 (1999).
- Kamide, Y., Scheepers, C., Altmann, G. T. Integration of syntactic and semantic information in predictive processing: Cross-linguistic evidence from German and English. Journal of Psycholinguistic Research. 32 (1), 37-55 (2003).
- Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
- Tanenhaus, M. K., Magnuson, J. S., Dahan, D., Chambers, C. Eye movements and lexical access in spoken-language comprehension: Evaluating a linking hypothesis between fixations and linguistic processing. Journal of Psycholinguistic Research. 29 (6), 557-580 (2000).
- Arnold, J. E., Eisenband, J. G., Brown-Schmidt, S., Trueswell, J. C. The rapid use of gender information: Evidence of the time course of pronoun resolution from eyetracking. Cognition. 76 (1), B13-B26 (2000).
- Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology: Learning, Memory, and Cognition. 30 (3), 687-696 (2004).
- Spivey, M. J., Tanenhaus, M. K., Eberhard, K. M., Sedivy, J. C. Eye movements and spoken language comprehension: Effects of visual context on syntactic ambiguity resolution. Cognitive Psychology. 45 (4), 447-481 (2002).
- Huang, Y. T., Snedeker, J. Online interpretation of scalar quantifiers: Insight into the semantics-pragmatics interface. Cognitive Psychology. 58 (3), 376-415 (2009).
- Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying online sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
- Knoeferle, P., Crocker, M. W., Scheepers, C., Pickering, M. J. The influence of the immediate visual context on incremental thematic role-assignment: evidence from eye movements in depicted events. Cognition. 95 (1), 95-127 (2005).
- Knoeferle, P., Crocker, M. W. Incremental Effects of Mismatch during Picture-Sentence Integration: Evidence from Eye-tracking. Proceedings of the 26th Annual Conference of the Cognitive Science Society. , Stresa, Italy. 1166-1171 (2005).
- Kluth, T., Burigo, M., Schultheis, H., Knoeferle, P. The role of the center-of-mass in evaluating spatial language. Proceedings of the 13th Biannual Conference of the German Society for Cognitive Science. , Bremen, Germany. 11-14 (2016).
- Burigo, M., Knoeferle, P. Visual attention during spatial language comprehension. PLoS One. 10 (1), (2015).
- Münster, K., Carminati, M. N., Knoeferle, P. How Do Static and Dynamic Emotional Faces Prime Incremental Semantic Interpretation? Comparing Older and Younger Adults. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2675-2680 (2014).
- Kroeger, J. M., Münster, K., Knoeferle, P. Do Prosody and Case Marking influence Thematic Role Assignment in Ambiguous Action Scenes? Proceedings of the 39th Annual Meeting of the Cognitive Science Society. , London, UK. 2463-2468 (2017).
- Knoeferle, P., Crocker, M. W. The influence of recent scene events on spoken comprehension: evidence from eye movements. Journal of Memory and Language. 57 (4), 519-543 (2007).
- Knoeferle, P., Carminati, M. N., Abashidze, D., Essig, K. Preferential inspection of recent real-world events over future events: evidence from eye tracking during spoken sentence comprehension. Frontiers in Psychology. 2, 376 (2011).
- Abashidze, D., Knoeferle, P., Carminati, M. N. How robust is the recent-event preference? Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 92-97 (2014).
- Rodríguez, A., Burigo, M., Knoeferle, P. Visual constraints modulate stereotypical predictability of agents during situated language comprehension. Proceedings of the 38th Annual Meeting of the Cognitive Science Society. , Philadelphia, USA. 580-585 (2016).
- Zhang, L., Knoeferle, P. Visual Context Effects on Thematic Role Assignment in Children versus Adults: Evidence from Eye Tracking in German. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 2593-2598 (2012).
- Zhang, L., Kornbluth, L., Knoeferle, P. The role of recent versus future events in children's comprehension of referentially ambiguous sentences: Evidence from eye tracking. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1227-1232 (2012).
- Münster, K., Knoeferle, P. Situated language processing across the lifespan: A review. International Journal of English Linguistics. 7 (1), 1-13 (2017).
- Özge, D., et al. Predictive Use of German Case Markers in German Children. Proceedings of the 40th Annual Boston University Conference on Language Development. , Somerville, USA. 291-303 (2016).
- Weber, A., Grice, M., Crocker, M. W. The role of prosody in the interpretation of structural ambiguities: A study of anticipatory eye movements. Cognition. 99 (2), B63-B72 (2006).
- Guerra, E., Knoeferle, P. Effects of object distance on incremental semantic interpretation: similarity is closeness. Cognition. 133 (3), 535-552 (2014).
- Kreysa, H., Knoeferle, P., Nunnemann, E. Effects of speaker gaze versus depicted actions on visual attention during sentence comprehension. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2513-2518 (2014).
- Abashidze, D., Knoeferle, P., Carminati, M. N. Eye-tracking situated language comprehension: Immediate actor gaze versus recent action events. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 31-36 (2015).
- Crovitz, H. F., Zener, K. A Group-Test for Assessing Hand- and Eye-Dominance. The American Journal of Psychology. 75 (2), 271-276 (1962).
- Ehrenstein, W. H., Arnold-Schulz-Gahmen, B. E., Jaschinski, W. Eye preference within the context of binocular functions. Graefe's Arch Clin Exp Ophthalmol. 243, 926 (2005).
- Münster, K., Carminati, M. N., Knoeferle, P. The Effect of Facial Emotion and Action Depiction on Situated Language Processing. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 1673-1678 (2015).
- Lakoff, G., Johnson, M. Metaphors We Live By. , University of Chicago Press. Chicago, USA. (1980).
- Guerra, E., Knoeferle, P. Visually perceived spatial distance affects the interpretation of linguistically mediated social meaning during online language comprehension: An eye tracking reading study. Journal of Memory and Language. 92, 43-56 (2017).
- Kreysa, H., Knoeferle, P. Effects of speaker gaze on spoken language comprehension: task matters. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1557-1562 (2012).
- Knoeferle, P. Language comprehension in rich non-linguistic contexts: Combining eye tracking and event-related brain potentials. Towards a cognitive neuroscience of natural language use. Roel, W. , Cambridge University Press. Cambridge, UK. 77-100 (2015).
- Raney, G. E., Campell, S. J., Bovee, J. C. Using eye movements to evaluate cognitive processes involved in text comprehension. Journal of Visualized Experiments. (83), e50780 (2014).
- Knoeferle, P., Habets, B., Crocker, M. W., Muente, T. F. Visual scenes trigger immediate syntactic reanalysis: evidence from ERPs during situated spoken comprehension. Cerebral Cortex. 18 (4), 789-795 (2008).
- Dimigen, O., Sommer, W., Hohlfeld, A., Jacobs, A. M., Kliegl, R. Coregistration of eye movements and EEG in natural reading: Analyses and review. Journal of Experimental Psychology: General. 140 (4), 552-572 (2011).
- Knoeferle, P., Kreysa, H. Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension? Frontiers in Psychology. 3, 538 (2012).
- Chambers, C. G., Cooke, H. Lexical competition during second-language listening: Sentence context, but not proficiency, constrains interference from the native lexicon. Journal of Experimental Psychology: Learning, Memory, and Cognition. 35 (4), 1029 (2009).
- Duyck, W., Van Assche, E., Drieghe, D., Hartsuiker, R. J. Visual word recognition by bilinguals in a sentence context: Evidence for nonselective lexical access. Journal of Experimental Psychology: Learning, Memory, and Cognition. 33 (4), 663 (2007).
- Weber, A., Cutler, A. Lexical competition in non-native spoken-word recognition. Journal of Memory and Language. 50 (1), 1-25 (2004).
- Verhallen, M. J., Bus, A. Young second language learners' visual attention to illustrations in storybooks. Journal of Early Childhood Literacy. 11 (4), 480-500 (2011).
- Robinson, P., Mackey, A., Gass, S. M., Schmidt, R. Attention and awareness in second language acquisition. The Routledge Handbook of Second Language Acquisition. , 247-267 (2012).
- Tomlin, R. S., Villa, V. Attention in cognitive science and second language acquisition. Studies in Second Language Acquisition. 16 (2), 183-203 (1994).
