眼球運動の視覚世界のパラダイムに記録を使用して話されていた言語のオンライン処理を探索するには

この方法は、語話言語のオンライン処理における主要な質問 (命令や条件など、意味的に複雑な文を含む) に答える上で役立ちます。この手法の主な利点は、言語処理の分野でほとんどのトピックを研究するために、幅広い集団に対して実行できることです。この手順のデモンストレーションは、大学院生の徐景です。

私の研究グループの学生は、曹義南、王孟、楊暁通、ザンミン、周玄です。視覚刺激を準備するには、インターネットから動物の60の著作権無料クリップアート画像をダウンロードし、適切な画像エディタで画像を開きます。[ツール] をクリックし、クイック選択を使用して、各画像の背景を選択して削除します。

[イメージとイメージ サイズ] をクリックして、画像のサイズを 120 x 120 ピクセルに変更し、1 つの大きな 320 x 240 ピクセル ボックス、1 つの小さな閉じた 160 x 160 ピクセル のボックス、および 2 つの小さな 160 x 240 ピクセルのボックスを描画します。新しいファイルを開いて、最初のテストイメージ用に 1,024 x 768 ピクセルのテンプレートを作成し、ボックスを指定した場所にドラッグします。2 つのクリップ アート イメージを大きな開いたボックスにドラッグし、同じ 2 つのイメージをそれぞれ 1 つずつ 2 つの小さな開いたボックスにドラッグします。

次に、各動物画像がテスト画像ごとに2回使用されている場合に示すように、さらに59個のテスト画像を作成し、画像間で4つのボックスの空間位置を相殺します。話し言葉の刺激を準備するために、参加者の母国語で各テスト画像に対応する4つのテスト文を設計し、合計240のテスト文を記録し、4つの文のうち少なくとも3つ、各フォームの1つを示します。女性ネイティブスピーカーを募集して、実験で使用されているすべての動物の4つの例の声明とオーディオを記録します。

240のテスト文を4つのグループに分け、各グループには15の結腸文、15の差し止め命令、15の文、15のフィラー文が含まれます。次に、テスト刺激に関する重要な情報をすべてタブ区切りテキストファイルに保存し、各行は240回の試行に対応します。実験シーケンスをビルドするには、実験ビルダーを開き、新しいプロジェクトを作成します。

表示画面オブジェクトをワークスペースにドラッグし、ワークスペースの命令の名前を変更します。[複数行テキスト リソースを挿入]をクリックし、ブロック シーケンスをダブルクリックしてブロック シーケンスを開き、ブロック シーケンスを作成します。EIカメラ設定ノードをブロックシーケンスにドラッグして、EyeLinkホストPCのカメラ設定画面を表示し、カメラの設定のキャリブレーションと検証を容易にします。

プロパティパネルの「キャリブレーションタイプ」フィールドをクリックし、ドロップダウンリストから「HV5」を選択します。試用シーケンスを構築するには、ディスプレイ画面ノードを試用シーケンスにドラッグし、Animal_1_Image名前を変更します。「サウンドの再生」ノードを試用シーケンスにドラッグし、Animal_1_Audio名前を変更します。

試用シーケンスにタイマーノードをドラッグし、Animal_1_Audio_Length名前を変更します。クリップ アート イメージごとに 3 つのノードが作成されるまで、追加のディスプレイ画面、サウンドの再生、およびタイマー ノードを引き続き試用シーケンスに変更します。次に、ドリフト補正ノードをトライアルシーケンスにドラッグして、ドリフト補正を導入します。

録音シーケンスを作成するには、新しい画面表示ノードをレコードシーケンスにドラッグします。ノード Test_Imageの名前を変更します。[画面表示] ノードをダブルクリックしてスクリーン ビルダーを開き、[四角形の対象領域を挿入] をクリックして、4 つの四角形の領域を描画します。

Timer ノードをワークスペースにドラッグし、ノードの名前を一時停止し、期間プロパティを 500 ミリ秒に変更します。[サウンドの再生] ノードをワークスペースにドラッグし、ノードの名前をTest_Audioし、タイマー ノードをワークスペースにドラッグしてTest_Audio_Length名前を変更します。次に、ワークスペースにキーボードノードを追加し、ノードの動作応答の名前を変更し、「許容キー」プロパティーを「上、下、右、左」に変更します。

実験を行う場合は、ホストPCでシステムを起動してカメラのホストアプリケーションを起動し、ディスプレイPC上の実験プロジェクトの実行可能バージョンをクリックします。参加者の名前を入力し、[条件値の選択]をクリックして実行し、プロンプトウィンドウからグループを選択します。参加者の額に小さなターゲットステッカーを貼り、まばたきや突然の動きなど瞳の画像が失われた場合でも、頭の位置を追跡します。21 インチ 4:3 カラー モニターから約 60 センチメートルの参加者を 1,024 x 769 ピクセルの解像度で、27 ピクセルが 1 度の角度に等しい座席にします。

ディスプレイ PC モニタの高さを調整して、参加者がまっすぐ前方を見ているときに、モニタの中央から上の 75% を垂直に見ている状態にし、机の上の焦点を合わせて目の画像をフォーカスするようにします。次に、ホストPCで「キャリブレーション」をクリックし、参加者に対して、5つの固定ターゲットのグリッドに、まからとりの行動応答を伴わないランダムな連続で固定し、参加者の目の動きを視覚世界の関心の視線にマッピングするよう依頼します。[検証] をクリックし、調整結果を検証するために、固定ターゲットの同じグリッドに固定するように参加者に依頼します。

画面中央の黒い点を固定しながら、キーボードのスペースバーを押すように参加者に依頼して、ドリフトチェックを実行します。次に、モニターの左右に位置する外部スピーカーのペアを介して聴覚刺激を再生しながら、ディスプレイPCモニタを介して視覚刺激を提示します。データのコーディングと分析の場合は、データビューアーを開き、ファイル、ファイルのインポートをクリックし、複数のアイリンクデータファイルをインポートして、記録されたすべてのアイトラッカーファイルをインポートします。

ファイルを単一の evs ファイルに保存し、evs ファイルを開いて[分析]、[レポート]、および [サンプル レポート] をクリックして、集計なしで生のサンプル データをエクスポートします。結膜ステートメントに対する正しい応答は大きなオープンボックスですが、しかしステートメントに対する正しい応答は、ステートメント内で最初に言及された動物を含む小さなオープンボックスです。重要なことに、どのボックスを結合ステートメントに選択するかは、条件ステートメントの処理方法によって異なります。

たとえば、小さな閉じたボックスは、スカラーのインプリケーションと無知の推論の両方が計算され、その結果、分離ステートメントの理解から生じる場合にのみ選択されます。パネルに示すように、小さな閉じた箱の目の固定は、センティシャル結合が切断結合であるか、または切断結合のオフセットのオフセットよりも遅くない限り、増加しません。ビジュアルワールドパラダイムは、現実世界での目の動きから話し言葉の参加者のオンライン理解を推測するための汎用性の高いアイトラッキング技術です。

参加者を募集するときは、正常または正しい正常な視覚能力と正常な聴覚能力を持っている必要があることを覚えておいてください。対象となる実世界の調査を設計するには、参加者の目の動きに影響を与える可能性のある他の要因を制御または除外する必要があります。結果を統計的に分析する場合、限られた応答から生じる可能性のある問題は、すべての自動相関または自動比較を考慮する必要があります。