都市公園環境における歩行の映像を自由に視聴する映像コンテンツの分析とアイトラッキングデータを組み合わせる

多くのアイトラッキング研究は、複雑なビデオ刺激と現実世界の設定に依存しており、データの分析は非常に複雑です。この解析手法により、現在利用可能な方法よりも、ビデオベースのデータを分析するための、より豊富で自動化されたアプローチが可能になり、より複雑なデータの抽出が豊富になります。この方法は、特に現実世界の状況や刺激としてビデオを使用するもので、多くの異なるアイトラッキングアプリケーションで使用することができます。

景観研究は、人々が異なる視覚刺激にどのように反応するかを理解することに依存してきました。この手法とアイトラッキングを組み合わせることで、これらの仮定をテストすることができます。この種の研究では、高いレベルのインプットと配慮が必要な複数の側面に対して、チームアプローチが不可欠です。

私と一緒に手順を実証することは、私の大学院生アンドリュー・トラーになります。フィルムシーケンスは、自然光が利用可能であるが、視野の多くを占めるためにできるだけ大きな画面の画面上の反射を避けるために制御することができるアイトラッキング実験室で示されるべきであり、それによって視野の外からの気晴らしを避ける。参加者を画面から60〜65センチメートル離れたところに座った後、参加者がアイトラッキングビデオの文脈で想像できる文章を使って修復が必要であることを想像してもらいます。

次に、デスクトップアイトラッキングデバイスを使用して所定のランダムな順序で参加者のフィルムを再生し、各ビデオ中に参加者の目の動きを記録します。対象領域を設計するには、樹木、低木、道標、建物、経路、ステップなど、スタディに関心のある項目を選択します。最適なパフォーマンスと最小限のトレーニング要件を実現するには、互いに目と目で見分けやすい要素や、各ビデオ フレームの異なる領域を一貫して占有する要素を使用します。

一般に、各AOIの違いを視覚的に区別する十分なトレーニング例を含め、堅牢なパフォーマンスを得るには十分です。すべての項目が変更されたら、トレーニングセットを構成するトレーニングフレームの適切な数を選択します。適切な固定番号はありません。

次に、画像編集ソフトウェアのビデオから各トレーニングフレームを開き、各フレームに対して、ラベリングのためにロードされた画像上に透明な画像レイヤーをオーバーレイし、対象となるオブジェクトクラスごとに1色を提供するカラーパレットを作成します。対象となるサンプル領域の色を選択するには、領域内のピクセルをクリックしてドラッグし、適切なパレット選択でサンプルの領域内で色分けします。フレームのラベリングが完了したら、ベースファイル名が元のフレームベースファイル名と一致するが、最後に C が付加されていることを考慮して、オーバーレイレイヤーを別のイメージファイルとして書き出します。

トレーニング済み分類器の精度を定量的に検証するには、トレーニングセットに含める選択されていない元のビデオシーケンスからフレームを選択し、トレーニングフレームが可能な限り正確かつ包括的な状態で示したように、各フレームのピクセルにラベルを付けます。フレームのラベル付けが完了したら、トレーニングと同じ命名規則を使用して、ファイルを別の検証フレーム フォルダーに保存します。ビデオシーケンスの自動ピクセルラベリングの場合は、Darwin グラフィック ユーザー インターフェイスを起動し、[ロード トレーニング ラベル] をクリックします。

トレーニングとラベリング用に GUI を構成するには、[プロジェクトの作成] を選択し、ポップアップ ダイアログ ボックスを使用してプロジェクト名を指定します。ポップアップウィンドウで、ビデオシーケンスの元のフレームをすべて含むフォルダを選択します。ポップアップ ファイル エクスプローラダイアログ ボックスを使用して、関連するビデオ シーケンスのラベル付きトレーニング イメージが含まれているフォルダを選択します。

ファイル エクスプローラダイアログ ボックスで、関連するビデオ シーケンスのラベル付き検証イメージをすべて含むフォルダを選択します。プロンプトに従って、トレーニングで使用されているのと同じカラーパレットを使用して、ラベル付き画像の形式で表示されるすべての出力フレームの宛先フォルダを選択します。ポップアップダイアログボックスを使用して、対象エリアの下に、トレーニング例で各地域をマークするために使用される赤/緑/青の値を含むラベル付けする対象領域を入力します。

アルゴリズムは、各ラベル付きトレーニングフレームを調べ、ピクセルを対象の指定されたオブジェクトクラスのいずれかに分類するための外観のモデルを学習します。トレーニングが完了したら、[トレーニングの検証] をクリックします。ファイル エクスプローラダイアログ ボックスで、関連するビデオ シーケンスのラベル付き検証イメージをすべて含むフォルダを選択します。

生成されたラベルを視覚的に検証するには、[ビジュアル検証] をクリックします。生成されたラベル付きイメージは、元の検証フレームの横に表示されます。定量的または定性的な検証で観察された精度が許容レベルを下回る場合は、トレーニング例を含め、再トレーニングします。

分類子のトレーニングと検証の各フェーズが完了したら、[実行の推定] をクリックして、トレーニング済みの分類子を使用してビデオ シーケンス内のすべてのフレームの完全なラベル付けを開始します。ラベルが完成し、数時間かかる場合があります。ほとんどのアイトラッキングソフトウェアは、ヒートマップが丸い形状を示す2番目のビデオと比較して、参加者が平均して最初のビデオのビデオのx座標で左右にスキャンしたことを示します。

この論文で説明した機械学習ピクセルラベリング手法を使用すると、より詳細な情報を得ることができます。固定率時間のこのグラフィカルな表現は、ビデオの過程でパスがはっきりと見えるということを示しています。しかし、視線追跡データのこの図が示すように、参加者は重要なポイントで時折この機能を見ただけです。

ここでは、ビデオの長さ全体のオブジェクトを見たときに、この代表的な研究のすべての39人の参加者の住み時間の概要が示されています。このグラフでは、同じ時間データを、異なるオブジェクトがビデオで占める時間と空間の量で割った。値が 1 の場合、その時間はビデオ内のオブジェクトの量によって考慮できることを示します。

たとえば、両方のイメージの空など、あまり適切でないオブジェクトは、他のオブジェクトよりも比較的少なく表示されていました。街灯やベンチなどの人工物は、他の自然物と比較してより大きな範囲に住んでいました。このような分析は、注意と顕著さの質問を調べるための多くの幅広い用途を持ち、さまざまな研究分野に多くの広範な応用を持つことができます。

視覚刺激としての短編映画の使用がますます一般的になるにつれて、我々はこの技術がより一般的になることを期待しています。