Abstract
これらは一般的に大学のキャンパスに収集することができるよりもはるかに大きいとはるかに代表データサンプルの約束を提供するのでオンラインデータ収集方法は、行動科学者に特定の魅力を持っている。刺激特性を厳密に制御する必要がある実験で、特に - このような方法を広く採用することができる前に、しかし、技術的課題の数は、克服しなければならない。ここでは、視覚的注意の2テストでパフォーマンスデータを収集するための方法を提示する。テストが伴うように両方のテストでは、どちらか簡単に移動するの刺激または刺激を点滅さ（順番に視聴距離、モニタサイズ、画面解像度などの知識を必要とする）刺激の視角を制御し、刺激のタイミングを（必要とする特定のレートで）。 1700以上のオンライン参加者からこれらのテストで収集されたデータは正確に同じテストの実験室ベースのバージョンで収集されたデータと一致した。これらの結果適切なケアで、タイミング/刺激サイズ依存タスクは、Webベースの設定で展開できることを示唆している。
Introduction
過去5年間のオンライン行動データ収集方法の使用に関心の高まりがあった。心理学の分野で出版物の大部分は、同様に（ すなわち、一般的に被験者の数の範囲）、オンライン方法は、潜在的に非代表対象集団1（ すなわち、主に大学の学部）としばしば適度に小さいサンプルサイズを利用してきたがはるかに多様で、より大きなサンプルの約束を提供しています。例えば、Amazonのメカニカルタークサービスは、最近の多くの研究の主題となっている両方の「作業者」集団の特性および行動研究2-6のこの集団の使用を記載する。
しかし、このような方法に関連する1つ大きな問題は、重要な刺激変数の制御の相対的な欠如である。例えば、ほとんどの視覚心理物理学のタスクで、刺激の観点から説明されている視角。視角の算出は、視距離、画面サイズ、画面解像度の正確な測定を必要とする。これらのパラメータは（知らモニターと参加者がある場合に顎当てにモニターから既知の距離に配置しながら、刺激を表示）ラボ設定で測定するのは簡単や制御ですが、同じことがオンラインデータ収集の真実ではない。オンライン環境では、だけでなく、参加者は必然的に異なるソフトウェア設定の異なるサイズのモニターを幅広く使用され、彼らはまた、彼らのモニターのサイズを決定するか、必要な知識を持つことを可能にする定規/巻尺に簡単にアクセスできないかもしれない彼らのソフトウェアとハードウェアの設定（ 例えば、リフレッシュレート、解像度）を決定する。
ここでは、視覚的注意の2つのよく知られたテストに関するデータを収集するための一連のメソッドを記述する-ビューの有用なフィールド（UFOV）パラダイム7と、複数のオブジェクトトラッキング（MOT）タスク
これら二つのタスクに関するデータは大規模なオンラインオープンコースで1,700以上の参加者から収集した。このオンラインサンプルの平均パフォーマンスは、正確に同じタスク9,10の厳密に制御実験室ベースの措置で得られた結果と非常に一致していた。我々の結果はさえ観察条件の上の特定の制御を必要とするタスクで、オンラインのデータ収集方法の有効性を実証する文学の成長体とこのように一致している。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
プロトコルは、ウィスコンシン大学マディソン校での治験審査委員会によって承認された。次の手順は、記載されたWebアプリケーションの自動化されたプロセスを複製するプログラマのためのガイドとして書かれています。
1.ログイン参加
- ：インターネット対応のコンピュータを使用して、HTML5互換性のあるブラウザを用いてWebアプリケーションに移動し、参加者に指示しhttp://brainandlearning.org/joveを 。参加者が快適な高さでコンピュータと、気晴らしの自由な静かな部屋に座っています。
注：実験全体がオンラインでホストされているので、タスクはまた研究助手の存在なしにリモートで実行することができます。参加者のためのすべての命令は、Webアプリケーションに含まれています。 - 参加者の入力を収集したデータに関連付けられているとMySQL databasに保存されますユニークなIDを持っているE。オンラインのタスクが同じセッション内に完了していない場合、参加者がこのIDを再利用しています。ログインする前に、ページ上のリンク同意フォームを使って、参加者からの同意を得る。
注：参加者の進歩は、必要に応じて別々の時間で2タスクの完了を可能にするために、各タスクの後に保存されます。常に1がオフに左を開始するために、同じIDを使用するには、参加者に指示します。
2.画面のキャリブレーション
注：Webアプリケーションがでキャリブレーション画面に示した三つのステップを通じて参加者を案内http://brainandlearning.org/jove/Calibration 。
- ラベルテキストボックスに、インチで入力する画面の対角寸法を参加者情報を確認して下さい。
- しかし、参加者がこの情報を知らない場合、参加者は、（較正物体としてCDまたはクレジットカードを発見している
- 物理的なオブジェクトのサイズに合わせて画面のサイズを調整するために参加者に促す。代表画像の画素サイズに加えて、物理的なCD（4.7 "の直径）またはクレジットカード（3.2の幅」）の測定値に基づいて、画面インチ画素の割合を決定する。
- その後ピクセル単位で画面の対角サイズを計算するには、JavaScriptのscreen.widthとscreen.heightプロパティを介してモニタのピクセルの解像度を取得します。この値と、以前推定画素からインチ比を知るインチ対角サイズに変換する（ステップ2.1.2を参照）。参加者はダイアログボックスで、この値を確認する必要があります。
- しかし、参加者がこの情報を知らない場合、参加者は、（較正物体としてCDまたはクレジットカードを発見している
- スクリーンbrighを調整するために、参加を促す画面に表示される黒から白へのグラデーションで全12バンドまで、適応度の設定は明らかに区別することができる。明るさの設定のコントロールは、コンピュータによって異なります。
- 楽な姿勢で離れてモニターから腕の長さを座って、その後、フルスクリーンモードにブラウザのウィンドウを設定し、参加して下さい。ブラウザウィンドウは、タスクが使用する視覚空間を最大化するために、そのようなブラウザのツールバーやデスクトップタスクバーなどの任意の視覚気晴らしを除去するために、フルスクリーンモードにする必要があります。
- 参加者の画面の解像度、対角サイズが分かれば、自動的にを50cm視距離に基づいて、ピクセル/度変換値を計算するために、Webアプリケーションを使用する。この値を使用してタスクにおける刺激の寸法のサイズを変更します。これに基づいており、以下に報告されたすべての視角の大きさは、モニターからの平均距離値を仮定した。
- キャリブレーションが完了すると、二つのタスクのdescribを完了するために、参加者に依頼下記のエド。タスクの順序を選択するか、またはランダムにウェブアプリケーションを介して順序を割り当てます。
3.複数オブジェクトトラッキングタスク（MOT） - 図2
- 紹介とで見られるセルフガイドチュートリアルを通してMOT刺激、と参加者を理解： http://brainandlearning.org/jove/MOT/practice.php 。試験はどのように機能するかを実証するステップバイステップの説明を読むために参加して下さい。参加者が指示を読んで終了すると、練習試行を通過する参加者に促す。
- セットアップ練習刺激は2°/秒の移動速度0.8℃で8ドットで構成されている。この刺激の動きを制御するために、60Hzのフレームレートでブラウザアニメーションを最適化するためにHTML5 requestAnimationFrame APIを使用する。
- ドットが2°偏心とCIRCの円の境界内に移動することを確認ル隠さ指示なしに、参加者の画面の高さよりも大きくない。
- フレーム毎にドットが0.2°の最大角度で方向を変え、60％の確率でランダムな軌道で移動するドットを設定する。ドットは、他のドット又は内側または外側の半径方向の制限と衝突する場合には、反対方向にドットを移動する。
- 黄色のドットが不正解の選択肢として機能するとともに、（練習トライアルあたり1〜2ドットを変える）青い点を追跡するために、参加者に促す。
- 2秒後、黄色ドットに青い点を変更し、別の4秒間の元黄色の点の間でそれらを移動し続けています。各試験の終了時に、ドットを停止し、いずれかをハイライト。
- ハイライト表示ドットが追跡ドットまたは伸延ドットであったかどうかのキーを押し経由で応答するために参加者に促す。次に、次の試行に継続してスペースバーを押して参加者に促す。
- 3連続で正しい試行、または6の試験の最大の後、MOフルタスクへの参加者をVEの。
- 参加者のための完全なMOTタスクを起動します。 ：タスクの例はで見つけることができますhttp://brainandlearning.org/jove/MOT 。
- セットアップ偏心及び偏心°10°2間の空間内に5°/秒で移動する16ドットとの完全なタスク。参加者の画面が10度偏心のサークルに入りきらない場合、画面が代わりに含めることができる最大サイズを使用します。
- - 5追跡ドット1追跡ドットとそれぞれ2からなる10試行からなる5試験の混合物：参加者は45の試験の合計を完了しています。 （ - 3.1.6の手順3.1.3を参照）練習試行に他のすべてのパラメータと一致。
- ドットが強調表示されたら、参加者の応答と応答時間を記録します。
- すべての15試験のために、参加者にブレークを提案する。これらの休憩では、参加者を表示7;画面上のブロック内でのパフォーマンス（正確な試験のパーセント）。
4.別の（オプションの手順）の一つのタスクからの移行
- 参加者は2タスク間の休憩を取るようにします。タスクが同じログインセッション中に完了していない場合は、1と2を繰り返して、手順 。
[タスク（UFOV）の5章便利なフィールド - 図3
- 紹介とで見られるセルフガイドチュートリアルをUFOV刺激、と参加者を理解： http://brainandlearning.org/jove/UFOV/practice.php 。タスク中に出席しなければならない2つのターゲットの刺激を証明する手順は次の4つの段階を通過する参加者情報を確認して下さい。
- どちらか長いか短い髪と、画面の中央に点滅し、1°スマイリーなどの中枢標的刺激を設定します。ランダム化する臨床試験全体のスマイリーの髪の長さ。
- 円の周り8箇所（0°、45°、90°、135°、180°、225°、270°、315°）の一つに偏心°4で点滅1°スターとしての末梢標的刺激を設定。臨床試験全体での星の位置をランダム。
- プレゼンテーション時に使用されるフレームの数を介して制御刺激持続時間。 HTML5 requestAnimationFrame API を使用してフレームごとに約17ミリ秒でのフレームリフレッシュを最適化します。
- 予想プレゼンテーション時間が達成されたかどうかを確認するには、参加者のシステムクロックに基づいて、刺激持続時間の開始時刻と終了時刻を取得するには、JavaScriptのにgetTime（）メソッドを使用する。これら2つの値から測定されたプレゼンテーション時間を算出し、データ解析のためにこの値を使用する。
- 各練習試験のために、約200ミリ秒（約12フレーム）のための刺激を表示する前に500ミリ秒を待つ。
- 刺激前に従ってください320ミリ秒（約19フレーム）のために、ランダムに生成された階調ドットアレイから構成されるノイズマスクとsentation。
- ステージ1の場合は、唯一の中央のターゲットを表示し、髪の長さが表示されたキーを押し経由で応答するために参加者に促す。
- ステージ2の場合は、唯一の周辺ターゲットを表示し、星が現れた場所を示すために、8つの可能なターゲット位置を表す、1つの8の放射状のラインをクリックして参加者に促す。
- ステージ3の場合は、両方の中枢および末梢ターゲット刺激を表示し、スマイリーの種類とスターの位置の両方に対する応答を提供するために、参加者に促す。
注：参加者は自由にこれらの2つの応答の順序を選択することができます。 - ステージ4は、周辺伸延器に加えて、両方の標的刺激を表示し、両方の標的の刺激に応答する参加者に促す。不正解の選択肢のために、ディスプレイ1度の正方形を4℃偏心で残りの7箇所で発表され、I2°偏心で8より正方形にn個の追加。
- 参加者の応答の後、各試行後の各目標応答のための参加者からのフィードバック（正解または不正解のために赤十字のための緑のチェックマーク）を示している。
- 3連続で正しい試験を取得した後、次の練習ステージに参加者を移動します。ステージ4の後、完全なタスクに参加者を移動させる。
- フルUFOVタスクを開始するために参加者に促す。 ：タスクの例はで見つけることができますhttp://brainandlearning.org/jove/UFOV 。
- 練習セッションのように、同じ中央刺激を提示する（ ステップ5.1.1を参照）。前述の8のいずれかの場所で7度の偏心で周辺ターゲットを表示します（ ステップ5.1.2を参照）。 24伸延の正方形も3°偏心、5°偏心し、残りの7度に表示されます偏心の場所。
- 刺激の提示時間を決定するために、3ダウン、1アップ階段の手順を実行します：3つの連続した正しい試行の後の刺激の持続時間を減少させ、各エラートライアル後に増加。
- 階段の最初の3逆転する前に、2フレーム（およそ毎33ミリ秒）のステップサイズを使用します。 3逆転した後、1フレームのステップサイズを使用します。 1フレームと裁判あたり99フレーム間の刺激開始前の遅延を変化させると、320ミリ秒（約19フレーム）でのノイズマスク期間を保つ。
注：戻入は持続時間が減少、または増加に増加から減少にどちらかに変化するポイントです。 - 3つの条件のいずれかが満たされたときにタスクを終了：階段手順は8逆転達する。参加者は、天井時間（99フレーム）や床期間（1フレーム）のいずれかで10の連続した試験を完了します。または参加者は、72の試験の最大値に達する。
- 参加者のRに記録する中枢刺激と周辺刺激の両方のesponseと応答時間。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
外れ値の除去
1779参加者の合計はUFOVタスクを完了した。これらのうち、32の参加者は、彼らが指示通りに作業を行うことができなかったことを示唆し、平均から3より大きい標準偏差たUFOVしきい値を持っていた。このように、これらの参加者からUFOVデータ1747の参加者の合計を残し、最終分析から除去した。
データは、MOTタスクの1746の参加者から得た。 2人の参加者は、このようにこれらの参加者からのデータは、最終的なMOT分析から削除された平均より3つ以上の標準偏差は、1,744名の参加を残してあった精度のスコアを意味する持っていた。
UFOV
UFOVタスクのために、性能は、検出閾値を得るために、最後の5回の試行の提示時間を平均することによって計算した。プレゼンテーション時間は、測定された刺激提示デュ反射各参加者の画面上で配給：最後の刺激フレームは参加者のシステムクロックを使用して、ミリ秒単位で記録された最初の刺激フレームの開始から終了までの時間。検出閾値は、3ダウン、1アップ階段手順の我々の使用を考えると、参加者は約79％の精度で、周辺標的を検出できる最低プレゼンテーション期間を反映している。平均UFOVしきい値は64.7ミリ秒（SD = 53.5、95％CI [62.17、67.19]）であったとスコアは（ 図4を参照）17ミリから45ミリの中央値はしきい値と315ミリ秒の範囲であった。しきい値分布は1.92（SE = 0.06）の歪度と3.93（SE = 0.12）の尖度と、積極的に偏った。
MOT
MOT性能は、各セットのサイズ（1から5）の平均精度（パーセント正しい）を計算することにより測定した。セットサイズ1から0.1 1.0 - - 精度が0.4の範囲であったセットサイズ5 1.0、およびaccurを意味するACYはセットサイズ1用0.99（SD = 0.06、95％CI [0.983、0.989]）から0.71の範囲であった（SD = 0.17、95％CI [0.700、0.716]）セットサイズ5.中央値精度のスコアは1.0の範囲であったそれぞれ設定されたサイズ1のための0.70〜5（ 図5参照）。
反復測定ANOVAは、精度が設定されたサイズの関数として異なっていたかどうかを調べるために行った。セットサイズが増加するにつれて精度が典型的なMOTの効果を実証し、減少させたことなどセットサイズ（F（4、6968）= 1574.70、p <0.001、n個のρ2 = 0.475）の有意な主効果があった。
図1.画面の測定 。またはそれらの画面サイズを評価するために定規/巻尺への容易なアクセスを持っている - - すべてのオンライン参加者が自分の画面サイズがわからないので、。、較正プロセスは標準サイズ（下- - CD上記のクレジットカード）の一般に入手可能なアイテムを利用するために被験者に尋ねたこの図の拡大版をご覧になるにはこちらをクリックしてください。
2. MOTタスクを図 。参加者はランダムに動くドットの集合を見た。残りは黄色（不正解）あったが裁判開始時に、これらのドットのサブセットは、青（ターゲット）であった。 2秒後青いターゲットドットは、正解の選択肢から、それらを視覚的に区別できないこと、黄色に変化した。参加者は、応答画面が現れるまで精神的に4秒以前はブルーの目標ドットを追跡する必要がありました。この画面上のドットの1は白だったと被写体が行われ、「はい（これは、元の目標の一つであった）」。 （キーを押して）、または「いいえ（これはオリジナルのターゲットの一つではありませんでした）」決定しない。 この図の拡大版をご覧になるにはこちらをクリックしてください。
図3. UFOVタスク。メイン画面は、中央の刺激（短いまたは長い髪のいずれかを持っている可能性が黄色スマイリー）、末梢刺激（円内満たされた白い星）と周辺正解の選択肢は（白四角を概説）から構成されていた。この画面では、簡単に（参加者のパフォーマンスに基づいて適応的に決定したタイミングで）フラッシュした。応答画面が表示されたときに、参加者は2つの応答をしなければならなかった。彼らはスマイリーが長いか短い髪を持っていたし、彼らは8ラジアルスポークのどれが（クリックして）を示す必要があったかどうか（キーを押して）を示す必要があった標的刺激が現れた。■。そして、彼らは応答（ここでは、彼らは中央のタスクのために正しい答えが、周辺タスクの不正解を選択しました）の両方についてのフィードバックを受けました。 この図の拡大版をご覧になるにはこちらをクリックしてください。
指示されるように、図4 UFOV結果被写体性能のヒストグラムから明らかなように、だけでなく、参加者の大半が（〜1％が悪い/外れ値パフォーマンスのために除去）タスクを実行することができ、平均性能の範囲で真正面た正確な同じタスク9にラボ基づく措置から期待。
図5. MOT結果。前作10と一致して、MOT精度が増加し、設定されたサイズとスムーズに落ちた。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
オンラインデータ収集は、標準的な実験室ベースのデータ収集に比べて多くの利点を有している。これらの分野で利用される典型的な大学学部プールよりもはるかに多くの代表的な集団をサンプリングする可能性、それは実験室での小さな大きさのオーダーであるサンプルサイズを得るために要するよりも短い時間ではるかに大きなサンプルサイズを得る能力を含む1-6（ 例えば、現在の用紙に1,700+参加者から収集したデータ点は、一週間以内に得られた）。
記載され、オンラインの方法は、以前に行った実験室ベースの研究から得られた結果で複製することができました：オンラインタスクでUFOVのしきい値とMOTの精度のために計算手段と範囲をUFOVタスクと緑とBavelierための染料とBavelier 9によって報告された結果に匹敵したMOTタスクの10。しかし、大規模な参加者のサンプルが分布に影響を与えなかった特にUFOVタスクでの結果、。オンラインUFOVしきい値分布は、前の実験室ベースの結果9より歪んだより正しかった。スキューのこの差は、特に時代の彼らの広い変動に関しては、オンライン募集参加者の大きな多様性に起因する可能性があります。オンラインサンプルは、18の範囲であった- 22年9 -実験室ベースのサンプルは18の範囲であったが、70歳。
さらに、オンラインの方法を介してデータを収集することは、いくつかの技術的な課題を解決する必要がありません - 近い刺激制御は、対策の有効性のために必要である場合に特に。ここで用いた2つのタスクが提示された刺激の視角と刺激のタイミングの両方の制御を必要とした。その計算は、視距離、モニタサイズ、画面解像度を知る必要とする特定の視角は、オンライン設定で制御するのが困難であることができる。これは、第所与特に問題である多くのオンラインの参加者で彼らのモニターのサイズを知らないか、またはそれらのモニターのサイズを測定するために、巻尺に簡単にアクセスできます。
我々は、これらの問題のいくつかを克服するための一連のステップを考案した。我々は完全にモニタサイズを解決することができますが、我々はまだ正確に実際の視聴距離を制御することはできません。私たちは、この距離は参加者間で異なるが、モニターから離し腕の長さを座って参加者に提案する。米国人体計測データ成人男女間の順方向アームリーチ（参加者が離れて画面からの距離を判断するために使用している位置）の長さの差が小さいようなメディアン男性であることを示しているように、アームの長さは、選択された中央値は女性の手がCM 11 62.5である間リーチが63.8センチメートルです。実験のセットアップ手順は、この測定値を使用して、性別バイアスを導入することを避けるためにしようとしているが、潜在的な高さの偏りがあってもよい。 ＆参加者を集める将来の研究＃8217;高さ情報は、この可能性を評価するために実施される必要がある。
閾値を計算する際に、刺激のタイミングのために、我々は考慮予想継続時間および刺激提示の記録された持続時間の間の不一致を取った。そうではなく、予想されるプレゼンテーション期間に頼るよりも、私たちはミリ秒の精度を持つ参加者のシステムクロックを使用して刺激フレームの継続時間を測定した。しかし、モニタディスプレイ間の固有の格差は依然として存在し、 その場での測定で物理せずに制御することができません。ほとんどの場合、典型的には、画素の輝度変化の開始と終了の値に依存して変化し、長い応答時間を、持っていると私たちの参加者がアクセス権を持って監視する - これはよく液晶ディスプレイ（LCD）があることが知られている。私たちは常に刺激レベルに同じ背景レベルからので、後者の問題は、私たちの研究では問題になりません。大きな懸念があることであるVARI参加者全体でディスプレイの能力が測定された分散の大部分を引き起こす。私たちは、画素の応答時間は、通常、UFOV閾値の大間の個体と比較して許容できると思われる1フレームレート（ すなわち 、17ミリ秒）12,13、よりも小さいように、これは問題ではないと信じています。
ここで用いられている方法は、上記の課題を克服し、したがって、私たちは二つのタスクのパフォーマンスを測定することができ - UFOVとMOT - の両方が視角とスクリーンタイミング特性の制御を必要とすることを。これらの方法により得られた結果は、従って、それらの有効性を実証し、標準的な実験設定で得られたものと一致した。これらのタスクは、唯一のインターネット接続とHTML5互換性のあるブラウザを必要とするためさらに、これらのタスクを簡単に、一般的に代表母集団から大きなサンプルを収集するためにだけでなく、使用することができるだけでなく、INDIVの特定のサブタイプに到達するために使用することができます地理的に離れたので、難しいかもしれidualsは、一般的なラボ設定にもたらすために（ 例えば、特定の民族的背景を持つ疾患または個人の特定のタイプの患者）。さらに、iPadのおよび他の錠剤の使用の立ち上がりに、ウェブアプリケーションの設計が容易に参加さらに多くを達成するために、タッチスクリーン技術との互換性を高めるために適合させることができる。 Webアプリケーションは、現在、HTML5ブラウザを介してタブレット上で実行することができますが、将来の反復は、キーボードの要件を削除して、インターフェイスのボタンやジェスチャーで応答キーを置き換えることができます。
Subscription Required. Please recommend JoVE to your librarian.
Materials
| Name | Company | Catalog Number | Comments |
| Computer/tablet | It must have an internet connection and an HTML5 compatible browser | ||
| CD or credit card | May not be needed if participant already knows the monitor size |
References
- Henrich, J., Heine, S. J., Norenzayan, A. The weirdest people in the world. The Behavioral And Brain Sciences. 33, 61-135 (2010).
- Buhrmester, M., Kwang, T., Gosling, S. D. Amazon's Mechanical Turk: A new source of inexpensive, yet high-quality, data. Perspectives on Psychological Science. 6 (1), 3-5 (2011).
- Goodman, J. K., Cryder, C. E., Cheema, A. Data collection in a flat world: the strengths and weaknesses of mechanical turk samples. Journal of Behavioral Decision Making. 26 (3), 213-224 (2013).
- Mason, W., Suri, S. Conducting behavioral research on Amazon's Mechanical Turk. Behavior Research Methods. 44 (1), 1-23 (2012).
- Crump, M. J., McDonnell, J. V., Gureckis, T. M. Evaluating Amazon's Mechanical Turk as a tool for experimental behavioral research. PLoS One. 8, e57410 (1371).
- Lupyan, G. The difficulties of executing simple algorithms: why brains make mistakes computers don't. Cognition. 129, 615-636 (2013).
- Ball, K., Owsley, C. The useful field of view test: a new technique for evaluating age-related declines in visual function. J Am Optom Assoc. 64 (1), 71-79 (1993).
- Pylyshyn, Z. W., Storm, R. W. Tracking multiple independent targets: Evidence for a parallel tracking mechanism. Spatial Vision. 3 (3), 179-197 (1988).
- Dye, M. W. G., Bavelier, D. Differential development of visual attention skills in school-age children. Vision Research. 50 (4), 452-459 (2010).
- Green, C. S., Bavelier, D. Enumeration versus multiple object tracking: The case of action video game players. Cognition. 101 (1), 217-245 (2006).
- Chapter 1. Kodak Company. Ergonomics Design Philosophy. Kodak’s Ergonomic Design for People at Work. Chengalur, S. N., Rodgers, S. H., Bernard, T. E. , 2nd Edition, John Wiley & Sons, Inc. Hoboken, NJ. (2004).
- Elze, T., Bex, P. P1-7: Modern display technology in vision science: Assessment of OLED and LCD monitors for visual experiments. i-Perception. 3 (9), 621 (2012).
- Elze, T., Tanner, T. G. Temporal Properties of Liquid Crystal Displays: Implications for Vision Science Experiments. PLoS One. 7 (9), e44048 (2012).
