Abstract
Онлайн методы сбора данных занимает особое место в поведенческих ученых, потому что они предлагают обещание гораздо больше, и намного больше образцов репрезентативные данные, чем обычно может быть собрана на университетских кампусах. Однако, прежде чем эти методы могут быть широко принят, ряд технологических проблем необходимо преодолеть - в частности, в экспериментах, где жесткий контроль над свойствами стимул необходимости. Здесь мы представляем методы для сбора данных о производительности двух тестов зрительного внимания. Оба испытания требуют контроля над углом зрения стимулов (которые в свою очередь, требует знания расстояния просмотра, размер экрана, разрешение экрана, и т.д.) и сроки раздражителей (как показали тесты включают либо кратко мелькнула раздражители или стимулы, которые перемещаются в специфических ставок). Данные, собранные на этих испытаниях из более чем 1700 онлайн участников были совместимы с данными, собранными в лабораторных-разрядных версий тех же тестов. Эти результатыпоказывают, что при надлежащем уходе, размер времени / стимул зависимых задач могут быть развернуты в настройках интернет-обозреватель.
Introduction
За последние пять лет наблюдается всплеск интереса в использовании онлайн-поведенческих методов сбора данных. В то время как подавляющее большинство публикаций в области психологии используются потенциально не репрезентативные тематические населения 1 (то есть, в первую очередь, студенты колледжа) и часто достаточно небольшой размер выборки (а именно, как правило, в диапазоне десятков субъектов), онлайн методов предложить обещание гораздо более разнообразных и более крупных образцов. Например, сервис Amazon Механический турок был предметом ряда недавних исследований, как для описания характеристик «рабочего» населения и использование этого населения в поведенческих исследований 2-6.
Тем не менее, одно существенное беспокойство в связи с такими методов относительное отсутствие контроля над критических переменных стимулирования. Например, в большинстве визуальных психофизических задач, стимулы описаны в терминахугол зрения. Расчет углов зрения требует точных измерений расстояния просмотра, размер экрана, и разрешение экрана. В то время как эти параметры являются тривиальными для измерения и контроля в лабораторных условиях (где есть известный монитор и участники просматривают стимулы в то время как в подбородок остальные были размещены в известном расстоянии от монитора), то же самое нельзя сказать о коллекции данных в онлайновом режиме. В онлайновой среде, не только участники неизбежно использовать широкий спектр мониторов различных размеров с разными настройками программного обеспечения, они также не могут иметь легкий доступ к линейки / рулетки, которая позволила бы им для определения размера экрана монитора или иметь знания, необходимые чтобы определить свои программные и аппаратные параметры (например, частоту обновления, разрешение).
Здесь мы опишем набор методов для сбора данных о двух хорошо известных тестов визуального внимания - полезное поле зрения (UFOV) парадигмы 7 и несколько объект слежения (MOT) задачи
Данные об этих двух задач были собраны из более чем 1700 участников в масштабной онлайн-открытый курс. Средняя производительность этого онлайн образца был очень согласуются с результатами, полученными в строго контролируемых лабораторных основе мер и тех же задач 9,10. Наши результаты, таким образом, в соответствии с растущим количеством литературы, демонстрирующей эффективность онлайновых методов сбора данных, даже в задачах, требующих особый контроль над условиями просмотра.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Протокол был одобрен этическим комитетом университета Висконсин-Мэдисон. Следующие шаги были написаны в качестве руководства для программистов повторить автоматизированный процесс веб-приложения описаны.
1. Войти Участник
- Попросите участника использовать компьютер с подключением к интернету и перейдите к веб-приложения с использованием совместимый браузер HTML5: http://brainandlearning.org/jove . У участник сидеть в тихой комнате, свободной от отвлекающих факторов, с компьютером на удобной высоте.
ПРИМЕЧАНИЕ: Поскольку вся эксперимент состоялся в Интернете, задачи могут быть выполнены дистанционно, без присутствия научного сотрудника. Все инструкции для участника включены в веб-приложении. - У входных участника уникальный идентификатор, который будет связан с данными, собранными и хранится в databas MySQLе. У участник использовать этот идентификатор, если интернет-задачи не завершено в течение той же сессии. Перед входом в, получить согласие от участника через форму согласия, связанного на странице.
ПРИМЕЧАНИЕ: прогресс участника сохраняется после каждого задания для того, чтобы обеспечить завершения 2-х заданий в разное время, если это необходимо. Попросите участника всегда использовать тот же идентификатор, чтобы начать, где остановились.
2. Калибровка экрана
ПРИМЕЧАНИЕ: веб-приложение направляет участника через три действия, описанные на странице калибровки по адресу: http://brainandlearning.org/jove/Calibration .
- Попросите участников, чтобы ввести размер диагонали экрана в дюймах меченого текстовом поле.
- Однако, если участник не знать эту информацию, имеют участником найти компакт-диск или кредитную карту в качестве калибровочного объекта (
- Подскажите участника, чтобы изменить размер изображения на экране, чтобы соответствовать размеру физического объекта. На основании измерений физического диска (диаметр 4,7 ") или кредитной картой (ширина 3,2") в дополнение к размеру пикселя представительства изображения, определить соотношение пикселей, дюймов для экрана.
- Получить разрешение в пикселях монитора с помощью Screen.Width и screen.height свойств в JavaScript, чтобы затем рассчитать размер диагонали экрана в пикселях. Зная это значение и, как считалось ранее соотношение пикселей на дюйм (см шаг 2.1.2), конвертировать диагональ в дюймах. У участник подтверждает это значение через диалоговом окне.
- Однако, если участник не знать эту информацию, имеют участником найти компакт-диск или кредитную карту в качестве калибровочного объекта (
- Подскажите участника настроить экран brighНастройки tness, пока все 12 групп в черном-на-белым градиентом, отображаемых на экране ясно различимы. Настройка яркости управления варьироваться в зависимости от компьютера.
- Попросите участников сесть на расстоянии вытянутой руки от монитора в удобном положении, а затем установить окно браузера в полноэкранный режим. Окно браузера должен быть в полноэкранном режиме, чтобы максимизировать визуальное пространство, используемое задач и снять любые визуальные отвлекающие факторы, такие как панели инструментов браузера и настольных панелей задач.
- Зная разрешение экрана участника и диагональ монитора, используйте веб-приложение для автоматического расчета стоимости конверсии пикселей / степень, основанный на 50 см дистанции просмотра. Изменение размера размеры стимулов в задачах, использующих это значение. Все визуальные размеры угол, представленные ниже, основаны на этом предполагается, среднее значение расстояния от монитора.
- После завершения калибровки, попросите участников завершить describ два действияред ниже. Выберите порядок задач или в случайном порядке назначить заказ через веб-приложения.
3. Несколько объектов отслеживания задач (MOT) - Рисунок 2
- Внедрение и ознакомить участников с МТ стимулов через самонаводящиеся уроке, видел на: http://brainandlearning.org/jove/MOT/practice.php . Попросите участников прочитать шаг за шагом инструкции, которые демонстрируют, как испытания будут работать. После того, как участник закончит чтение инструкции, подскажите участника, чтобы пойти через практику испытаний.
- Настраивайте практика стимулы состоят из 8 точек на 0,8 ° со скоростью движения от 2 ° / сек. Используйте HTML5 requestAnimationFrame API для оптимизации браузера анимации с частотой кадров 60 Гц для контроля этого движения раздражителя.
- Убедитесь, что точки перемещаются в пределах круга 2 ° эксцентриситета и циркулярле не больше, чем высота экрана участника, без инструкций скрыта.
- Установка точки для перемещения в случайной траектории, где в каждом кадре точка имеет 60% вероятность изменения направления на максимальный угол 0,2 ° в. Если точка сталкивается с другой точки или внутренних или внешних радиальных пределов, переместить точку в противоположном направлении.
- Подскажите участника отслеживать синие точки (колеблется от 1 и 2 точек на практике судебное разбирательство), с желтыми точками выступает в качестве отвлекающих.
- После 2 сек, измените синие точки на желтых точек и продолжать двигаться их среди оригинальных желтыми точками еще 4 сек. В конце каждого испытания, остановить точки и выберите одну.
- Подскажите участника ответить через нажатие клавиши выделены точка была ли гусеничный точка или дистрактор точка. Далее, подскажут участника нажмите пробел, чтобы продолжать на следующее заседание суда.
- После 3 последовательных правильных испытаний, или максимум 6 испытаний, МОве участника на полный задачи.
- Начните полный MOT задачу для участников. Примером задачи может быть найдено по адресу: http://brainandlearning.org/jove/MOT .
- Установка полной задачей с 16 точек, которые перемещаются со скоростью 5 ° / с в пространстве между 2 ° эксцентриситета и 10 ° эксцентриситета. Если экран участника не может поместиться круг 10 ° эксцентричности, используйте максимальный размер экрана может содержать вместо этого.
- Наличие участник завершить в общей сложности 45 испытаний: смесь 5 испытаний, состоящих из 1 отслеживаемой точкой и 10 испытаний каждый из которых состоит из 2 - 5 гусеничных точек. Матч всех других параметров с практикой испытаний (см шаги 3.1.3 - 3.1.6).
- Запишите ответы и время отклика участника раз точка подсвечивается.
- За каждые 15 испытаний, предложить перерыв для участника. В этих перерывов, отображения участника7, S производительность (в процентах правильных испытаний) в пределах блока на экране.
4. Переход от одной задачи к другой (необязательный шаг)
- Разрешить участник сделать перерыв между двумя задачами. Тем не менее, повторите шаги 1 и 2, если задачи не завершено в течение того же сеанса входа.
5. Полезная поле зрения задачи (UFOV) - рис 3
- Внедрение и ознакомить участников с стимулов UFOV через самонаводящиеся уроке, видел на: http://brainandlearning.org/jove/UFOV/practice.php . Попросите участников пройти 4 стадии шаг за шагом инструкции, которые демонстрируют две целевые стимулы, которые должны присутствовать в течение задачи.
- Установите центральную целевой стимул в виде 1 ° смайлик, который мигает в центре экрана с длинной или короткой шерстью. СлучайныйДлина волос Смайли по испытаниям.
- Установите периферической целевой стимул в виде 1 ° звезде, которая мигает с частотой 4 ° эксцентриситета в одном из 8 мест по всему кругу (0 °, 45 °, 90 °, 135 °, 180 °, 225 °, 270 °, и 315 °) , Случайно расположение звезды через испытаний.
- Контроль стимул продолжительность помощью количеству кадров, на время презентации. Оптимизация обновления кадров, в около 17 мс на кадр с помощью API HTML5 requestAnimationFrame.
- Чтобы проверить, если был достигнут ожидаемое время презентации, используйте метод GetTime в JavaScript (), чтобы получить время начала и окончания времени продолжительность стимула, основанная на системных часах участника. Рассчитать на измеряемое время презентации из этих двух значений и использовать это значение для анализа данных.
- Для каждого практике судебного разбирательства, подождите 500 мс перед отображением стимулы для примерно 200 мс (около 12 кадров).
- Следуйте стимулирования предварительноставление с маской шума, состоящего из случайно сгенерированных в оттенках серого массива точек на 320 мс (около 19 кадров).
- Для стадии 1, отображать только центральную цель, а затем предложит участника ответить через нажатие клавиши, которые отображались длина волос.
- Для стадии 2, отображать только периферическое цель, а затем предложит участника нажмите на одном из 8 радиальных линий, представляющих 8 возможных мест целевых, чтобы указать, где появились звезды.
- Для стадии 3, дисплей как центральные, так и периферические целевые стимулы, а затем предложит участнику представить ответы на как от типа символа и расположения звезды.
ПРИМЕЧАНИЕ: Участники могут свободно выбирать порядок этих двух ответов. - Для 4-й стадии, отображать как целевые стимулы в дополнение к периферийным дистракторов, а затем предложит участника ответить на обоих целевых стимулов. Для дистракторов, дисплей 1 ° квадратов представлены на остальных 7 мест, в 4 ° эксцентриситета, яп дополнение к более 8 квадратов на 2 ° эксцентриситетом.
- После ответа участника, показать обратную связь участника (зеленая галочка для правильного ответа или красным крестом на неправильный ответ) для каждой целевой ответа после каждого испытания.
- Перемещение участника на следующий этап практики после получения 3 последовательных правильных испытаний. После стадии 4, перемещения участника на полный задачи.
- Подскажите участника, чтобы начать полную задачу UFOV. Примером задачи может быть найдено по адресу: http://brainandlearning.org/jove/UFOV .
- Представьте же центральный стимул, как и в практике сессии (см шаг 5.1.1). Дисплей периферической цель на 7 ° эксцентриситетом в одной из ранее упомянутых 8 мест (см шаг 5.1.2). 24 отвлекающих квадратов, также отображаются на 3 ° эксцентриситета, 5 ° эксцентриситета, а остальные 7 °Места эксцентричность.
- Используйте 3-вниз, процедуру 1-до лестницы, чтобы определить время представления стимулов: уменьшение продолжительности раздражений после 3 последовательных правильных испытаний и увеличиваться после каждого испытания ошибок.
- Перед первым 3 разворотов на лестнице, используйте размер шага 2 кадров (приблизительно каждые 33 мс). После 3 поворотов, использовать размер шага 1 кадре. Вары задержку перед начала стимула между 1 кадра и 99 кадров в суде, и держать продолжительность шума маски на 320 мс (около 19 кадров).
ПРИМЕЧАНИЕ: Восстановление являются точками, в которых изменения продолжительности или от увеличения к уменьшению или уменьшения к увеличению. - Конец задачу, когда один из трех условий: процедура лестница достигает 8 разворотов; участник завершает 10 последовательных испытаний на каждом продолжительности потолка (99 кадров) или длительности пола (1 кадр); или участник достигает максимум 72 испытаний.
- Запишите R участникаesponse и время отклика как для центрального стимула и периферический стимул.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Outlier удаления
Всего 1779 участников выполнили задачу UFOV. Из них 32 участников были UFOV пороговые значения, которые были больше, чем 3 стандартных отклонения от среднего значения, предполагая, что они были не в состоянии выполнить задачу в соответствии с инструкциями. Таким образом, данные UFOV из этих участников были удалены из конечном счете, в результате чего в общей сложности 1747 участников.
Данные были получены из 1746 участников на задачи MOT. Двое участников были средняя оценка точности, которые были более, чем 3 стандартных отклонения ниже среднего, поэтому данные из этих участников были удалены из окончательного анализа ТО, чего в общей сложности 1744 участников.
UFOV
Для задания UFOV, производительность была рассчитана путем усреднения время представления в течение заключительных 5 испытаний, чтобы получить порог обнаружения. Время презентации были отражены измеренное предъявления стимула дюРацион на экране каждого участника: время от начала первого стимулирующего кадра до конца прошлого стимулом кадр не был записан в миллисекундах, используя системные часы участника. Порог обнаружения отражает минимальный срок представления, на котором участники могут обнаружить периферическую цель с примерно 79% -ной точностью, учитывая наше использование 3-вниз, 1 с процедурой лестницы. Средняя порог UFOV было 64,7 мс (SD = 53,5, 95% ДИ [62,17, 67,19]) и множество колебалась от 17 мс до 315 мс со средней пороге 45 мс (рис 4). Порог распределение было положительно перекос, с перекосом 1,92 (SE = 0,06) и эксцесс 3,93 (SE = 0,12).
MOT
Производительность MOT измеряли путем вычисления среднего точность (процент правильных) для каждого заданного размера (1 - 5). Точность в диапазоне от 0,4 - 1,0 для заданного размера от 1 до 0,1 - 1,0 для заданного размера 5, и значит, проявляться неНКД в диапазоне от 0,99 (SD = 0,06, 95% ДИ [0,983, 0,989]) для заданного размера 1 до 0,71 (SD = 0,17, 95% ДИ [0,700, 0,716]) для заданного размера 5. Средние показатели точности колебалась от 1,0 до 0,70 для заданного размера 1 и 5 соответственно (рисунок 5).
Через повторных измерений ANOVA было проведено изучение того, отличается ли точность в зависимости от заданного размера. Был значительный основной эффект заданного размера (F (4, 6968) = 1574,70, p <0,001, N ρ 2 = 0,475), что точность уменьшается по мере набора увеличением размеров, демонстрируя типичный MOT эффект.
Рисунок 1. Измерение экрана. Потому что не все онлайн участники знают их размер экрана - или есть легкий доступ к меру линейка / ленты для оценки их размера экрана -Процесс калибровки спросил предметы, чтобы использовать широко доступные элементы стандартных размеров (кредитная карточка - выше; CD - ниже). Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой цифры.
Рисунок 2. MOT задачу. Участники рассматривать набор движущихся точек случайным образом. В ходе судебного разбирательства начала, подмножество этих точек был синий (целей), в то время как остальные были желтые (дистракторы). После 2 сек синие целевые точки изменяется на желтый, делая их визуально неотличимы от отвлекающих. Участники должны были мысленно отслеживать ранее голубые целевые точки на 4 сек до появления экрана ответа. На этом экране один из точек был белым и подлежат сделал "да (это был один из первых целей)"; не или "нет (это не было одним из первых мишеней)" Решение (с нажатием клавиши). Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой цифры.
. Рисунок 3. UFOV Задача Основной экран состоит из центрального стимула (желтый смайлик, который может иметь длинные и короткие волосы), периферический стимул (заполняется белая звезда в круге) и периферийные дистракторы (белый, изложенной квадраты). Этот экран кратко мелькнула (с времени определяется адаптивно на основе характеристик участника). Когда появился экран Ответ участник должен был сделать два ответа: они должны были указать, (с нажатием клавиши) смайлик, был ли длинную или короткую стрижку, и они были указать (нажав), на котором в 8 радиальных говорилš появилась цель стимул. Затем они получили обратную связь об обоих ответов (здесь они выбрали правильный ответ на центральной задачей, но неправильный ответ на периферическую задачи). Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой цифры.
Рисунок 4. UFOV результаты. Как видно из гистограммы выполнения предмета, может не только подавляющее большинство участников выполнить задачу как указано в инструкции (~ 1% снимается для бедных / производительность выбросом), средний балл был прямо в диапазоне ожидать от мер, основанных лабораторных на той же задачи 9.
Рисунок 5. ТО результаты. В соответствии с предыдущей работы 10, точность MOT упал плавно с увеличением размера множеств.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Коллекция Интернет данных имеет ряд преимуществ по сравнению с обычной сбора данных лабораторного. Они включают в себя потенциал попробовать гораздо больше представительства населения, чем типичный колледжа студентов бассейном, используемой в этой области, и возможность получить гораздо большие размеры образцов за меньшее время, чем это требуется для получения размеров выборки, что на порядок меньше в лаборатории 1-6 (например, точки данных, собранных из 1,700+ участников нынешней работе были получены менее чем за одну неделю).
Описанные онлайн методы были в состоянии воспроизвести результаты, полученные ранее проведенных лабораторных исследованиях на основе: рассчитано средств и диапазонов для UFOV порогов и точности MOT в онлайн задач были сопоставимы с результатами работ Краски и Bavelier 9 для задачи UFOV и зеленый, и Bavelier 10 для выполнения этой задачи MOT. Тем не менее, большая выборка участник выразил оказывают влияние на распределениерезультаты, в частности, в задаче UFOV. Онлайн UFOV порог распределение было больше прав перекос, чем в предыдущих лабораторных основе результатов 9. Эта разница в перекоса может быть связано с большим разнообразием испытуемых, онлайн, особенно в отношении их более широкого изменения в возрасте: онлайн образец в диапазоне от 18 - 70 лет, в то время как образец лабораторная колебалась от 18 - 22 лет 9.
Кроме того, сбор данных с помощью онлайновых методов требует решения ряда технических проблем - особенно, когда строгий контроль стимулом является необходимым для действия этих мер. Эти две задачи, используемые здесь требуется контроль над обеими углом зрения стимулов, которые были представлены и сроки стимулов. Угол обзора, в частности, может быть трудно контролировать в онлайн-настройки, как его расчет требует знания расстояние просмотра, размер монитора и разрешение экрана. Это особенно проблематично, учитывая йна многих интернет-участников может не знать размер экрана монитора или иметь легкий доступ к рулеткой для измерения размера экрана монитора.
Мы разработали ряд шагов по преодолению некоторых из этих проблем. Хотя мы можем прекрасно решить размер монитора, мы все еще не можем точно контролировать фактическое расстояние просмотра. Мы предлагаем участникам, чтобы сидеть на расстоянии вытянутой руки от монитора, хотя это расстояние может изменяться между участниками. Длина рукояти был выбран, как США антропометрические данные показывают, что разница в длине переднего кронштейна REACH (положение, в котором участники будут использовать, чтобы судить об их расстояние от экрана) между мужским и женским взрослым мало, так что средний мужчина досягаемость 63,8 см, а средний женский охват составляет 62,5 см 11. Хотя процедура установки эксперименте мы попытались избежать введения половых погрешностей с помощью этого измерения, могут быть потенциальные смещения высоты; Будущие исследования, которые собирают участников и# 8217; Информация высота должны быть проведены, чтобы оценить эту возможность.
Что касается стимулов времени, мы приняли во внимание расхождения между ожидаемой продолжительности и продолжительность записи предъявления стимула при расчете пороговых значений. Вместо того чтобы полагаться на продолжительность ожидаемого представления, мы измерили продолжительность стимула кадров с использованием системного тактового сигнала участника с точностью до миллисекунды. Тем не менее, присущие различия между мониторами дисплеев до сих пор присутствовали и не может управляться как без физических измерений в точке. Известно, что жидкокристаллические дисплеи (ЖКД) - скорее всего, контролирует наши участники имеют доступ к имеют большие времена отклика, что, как правило, варьируются в зависимости от начальной и конечной значений изменений яркости пикселей. Последний вопрос не относятся в нашем исследовании, потому что мы всегда включен на том же уровне фона на стимул уровень. Больше беспокоит то, что переменнымСпособность в дисплеях по всей участников вызывает большую часть измеренной дисперсии. Мы считаем, что это не проблема, поскольку время отклика пикселя, как правило, меньше, чем 1 Частота кадров (то есть, 17 мс) 12,13, что кажется приемлемым по сравнению с большим среди индивидуальной изменчивости в UFOV порогов.
Используемые методы здесь преодолеть вышеупомянутые трудности, и, таким образом, позволяло измерять производительность двух задач - UFOV и ТО - что оба требуют контроля над углом зрения и экранных синхронизации свойств. Результаты, полученные этими методами согласуются с данными, полученными в стандартных лабораторных условиях, демонстрируя тем самым свою силу. Кроме того, поскольку эти задачи требуют только подключение к Интернету и совместимый браузер HTML5, эти задачи могут быть использованы не только легко собрать большой выборки из репрезентативной целом населения, но также могут быть использованы для достижения конкретных подтипов экзiduals, которые могут быть географически разделены и, таким образом, трудно привести к установке общего лаборатории (например, у пациентов с определенным типом заболеваний или лиц с определенной этнической принадлежности). Кроме того, с ростом использования IPADS и других таблеток, дизайн веб-приложения может быть легко приспособлена для лучшей совместимости с сенсорным технологии для достижения еще большего количества участников. В то время как веб-приложение может в настоящее время работать на таблетки с помощью браузера HTML5, будущие итерации может снять требование о клавиатуре и заменить ключи реагирования с помощью кнопок интерфейса или жестов.
Subscription Required. Please recommend JoVE to your librarian.
Materials
| Name | Company | Catalog Number | Comments |
| Computer/tablet | It must have an internet connection and an HTML5 compatible browser | ||
| CD or credit card | May not be needed if participant already knows the monitor size |
References
- Henrich, J., Heine, S. J., Norenzayan, A. The weirdest people in the world. The Behavioral And Brain Sciences. 33, 61-135 (2010).
- Buhrmester, M., Kwang, T., Gosling, S. D. Amazon's Mechanical Turk: A new source of inexpensive, yet high-quality, data. Perspectives on Psychological Science. 6 (1), 3-5 (2011).
- Goodman, J. K., Cryder, C. E., Cheema, A. Data collection in a flat world: the strengths and weaknesses of mechanical turk samples. Journal of Behavioral Decision Making. 26 (3), 213-224 (2013).
- Mason, W., Suri, S. Conducting behavioral research on Amazon's Mechanical Turk. Behavior Research Methods. 44 (1), 1-23 (2012).
- Crump, M. J., McDonnell, J. V., Gureckis, T. M. Evaluating Amazon's Mechanical Turk as a tool for experimental behavioral research. PLoS One. 8, e57410 (1371).
- Lupyan, G. The difficulties of executing simple algorithms: why brains make mistakes computers don't. Cognition. 129, 615-636 (2013).
- Ball, K., Owsley, C. The useful field of view test: a new technique for evaluating age-related declines in visual function. J Am Optom Assoc. 64 (1), 71-79 (1993).
- Pylyshyn, Z. W., Storm, R. W. Tracking multiple independent targets: Evidence for a parallel tracking mechanism. Spatial Vision. 3 (3), 179-197 (1988).
- Dye, M. W. G., Bavelier, D. Differential development of visual attention skills in school-age children. Vision Research. 50 (4), 452-459 (2010).
- Green, C. S., Bavelier, D. Enumeration versus multiple object tracking: The case of action video game players. Cognition. 101 (1), 217-245 (2006).
- Chapter 1. Kodak Company. Ergonomics Design Philosophy. Kodak’s Ergonomic Design for People at Work. Chengalur, S. N., Rodgers, S. H., Bernard, T. E. , 2nd Edition, John Wiley & Sons, Inc. Hoboken, NJ. (2004).
- Elze, T., Bex, P. P1-7: Modern display technology in vision science: Assessment of OLED and LCD monitors for visual experiments. i-Perception. 3 (9), 621 (2012).
- Elze, T., Tanner, T. G. Temporal Properties of Liquid Crystal Displays: Implications for Vision Science Experiments. PLoS One. 7 (9), e44048 (2012).
