Summary
Парадигма визуальный мир следит за участников движения глаз в рабочей области visual как они слушать или разговорным языком. Эта парадигма может использоваться для изучения оперативной обработки широкого круга Психолингвистические вопросов, в том числе семантически сложные операторы, например дизъюнктивной заявления.
Abstract
В типичной глаз отслеживания исследования с использованием парадигмы визуальный мир, участников глаз движений объектов или фотографии в рабочей области visual записываются через трекер глаз как участник производит или постигает разговорного языка описания параллельной визуальный мир. Эта парадигма имеет высокую универсальность, как он может использоваться в широком диапазоне населения, включая тех, кто не может читать или кто не может дать открыто их поведенческие реакции, например дописьменных детей, пожилых взрослых и пациентов. Что еще более важно парадигма является чрезвычайно чувствительны к мелкозернистого манипуляции речевого сигнала, и он может использоваться для изучения оперативной обработки большинства тем в понимании языка на нескольких уровнях, например мелкозернистого акустические фонетические характеристики, свойства слов и языковых конструкций. Протокол, описанные в этой статье иллюстрирует, как типичный визуальный мир глаз отслеживания исследования проводится, с пример, показывающий, как оперативной обработки некоторых семантически сложные операторы могут быть изучены с парадигмой визуальный мир.
Introduction
Разговорный язык является быстрый, текущей информации поток, который исчезает прямо сейчас. Это вызов для экспериментально изучения этой временной, быстро менять речевого сигнала. Движения глаз, записанная в парадигме визуальный мир может использоваться для преодоления этой проблемы. В типичной глаз отслеживания исследования с использованием парадигмы визуальный мир участников движения глаз для фотографии на дисплее или реальных объектов в рабочей области visual контролируются как они слушать, или производить, разговорный язык, изображающие содержимое визуальный мир1 ,2,3,4. Основная логика, или увязки гипотеза, позади этой парадигмы является что Постигая или планирования высказывания (открыто или тайно) переместит визуального внимание участников на определенный объект в визуальный мир. Этот сдвиг внимания будет иметь высокую вероятность начать движение скачкообразных глаз для приведения области приняли участие в фовеальное зрение. С этой парадигмы исследователи намерены определить, в какой временной точке, в отношении некоторых акустических вехой в речевого сигнала, происходит сдвиг в участника визуального внимания, как измеряется движение скачкообразных глаз на объект или рисунок в visual мир. Когда и где движения скачкообразных глаз запускаются по отношению к речевого сигнала используются затем вывести онлайн языка обработки. Парадигма визуальный мир может использоваться для изучения разговорного языка понимание1,2 и производство5,6. Эта методологическая статья будет сосредоточена на понимание исследований. В исследовании понимание используя визуальный мир парадигмы, глаз участников, которые контролируются движениями на визуальное отображение, как они слушать разговорный высказываний, говоря о визуального отображения.
Другой глаз слежения системы были разработаны в истории. Простейших, наименее дорогостоящим и наиболее портативные системы это просто нормальное видео камеру, которая записывает изображение глазами участника. Движения глаз затем вручную закодированные через кадр за кадром Экспертиза видеозаписи. Однако частота таких глаз трекер является относительно низким, и процедура по кодирвоания отнимает много времени. Таким образом современного коммерческого айтрекинга системы обычно использует оптических датчиков, измерения ориентации глаз в свою орбиту7,8,9. Чтобы понять, как работает современным коммерческой системы eye отслеживание, следует рассмотреть следующие моменты. Во-первых, правильно измерять направление фовеальное зрение, инфракрасный прожектор (обычно с длиной волны около 780-880 Нм) обычно укладывается вдоль или от оптической оси камеры, делая изображение ученик различимо ярче или темнее чем окружающие Ирис. Имидж учащегося или ученик роговицы отражения (обычно первое изображение Пуркинье) затем используется для вычисления ориентации глаза на ее орбите. Во-вторых взгляд расположение в визуальный мир на самом деле контингента, не только на глаз ориентации в отношении руководителя, но и на голову ориентацию в отношении визуальный мир. Точно вывести взгляд связи от глаз ориентации, источник света и камеры глаза трекеры устанавливаются в отношении участников начальник (руководитель монтируется глаз трекеры) или фиксированной связи визуальный мир (таблица смонтированы или удаленный глаз трекеры). В-третьих головы ориентации участников либо должны быть исправлены в отношении визуальный мир или вычислительно быть компенсированы, если голова участников свободно двигаться. Когда удаленный глаз трекер используется в режиме головы бесплатно к перемещение, участников головки обычно записывается, размещая небольшой стикер на лбу участников. Затем Главный ориентации вычислительно вычитается из глаз ориентации для получения расположения взгляд в визуальный мир. В-четвертых калибровки и проверки процесса затем требуется сопоставить ориентации глаз взглядом связи в визуальный мир. В процессе калибровки участников фиксации образцов из известных целевых точек записываются для сопоставления данных сырье глаз смотреть позиции в визуальный мир. В процессе проверки участники представлены с той же точки цели как процесс калибровки. Различия, существующие между вычисляемым фиксации позиции из калиброванного результатов и фактическое положение зацикленная цели в визуальный мир затем используются для судить о точности калибровки. Далее подтвердить точность процесса сопоставления, проверить дрейф обычно применяется в каждом испытании, где один фиксации целевой представлена участникам измерить разницу между позицией вычисляемых фиксации и фактическое положение Текущая цель.
Первичные данные исследования визуальный мир представляет собой поток взгляд места в визуальный мир, записанная на дискретизации глаз трекер, начиная за полностью или частично испытательный срок. Зависимой переменной, используемой в исследовании визуальный мир обычно является доля проб, что участников записей находятся в определенных пространственных региона в визуальный мир через определенный интервал времени. Для анализа данных, окно времени имеет прежде всего должен выбираться, часто упоминается как периоды интерес. Окно времени, обычно время-к морю для представления некоторых языковых событий во входной слуховые. Кроме того визуальный мир также необходимо разделить на несколько областей интереса (ROI), каждый из которых связан с одним или более объектами. Один такой регион содержит объект, соответствующий правильное понимание разговорного языка и таким образом часто называют целевой области. Типичный способ визуализации данных является доля фиксации сюжет, где в каждом бен в окно времени, доля проб с нетерпением для каждого региона интерес усредняются различных участников и элементов.
С помощью данных, полученных из исследования визуальный мир, различные исследовательские вопросы можно ответить:) на уровне кормового зерна, являются участниками движения глаз в визуальный мир, пострадавших от различных слуховой языкового ввода? b) если есть эффект, что такое траектория эффекта в течение судебного разбирательства? Это линейный эффект или эффект высок заказа? и c) если есть эффект, а затем на уровне мелкозернистая, при ранней временной точке, где такой эффект возникает и как долго длится этот эффект последний?
Статистически анализировать результаты, следует рассмотреть следующие моменты. Во-первых ответ переменной, т.е., пропорции фиксаций, ниже и выше граничит (между 0 и 1), который будет следовать МУЛЬТИНОМ распределения, а не нормального распределения. Отныне традиционные статистические методы, основанные на нормальное распределение t теста ANOVA и линейные модели (смешанные эффект)10, не могут быть использованы непосредственно до тех пор, пока пропорции были преобразованы в неограниченных переменных таких как с логит эмпирические формулы11 или были заменены с неограниченной зависимые переменные например евклидово расстояние12. Может также использоваться статистические методы, которые не требуют что предположении нормального распределения такие обобщенные линейные модели (смешанные эффект)13 . Во-вторых чтобы исследовать изменения траектории наблюдаемого эффекта, переменная, обозначающая время серия должна быть добавлена в модель. Эта переменная время серии является первоначально глаз трекер выборки точек, перестроены до наступления языка ввода. Поскольку изменение траектории обычно не является линейной, полиномиальной функции высокого порядка рядов обычно добавляется в (обобщенный) линейная (смешанные эффект) модель, то есть, рост кривой анализ14. Кроме того участников глаз позиции в текущей точки семплирования сильно зависит от предыдущей выборки точек, особенно когда частота записи высок, что приводит к проблеме автокорреляции. Чтобы уменьшить автокорреляции между прилегающих участков отбора проб, исходные данные часто являются вниз пробы или сегментированием. В последние годы обобщенные смешанного аддитивный эффект модели (GAMM) также использовались для решения autocorrelated ошибки12,,1516. Ширина ячеек варьируется среди различных исследований, начиная от нескольких миллисекунд до нескольких сотен миллисекунд. Узкой бин, исследование можно выбрать ограничен дискретизации глаз отслеживания используется в конкретных исследования. Например если глаз трекер имеет дискретизации 500 Гц, то ширину окна времени не может быть меньше чем 2 мс = 1000/500. В-третьих когда неоднократно статистический анализ применяется каждый раз Бен периодов интерес, familywise ошибка индуцированной из них, которые должны решаться несколько сравнений. Как было описано ранее, анализ траектории сообщает исследователь ли эффект наблюдается на уровне крупногранулированных линейная относительно изменения времени, но не показывать, когда наблюдаемый эффект начинает проявляться и как долго наблюдаемых эффект длится. Чтобы определить временнoе положение, когда наблюдаемое различие начинает отклоняться и выяснить, временной период, что наблюдаемый эффект длится, статистический анализ должен применяться неоднократно каждый раз Бен. Эти множественные сравнения представит так называемые familywise ошибки, независимо от того, какой статистический метод используется. Бонферрони перестройки17традиционно Исправлена familywise ошибка. Недавно метод называется непараметрических перестановка тест, первоначально использовались в нейровизуализации, поданной18 был применен к визуального слово парадигма19 для контроля familywise ошибка.
Исследователи, используя визуальный мир парадигмы намерены вывести понимания некоторых разговорного языка от участников движения глаз в визуальный мир. Для обеспечения достоверности этот вычет, другие факторы, которые возможно влияние движения глаз должны быть исключать или под контролем. Среди распространенных, которые должны быть рассмотрены следующие два фактора. Первый фактор включает некоторые систематической в участников пояснительные записях независимо от языка ввода, например тенденция закрепится на верхний левый квадрат визуальный мир, и движущиеся глаза в горизонтальном направлении, что проще, чем в по вертикали,12,и т.д.20 чтобы убедиться, что наблюдаемые фиксации шаблоны связаны с объектами, не в пространственного расположения, где находятся объекты, пространственной позиции объекта должен быть сбалансирован через различные испытания или через различных участников. Второй фактор, который может повлиять на участников движения глаз есть основное изображение объектов в визуальный мир, такие как яркость контрастность, цвет и края ориентации, среди прочих21. Для диагностики этот потенциал смешанных, визуального отображения обычно представлен до начала разговорного языка или до наступления критического акустическая маркер разговорного языка, около 1000 г-жа временной период с начала еще не был услышан тестового изображения до начала тестирования аудио, язык ввода или точку значения языка ввода. Любая разница между различными условиями следует вывели другие смешанные факторы, такие как визуального отображения per se, а не язык ввода. Отныне движения глаз, в этот период просмотра служат основой для определения влияния языкового ввода. Этот предварительный период также позволяет участникам получить ознакомил с визуального отображения и уменьшить систематического смещения пояснительных фиксаций при предъявлении разговорного языка.
Чтобы проиллюстрировать, как проводится типичный глаз отслеживания исследования с использованием парадигмы визуальный мир, следующий протокол описывает эксперимент адаптировано из17 л Zhan исследовать оперативной обработки семантически сложных заявлений, т.е. дизъюнктивная заявления (S1 или S2), соединительной заявления (S1 и S2) и но-заявления (S1, но не S2). В обычных сохранения информация, выраженные некоторыми высказываниями на самом деле сильнее, чем его буквальное значение. Дизъюнктивная заявления как Сяомин поле содержит корову или петуха являются такие высказывания. Логически, дизъюнктивной утверждение верно, до тех пор, как два disjuncts Сяомин поле содержит корову и Сяомин поле содержит петуха не являются оба значение false. Таким образом дизъюнктивной утверждение верно, когда два disjuncts как true, где соответствующее заявление соединительной Сяомин поле содержит корову и петуха также верно. В обычный разговор, однако, услышав что дизъюнктивной заявление часто предполагает, что соответствующие соединительной заявление является ложным (скалярные импликатура); и свидетельствует о том, что правда двух disjuncts значений неизвестных диктором (вывод невежества). Счета в литературе различаются в том, являются ли два умозаключения грамматических или прагматической процессов22,23,24,25,26. Эксперимент показывает, как визуальный мир парадигма может использоваться выносить между этими счетами, путем изучения оперативной обработки трех сложных инструкций.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Все субъекты должны дать обоснованное письменное согласие перед администрацией экспериментальных протоколов. Все процедуры, формы согласия и экспериментальный протокол были одобрены Комитет по этике исследований Пекин языка и культуры университета.
Примечание: Понимание исследование с использованием парадигмы визуальный мир обычно состоит из следующих этапов: ввести теоретические проблемы изучения; Формируют экспериментальный дизайн; Подготовка визуальных и слуховых раздражителей; Рама теоретические проблемы в отношении экспериментальный дизайн; Выберите глаз трекер для отслеживания движения глаз участников; Выберите программное обеспечение и создать сценарий с помощью программного обеспечения для представления на раздражители; Код и анализировать данные, записанные движения глаз. Конкретного эксперимента могут отличаться друг от друга в любой из описанных шагов. Например протокол вводится для проведения эксперимента и обсудить некоторые моменты, которые исследователи должны иметь в виду, когда они строят и провести их собственный эксперимент с использованием парадигмы визуальный мир.
1. Подготовка испытания стимулы
- Визуальные раздражители
- Скачайте 60 искусства клип животных, которые свободны от авторских прав в Интернете. Откройте каждого изображения один за другим с графическим редактором (например, Pixelmator), нажмите инструменты | Быстрое выделение инструмент для выбора и удаления фона. Нажмите на изображение, | Размер изображения чтобы изменить их размер до 120 x 120 пикселей.
- Предложить студент специальности в живописи рисовать четыре светло зеленый коробки, как показано на рисунке 1. Используйте редактор изображений, чтобы изменить масштаб большой открытый ящик 320 x 240 пикселей, небольшой фургон с размером 160 х 160 пикселей, и два небольших открытых коробках 160 x 240 пикселей, соответственно.
- Нажмите кнопку Pixelmator | Файл | Новые для построения шаблона тестового изображения с размером 1024 768 пикселей. Перетащите животных и коробки для коррекции местоположения, показанного на рисунке 1.
Примечание: Макет испытаний изображения варьируется между исследованиями, но оптимальным способом является использование четырех объектов и положить их в четырех квадрантах тестового образа. Таким образом это проще для создания противовеса пространственное положение объектов. - Создание 60 тестовых изображений как на рисунке 1, с каждого животного изображения используется дважды. Противовес пространственного расположения четыре коробки среди изображений.
Примечание: Количество изображений не должны быть точно 60, а их эффект неотделимые от того из экспериментальных манипуляций.
- Разговорный язык стимулы
- Дизайн четыре тест предложения, соответствующие каждому тестового изображения и 240 тестовых приговоры в общей сложности для записи. Убедитесь, что три из четырех предложений находятся в виде Рисунок 2; и предложение наполнитель в виде Сяомин поле не содержит петуха, но корова.
Примечание: Тест предложения должны быть представлены на родном языке, что говорят участники. Участники в этом эксперименте китайский из Пекина, материкового Китая, поэтому тест языком является китайский. - Нанимать женщин родной (родной китайский в этом эксперименте) записывать четыре примера заявления как на рисунке 2, а также аудио всех животных, используемого в эксперименте. При записи изолированных названия животных, просить спикера представить, что имена животных являются неизменными компонентами простого предложения, такие как Сяомин в коробке ___, но ей только нужно открыто произносить имя животного.
- Замените аудио сегментов двух животных в пример заявления с аудио из двух животных, используемых в каждом испытании для создания полного списка аудио тест. Во-первых, открыть Praat (любой другой аудио, программное обеспечение для редактирования является альтернативой право) и нажмите кнопку Открыть | Чтение из файла | Перейдите к файлу | Открытие и редактирование, , перейдите к элементу заменить и нажмите кнопку Просмотр и редактирование | Редактировать | Скопировать выделение звуковой буфер обмена. Во-вторых используйте те же шаги, чтобы открыть пример заявление, нажмите кнопку Вставить после выбора. В-третьих, нажмите Сохранить | сохранить как wav-файл для сохранения отредактированного заявление. Повторите процесс для всех элементов быть изменены и все приговоры тест.
- Набрать около 10 носителями языка тестирования (китайский здесь) чтобы определить ли или не построены тест аудио является понятной и естественное.
Примечание: Традиционно тестовый звук записывается в целом, а не как отдельные слова. Этот метод традиционной записи является разумным, если тест аудио являются сами отдельные слова. Если языком стимулы являются предложения, а не отдельные слова, однако, этот традиционный метод имеет ряд недостатков: во-первых, вездесущие свойство непрерывной речи является том, что два или более звуков речи, как правило, временно и пространственно перекрываются, что делает его трудно определить наступления критического слова. Во-вторых расхождение между продолжительность различных судебных процессов также делает его трудно объединить все испытания вместе для статистического анализа. В-третьих метод традиционной записи часто много времени, особенно когда количество аудио тест относительно велики, как эксперименты, которые мы сообщали в протоколе. Чтобы преодолеть недостатки традиционной записи метода, другой метод предлагается построить аудио устного теста. Во-первых список выборки предложения, содержащие слова, которые являются общими среди всех аудио тест был записан. Во-вторых все слова, что изменения между испытания были также зафиксированы в изоляции. Наконец пример приговоры были заменены записанные слова построить полный список аудио тест. По сравнению с традиционным методом, новый метод имеет несколько преимуществ. Во-первых отныне контролируются все аудио тест точно то же самое, за исключением критических слова и все потенциальные смешанные эффекты в аудио тест. Во-вторых заключающемуся в длину делает также сегментации тестирования аудио легче, чем когда аудио тестирования записываются в целом. Один потенциальный недостаток этого метода является, что построенные аудио может быть не естественным. Отныне естественность аудио тест должен быть оценены, прежде чем они имеют право на реальное тестирование...
- Дизайн четыре тест предложения, соответствующие каждому тестового изображения и 240 тестовых приговоры в общей сложности для записи. Убедитесь, что три из четырех предложений находятся в виде Рисунок 2; и предложение наполнитель в виде Сяомин поле не содержит петуха, но корова.
- Разделите 240 приговоры тест на четыре группы, с каждой группы, содержащей 15 соединительной заявления, 15 дизъюнктивной заявления, 15 но заявлений и предложений 15 наполнителя. Убедитесь, что каждый участник сталкивается только одна группа 240 испытаний: он видит все испытания фото но слышит только одна группа тестирования аудио.
Примечание: Это в ответ на обеспокоенность, что, если повторяется тот же раздражитель, участники могут привыкать к этим воздействиям и, возможно, даже стать стратегическим о том, как они отреагировали на раздражители. - Сохраните всю важную информацию относительно раздражители теста в файл с разделителями табуляциями txt, с каждой строки, соответствующие каждому из 240 испытаний. Убедитесь, что файл содержит по крайней мере следующие столбцы: experiment_group, sentential_connective, trial_number, test_image, test_audio, test_audio_length, ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right, animal_1_ изображение, animal_1_audio, animal_1_audio_length, animal_2_image, animal_2_audio, animal_2_audio_length.
Примечание: experiment_group используется для разделения 240 испытания на 4 группы. sentential_connective соответствует различных экспериментальных условиях. animal_1_image соответствует изображения животных, которые будут представляться сначала ознакомить участников с животных, используемых в изображении теста. test_image, test_audioи test_audio_length относятся к тестового изображения и аудио тест, а также его длины, используемые в текущем процессе. ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right ссылаться на имя из четырех интерес областей в текущего судебного разбирательства, т.е., является ли это поле «Большой открыть», «Малый закрыт» box, небольшой открытый содержащие «впервые упоминается» животных в аудио тест, небольшой открытой поле или содержащие «второй упоминается» животных в аудио тест. animal_1_audio и animal_1_audio_length относятся к аудио и длина аудио, соответствующий animal_1_image. animal_2_image, animal_2_audioи animal_2_audio_length соответствуют второй животных, которые будут представлены. Одна вещь, чтобы подчеркнуть это, что последовательность представить двух животных уравновешен в отношении ли животное упоминается в первой или во второй половине аудио тест.
2. рамка теоретическое предсказание отношении экспериментальный дизайн.
- Обеспечение участников поведенческие реакции и движения глаз в экспериментальный дизайн может использоваться для различения Конструкторы тестовых приговоров и может использоваться для вынесения решений между различными счетами для проверки.
Примечание: Учитывая экспериментальный дизайн, правильный ответ на совместное заявление является большой открытой коробке, таких как окно на рисунке 1. Правильный ответ на но-заявление является открытым коробочку, содержащие животных, упомянутых в первой половине тест аудио, такие как Box D на рисунке 1. Ответы участников на дизъюнктивной заявление, однако, зависит ли и как обрабатываются две обсуждались выводы. Если участники вычислить скалярное импликатура ни невежество вывода, все четыре коробки являются право вариантов. Если участники вычислить открытых скалярных импликатура но не невежество вывода, то большой, например поле A на рисунке 1, будет исключена, и оставшиеся три коробки, B, C и D являются всех подходящих вариантов. Если участники вычислить вывод невежество, но не скалярных импликатура, то небольшой открытой коробки будет исключать, т.е., коробки, C и D будут исключать. Итак, небольшой фургон, например поле B на рис. 1, не будут выбираться как окончательный вариант дизъюнктивной заявление до скалярной импликатура и невежество выводы вычисляются оба.
3. экспериментальный сценарий сборки
- Открыть Построитель эксперимент, , нажмите файл | Новые для создания проекта эксперимент. Введите имя проекта, например vwp_disjunction. Выберите местоположение проекта. Проверьте EyeLink эксперимент и выберите Eyelink 1000plus из раскрывающегося списка. Эти операции будет создан подкаталог, содержащий все файлы, относящиеся к эксперименту, он будет создан подкаталог с именем «graph.ebd» в папке файл с именем vwp_disjunction .
Примечание: Эксперимент Builder используется для построения экспериментальной сценарий представить тест стимулы и запись участников движения глаз, а также их поведенческих реакций. Эксперимент Builder является интерактивный инструмент для создания экспериментальной сценарий. Это простой в использовании, но любые другие стимулы презентация программного обеспечения является альтернативой право. - Визуализируйте иерархическую структуру типичного eye отслеживание эксперимент, используя визуальный мир парадигмы, как показано на рисунке 3. Каждый розовый прямоугольник на рисунке как объект последовательности осуществляется Эксперимент строителя; и каждый объект с серым фоном реализуется как объект узла.
Примечание: Последовательности в порядке эксперимента Builder представляет собой экспериментальный цикла контроллер используется для сцеплять вместе различные объекты как сложный узел. Последовательности всегда начинается с запуска узла. И источник данных может быть присоединен к узел последовательности поставлять различные параметры для каждого разбирательства. - Создание последовательности эксперимент
- Щелкните файл | Открыть, перейдите в каталог эксперимента и дважды щелкните файл graph.ebd в каталоге проекта, чтобы открыть сохраненный эксперимент проекта.
- Нажмите кнопку Изменить | Диспетчер библиотек | Изображение | Добавить для загрузки изображения в эксперимент проекта. Аналогичным образом, нажмите кнопку Edit | Диспетчер библиотек | Звук | Добавить для загрузки аудио в проекте эксперимент.
- Перетащите объект DISPLAY_SCREEN в рабочее пространство и измените его значение метки на панели свойств, чтобы переименовать его как инструкция. Дважды щелкните, чтобы открыть узел инструкции и нажмите кнопку Вставка ресурса многострочного текста для ввода экспериментальной инструкция. Убедитесь, что инструкция содержит следующую информацию:
В каждом испытании сначала вы увидите изображения двух животных, одно животное печати на экране, в свою очередь, вместе с аудио животных, играл на две колонки, расположенный по обе стороны экрана. Черная точка будет затем представлен в центре экрана. Следует нажать пробел во время фиксирующий на точку. Далее вы увидите тестовое изображение, состоящее из четырех ящиков, напечатаны на экране и услышать приговор тест играет через две колонки. Ваша задача-найти поле Сяомин согласно предложению тест вы слышали и нажмите на соответствующую кнопку как можно скорее:
Левый верхний ящик---стрелка влево
Топ правой коробке---стрелка вверх
В нижнем левом поле---Стрелка влево
Нижнем правом окне---стрелка вправо
В каждом изображении теста вы увидите четыре коробки, расположенный в четырех квадрантах и двух животных, содержащие в полях. Четыре коробки может варьироваться в двух измерениях: ее близость и его размер. Ли ящик закрыт или не влияет на наши эпистемической знания на этом поле, но не животное, которые он содержит. Если окно открыто, то животное, содержащиеся в этом поле известно. Если окно закрыто, то животное, содержащиеся в этом поле неизвестно. Размер окна влияет на количество животных, содержащихся в поле, но не наши эпистемической знания на этом поле. Не вопрос поле закрыт или нет, небольшую коробку только и всегда содержит одно животное, и большой ящик всегда содержит два различных животных.
Если вы знакомы с экспериментальной цель и процедуры, пожалуйста, дайте знать экспериментатора и мы поможем вам выполнить стандартные глаз, отслеживание процедуры калибровки и проверки. Если у вас есть какие-либо вопросы, пожалуйста, не стесняйтесь спрашивать.
Примечание: Это инструкция, которая будет печататься на экране до эксперимента (инструкции должны быть написаны на родном языке, говорят участники, такие как китайский здесь). - Перетащите объект клавиатуры в рабочее пространство.
Примечание: Этот шаг используется для завершения инструкции экрана - Перетащите объект последовательности в рабочее пространство и переименуйте его в качестве блока.
- Выберите последовательность блок , щелкните в поле значение свойства Источника данных для вызова Редактора источника данных. Нажмите кнопку « Импорт данных » на экране редактора источника данных, лоб txt-файл, созданный на шаге 1.4 импортировать источник данных.
- Нажмите кнопку Настройки рандомизации в редакторе источника данных, проверьте Включить суда рандомизации, выберите trial_number в поле значение поля столбца и выберите experimental_group от раскрывающегося списка поля Разделения столбцов .
- Перетащите второй DISPLAY_SCREEN объект в рабочее пространство и переименуйте его в Прощай. Дважды щелкните узел до свидания и вставьте следующую информацию: участников родном языке (китайский в этом протоколе):эксперимент закончен и поблагодарить вас за очень много вашего участия.
- Щелкните левой кнопкой мыши на узле Начало , перетащите стрелку для узла инструкций и отпустите кнопку мыши, чтобы соединить узел Начало с инструкцией . Повторите, и та же мышь перемещается соединиться клавиатуры узел, узел клавиатуры , чтобы блокировать узел, затем блок на прощанье узел узел инструкции . Нажмите кнопку Просмотр | Упорядочить макет организовать узлы в рабочей области.
- Построить блок последовательности
- Дважды щелкните, чтобы открыть блок последовательности. Перетащите узел El_CAMERA_SETUP в блок последовательность принести вверх экран настройки камеры на Host-ПК EyeLink для экспериментатора для выполнения установки камеры, калибровки и проверки. Щелкните поле Тип калибровки в панели Свойства и выберите HV5 из раскрывающегося списка.
Примечание: Число мест, в процессе сопоставления колеблется от различных экспериментальных проектов. Пробы больше места и больше пространства покрыты, тем выше точность можно ожидать. Но больше образцов означает больше времени, чтобы завершить процессы. Так что практически число мест в конкретное исследование не может быть очень большой, особенно, когда участники дописьменных детей или клинических больных. Визуальный мир парадигмы количество областей интереса является относительно небольшим, в областях, представляющих интерес как правило относительно большой. Процесс сопоставления может достичь удовлетворяющих уровня с относительно небольшим числом мест. В протоколе, которые я описал я использовал пять точек калибровки и проверки. - Перетащите узел последовательности в последовательности блока и переименуйте его в суд. Подключите узел Начало к CAMERA_SETUP узлу, затем узел SEQUENCE.
- Дважды щелкните, чтобы открыть блок последовательности. Перетащите узел El_CAMERA_SETUP в блок последовательность принести вверх экран настройки камеры на Host-ПК EyeLink для экспериментатора для выполнения установки камеры, калибровки и проверки. Щелкните поле Тип калибровки в панели Свойства и выберите HV5 из раскрывающегося списка.
- Строить суда последовательности
- Дважды щелкните, чтобы открыть последовательность судебного процесса , перетащите узел DISPLAY_SCREEN в порядке судебного разбирательства и переименовать его в animal_1_image. Дважды щелкните, чтобы открыть Экран построителя узел и нажмите кнопку Вставить ресурс изображения на панели инструментов построителя экрана, чтобы вставить изображение животных из загруженного изображения источников. Щелкните поле значение свойства Имя исходного файла , перейдите к DataSource вложенного блока последовательности; и дважды щелкните столбец Animal_1_Image для подключения DISPLAY_SCREEN с правильный столбец источника данных.
- Перетащите узел PLAY_SOUND в порядке судебного разбирательства и переименуйте его в animal_1_audio. Щелкните свойство Звуковой файл узла, animal_1_audio и подключить его с правильным столбец источника данных (как был описан в шаге 3.5.1).
- Перетащите узел таймера в порядке судебного разбирательства и переименуйте его в animal_1_audio_length. Щелкните свойство Duration таймер узел и перейдите к правильный столбец Источник данных, созданный в 3.4.1.
- Перетащите другой узел DISPLAY_SCREEN , другой узел PLAY_SOUND и другой таймер узел в порядке судебного разбирательства , переименовать их в animal_2_image, animal_2_audio, и животных _2_audio_duration, повторите шаги, описанные в шагах 3.5.1 - 3.5.3.
Примечание: Эти шаги включены в элемент управления для потенциальных смешение, что то же изображение может называться по-разному различными участниками. Противовес последовательность представления двух животных в отношении ли он упоминается в первой или второй половине аудио тест. - Перетащите объект Последовательности, подготовить в порядке судебного разбирательства и измените свойство Привлечь к Eyelink разместить изображение.
Примечание: Этот узел используется для предварительной загрузки изображений и аудио файлы в память для рисования изображения в реальном времени и воспроизведение звука. И она также используется для рисовать графики обратной связи на Host-ПК, так что точность взгляд участников может контролироваться. - Перетащите узел DRIFT_CORRECT в суде последовательность представить коррекции дрейф.
- Перетащите новый узел последовательности и переименовать его как запись. Подсоедините начать эти узлы один после одного.
- Создание записи последовательности
- Проверьте запись поля в панели свойств записи последовательности и дважды щелкните, чтобы открыть запись последовательности.
Примечание: Последовательность с запись свойства проверены означает, что движения глаз участников в этот период будет записано. - Перетащите новый DISPLAY_SCREEN в запись последовательности, переименуйте его в test_image. Добавьте сообщение test_image_onset в свойство Message test_image узла.
Примечание: В стадии анализа данных, в узле test_image и сообщение в узле test_audio (раздел 3.6.6) имеют важное значение для поиска начала тестовых изображений и начала тестирования аудио в каждом испытании. - Дважды щелкните, чтобы открыть Экран построителя узел и нажмите кнопку Вставить ресурс изображения на панели инструментов построителя экрана, чтобы вставить любое животное изображение из загруженного изображения источников. Щелкните поле значение Имя исходного файла свойства, перейдите к DataSource вложенного блока последовательности; и дважды щелкните столбец test_image для подключения DISPLAY_SCREEN с правильный столбец источника данных.
- Дважды щелкните узел DISPLAY_SCREEN , чтобы открыть Конструктор экрана, нажмите кнопку Вставить прямоугольник интерес области регионаи привлечь четыре прямоугольных областей, представляющих интерес, как показано в синие на рисунке 1. Изменить метки из четырех областей, представляющих интерес для Top_Left, Top_Right, Bottom_Leftи Bottom_Rightи подключите DataViewer имя напильник с правильным столбцов источника данных.
Примечание: Эти районы являются невидимыми для участников. Чтобы сделать более значимых областях, представляющих интерес, метка имя верхней левой области в примере как «Коробки (большой открытый)», области верхней правой области как «Поле B (малые закрытые)», нижней левой области как «Box C (второй упомянутый)» и нижней правой районе как «Box D (первое упоминание)» , потому что два небольших открытых коробках содержат два животных, упоминается в первой и второй половине аудио тест, соответственно. - Перетащите узел таймера в рабочую область, переименуйте его как Паузаи измените свойства Duration в 500 мс.
Примечание: Этот узел таймера добавляет некоторые временной лаг между наступлением тестового изображения и начала тестирования аудио. Временной лаг дает участникам возможность ознакомиться с тестовыми изображениями. Участников движения глаз в течение этого периода предварительного просмотра также предоставляют базовые определения последствий разговорного языка ввода, особенно когда критические слова находятся в начале испытания аудио. - Перетащите узел PLAY_SOUND рабочее пространство и переименуйте его в test_audio. Щелкните свойство Звуковой файл и подключить его с правильным столбец источника данных (как был описан в шаге 3.5.1) и добавить сообщение test_audio_onset в свойстве Message .
- Перетащите узел таймера в рабочее пространство, переименовать его в test_audio_length. Измените свойство Duration до 10500 МС.
- Добавьте новый узел таймера , переименуйте его в record_extensionи измените свойство Duration до 4000 мс.
- Добавьте новый узел клавиатуры в рабочее пространство, переименуйте его как поведенческие реакциии измените свойство приемлемым ключей «[вверх, вниз, вправо, влево]».
Примечание: Поведенческие выбор участников может использоваться для двойной проверки действительности вывод вытекает из участников движения глаз. - Подключите узел Начало паузы, test_audio, test_audio_length, затем к Record_extension узлу. Добавьте еще одно подключение от test_audio_length к behavioral_responses узлу.
Примечание: Путем добавления этих соединений, закончится текущего разбирательства и новое судебное разбирательство начнется после того, как участники сделали клавиши для выбора СяоминBox или 4000 мс после смещение теста аудио. - Перетащите узел переменной в рабочее пространство, переименуйте его в key_pressedи подключите его свойства value к behavioral_Responses клавиатуры | Причиной данных | Ключ.
- Перетащите узел RESULT_FILE в рабочее пространство, перетащите узел ADD_TO_RESULT_FILE в рабочее пространство и подключить к ADD_TO_RESULT_FILE record_extension узел и узел behavioral_responses узел.
- Проверьте запись поля в панели свойств записи последовательности и дважды щелкните, чтобы открыть запись последовательности.
- Нажмите эксперимент | Строить для экспериментальной сценария построения, нажмите кнопку эксперимент | Тест команду для проверки запустить эксперимент. После того, как все это делается, нажмите эксперимент | Развертывание для создания исполняемой версии экспериментального проекта.
Примечание: для получения дополнительной информации о том, как использовать построитель эксперимент, обратитесь программного обеспечения ручного27.
4. привлечение участников
- Обеспечить участникам иметь нормальное или исправленные нормальное зрение. Рекомендуем, что участники близоруким носить контактные линзы, очки, но также являются приемлемыми, до тех пор, как линзы чисты. Убедитесь, что все участники являются носителями языка тестирования, таких как китайский здесь.
Примечание: Как правило, участник рассматривается как право, до тех пор, как участник может видеть тестовые изображения на расстоянии около 60 сантиметров. С точки зрения числа участников, по словам некоторые правила большого пальца количество участников для регрессионного анализа должна быть не менее 50. Здесь тридцать семь аспирантов из Пекина языка и культуры университета приняли участие в эксперименте, который немного меньше рекомендуемой суммы.
5. проведение эксперимента
Примечание: Когда участников нормально развитых взрослых, одном экспериментатор достаточно для проведения проведения эксперимента. Но если участники особых групп населения, например детей, требуются два или более экспериментаторов.
- Выберите глаз отслеживания для записи участников движения глаз.
Примечание: Глаз отслеживания используется в этом эксперименте является Eyelink 1000plus работает в режиме свободного перемещения головы. Это на основе видео, обои навесные глаз системы отслеживания, используя принцип ученик с отражением роговицы (CR) для отслеживания глаз вращения. При выполнении в режиме свободного перемещения головы, глаз tracker имеет Монокуляр дискретизации 500 Гц, с пространственным разрешением 0,01 ° и средняя ошибка менее 0,5 °. Для более подробной информации о системе обратитесь к его технической спецификации28,29. Альтернативные трекеры могут быть использованы, но те с режимом удаленного отслеживания лучше, особенно, когда участники дописьменных детей. - Загрузите систему на ПК для запуска ведущего приложения камеры.
- Чтобы настроить систему на режим удаленного рабочего стола, нажмите кнопку Задать параметр , установите для параметра конфигурации Обои--целевой стикер--Монокуляр--16/25 мм длина--RTARBLER.
- Щелкните исполняемый версия экспериментального проекта на экран ПК, введите имя участникаи выберите группу из командной для выберите значение состояния для запуска.
Примечание: Каждый тест сессии создаст папку с именем введенных в подкаталог результаты эксперимента проекта. EDF-файл в папке содержатся соответствующие глаз движения данных. - Попросите участников сидеть около 60 см от 21 дюйм, цветной монитор 4:3 1024px x 769px резолюции, где 27 пикселей равен 1 градус угла.
- Отрегулируйте высоту дисплея PC монитора, чтобы гарантировать, что когда участник сидит и глядя прямо перед собой, они ищут вертикально на середине топ 75% монитора.
Примечание: Стул, стол или монитор компьютера являются предпочтительными, если они регулируются по высоте. Стул и стол с роликами следует избегать, поскольку они, как правило, вызвать непреднамеренное движение и ролл. - Место небольшой целевой наклейку на лбу участников, чтобы отслеживать положения головы, даже когда ученик изображение утрачено, например, во время мигает или резких движений.
Примечание: Разные глаза трекеры могут использовать различные методы для отслеживания участников головы. Чтобы увеличить диапазон бокового движения предмета, отслеживаемые глаз должны быть на той же стороне как просветителя. - Вращайте фокусировки руку на стол горе довести глаза изображения в фокусе.
- Нажмите кнопку калибровки на хост-компьютер для проведения процесса калибровки просят участников для фиксировать сетки пять целей фиксации в случайной последовательности с без явных поведенческих реакций, чтобы сопоставить участников движения глаз взглядом связи в визуальный мир.
- Нажмите кнопку проверить на хост-компьютер для проверки калиброванные результатов просят участников для фиксировать же сетки фиксация целей. Повторите процедуры калибровки и проверки, когда ошибка больше чем на 1°.
- Проведение двух подпрограмм в начале эксперимента, и всякий раз, когда плохая точность измерения (например., после сильного движения головы или изменения позы участников).
- Нажмите кнопку запись на хост-компьютер, чтобы начать эксперимент.
- Выполните проверку дрейф в каждом испытании, попросив участников нажмите клавишу пробела на клавиатуре во время фиксирующий на черная точка в центре экрана.
Примечание: Если участники дописьменных детей или клинических больных, явно инструктируя их нажать на клавиатуре во время фиксирующий черная точка обычно непрактично. Но их внимание и глаз фиксаций, как правило, автоматически привлекает отображается черная точка. В этом случае экспериментатор должен быть человеком нажать на клавиатуре в то время как участник фиксирующий на черная точка. - Настоящее время визуальные раздражители через экран монитора и играть слуховой раздражители через пару внешних динамиков, расположенных слева и справа от монитора (наушники также приемлемы).
Примечание: Записи играются с жесткого диска как 24 кГц моно звуковых клипов. Если нет особой причины, моно звук клипы являются предпочтительными для стерео звуковых клипов. В стерео звуковой клип разница между двух звуковых дорожек, а также разницу между двумя ораторами могут повлиять на участников движения глаз. Дополнительные сведения о том, как использовать трекер глаз обратитесь к руководство пользователя30.
6. кодирование и данных анализа
- Откройте средство просмотра данных, нажмите кнопку файл | Импортировать файл | Импорт нескольких файлов данных Eyelink импортировать записанные глаз трекер файлы (с расширением EDF), и сохранять их в единый . EVS файла.
- Откройте сохраненный файл EVS и нажмите анализ | Отчеты | Образец отчета для экспорта сырья образец данных с агрегирование не выполняется.
Примечание: Если глаз трекер имеет дискретизации 500 Гц, экспортируемые данные будет иметь 500 точки данных, отныне 500 строк, за второй за судебного разбирательства. Если отслеживаются участников левый глаз, обеспечить следующие столбцы, а также переменные, созданные в источнике данных экспортируются: RECORDING_SESSION_LABEL, LEFT_GAZE_X, LEFT_GAZE_Y, LEFT_INTEREST_AREA_LABEL, LEFT_IN_BLINK, LEFT_IN_SACCADE, LEFT_PUPIL_ РАЗМЕР, SAMPLE_INDEX, SAMPLE_MESSAGE. Дополнительные сведения о том, как использовать средство просмотра данных, обратитесь к программного обеспечения ручного31. - Ограничить статистические анализы временного окна с самого начала тестовое изображение на смещение тест аудио, т.е., временного окна с продолжительностью 11 s.
- Удаление образцов, где участников движения глаз не регистрируются, такие, как участники мигать их глаза, которые затрагивает примерно 10% записанных данных.
Примечание: Это необязательный шаг, как результаты обычно являются одинаковыми независимо от того, ли исключить эти образцы. - Код данных. Для создания данных для определенной области интереса в определенной точке выборки, код данные как 1 Если фиксации глаз участников находится в области, представляющих интерес для анализа в этой точке выборки. Код данных как 0, если фиксация глаза находится не в областях, представляющих интерес в этой точке выборки.
- Нарисуйте доля фиксации для визуализации полученных данных. Чтобы вычислить процент записей над определенной области интереса, средняя закодированных данных для всех испытаний и для всех участников в каждом примере точки под каждое условие. Участок вычисляемый доля записей на оси y против точку выборки на оси, с различными панелями, обозначающие области интересов и печати цветов, обозначающий различных экспериментальных условиях.
Примечание: В эксперименте, четыре панели изображается участников фиксации узоры на четырех областях, представляющих интерес. Красный, зеленый и голубой линии иллюстрированный участников фиксации шаблоны когда тест заявления были союзы (S1 и S2), но заявления (S1, но не S2) и нестыковки (S1 или S2), соответственно. Программное обеспечение используется для рисования описательные участок является ggplot2 пакет из R среды. Другое программное обеспечение также доступен. Рисунок 5 является примером такого участка. - Установите биномиальное обобщенной линейной смешанная модель (GLMM) в каждой области интереса в каждой точке отбора проб, как данные было закодировано как 1 или 0, в зависимости от ли фиксация участника находится в или из области интересов в этой точке выборки.
Примечание: Данные не сегментирования и закодированных данных может быть только 1 или 0, поэтому распределение закодированных данных двоичного вместо обычных. Отныне используется модель GLMM с семьей биномиальное распределение. GLMM модель включает в себя фиксированный срок, экспериментальные условия и два случайных, участников и элементов. Формула вычисляется на два случайных условия включает перехватывает и наклон экспериментальных условиях. Программное обеспечение для делать установку модель является lme4 пакет из R среды. Другое программное обеспечение также доступен. Одно следует отметить, что базовые фиксированные элементы отличаются когда анализируемого интерес области, т.е., проанализированы коробки, отличаются. Чтобы быть конкретным, совместно (S1 и S2) был выбран в качестве базового при анализе поле большой открытый (Box), сложение (A и B) был выбран в качестве базового при анализе малых закрытое поле (поле B), и но заявление был выбран в качестве базовый план при анализе поле первого упомянутого (Box D). - Бонферрони отрегулировать p значения, полученные с Wald z тест, чтобы уменьшить familywise ошибки, вызванные несколько сравнений.
Примечание: Регулировка Бонферрони является традиционным способом для решения familywise ошибки, вызванные несколько сравнений. Также доступны другие методы, как описано в разделе Введение.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Поведенческие реакции участников приводится на рисунке 4. Как было описано ранее, правильный ответ на совместное заявление (S1 и S2) является большой открытой коробке, таких как окно на рисунке 1. Правильный ответ на но-заявление (S1, но не S2) является открытым коробочку, содержащие первый упомянутых животных, таких как Box D на рисунке 1. Критически, каждое поле выбирается дизъюнктивной заявление (S1 или S2) зависит как обрабатывается дизъюнктивной заявление: небольшой фургон, например поле B на рисунке 1, выбирается только когда скалярных импликатура и невежество выводы относящихся к заявлению дизъюнктивной оба вычисляются. Рисунок 4 иллюстрирует, что когда осмысления дизъюнктивной заявление (S1 или S2), участники вычислить как два умозаключения.
Кроме того участников глаз записей на небольшой фургон, особенно когда эти фиксаций следуют поведенческих реакций на этом поле, также предложить вычислить скалярное импликатура и невежество выводы. Два выводы должны были обработаны не позднее, чем ранние временной точки когда участники переложить их визуального внимания и записей на небольшой фургон. Движения глаз участников приводится на рисунке 5. Как мы видим на панели B, участников глаз записей на малых закрыто коробка (B) не увеличить, если пропозициональную соединительной дизъюнктивной соединительной, или. Кроме того это увеличение начинается не позднее чем смещение дизъюнктивной соединительной. Это свидетельствует о том, что скалярные импликатура и невежество выводы вычисляются перед смещение пропозициональную соединительной, т.е., сразу же при обнаружении дизъюнктивной соединительной.
Рисунок 1 . Пример тестового изображения, используемые в эксперименте. Серая зона является тестовый образ, фактически представил участникам. Блюз коробки, пунктирные линии, Пиксели, обозначающий ширину элементов предназначены только для иллюстрации и являются невидимыми для участников. (Адаптировано из эксперимента, один из 17 л Zhan с разрешения). Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.
Рисунок 2 . Пример тестирования предложений, используемых в эксперименте (Перепечатано с L. Zhan17 с разрешения). Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.
Рисунок 3 . Иерархическая структура типичного eye отслеживание эксперимент, используя визуальный мир парадигмы. Аудио, иллюстрированные в изображении являются английский переводы китайский используется в эксперименте. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.
Рисунок 4 . Поведенческие реакции участников Записанная в эксперименте (адаптировано из эксперимента один L. Zhan17 с разрешения). Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.
Рисунок 5 . Участников глаз наблюдается в эксперименте движений. Начала и смещение пропозициональную связок обозначаются две пунктирные вертикальные линии. Значительные различия, существующие между дизъюнктивной и исходного состояния в определенной точке выборки обозначается серой области (p <.05, Бонферрони скорректирована) (адаптировано из L. Zhan17 с разрешения). Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Для проведения исследования, визуальный мир, есть несколько важных шагов, чтобы следовать. Во-первых исследователи намерены вывести интерпретации вербально представленных языка через участников движения глаз в визуальный мир. Отныне в проектировании визуальных раздражителей, должны контролироваться свойства движения глаз в естественной задачей, потенциально затрагивающих участников движения глаз. Затем может быть признано влияние языка на участников движения глаз. Во-вторых, акустические сигналы в разговорном языке являются временными и есть нет акустических подписей, исключительно соответствующий определенным языковым категории. Чтобы правильно время блокировки участников движения глаз с началом некоторых лингвистических маркеров исследователи должны найти объективную и последовательный способ определить границы некоторые языковые структуры. В-третьих чтобы правильно сопоставить участников глаз вращение вокруг головы с их взгляд связи в визуальный мир, исследователи должны выполнить одну или несколько пробегов дрейф коррекции процессов, калибровки и проверки. В-четвертых, данные, полученные из визуальный мир исследования имеют некоторые своеобразные свойства, например, Нижняя и верхняя ограниченной и имея autocorrelated ошибки и т.д. Эти особенности следует учитывать при метод выбран для статистически анализа данных.
Визуальный мир исследование состоит из трех основных компонентов: визуальное отображение, разговорный язык, экспериментальных задач. Изменения могут быть сделаны на любой компонент для выполнения конкретных целей исследователей. Во-первых визуального отображения обычно является скрининг дисплей, изображающие массив фотографий. Но она также может быть скрининг дисплей, изображающие массив печатного слова32, схема сцены30,31или реальные сцены, содержащие реальных объектов1,32. Во-вторых устного высказывания может быть слово36, простое предложение30,31, семантически комплекс заявление по17,34,35или диалог39. В-третьих с точки зрения экспериментальной задачи, участники либо просто просят смотреть на визуальный мир и внимательно прислушиваться к слуховой высказываний30,31; или необходимы для сделать некоторые поведенческие реакции, например обязанности из движений, описываемого слуховой высказывания1, определение ли слуховые произнесение применяется для визуального отображения38или выбор правильного изображения в визуального отображения устного высказывания говорят о17.
Парадигма визуальный мир, по сравнению с другими психолингвистических методов, имеет ряд уникальных преимуществ. Во-первых визуальный мир парадигма может использоваться в широком населения, включая тех, кто не может читать или кто не может дать открыто их поведенческие реакции, такие как дописьменных детей37,,3839, 40 , 41 , 42,46пожилых взрослых и пациентов (например., aphasics)47. Это потому, что язык раздражители представлены в аудитории, а не в виде письменных текстов; и понимание языка inferred от участников движения неявные автоматические глаз, а не от их явной поведенческих реакций. Во-вторых парадигма визуальный мир чрезвычайно чувствителен к мелкозернистого манипуляции речевого сигнала. Эта парадигма может использоваться для изучения онлайн обработки большинства тем в понимании языка на нескольких уровнях, например штраф мелкозернистый акустическая фонетических особенностей33,45,46, свойства слова30,31,1,языковых структур47и логические структуры семантически сложных заявлений, как concessives37, biconditionals37, Условные38и нестыковки17.
Парадигма визуальный мир, по сравнению с другими Психолингвистические техникой, также имеет некоторые потенциальные ограничения. Во-первых толкование участников разговорного языка выводится из их движений глаз на визуальный мир, а не от фактического интерпретация языка раздражителей в se. Отныне, свойства языка, которые могут быть изучены с визуальный мир парадигма ограничены теми, которые могут быть визуализированы, т.е., они должны быть как-то связаны с подразделениями или события в визуальный мир. Во-вторых визуальный мир парадигма используется обычно более ограничены, чем фактический визуальный мир, с ограниченным набором изображенный референтов и ограниченный набор возможных действий. Это так называемая проблема закрытия набора48 может создать стратегии конкретных задач, которые наблюдаемых языка обработки не обобщать за пределами конкретных ситуаций, возникающих в рамках эксперимента. Отныне парадигмы не могут быть чувствительны к характеристики лингвистических знаний и опыта, лежащих за пределами закрыт набор, которые были установлены на пробную версию данного.
Визуальный мир парадигмы по существу исследует интеграции информации из области визуального и информация от слуховой домена. Теоретически любой информации, которая может обрабатываться двумя сенсационные домены могут потенциально изучаться с помощью этой парадигмы. Например может быть визуальный мир виртуальной реальности или динамической видео. Слуховой ввода не обязательно является язык и может быть любой другой формат, например, музыка и звук от мира природы и т.д. Кроме того эта парадигма может быть продлен для изучения интеграции информации из других доменов, вместо визуального и слухового доменом. Например исследователи может использовать эту технику чтобы увидеть, как участников записей в визуальный мир влияет на различные запахи, различные штрихи и т.д.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Автор заявляет, что он не имеет никаких финансовых интересов.
Acknowledgments
Это исследование было поддержано фонд Пекин язык науки и культуры университета под фундаментальные исследования средств для университетов Центральной (утверждение номер 15YJ050003).
Materials
| Name | Company | Catalog Number | Comments |
| Pixelmator | Pixelmator Team | http://www.pixelmator.com/pro/ | image editing app |
| Praat | Open Sourse | http://www.fon.hum.uva.nl/praat/ | Sound analyses and editting software |
| Eyelink 1000plus | SR-Research, Inc | https://www.sr-research.com/products/eyelink-1000-plus/ | remote infrared eye tracker |
| Experimental Builder | SR-Research, Inc | https://www.sr-research.com/experiment-builder/ | eye tracker software |
| Data Viewer | SR-Research, Inc | https://www.sr-research.com/data-viewer/ | eye tracker software |
| R | Open Sourse | https://www.r-project.org | free software environment for statistical computing and graphics |
References
- Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
- Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
- Salverda, A. P., Tanenhaus, M. K. Research methods in psycholinguistics and the neurobiology of language: A practical guide. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).
- Huettig, F., Rommers, J., Meyer, A. S. Using the visual world paradigm to study language processing: A review and critical evaluation. Acta Psychologica. 137 (2), 151-171 (2011).
- Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. Viewing and naming objects: Eye movements during noun phrase production. Cognition. 66 (2), B25-B33 (1998).
- Griffin, Z. M., Bock, K. What the eyes say about speaking. Psychological Science. 11 (4), 274-279 (2000).
- Young, L. R., Sheena, D. Survey of eye movement recording methods. Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).
- Conklin, K., Pellicer-Sánchez, A., Carrol, G. Eye-tracking: A guide for applied linguistics research. , Cambridge University Press. (2018).
- Duchowski, A. Eye tracking methodology: Theory and practice. , 2, Springer. (2007).
- Baayen, R. H., Davidson, D. J., Bates, D. M. Mixed-effects modeling with crossed random effects for subjects and items. Journal of Memory and Language. 59 (4), 390-412 (2008).
- Barr, D. J. Analyzing 'visual world' eyetracking data using multilevel logistic regression. Journal of Memory and Language. 59 (4), 457-474 (2008).
- Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception. Journal of Memory and Language. 90, 103-125 (2016).
- Bolker, B. M., et al. Generalized linear mixed models: A practical guide for ecology and evolution. Trends in Ecology and Evolution. 24 (3), 127-135 (2009).
- Mirman, D., Dixon, J. A., Magnuson, J. S. Statistical and computational models of the visual world paradigm: Growth curves and individual differences. Journal of Memory and Language. 59 (4), 475-494 (2008).
- Baayen, H., Vasishth, S., Kliegl, R., Bates, D. The cave of shadows: Addressing the human factor with generalized additive mixed models. Journal of Memory and Language. 94, 206-234 (2017).
- Baayen, R. H., van Rij, J., de Cat, C., Wood, S. Mixed-Effects Regression Models in Linguistics. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).
- Zhan, L. Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm. Frontiers in Psychology. 9, (2018).
- Maris, E., Oostenveld, R. Nonparametric statistical testing of EEG- and MEG-data. Journal of Neuroscience Methods. 164 (1), 177-190 (2007).
- Barr, D. J., Jackson, L., Phillips, I. Using a voice to put a name to a face: The psycholinguistics of proper name comprehension. Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).
- van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. Eye movements: A window on mind and brain. , Elsevier. Ch. 21 471-486 (2007).
- Parkhurst, D., Law, K., Niebur, E. Modeling the role of salience in the allocation of overt visual attention. Vision Research. 42 (1), 107-123 (2002).
- Grice, H. P. Vol. 3 Speech Acts. Syntax and semantics. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).
- Sauerland, U. Scalar implicatures in complex sentences. Linguistics and Philosophy. 27 (3), 367-391 (2004).
- Chierchia, G. Scalar implicatures and their interface with grammar. Annual Review of Linguistics. 3 (1), 245-264 (2017).
- Fox, D. Presupposition and Implicature in Compositional Semantics. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).
- Meyer, M. C. Ignorance and grammar. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).
- SR Research Ltd. SR Research Experiment Builder User Manual (Version 2.1.140). , Ottawa, Canada. (2017).
- SR Research Ltd. EyeLink® 1000 Plus Technical Specifications. , Mississauga, Canada. (2017).
- SR Research Ltd. EyeLink-1000-Plus-Brochure. , Mississauga, Canada. (2017).
- SR Research Ltd. EyeLink® 1000 Plus User Manual (Version 1.0.12). , Ottawa, Canada. (2017).
- SR Research Ltd. EyeLink® Data Viewer User’s Manual (Version 3.1.97). , Ottawa, Canada. (2017).
- McQueen, J. M., Viebahn, M. C. Tracking recognition of spoken words by tracking looks to printed words. The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).
- Altmann, G. T. M., Kamide, Y. Incremental interpretation at verbs: restricting the domain of subsequent reference. Cognition. 73 (3), 247-264 (1999).
- Altmann, G. T. M., Kamide, Y. The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing. Journal of Memory and Language. 57 (4), 502-518 (2007).
- Snedeker, J., Trueswell, J. C. The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing. Cognitive Psychology. 49 (3), 238-299 (2004).
- Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
- Zhan, L., Crain, S., Zhou, P. The online processing of only if and even if conditional statements: Implications for mental models. Journal of Cognitive Psychology. 27 (3), 367-379 (2015).
- Zhan, L., Zhou, P., Crain, S. Using the visual-world paradigm to explore the meaning of conditionals in natural language. Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).
- Brown-Schmidt, S., Tanenhaus, M. K. Real-time investigation of referential domains in unscripted conversation: A targeted language game approach. Cognitive Science. 32 (4), 643-684 (2008).
- Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. Rapid gains in speed of verbal processing by infants in the 2nd year. Psychological Science. 9 (3), 228-231 (1998).
- Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying on-line sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
- Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese. Journal of Child Language. 39 (4), 687-730 (2012).
- Zhou, P., Crain, S., Zhan, L. Grammatical aspect and event recognition in children's online sentence comprehension. Cognition. 133 (1), 262-276 (2014).
- Zhou, P., Crain, S., Zhan, L. Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing. Journal of Memory and Language. 67 (1), 149-164 (2012).
- Moscati, V., Zhan, L., Zhou, P. Children's on-line processing of epistemic modals. Journal of Child Language. 44 (5), 1025-1040 (2017).
- Helfer, K. S., Staub, A. Competing speech perception in older and younger adults: Behavioral and eye-movement evidence. Ear and Hearing. 35 (2), 161-170 (2014).
- Dickey, M. W., Choy, J. W. J., Thompson, C. K. Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening. Brain and Language. 100 (1), 1-22 (2007).
- Magnuson, J. S., Nusbaum, H. C. Acoustic differences, listener expectations, and the perceptual accommodation of talker variability. Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).
- Reinisch, E., Jesse, A., McQueen, J. M. Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately. Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).
- Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).
- Tanenhaus, M. K., Trueswell, J. C. Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).
