С помощью движений глаз, записанная в парадигме визуальный мир для изучения оперативной обработки разговорного языка
13 октября 2018 г.
Парадигма визуальный мир следит за участников движения глаз в рабочей области visual как они слушать или разговорным языком. Эта парадигма может использоваться для изучения оперативной обработки широкого круга Психолингвистические вопросов, в том числе семантически сложные операторы, например дизъюнктивной заявления.
Этот метод может помочь ответить на ключевые вопросы в онлайн-обработке разговорного языка, включая семантически сложные предложения, такие как разъединения и условия. Основным преимуществом этой техники является то, что она может быть выполнена на широком круге групп населения для изучения большинства тем в области обработки языка. Демонстрацией процедуры будет Сюй Цзин, аспирант.
Цао Ифань, Ван Менг, Ян Сяотонг, Чжан Мин и Чжоу Сюэхан - студенты из моей исследовательской группы. Чтобы подготовить визуальные стимулы, скачать 60 авторских прав бесплатно клип художественные изображения животных из Интернета и открыть изображения в соответствующем редакторе изображений. Нажмите Инструменты и использовать быстрый выбор, чтобы выбрать и удалить фон из каждого изображения.
Нажмите изображение и размер изображения, чтобы размер изображения до 120 на 120 пикселей и сделать один большой открытый 320 х 240 пикселей окно, один небольшой закрытый 160 х 160 пикселей окно, и два небольших, открытых 160 х 240 пикселей коробки. Откройте новый файл для создания шаблона 1024 на 768 пикселей для первого тестового изображения и перетащите коробки в указанные места. Перетащите два клипа изображения искусства в большой открытой коробке и один из тех же двух изображений в двух небольших открытых ящиков.
Затем создайте еще 59 тестовых изображений, которые будут продемонстрировано с каждым изображением животного, используемым дважды на испытательном изображении, уравновешивая пространственное расположение четырех коробок между изображениями. Для подготовки стимулов разговорного языка, разработать четыре тестовых предложения, соответствующие каждому тесту изображения на родном языке участников в общей сложности 240 тестовых предложений, которые будут записаны, по крайней мере три из четырех предложений и один из каждой из форм, как показано на рисунке. Нанять женщину носителя языка для записи четырех примеров заявления, а также аудио для всех животных, используемых в эксперименте.
Разделите 240 тестовых предложений на четыре группы, каждая из которых содержит 15 конъюнктурных заявлений, 15 судебных заявлений, 15 заявлений и 15 предложений по заполнению. Затем сохраните всю важную информацию о тестовых стимулах в файл с делимитированием вкладок, при этом каждая строка соответствует каждому из 240 испытаний. Чтобы построить последовательность эксперимента, откройте строитель эксперимента и создайте новый проект.
Перетащите объект экрана дисплея в рабочее пространство и переименуем инструкцию рабочего пространства. Нажмите Вставьте многослойный текстовый ресурс и дважды щелкните, чтобы открыть последовательность блоков для построения последовательности блоков. Перетащите узел установки камеры EI в последовательность блоков, чтобы настроить экран установки камеры на пк-хозяине EyeLink для облегчения калибровки и проверки установки камеры.
Нажмите на поле типа калибровки в панели свойств и выберите HV5 из списка падения вниз. Чтобы построить пробную последовательность перетащите узел Display Screen в пробную последовательность и переименуйте его Animal_1_Image. Перетащите узел Play Sound в пробную последовательность и переименуйте его Animal_1_Audio.
Перетащите узел Таймера в пробную последовательность и переименуйте его Animal_1_Audio_Length. Продолжайте перетаскивать и переименовывать дополнительные узлы Display Screen, Play Sound и Timer в пробную последовательность до тех пор, пока не будут созданы три узла для каждого изображения клипа. Затем перетащите узел Drift Correct в пробную последовательность, чтобы ввести коррекцию дрейфа.
Чтобы построить последовательность записи, перетащите новый узел display Screen в последовательность записи. Переименуй узел Test_Image. Дважды нажмите узел Display Screen, чтобы открыть строитель экрана, нажмите на область интересов Insert Rectangle и нарисуйте четыре прямоугольные области, представляющие интерес.
Перетащите узел таймера в рабочее пространство, переименуй узел Пауза и измените свойство продолжительности до 500 миллисекунд. Перетащите узел Play Sound в рабочее пространство и переименуйте узел Test_Audio, перетащите узел Таймера в рабочее пространство и переименуйте его Test_Audio_Length. Затем добавьте узел клавиатуры в рабочее пространство, переименуйте поведенческие ответы узла и измените свойство Приемлемые ключи вверх, вниз, направо, налево.
Для проведения эксперимента загрузите систему на ПК-хозяине, чтобы начать хост-приложение камеры, и нажмите на исполнительную версию экспериментального проекта на дисплее ПК. Ввените имя участника и нажмите Select Condition Value, чтобы выбежать для выбора группы из оперативного окна. Поместите небольшую целевую наклейку на лоб участника, чтобы отслеживать положение головы, даже если изображение ученика потеряно, например, во время мигалок или резких движений. Сиденье участника примерно в 60 сантиметрах от 21-дюймового 4:3 цветового монитора с разрешением 1 024 на 769 пикселей, для которого 27 пикселей равен одному градусу угла.
Отрегулируйте высоту монитора ПК дисплея, чтобы убедиться, что, когда участник смотрит прямо вперед, они смотрят вертикально в середине к началу 75% монитора, а затем повернуть фокусировку руку на столе горе довести изображение глаза в фокусе. Далее нажмите Calibrate на ПК-хозяине и попросите участника зафиксировать на сетке пять целей фиксации, в случайной последовательности без никаких явных поведенческих реакций, чтобы сопоставить движения глаз участника с взглядом отношения в визуальном мире. Нажмите Проверить и попросите участника зафиксировать на той же сетке целей фиксации для проверки результатов калибровки.
Выполните проверку дрейфа, попросив участника нажать на планку пространства на клавиатуре, зафиксируя черную точку в центре экрана. Затем представить визуальные стимулы через монитор ПК дисплея во время воспроизведения слуховых стимулов через пару внешних динамиков, расположенных слева и справа от монитора. Для кодирования и анализа данных откройте просмотр данных и нажмите Файл, Импортный файл и импорт нескольких файлов данных EyeLink для импорта всех записанных файлов трекера глаз.
Сохранить файлы в одном файле evs, а затем открыть файл evs и нажмите Анализ, Отчеты и Пример отчета для экспорта необработанных данных образца без агрегирования. Правильный ответ на конъюнктурное заявление является большой открытой коробке, в то время как правильный ответ на заявление, но небольшой открытый ящик, содержащий первое упомянутое животное в заявлении. Критически, какая коробка выбрана для конъюнктурных заявлений зависит от того, как условное заявление обрабатывается.
Например, небольшая закрытая коробка выбирается только тогда, когда масштабарное вовлечение и выводы о невежестве вычисляются, что является результатом понимания дисъюнктивного заявления. Как показано на панели, фиксация глаз на небольшой закрытой коробке не увеличивается, если только часовой соединительной является дисъюнктивной соединительной или с увеличением начала не позднее, чем смещение дисъюнктивной соединительной. Visual World Paradigm является универсальным методом отслеживания глаз для вывода участника онлайн понимание разговорного языка от их движения глаз в реальном мире.
При наборе участники помнят, что они должны иметь нормальные или правильные нормальные зрительные способности и нормальную слуховую способность. Для разработки подходящего исследования реального мира следует контролировать или исключать другие факторы, которые могут повлиять на движения глаз участников. При статистическом анализе результатов, проблема, которая может возникнуть из-за ограниченного ответа, все авто корреляции или автоматические сравнения должны быть рассмотрены.
Просмотрите полный транскрипт и получите доступ к тысячам научных видео
Обзор
Парадигма визуального мира представляет собой метод мониторинга движений глаз в то время, когда участники воспринимают устную речь. Она позволяет исследователям изучать процесс обработки сложных психолингвистических конструкций, таких как разделительные предложения, в режиме реального времени.
Основные компоненты исследования
Область науки
- Психолингвистика
- Обработка языка
- Айтрекинг
Теоретические сведения
- Парадигма «визуальный мир» позволяет отслеживать движения глаз в режиме реального времени.
- Она может применяться к различным группам испытуемых для изучения понимания языка.
- Данный метод особенно полезен для анализа семантически сложных предложений.
- Исследования могут охватывать разделительные союзы и условные конструкции.
Цель исследования
- Изучить особенности обработки устной речи людьми в режиме реального времени.
- Исследовать понимание сложных лингвистических структур.
- Продемонстрировать процедуру с использованием визуальных стимулов.
Используемые методы
- Участники слушают или произносят слова на определенном языке, в то время как за их движениями глаз ведется наблюдение.
- Визуальные стимулы подготавливаются с использованием изображений, не защищенных авторским правом.
- Фоны изображений удаляются, чтобы сфокусировать внимание на объектах.
- Данные собираются для анализа процессов обработки языка в различных контекстах.
Основные результаты
- Данный метод позволяет эффективно регистрировать данные о движении глаз при выполнении языковых задач.
- Он позволяет получить представление о процессах обработки семантически сложных предложений.
- Результаты могут быть использованы для уточнения теорий понимания языка.
- Демонстрации, проведенные студентами, способствуют лучшему пониманию метода.
Выводы
- Парадигма визуального мира является мощным инструментом для изучения процессов обработки языка.
- Ее можно адаптировать для различных исследуемых групп и тем.
- Будущие исследования могут опираться на эти результаты для дальнейшего изучения психолингвистики.
Часто задаваемые вопросы
Практическая значимость для промышленности
Парадигма визуального мира позволяет в режиме реального времени контролировать когнитивные процессы при понимании устной речи, предоставляя неинвазивную возможность наблюдения за текущими лингвистическими операциями. Данный подход способствует валидации мишеней при поиске нейропсихиатрических и нейроонтогенетических лекарственных средств путем количественной оценки динамики семантической обработки и внимания. Он обеспечивает механистическое снижение рисков для препаратов, воздействующих на ЦНС, связывая фармакологическое вмешательство с измеримыми изменениями в поведении взгляда, опосредованном языком.
Стратегическое применение в биофармацевтических исследованиях и разработках
Ранние этапы поиска и валидация мишени
- Научная ценность: Проверка терапевтических гипотез путем измерения распределения внимания в режиме реального времени во время понимания языка.
- Операционная ценность: Обеспечивает биологическое снижение рисков для мишеней в ЦНС с помощью количественно определяемых конечных точек движения глаз, связанных с семантической обработкой.
- Прогностическая ценность: Поддерживает приоритизацию портфеля путем выявления соединений, модулирующих контроль внимания в лингвистически сложных контекстах.
Скрининг и разработка анализа
- Готовность анализа: Подготовка валидированных показателей окуломоторных реакций для высокопроизводительного скрининга библиотек нейропсихиатрических соединений.
- Количественные показатели: Получение данных о длительности фиксации и времени саккадической реакции, подходящих для моделирования зависимости «доза-эффект».
- Масштабируемость: Возможность кроссплатформенного использования на доклинических моделях и в клинических популяциях благодаря стандартизированным зрительным и слуховым стимулам.
Трансляционные и доклинические исследования
- Трансляционная преемственность: Обеспечивает связь между стадией открытия и доклинической валидацией путем сопоставления биомаркеров движений глаз с конечными точками обработки языка.
- Система, релевантная заболеванию: Применима к группам пациентов с когнитивным дефицитом, связанным с языком, включая модели нейродегенеративных или нейроонтогенетических состояний.
- Развитие с учетом рисков: Позволяет принимать решения о продолжении или прекращении исследований (go/no-go) за счет выявления незначительных сдвигов в семантической интеграции и переключении внимания.
Интеграция конвейеров и рабочих процессов
Данный метод интегрируется в непрерывный процесс поиска новых лекарственных средств — от проверки гипотез до оптимизации соединений-лидеров, что особенно актуально для программ по изучению ЦНС, где понимание речи служит функциональным показателем целостности коры головного мозга.
- Открытия в биологии: проверка механистических гипотез о сетях внимания и семантической интеграции с использованием естественных языковых стимулов.
- Скрининг: получение воспроизводимых количественных показателей взора, позволяющих проводить скрининг соединений в областях внимания и обработки языка.
- Аналитика: предоставление синхронизированных по времени данных о фиксации взгляда и пупиллометрии для сравнения нейронного отклика в различных экспериментальных условиях.
- Трансляционные исследования: обеспечение преклинической преемственности за счет регистрации дефицита процессов обработки информации в режиме реального времени, имеющих значение для клинических языковых биомаркеров.
- Корпоративное использование: функционирование в качестве модульной стандартизированной платформы для оценки когнитивных эффектов в различных терапевтических областях и модальностях.
Операционное и корпоративное воздействие
- Научная ценность: снижает механистическую неопределенность путем установления связи между взаимодействием с мишенью и когнитивной обработкой в режиме реального времени во время понимания языка.
- Операционная ценность: обеспечивает стандартизацию и воспроизводимость за счет использования фиксированных визуальных массивов, контролируемого времени подачи слуховых стимулов и дизайна испытаний, зависящего от направления взгляда.
- Стратегическая ценность: улучшает принятие решений о продолжении или прекращении разработки (go/no-go) за счет раннего выявления нецелевых когнитивных эффектов на этапе поиска, что снижает вероятность неудач на поздних стадиях.
- Влияние на портфель: позволяет проводить приоритизацию соединений с учетом рисков, основываясь на их воздействии на аттенционный контроль и семантическую интеграцию.
Особенности реализации
- Требуются экспертные знания в области психолингвистики, методологии айтрекинга и дизайна экспериментов по исследованию процессов обработки языка.
- Зависимость от систем айтрекинга высокого разрешения, программного обеспечения для предъявления стимулов и инфраструктуры синхронизированного воспроизведения аудио.
- Необходима межгрупповая стандартизация между специалистами в области нейронаук, поведенческой фармакологии и анализа данных для обеспечения согласованного вывода конечных точек.
- Требуется учет особенностей адаптации при переносе парадигм на разные виды, возрастные группы или клинические популяции с различными исходными показателями окуломоторной функции.
- Ограничение необходимостью использования контролируемых условий для минимизации факторов, влияющих на направление взгляда, таких как окружающее освещение или артефакты движения головы.
