Behavior

음성된 언어의 온라인 처리를 탐험 시각적인 세계 패러다임에 기록 하는 눈 움직임을 사용 하 여

Published: October 13, 2018 doi: 10.3791/58086

¹Institute for Speech Pathology and the Brain Science, School of Communication Science, Beijing Language and Culture University

Summary

그들은을 듣고는 또는 음성된 언어를 말하기로 시각적인 세계 패러다임 visual 작업 영역에서 참가자의 눈 움직임을 모니터링 합니다. 이 패러다임 조사 psycholinguistic 질문, 분리형 문과 같은 의미가 복잡 한 문을 포함 하 여 광범위의 온라인 처리를 사용할 수 있습니다.

Abstract

전형적인 눈 추적 연구 시각적인 세계 패러다임을 사용 하 여, 참가자의 눈 움직임을 개체 또는 visual 작업 영역에서 그림 참가자 생산 또는 동시 시각을 설명 하는 음성된 언어를 이해는 눈 추적기를 통해 기록 됩니다. 세계입니다. 이 패러다임의 인구, 읽을 수 없습니다 또는 누구 공공연히 preliterate 어린이, 노인, 어른과 환자 같은 행동 그들의 응답을 줄 수 없는 포함 하 여 넓은 범위에서 사용할 수 있는 높은 다양성이 있다. 더 중요 한 것은, 패러다임의 음성 신호 잘 배어 든된 조작에 매우 민감한 이며 공부 언어 이해 잘 배어 든된 음향 소리 등 여러 수준에서 항목을 대부분의 온라인 처리를 사용할 수 있습니다. 기능, 단어, 속성 및 언어 구조 이 문서에서 설명 하는 프로토콜 어떻게 일반적인 시각 세계 눈 추적 연구 실시, 어떻게 어떤 의미가 복잡 한 문의 온라인 처리 시각적인 세계 패러다임으로 탐험 수 있습니다 보여 주는 예제와 함께 보여 줍니다.

Introduction

음성된 언어는 빠르고, 지속적인 정보 흐름을 바로 사라집니다. 실험적으로 시간 연구, 음성 신호를 빠르게 변경 하는 도전 이다. 이 문제를 극복 하기 위해 시각적인 세계 패러다임에 기록 된 안구의 움직임을 사용할 수 있습니다. 전형적인 눈 추적 연구 시각적인 세계 패러다임을 사용 하 여, 그들은 듣고, 또는 생산, 음성된 언어 영상 세계^{1의 내용을 묘사한 참가자의 눈 움직임 디스플레이에서 사진 또는 visual 작업 영역에서 실제 개체는 모니터링} ^,²^,^,³⁴. 기본적인 논리 또는 연결 가설,이 패러다임의 뒤에 이해 또는 계획 한 말 (공공연히 또는 은밀 하 게) 이동 합니다 시각적 세계에 특정 개체에 참가자의 시각적 주의 이다. 이 주의 변화 시야 비전으로 참석된 영역을가지고 saccadic 눈 운동 시작 하는 높은 확률을 가질 것 이다. 이 패러다임 연구 개체 또는 시각에 있는 그림에 saccadic 눈 운동에 의해 측정 된 음성 신호에서 일부 음향 랜드마크에 관하여 어떤 시간 시점에서 참가자의 시각적 관심에 변화 발생, 결정 하려는 세계입니다. 음성 신호에 관하여 saccadic 눈 운동 시작은 언제 그리고 어디 다음 온라인 언어 처리를 추론 하는 데 사용 됩니다. 시각적인 세계 패러다임 음성된 언어 이해¹^,² 과 생산⁵^,⁶을 사용할 수 있습니다. 이 방법론 문서 이해 연구에 집중할 것 이다. 독 해 공부에 시각적인 세계 패러다임, 영상 디스플레이에 움직임은 그들이 말한 발언 영상 디스플레이 대 한 얘기를 들어 서 모니터링 참가자의 눈을 사용 하 여.

역사에서 다른 눈 추적 시스템 설계 되었습니다. 간단한, 가장 저렴 하 고 가장 휴대용 시스템은 그냥 일반 비디오 카메라, 참가자의 눈의 이미지를 기록 하. 안구의 움직임 다음 비디오 녹화의 프레임에 의해 심사를 통해 수동으로 코딩 됩니다. 그러나, 이러한 한 눈-추적의 샘플링 속도 상대적으로 낮은, 그리고 코딩 절차 시간이 소요 됩니다. 따라서, 현대 상업적인 눈 추적 시스템 일반적으로 그것의 궤도⁷^,^,⁸⁹눈의 방향을 측정 하는 광학 센서를 사용 합니다. 현대 상업적인 눈 추적 시스템의 작동 방식을 이해 하려면 다음 사항은 고려해 야 합니다. 먼저, 올바르게 시야 비전, 적외선 조명 기의 방향을 측정 (파장 주위와 일반적으로 780-880 nm) 따라 또는 distinguishably 밝은 또는 어두운 눈동자의 이미지를 만드는 카메라의 광 축에서 일반적으로 누워 주변의 아이리스 보다. 이미지의 눈동자 및 눈동자 각 막 반사 (일반적으로 첫 번째 Purkinje 이미지)의 다음 궤도에 눈의 방향을 계산 하는 데 사용 됩니다. 둘째, 영상 세계에 시선 위치는 시각적 세계에 관하여 머리 방향에 뿐만 아니라 머리에 관하여 눈 방향에 뿐만 아니라 실제로 파견. 정확 하 게 유추할 눈 방향에서 관계의 시선, 광원 및 카메라 눈 추적의 참가자의 머리 (눈 추적자 머리 탑재)에 대해 고정 또는 시각적 세계에 대해 고정 (테이블 장착 또는 원격 눈-추적)입니다. 셋째, 참가자의 머리 방향 중 영상 세계에 관하여 고정 해야 합니다 또는 참가자의 머리는 자유롭게 이동 하는 경우 보상 계산. 원격 눈 추적자 머리 무료-이동 모드에서 사용 될 때 참가자의 머리 위치는 일반적으로 참가자의이 마에 작은 스티커를 배치 하 여 기록 됩니다. 머리 방향 다음 계산 영상 세계의 시선 위치를 검색 하 눈 방향에서 뺍니다. 넷째, 교정과 검증 프로세스 다음 시각적 세계에서 관계의 시선 앞에 눈의 방향을 지도 하 요구 된다. 교정 과정에서 알려진된 대상 포인트에서 참가자의 고정 샘플 원시 눈 데이터 시선 시각적 세계에서 위치를에 기록 됩니다. 유효성 검사 프로세스에서 참가자 보정 과정으로 동일한 대상 포인트 되 게 됩니다. 보정된 결과에서 계산된 고정 위치와 영상 세계에 집착된 하는 대상의 실제 위치 사이 기존 하는 차이 다음 교정의 정확도 판단 하는 데 사용 됩니다. 추가 매핑 프로세스의 정확성을 재확인, 드리프트 검사 일반적으로 적용 되는 단일 고정 대상 계산된 고정 위치와 실제 위치 사이의 차이 측정 하는 참가자에 게 제공 됩니다, 각 재판에는 현재 대상입니다.

영상 세계 연구의 기본 데이터의 전체 또는 일부의 시험 기간에 이르기까지 눈 추적기의 샘플링 레이트에서 기록 영상 세계에 시선 위치 시내 이다. 영상 세계 연구에 사용 된 종속 변수는 일반적으로 특정 시간대에 걸쳐 참가자 fixations 영상 세계에 특정 공간 영역에 위치는 샘플의 비율. 데이터를 분석 하려면 시간 창은 첫째로 선택할 수 관심의 기간이 라고도 한다. 시간대는 일반적으로 시간 청각 입력에서 일부 언어 이벤트의 프레 젠 테이 션에 잠겨. 또한, 영상 세계의 관심사 (ROIs), 각각의 하나 이상의 개체와 연결 된 여러 영역으로 분할 하 또한 필요 합니다. 같은 지역 한 음성된 언어의 올바른 이해에 해당 하는 개체를 포함 하 고 따라서 대상 영역 이라고 자주. 데이터를 시각화 하는 일반적인 방법은 어디 시간 창에서 각 빈에 관심의 각 지역에 얼굴로 샘플 비율 평균 참가자 및 항목 고정 비율 계획입니다.

영상 세계 연구에서 얻은 데이터를 사용 하 여, 다양 한 연구 질문 응답 될 수 있다: a) 성긴 수준에 다른 청각 언어 입력에 의해 영향을 받는 영상 세계에 참가자의 눈 움직임은? b) 경우 효과, 재판의 과정을 통해 효과의 궤적을 무엇입니까? 그것은 선형 효과 또는 상위 효과? 그리고 c) 효과, 세부적인 수준에서 다음 경우 때 이며 초기 일시적인 포인트 같은 효과 나온다이 효과 얼마나 마지막?

결과 통계적으로 분석 하려면 다음 사항은 고려해 야 합니다. 첫째, 응답 변수, 즉, fixations의 비율은 아래와 위의 제한 (0과 1 사이)는 정규 분포 보다는 다항 분포를 따를 것 이다. 이제부터, 전통적인 통계적 방법 t 시험, ANOVA, 선형 (혼합 효과) 모델¹⁰, 등 정규 분포에 따라 수 없습니다 직접 활용 비율와 같은 무제한 변수를 변형 되었습니다 때까지 경험적 로짓 수식¹¹ 유클리드 거리¹²같은 종속 변수를 무제한으로 대체 되었습니다. 이러한 정규 분포의 가정을 일반화 선형 (혼합 효과) 모델¹³ 를 필요로 하지 않는 통계적 기법 또한 사용할 수 있습니다. 둘째, 관찰 된 효과의 변화 궤적을 탐구 하는 시계열을 나타내는 변수 모델에 추가할 수 있다. 이 시계열 변수는 원래 눈 추적자 입력 언어의 발병에 realigned 포인트 샘플링의. 이후 변화 궤적 일반적으로 선형 않다, 시간 시리즈의 높은 순서 다항식 함수 (일반화 된) 선형 (혼합 효과) 모델, 즉, 성장 곡선 분석¹⁴에 일반적으로 추가 됩니다. 또한, 현재 샘플링 포인트에서 참가자의 눈 위치는 매우 의존 이전 샘플링 포인트, 녹음 주파수가 높은 경우에 특히 자기 상관의 문제에서 발생 합니다. 인접 한 샘플링 포인트 사이의 상관을 줄이기 위해, 원본 데이터는 종종 다운 샘플링 또는 범주화 된. 최근 몇 년 동안, 일반적인된 첨가제 혼합된 효과 모델 (GAMM) 또한 autocorrelated 오류¹²^,^,¹⁵¹⁶를 해결 하기 위해 사용 되었습니다. 쓰레기통의 폭 몇 밀리초에서 몇 백 밀리초 까지의 다른 연구 마다 다릅니다. 연구를 선택할 수 있습니다 하는 좁은 빈의 눈 추적자 특정 연구에 사용 된 샘플링 속도 의해 제한 됩니다. 예를 들어 눈 추적자는 500 Hz의 샘플링 속도 하는 경우 다음 시간 창의 너비 보다 2 ms = 1000/500 작을 수 없습니다. 셋째, 통계 분석은 반복적으로에 적용 하면 각 시간 빈 관심의 기간, familywise 오류 여러 비교를 태 클 한다 이들에서 유도 한다. 우리가 앞에서 설명한, 궤적 분석 알리고 연구원 성긴 수준에 관찰 하는 효과 시간의 변화에 관하여 선형 인지 관찰된 효과 등장 하기 시작 하는 때 표시 되지 않습니다 하지만 얼마나 오래 관찰 효과 지속. 관찰 된 차이 갈리는, 일시적인 기간 관찰 된 효과 지속 기간을 파악 하 고 시작할 때 임시 위치를 결정, 통계 분석 각 시간 빈에 반복적으로 적용할 수 있다. 이러한 여러 비교 통계 방법을 사용 하 든 소위 familywise 오류를 소개 합니다. Familywise 오류는 Bonferroni 조정¹⁷전통적으로 수정 되었습니다. 최근에, 원래 neuroimaging¹⁸ 에 신청에서 사용 하는 비패라메트릭 순열 테스트 라는 메서드 familywise 오류에 대 한 제어를 시각적 단어 패러다임¹⁹ 에 적용 되었습니다.

연구원은 시각적인 세계 패러다임을 사용 하 여 시각적 세계에 참가자의 눈 움직임에서 음성된 언어의 이해를 유추 하고자 합니다. 이 공제의 유효성을 보장 하기 위해, 아마도 안구의 움직임에 영향을 주는 다른 요인 배제 하거나 제어 되어야 한다. 다음 두 가지 요소를 고려해 야 할 일반적인 것 들 중입니다. 첫 번째 요인은 포함 한다 참가자 들 설명 fixations 입력에 보다 쉽게 되 고 수평 한 방향에서의 시각적 세계, 그리고 움직이는 눈 quadrat를 왼쪽 상단에 흥분 하는 경향이 같은 언어에 어떤 체계적인 패턴을 수직 방향, 관찰된 고정 패턴 개체에 관련 된, 아니라 개체 위치는 공간 위치에 개체의 공간적 위치 한다 counterbalanced 될 다는 것을 확인 하는 등¹²^,²⁰ 다른 실험에서 또는 다른 참가자 간에. 참가자의 눈 움직임에 영향을 미칠 수 있습니다 두 번째 요소는 다른 사람의 사이에서 휘도 대비, 색상 및 가장자리 방향 등 시각적 세계에서 개체의 기본 이미지 기능²¹. 진단 하려면이 잠재적인 혼란, 시각적 디스플레이 제시 일반적으로 말한 언어의 발병 이전 또는 발병의 임시 기간 동안 약 1000 씨에 대 한 음성된 언어의 중요 한 음향 표시의 발병 전에 테스트 이미지 테스트 오디오, 입력 언어 또는 입력 언어의 동음이의 포인트의 발병에는 아직 듣고 되어 있다. 다른 조건 사이 관찰 하는 어떤 다름 든 지 입력 하는 언어 보다 시각적 디스플레이 등 다른 혼동 요인 라기보다, 추론 한다. 이제부터,이 미리 보기 기간에 관찰 하는 눈 움직임 언어 입력의 효과 결정 하기 위한 기준을 제공 합니다. 이 미리 보기 기간 참가자를 얻을 시각적 디스플레이 익숙하게 하 고 말한 언어 제시 설명 fixations의 체계적인 바이어스를 줄일 수 있습니다.

전형적인 눈 추적 연구 시각적인 세계 패러다임을 사용 하 여 실시 하는 방법을 설명 하기 위해 다음 프로토콜 L. Zhan¹⁷ 의미상으로 복잡 한 계산, 즉, 의 온라인 처리를 탐험에서 적응 하는 실험을 설명 합니다. 분리형 문 (S1 또는 S2), 접속 어 문 (S1 및 S2), 그리고 만-문 (S1 하지만 하지 S2). 일반 절약, 일부 발언에 의해 표현 된 정보에서는 실제로 그것의 문자 적 의미 보다 더 강한입니다. Xiaoming의 상자 포함 암소 또는 수 탉 처럼 분리형 문은 같은 발언입니다. 논리적으로, 분리형 문이 사실이 두 disjuncts Xiaoming의 상자 포함 암소와 Xiaoming의 상자 포함 수 탉은 모두 거짓. 따라서, 분리형 문을 두 disjuncts는 모두 true Xiaoming의 상자는 암소와 수 탉을 포함 하는 해당 접속 어 문이 사실이 또한 사실 이다. 그러나 일반 대화에서, 분리형 문을 자주 나왔다 해당 접속 어 문이 잘못 듣고 (스칼라 implicature); 두 개의 disjuncts의 진리 값 (무지 유추) 스피커에 의해 알려지지 않은 것을 암시 한다. 문학에서 계정 두 추론 문법 또는 실용적인 프로세스²²^,²³^,^,²⁴²⁵^,²⁶인지에 차이가 있습니다. 실험 3 개의 복잡 한 계산의 온라인 처리를 탐색 하 여 이러한 계정 간에 판결에 시각적인 세계 패러다임을 사용 하는 방법을 보여 줍니다.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

모든 과목은 실험 프로토콜의 관리 전에 정보 서 면된 동의 주어 야 한다. 모든 절차, 동의 형태, 및 실험 프로토콜 베이징 언어와 문화 대학 연구 윤리 위원회에 의해 승인 되었다.

참고: 일반적으로 시각적인 세계 패러다임을 사용 하 여 이해 연구는 다음 단계로 구성 됩니다: 탐험; 이론적인 문제 소개 형성 된 실험적인 디자인; 준비 하는 시각 및 청각 자극; 실험 디자인에 관하여 이론적인 문제를 프레임 참가자의 눈 움직임;을 추적 하는 눈 추적자 선택 소프트웨어를 선택 하 고 자극; 현재 소프트웨어로 스크립트를 구축 코드 및 기록된 눈 움직임 데이터를 분석. 특정 실험 설명 단계에서 다른 달라질 수 있습니다. 예를 들어, 프로토콜은 실험을 실시 하 고 연구자 빌드하고 시각적인 세계 패러다임을 사용 하 여 그들의 자신의 실험을 실시 하는 때 명심 하는 몇 가지 포인트를 논의 소개 된다.

1. 준비 테스트 자극

시각적 자극
1. 인터넷에서 저작권의 무료 동물의 60 클립 아트를 다운로드 합니다. 오픈 이미지 편집기 (예: Pixelmator), 각 이미지 하나 하나 클릭 도구 | 빠른 선택 도구 선택 하 고 배경 삭제. 이미지 클릭 | 이미지 크기 를 120 x 120 픽셀을 조정.
2. 그림 1에서 볼 수 있듯이 4 빛 녹색 상자를 그릴 그림을 전공 하는 학생을 초대 합니다. 이미지 편집기를 사용 하 여 각각 320 x 240 픽셀, 160 x 160 픽셀의 크기와 작은 닫힌된 상자 및 두 개의 작은 오픈 상자 160 x 240 픽셀, 큰 열기 상자에 의해.
3. Pixelmator 클릭 | 파일 | 새로운 1024 768의 크기와 테스트 이미지의 템플릿 구축 픽셀. 그림 1에서 설명 되 고 수정 위치에 동물 및 상자를 끕니다.
  참고: 테스트 이미지의 레이아웃 차이가 연구, 하지만 최적의 방법으로 4 개의 개체를 사용 하 고 테스트 이미지의 4 개의 사분면에 넣어. 이 방법에서는, 그것은 개체의 공간적 위치를 맞출 쉽습니다.
4. 각 동물 이미지를 두 번 사용 되 고 그림 1, 같은 60 테스트 이미지를 만듭니다. 이미지 중 네 개의 상자의 공간 위치 맞출
  참고: 이미지의 수는 없습니다 될 정확한 60, 그들의 효과 실험 조작의 사람이.
음성된 언어 자극
1. 각 테스트 이미지 및 기록 총에서 240 테스트 문장에 해당 하는 4 개의 테스트 문장 디자인. 3 4 개의 문장 중 그림 2;의 형태로 확인 그리고 필러 문장 형태의 수 탉 하지만 암소 Xiaoming의 상자 포함 되어 있지 않습니다.
  참고: 테스트 문장은 모국어 참가자 이야기에 제시 해야 합니다. 이 실험에서 참가자는 테스트 언어 중국어 이므로 베이징, 중국 본토에서에서 중국.
2. 실험에 사용 되는 모든 동물의 오디오로 서 그림 2, 같은 4 개의 예 문을 기록 하는 여성 원어민 (이 실험에서 중국어의 모국어 사용자)를 모집 합니다. 격리 된 동물 이름 녹음, 상상 동물의 이름을 Xiaoming의 상자에 /를 포함 _ 같은 간단한 문장 그대로 구성 요소는 스피커에 게 하지만 그녀만 노골적으로 동물의 이름을 발음 합니다.
3. 오디오 테스트 오디오의 전체 목록을 만들려면 각 재판에서 사용 되는 두 동물의 예 문에서 두 동물의 오디오 세그먼트를 교체 합니다. 첫째, Praat (다른 오디오 편집 소프트웨어 자격 대안 이다)를 열고 오픈을 클릭 | 파일에서 읽는 | 파일 | 열고 편집, 교체, 요소를 이동 하 고 를 클릭 보기 및 편집 | 편집 | 사운드 클립보드에 선택 영역을 복사. 둘째, 동일한 단계를 사용 하 여 예 문을 열고, 선택 후 붙여넣기를 클릭 합니다. 셋째, 클릭 저장 | wav 파일로 저장 편집된 문. 을 저장 하 변경 해야 할 모든 요소에 대 한 프로세스와 모든 테스트 문장을 반복 합니다.
4. 생성 된 테스트 오디오 가능한 고 자연 여부 확인 테스트 언어 (중국어 여기)의 약 10 원어민을 모집 합니다.
  참고: 테스트 오디오는 전통적으로 별도 단어 보다는 전체적으로 기록. 이 전통적인 녹음 방법은 합리적인 테스트 오디오는 스스로 단어 구분 합니다. 그러나 음성된 언어 자극은 별도 단어 보다는 문장을,,이 전통적인 메서드는 몇 가지 단점: 첫째, 연속 음성의 유비 쿼터 스 속성은 두 또는 일시적으로 그리고 공간, 중복 하는 경향이 더 많은 음성 소리 만드는 중요 한 단어의 개시를 결정 하기 어렵다. 둘째, 다른 재판의 길이 사이의 편차 또한 어렵게 함께 통계 분석에 대 한 모든 실험을 결합 합니다. 셋째, 전통적인 녹음 메서드는 종종 시간이 소요 특히 테스트 오디오의 숫자는 상대적으로 큰, 우리는 프로토콜에 보고 실험 등. 전통적인 녹음 방법의 단점을 극복, 음성된 테스트 오디오를 생성 하는 다른 방법을 제안. 첫째, 샘플 문장이 포함 된 모든 테스트 오디오 중에서 공통 되는 단어의 목록을 기록 했다. 둘째, 모든 단어 시험 사이의 변경 했다 고립에도 기록 됩니다. 마지막으로, 샘플 문장 테스트 오디오의 전체 목록을 생성 하는 기록 된 단어와 대체 되었다. 전통적인 방법에 비해, 새로운 메서드는 몇 가지 장점이 있습니다. 첫째, 모든 테스트 오디오는 정확 하 게 중요 한 단어에 대 한 제외 하 고 동일 및 테스트 오디오에 모든 잠재적인 혼란 효과 이제부터 제어 됩니다. 둘째, 길이에서 동일 하다 또한 쉽게 테스트 오디오의 세분화 보다 때 테스트 오디오를 전체적으로 기록 됩니다. 이 방법의 1 개의 잠재적인 불리는 생성 된 오디오 수 있습니다 자연입니다. 이제부터, 테스트 오디오의 자연 스러움은 실제 테스트에 대 한 자격 평가...
240 테스트 문장 15 접속 어 문, 15 분리형 문, 15 만 , 문과 15 필러 문장에 포함 된 각 그룹의 4 개의 그룹으로 나눕니다. 각 참가자 240 재판의 한 그룹에서 확인: 그 모든 테스트 이미지 하지만 테스트 오디오의 한 그룹을 듣고 본다.
참고: 이것은 동일한 자극을 반복 하는 경우 참가자 수 있습니다 우려를 해결 하기 위해 수 및 이러한 자극에도 익숙한 지 고 그들은 어떻게 자극에 응답 하는 것에 대 한 전략적 되 고.
240의 각각에 해당 하는 각 행으로 탭으로 구분 된 txt 파일로 테스트 자극에 대 한 모든 중요 한 정보를 저장 합니다. 확인 파일을 다음 열 적어도 포함: experiment_group, sentential_connective, trial_number, test_image, test_audio, test_audio_length, ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right, animal_1_ 이미지, animal_1_audio, animal_1_audio_length, animal_2_image, animal_2_audio, animal_2_audio_length.
참고: experiment_group 는 240 재판 4 그룹으로 분할 하는 데 사용 됩니다. sentential_connective 는 다른 실험 조건에 해당합니다. animal_1_image 테스트 이미지에 사용 되는 동물을 가진 참가자를 첫째로 표시 됩니다 동물의 이미지에 해당 합니다. test_image, test_audio및 test_audio_length 를 참조 하십시오 테스트 이미지와 뿐만 아니라 테스트 오디오의 길이 현재 재판에 사용. ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right 에서 현재 재판, 즉4 개의 관심 분야의 이름을 참조 하십시오., 그것은 "큰 열기" 상자, "작은 폐쇄" 상자, 작은 오픈 여부 테스트 오디오에서 먼저 언급 된"동물을 포함 하는 상자 또는"두 번째 언급 한"동물 테스트 오디오에 포함 된 작은 열기 상자. animal_1_audio 및 animal_1_audio_length 오디오 및 animal_1_image에 해당 하는 오디오의 길이를 나타냅니다. animal_2_image, animal_2_audio및 animal_2_audio_length 나타납니다 두 번째 동물에 해당. 한 가지 강조 하는 두 동물을 제시 하는 시퀀스는 첫 번째 또는 테스트 오디오의 두 번째 절반 동물 언급 여부에 대해 균형 세력.

2. 실험 설계에 관한 이론적 예측 프레임.

참가자의 행동 반응과 안구의 움직임 실험 설계 테스트 문장의 함축을 차별화 하는 데 사용할 수 있습니다 하 고 테스트할 다른 계정 간에 판결을 사용할 수 있습니다.
참고: 주어진 실험 설계, 접속 어 문에 올바른 응답 상자 A 그림1과 같은 큰 열기 상자입니다. 하지만올바른 응답-문이 작은 열기 상자 테스트 오디오, 그림 1에서 상자 D 등의 전반에서 언급 되 고 동물을 포함 하는. 그러나, 분리형 문에 대 한 참가자의 응답 두 논의 추론 처리 여부 및 방법에 따라 달라 집니다. 참가자는 스칼라 implicature도 무지 유추를 계산 하는 경우 모든 네 개의 상자 자격 옵션이 있습니다. 참가자 스칼라 implicature 하지만 무지 유추 그럼 큰 열, 그림 1, A 상자 등을 계산 하는 경우, 판결 될 것입니다 그리고 나머지 세 개의 상자 B, C 및 D는 모든 자격이 옵션. 참가자 계산 무지 유추 하지만 스칼라 implicature 하지 경우 작은 오픈 상자 밖으로, 즉지배 될 것입니다., C와 D 상자 제외 될 것입니다. 요약 하면, 그림 1, 상자 B 같은 작은 닫힌된 상자 하지 선택 됩니다 스칼라 implicature 무지 추론까지 분리 정책의 마지막 옵션으로 모두 계산 됩니다.

3. 실험 스크립트 빌드

실험 작성기, 클릭 파일을 열고 | 새로운 는 실험 프로젝트를 만듭니다. Vwp_disjunction같은 프로젝트 이름을 입력 합니다. 프로젝트 위치를 선택 합니다. EyeLink 실험 을 확인 하 고 드롭 목록에서 Eyelink 1000plus 를 선택 합니다. 이러한 작업 하위 디렉터리 vwp_disjunction 폴더에 "graph.ebd" 라는 파일을 만들 것입니다 실험에 관련 된 모든 파일을 포함 하는 하위 디렉터리를 만듭니다.
참고: 실험 작성기는 테스트 자극을 제시 하 고 그들의 행동 반응을 참가자의 눈 움직임을 기록 하는 실험 스크립트를 구축 하는 데 사용 됩니다. 실험 작성기 실험 스크립트를 만들려고 무슨 도구입니다. 그것은 사용 하기 쉬운, 하지만 다른 자극 프레 젠 테이 션 소프트웨어 자격 대안 이다.
그림 3에서 보듯이 시각적인 세계 패러다임을 사용 하 여 일반적인 눈-추적 실험의 계층 구조를 시각화 합니다. 그림에서 분홍색 사각형 각 실험 작성기;에 의해 시퀀스 개체로 구현 됩니다. 그리고 회색 배경 가진 각 개체 노드 개체로 구현 됩니다.
참고: 시퀀스 실험 작성기에서 복잡 한 노드로 다른 개체를 체인화 하는 데 사용 하는 실험적인 루프 컨트롤러입니다. 시퀀스는 항상 시작 노드를 시작합니다. 그리고 각 시험에 대 한 다른 매개 변수를 시퀀스 노드 데이터 소스를 연결할 수 있습니다.
실험 순서를 구축
1. 파일을 클릭 | 오픈, 실험의 디렉터리를 탐색 하 고 저장 된 실험 프로젝트를 열고 프로젝트 디렉터리에 있는 graph.ebd 파일을 더블 클릭.
2. 편집을 클릭 합니다 | 라이브러리 관리자 | 이미지 | 추가 실험 프로젝트에 이미지를 로드. 마찬가지로, 편집을 클릭 합니다 | 라이브러리 관리자 | 사운드 | 추가 실험 프로젝트에 오디오를 로드.
3. 작업 공간에 DISPLAY_SCREEN 개체를 끌어서 지시로 이름을 변경 하려면 속성 패널의 레이블 값을 변경. 명령 노드를 두 번 클릭 하 고 실험 명령 입력을 여러 줄 텍스트 리소스 삽입 단추를 클릭 합니다. 다음 정보를 포함 하는 지시 해야 합니다.
  각 시험에서 먼저 표시 됩니다 두 동물의 이미지 한 동물 차례로 화면에 인쇄 된 스크린의 양쪽에 위치한 두 명의 스피커에서 재생 하는 동물의 오디오와 함께. 검정색 점이 다음 화면의 중심에 표시 됩니다. 도트에 편집증 동안 공간 키를 눌러 해야 합니다. 다음, 화면에 인쇄 된 4 개의 상자 구성 된 테스트 이미지를 보고 하 고 두 명의 스피커를 통해 재생 중인 테스트 문장 듣고 합니다. 귀하의 작업을 들 었 고 최대한 빨리 해당 하는 단추를 눌러 테스트 문장에 따르면 Xiaoming의 상자를 찾습니다은:
  왼쪽 위 상자---왼쪽된 화살표
  상단 오른쪽 상자---위쪽 화살표
  하단 왼쪽 상자---왼쪽된 화살표
  아래 오른쪽 상자---오른쪽 화살표
  각 테스트 이미지에 4 개의 사분면 및 상자에 포함 된 두 개의 동물에 위치한 네 개의 상자를 볼 것 이다. 4 개의 상자 2 차원에서 다를 수 있습니다: 그것의 친밀감 및 그것의 크기. 그 상자에 포함 된 animal(s) 하지 우리의 확률 지식을 영향 상자 닫혀 여부. 상자가 열려 있으면 그 상자에 포함 된 animal(s) 알려져 있다. 한 상자를 닫은 경우 그 상자에 포함 된 animal(s) 알 하지 않습니다. 상자의 크기 상자, 하지만 하지 우리의 확률에 대 한 지식을 그 상자에 포함 된 동물의 수를 영향을 줍니다. 상자에 상관 없이 또는 하지, 작은 상자와 항상만 포함 한 동물, 닫히고 큰 상자는 두 개의 서로 다른 동물에 항상 포함 됩니다.
  실험 목표와 절차 편안 있다면 알고 실험을 알려주시기 바랍니다 그리고 우리가 표준 눈 교정 및 유효성 검사 루틴을 추적을 수행 하는 데 도움이 것입니다. 질문이 있는 경우 요청 하는 것을 망설이 지 말라
  참고: 이것은 (지침 참가자 이야기, 중국어 여기 같은 네이티브 언어로 작성 해야) 실험 하기 전에 화면에 인쇄 됩니다.
4. 작업 공간으로 키보드 개체를 끕니다.
  참고:이 단계는 종료 명령 화면
5. 작업 공간에 시퀀스 개체를 끌어서 블록으로 이름을 바꿉니다.
6. 블록 시퀀스 선택 데이터 원본 편집기를 데이터 소스 속성의 값 필드를 클릭 합니다. 데이터 원본 편집기 화면 단계를 가져오는 데이터 소스 1.4에서 만든.txt 파일에이 마에서 데이터 가져오기 단추를 클릭 합니다.
7. 데이터 원본 편집기에서 랜덤 설정 버튼을 클릭, 활성화 재판 랜덤체크, 열 필드, 그리고 선택 experimental_group 의 값 필드에서 trial_number 를 선택합니다 분할 열 필드의 드롭 목록입니다.
8. 또한 두 번째 DISPLAY_SCREEN 작업 공간에 개체를로 이름을 바꿉니다 안녕. 안녕 노드를 두 번 클릭 하 고 다음 정보를 삽입: 참가자의 모국어 (중국어이 프로토콜에):실험 완료 하 고 참여해 주셔서 대단히 감사 합니다.
9. 시작 노드에서 left-click, 화살표 명령 노드를 끌어서 시작 노드 명령 노드를 연결 하려면 마우스 단추를 놓습니다. 동일한 마우스 이동 명령 노드 노드에 연결 하는 키보드 , 키보드 노드 블록 노드, 작별 노드를 다음 블록 노드를 반복 합니다. 보기 | 레이아웃 정렬 작업 영역에 노드를.
블록 시퀀스를 구축
1. 더블 블록 시퀀스를 열려면 클릭 합니다. 카메라 설정, 교정, 및 유효성 검사를 수행 하는 실험에 대 한 EyeLink 호스트 PC에 카메라 설치 화면을 블록 시퀀스에 El_CAMERA_SETUP 노드를 끕니다. 속성 패널에서 교정 유형 필드 를 클릭 하 고 드롭다운 목록에서 HV5를 선택 합니다.
  참고: 다른 실험적인 디자인 사이의 매핑 프로세스에서 위치 수 달라 집니다. 샘플 자세한 위치와 더 많은 공간 커버, 큰 정확도 기대할 수 있습니다. 하지만 프로세스를 완료 하려면 더 많은 시간을 의미 하는 더 많은 샘플. 그래서 실질적으로, 특정 연구에 위치 수 참가자 preliterate 또는 임상 환자 특히 때 매우 큰 수 없습니다. 시각적인 세계 패러다임에 관심 분야의 수는 상대적으로 작은, 그리고 관심 분야는 일반적으로 상대적으로 큰. 매핑 프로세스는 비교적 적은 수의 위치와 만족 수준을 도달할 수 있다. 설명한 프로토콜, 나 5 포인트의 교정 및 유효성 검사를 사용 합니다.
2. 블록 시퀀스에 시퀀스 노드를 드래그 하 고 재판으로 이름을 바꿉니다. 시작 노드 CAMERA_SETUP 노드 프E 노드를 다음에 연결할.
시도 시퀀스를 구축
1. 더블 클릭을 열고 재판 순서, 예 심 순서에 DISPLAY_SCREEN 노드를 드래그 animal_1_image로 이름을 바꿉니다. 더블 클릭 화면 작성기 노드를 열고 업로드 된 이미지 소스에서 동물 이미지를 삽입 하려면 화면 작성기 도구 모음에서 이미지 리소스 삽입 단추를 클릭 합니다. 소스 파일 이름 속성의 값 필드를 클릭 합니다, 그리고 블록 시퀀스;에 연결 된 데이터 원본 으로 이동 그리고 Animal_1_Image 열 데이터 소스의 올바른 열 DISPLAY_SCREEN 연결을 두 번 클릭.
2. 재판 순서에 PLAY_SOUND 노드를 드래그 하 고 animal_1_audio로 이름을 바꿉니다. Animal_1_audio 노드의 사운드 파일 속성을 클릭 하 고 데이터 소스의 올바른 열과 연결 하는 (되 고 단계에서 설명한 3.5.1).
3. 재판 시퀀스에 타이머 노드를 끌어서로 이름을 바꿉니다 animal_1_audio_length. 기간 속성을 클릭 합니다 타이머 노드 3.4.1에서 만든 데이터 소스의 올바른 열으로 이동 하 고.
4. 재판 순서에 다른 DISPLAY_SCREEN , 다른 PLAY_SOUND 노드, 노드와 다른 타이머 노드를 드래그, animal_2_image,animal_2_audio, 및 동물 이름을 _2_audio_duration, 단계 3.5.1-3.5.3에에서 설명 된 단계를 반복 하십시오.
  참고:이 단계는 같은 이미지 다른 참가자에 의해 다르게 라는 수는 잠재적인 혼동에 대 한 제어를 포함. 제시 하는 테스트 오디오의 첫 번째 또는 두 번째 절반에 언급 하는 여부에 관하여 두 동물의 순서 맞출
5. 시도 시퀀스에 준비 시퀀스 개체를 끌어서 속성 Eyelink 호스트에 그릴 이미지변경.
  참고:이 노드 실시간 이미지 그리기와 소리 재생에 대 한 메모리를 이미지와 오디오 파일을 미리 로드 하는 데 사용 됩니다. 그리고 그것은 또한 참가자의 시선을 정확도 모니터링할 수 있도록 호스트 PC에 피드백 그래픽을 그리는 데 사용 됩니다.
6. 드리프트 보정 소개 하 재판 순서에 DRIFT_CORRECT 노드를 끕니다.
7. 새 시퀀스 노드 끌어서 녹화로 이름을 바꿉니다. 연결 시작 이러한 노드 하나 하나.
녹화 순서를 구축
1. 녹음 시퀀스의 속성 패널에서 레코드 필드를 확인 하 고 녹음 시퀀스를 열려면 두 번 클릭.
  참고: 레코드 속성 확인 시퀀스는이 기간 동안 참가자의 눈 움직임을 기록 될 것 이다 의미 합니다.
2. 레코드 시퀀스에 새로운 DISPLAY_SCREEN 를 드래그, test_image로 이름을 바꿉니다. Test_image 노드의 메시지 속성으로 메시지 test_image_onset 를 추가 합니다.
  참고: 데이터 분석 단계에서 test_image 노드에 메시지와 메시지 test_audio 노드 (3.6.6 단원)에서 중요 하다 각 재판에서 테스트 이미지의 발병 및 테스트 오디오의 발병을 찾으려고.
3. 더블 클릭 화면 작성기 노드를 열고 업로드 된 이미지 소스에서 어떤 동물 이미지를 삽입 하려면 화면 작성기 도구 모음에서 이미지 리소스 삽입 단추를 클릭 합니다. 소스 파일 이름 의 값 필드를 클릭 합니다 속성 블록 시퀀스;에 연결 된 데이터 원본 으로 이동 그리고 test_image 열 데이터 소스의 올바른 열 DISPLAY_SCREEN 연결을 두 번 클릭.
4. 더블 클릭 DISPLAY_SCREEN 노드 화면 작성기를 열고 사각형 관심 영역 영역 삽입, 버튼을 클릭 하 고 그림 1에서 파란색 상자에서 볼 수 있듯이 관심의 4 개의 사각형 영역을 그립니다. Top_Left, Top_Right, Bottom_Left, 및 Bottom_Right, 관심 분야는 4의 레이블을 변경 하 고 데이터 소스의 올바른 열 출원 DataViewer 이름 을 연결 합니다.
  참고:이 분야는 참가자에 게 표시 되지 않습니다. 관심 분야를 더 의미 있도록, 예제 "상자 (큰 연)"로 영역을 왼쪽의 이름 레이블을, 상단 오른쪽 위치 "상자 b (작은 폐쇄)", "C (두 번째 언급) 상자", 왼쪽된 영역 및 영역 하단 오른쪽 영역으로 "상자 D (먼저 언급 되는)" 두 개의 작은 오픈 상자 포함 두 동물 테스트 오디오의 첫 번째 및 두 번째 절반에 각각 언급 되 고 있기 때문에.
5. 타이머 노드를 작업 영역으로, 일시 중지, 이름을 끌어서 500 밀리초 Duration 속성이 변경.
  참고:이 타이머 노드 테스트 이미지의 개시와 테스트 오디오의 발병 사이의 지연 몇 시간을 추가합니다. 지연 시간 테스트 이미지에 익숙해지도록 기회 참가자를 제공 합니다. 이 미리 보기 기간 동안 참가자의 눈 움직임 또한 중요 한 단어는 테스트 오디오의 시작 부분에 위치 하는 경우에 특히 음성된 언어 입력의 효과 결정 하기 위한 기준을 제공 합니다.
6. 작업 공간 PLAY_SOUND 노드를 드래그 하 고 test_audio로 이름을 바꿉니다. 사운드 파일 속성을 클릭 합니다 (단계 3.5.1에에서 설명 된)로 데이터 소스의 올바른 열과 연결 하 고 메시지를 추가 test_audio_onset Message 속성에.
7. 작업 공간에 타이머 노드를 끌어, 그것으로 이름을 test_audio_length. 10500 석사 기간 속성을 변경 합니다.
8. 새 타이머 노드를 추가 하 고 이름을 record_extension, 4000 ms Duration 속성이 변경 합니다.
9. 작업 공간에 새로운 키보드 노드를 추가 하 고 행동 응답, 이름을"[, 아래, 오른쪽, 왼쪽]허용 키 속성을 변경.
  참고: 참가자의 행동 선택은 참가자의 눈 움직임에서 추론 결론의 타당성 확인을 두 번 사용할 수 있습니다.
10. 시작 노드를 일시 중지, test_audio, test_audio_length, Record_extension 노드를 연결할. Test_audio_length 에서 behavioral_responses 노드를 다른 연결을 추가 합니다.
  참고: 이러한 연결을 추가 하 여 현재 시도 종료 됩니다 참가자 오디오 테스트의 오프셋 후 Xiaoming의 상자, 또는 4000 ms를 선택 키를 만든 후 새로운 재판 시작 됩니다.
11. 변수 노드 작업 공간으로, key_pressed, 이름을 끌어서 behavioral_Responses 키보드의 값 속성을 연결할 | 데이터 트리거 | 키.
12. 작업 공간에 RESULT_FILE 노드를 끌어 작업 공간으로 ADD_TO_RESULT_FILE 노드를 드래그 하 고 ADD_TO_RESULT_FILE에 record_extension 노드 및 behavioral_responses 노드를 연결 노드.
실험을 클릭 | 빌드 실험 스크립트를 작성 하려면 실험 | 테스트 실험을 실행 하는 테스트를 실행. 모든 후, 클릭 실험 | 배포 실험 프로젝트의 실행 버전을 만들.
참고:에 대 한 자세한 실험 작성기를 사용 하는 방법, 소프트웨어 수동²⁷을 참조 하십시오.

4. 참가자 모집

참가자 정상 또는 수정 정상 시력을 확인 합니다. 렌즈는 깨끗 한 만큼 콘택트 렌즈, 하지만 안경을 착용 하 근 참가자 허용도 것이 좋습니다. 모든 참가자 등 중국어 여기 테스트 언어의 네이티브 스피커 인지 확인 합니다.
참고: 일반적으로, 참가자로 간주 됩니다 자격으로 참가자는 약 60 센티미터의 거리에서 테스트 이미지를 볼 수 있습니다. 일부 어림에 따르면 참가자 수 회귀 분석에 대 한 참가자의 수는 50 이상 이어야 한다. 여기, 30-7 베이징 언어와 문화 대학에서 대학원 학생 권장된 금액 보다 조금 작은 실험에 참가 했다.

5. 실험 실시

참고: 참가자는 보통 개발된 성인, 한 실험 충분 하다 행위는 실험을 실시. 그러나 참가자는 특별 한 인구, 아이 들, 같은 경우 두 개 이상의 경험 필요.

참가자의 눈 움직임을 기록 하는 눈 추적을 선택 합니다.
참고:이 실험에 사용 된 눈 추적자는 Eyelink 1000plus 무료 이동 머리 모드에서 실행. 이 비디오 기반, 데스크톱 탑재 눈 추적 시스템, 추적 눈의 회전을 각 막 반사 (CR)와 학생의 원리를 사용 하 여입니다. 무료 이동 머리 모드에서 실행 될 때 눈 추적자 보다 0.5 °의 평균 오차는 0.01 °의 공간 해상도와 500 Hz의 단 안 샘플링 속도가 있다. 시스템의 자세한 정보를 자사의 기술 사양²⁸^,²⁹를 참조 하십시오. 대체 추적기를 사용할 수 있습니다, 있지만 원격 추적 모드와 함께 그들은 더 나은, 특히 때 참가자 preliterate 어린이.
카메라의 호스트 응용 프로그램을 시작 하는 호스트 PC에는 시스템을 부팅 합니다.
데스크탑 원격 모드로 시스템을 구성 하려면 설정 옵션 단추를 클릭 합니다, 구성 옵션을 설정 데스크톱-대상 스티커-단 안-16/25 m m 길이-RTARBLER.
PC 디스플레이에 실험 프로젝트의 실행 파일 버전, 참가자의 이름, 입력을 프롬프트 창에서 그룹 을 선택 를 . 을 실행에 상태 값을 선택
참고: 각 테스트 세션 실험 프로젝트의 하위 디렉터리 결과에서 입력 된 이름을 가진 폴더를 만듭니다. EDF 파일 폴더 관련 눈 움직임 데이터 포함.
27 픽셀 각도의 1 정도로 21 인치 4:3 1024px x 769px 해상도, 컬러 모니터에서에서 약 60cm에 앉아 참가자를 요구 하십시오.
되도록 참가자 장착 되 고 앞을 보고, 그들은 모니터의 75%를 가기 위해 중간에 세로로 찾고 있습니다 때 디스플레이 PC 모니터의 높이 조정 합니다.
참고:의 자, 책상, 그리고 PC 모니터는 기본 높이 조정 가능한 경우. 자 및 책상 피 마자를 가진 피해 야 한다, 그들은 실수로 이동 및 롤을 일으킬 하는 경향이.
장소 참가자의이 마에 작은 대상 스티커 경우에 학생 이미지 손실 등 점멸 또는 갑작스런 움직임 동안 머리의 위치를 추적할 수 있습니다.
참고: 다른 눈 추적자 추적 참가자의 머리에 다른 방법을 사용할 수 있습니다. 피사체의 측면 운동 범위를 극대화 하기 위해 추적된 눈은 조명으로 같은 쪽에 있어야 합니다.
초점으로 눈 이미지를가지고 데스크 마운트에 초점 팔을 회전.
관계의 시선 앞에 참가자의 눈 움직임을 매핑할 호스트 명백한 행동 무반응으로 임의의 연속 5 고정 목표물의 그리드를 흥분 하 게 참가자에 의해 보정 프로세스를 수행 하는 PC에서 보정 버튼을 클릭 시각적 세계에서.
고정 목표의 동일한 그리드 흥분을 묻는 참가자에 의해 보정된 결과 확인 하기 위해 PC 호스트에서 유효성 검사 단추를 클릭 합니다. 오류 1 ° 보다 큰 경우 교정 및 유효성 검사 루틴을 반복 합니다.
실험 및 측정 정확도 가난한 때마다 처음 두 루틴을 수행 (예., 강한 머리 움직임 또는 참가자의 자세 변화 후).
호스트는 실험을 시작 하는 PC에 녹음 버튼을 클릭 합니다.
화면 중앙에 검은 점이에 편집증 키보드에 스페이스 키 누르면 참가자를 요청 하 여 각 시험에서 드리프트 검사를 수행 합니다.
참고: 때 참가자는 preliterate 또는 명시적으로 편집증 검은 점 하는 것은 일반적으로 실제 키보드를 눌러 그들을 지시 하는 임상 환자. 하지만 그들의 관심과 눈 fixations 표시 된 검은 점으로 자동으로 매료 하는 경향이 있다. 이 경우에 실험 참가자에 검은 점이 편집증은 하는 동안 키보드를 눌러 사람 이어야 한다입니다.
PC 디스플레이 모니터를 통해 시각적 자극을 제시 하 고 (이어폰은 허용도) 모니터의 오른쪽 왼쪽에 위치 하 고 외부 스피커의 한 쌍을 통해 청각 자극 놀이.
참고: 녹음은 24 kHz 모노 사운드 클립으로 하드 디스크에서 재생 됩니다. 특별 한 이유가 있는 경우에, 모노 사운드 클립은 스테레오 사운드 클립을 선호 합니다. 스테레오 사운드 클립에 두 사운드 트랙 뿐만 아니라 두 명의 스피커 사이의 차이 차이 참가자의 눈 움직임에 영향을 수 있습니다. 눈 추적을 사용 하는 방법에 대 한 자세한 내용은, 사용자 수동³⁰를 참조 하십시오.

6. 데이터 코딩 및 분석

데이터 뷰어를 열고, 파일을 클릭 | 파일 | 여러 Eyelink 데이터 파일 (확장명이 EDF의), 모든 기록 된 눈 추적 파일을 가져오고 단일 에 그들을 저장 하는 것을. EVS 파일.
저장 된 EVS 파일을 열고 클릭 분석 | 보고서 | 샘플 보고서 아무 집계와 원시 샘플 데이터를 내보낼.
참고: 만약 눈 추적자는 500 Hz의 샘플링 레이트, 내보낸된 데이터 해야한다 500 데이터 포인트, 이제부터 500 행, 당 두 번째 재판 당. 참가자의 왼쪽된 눈을 추적 하는 경우 데이터 소스에서 만든 변수 뿐 아니라 다음 열 수출 확인: RECORDING_SESSION_LABEL, LEFT_GAZE_X, LEFT_GAZE_Y, LEFT_INTEREST_AREA_LABEL, LEFT_IN_BLINK, LEFT_IN_SACCADE, LEFT_PUPIL_ 크기, SAMPLE_INDEX, SAMPLE_MESSAGE입니다. 데이터 뷰어를 사용 하는 방법에 대 한 자세한 내용은, 소프트웨어 수동³¹를 참조 하십시오.
테스트 오디오, 즉오프셋에 테스트 이미지의 발병에서 임시 창으로 통계 분석을 제한., 11 기간 임시 창 s.
와 같은 참가자 대략 기록 된 데이터의 10%에 영향을 미치는 그들의 눈을 깜박 어디 참가자의 눈 움직임은 기록 되지 않습니다, 샘플을 삭제 합니다.
결과 일반적으로 이러한 샘플의 삭제 여부에 상관 없이 동일한 참고:이 단계는 선택 사항입니다.
코드는 데이터입니다. 하는 특정 샘플링 포인트, 코드 1 참가자 눈 고정 그 샘플링 시점에서 분석 하는 지역에 위치 하는 경우 데이터에에서 대 한 관심의 특정 영역에 대 한 데이터를 생성 합니다. 눈 고정 하지 그 샘플링 시점에서 관심의 영역에 위치 하는 경우 0으로 데이터를 코드.
의 비율-정착 획득된 데이터 시각화를 그립니다. 평균 관심의 특정 영역 fixations의 비율을 계산 하기 위해 각 샘플에 모든 참가자에 대 한 모든 시련에 대 한 코딩 된 데이터 각 조건 포인트. 관심의 영역을 나타내는 다른 패널 및 다른 실험 조건을 나타내는 플로팅 색상에 계산 된 비율-의-fixations 축에 샘플링 포인트에 대 한 y를 플롯 합니다.
참고: 실험에서 4 패널의 4 개의 영역에 참가자의 고정 패턴 묘사. 테스트 문을 했다 접속사 (S1 및 S2), (S1 하지만 하지 S2), 하지만 문을 disjunctions (S1 또는 S2), 각각 빨강, 녹색 및 파란색 라인 참가자의 고정 패턴을 그림. 설명 그림을 그리는 데 사용 되는 소프트웨어는 R 환경에서 ggplot2 패키지입니다. 다른 소프트웨어는도 있습니다. 그림 5 는 이러한 음모의 예입니다.
데이터 샘플링 시점 관심 분야 또는 참가자의 고정 위치 여부에 따라 0 또는 1로 코딩 되었다로 이항 일반화 된 선형 혼합된 모델 (GLMM)에서 각 샘플링 포인트의 각 지역에 맞게.
참고: 데이터 범주화 되지 하 고 암호화 된 데이터에만 수 1 또는 0, 그래서 코딩 된 데이터의 분포는 정상 보다는 오히려 이진. 이제부터, 이항 분포의 가족과 GLMM 모델이 사용 됩니다. GLMM 모델에는 고정된 기간, 실험 조건, 그리고 두 개의 임의의 용어, 참가자 및 항목 포함 되어 있습니다. 두 개의 임의의 용어를 평가 하는 수식이 포함는 교차 실험 조건의 기울기. 모델 피팅 할 하는 데 사용 하는 소프트웨어는 R 환경에서 lme4 패키지입니다. 다른 소프트웨어는도 있습니다. 한 가지 언급 되어야 합니다 그 고정된 항목의 초기 때 달랐다 분석된 관심 영역, 즉., 분석 된 상자는 다른. 구체적으로 하려면, (S1 및 S2) 함께 선정 되었다 기준으로 큰 열기 상자 (상자 A) 분석할 때 작은 폐쇄 상자 (상자 B) 분석할 때 (A와 B)는 분리 기준으로 선정 되었다 고 하지만 문 선정 되었다 첫 번째 언급 한 상자 (상자 D) 분석할 때 기준선.
Bonferroni 여러 비교에 의해 유도 된 familywise 오류를 줄이기 위해 월드 z 테스트로 얻은 p 값을 조정 합니다.
참고: Bonferroni 조정 여러 비교에 의해 유도 된 familywise 오류를 해결 하기 위해 전통적인 방법입니다. 우리 소개 섹션에 설명 된 대로 다른 메서드를 사용할 수 있습니다.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

참가자의 행동 응답 그림 4에 요약 되어 있습니다. 우리가 앞에서 설명한, 접속 어 문 (S1 및 S2)에 대 한 올바른 응답 상자 A 그림1과 같은 큰 열기 상자입니다. 하지만올바른 응답-문 (S1 하지만 하지 S2) 작은 열기 상자 상자 D 그림 1에서 같이 첫 번째 언급 한 동물을 포함 하는. 비판적, 분리형 문을 처리 하는 방법에 따라 어떤 상자가 분리 정책 (S1 또는 S2) 선택: 상자 B 그림 1에서 같은 작은 닫힌된 상자 경우에만 선택은 스칼라 implicature와 무지 추론 분리형 문에 관련 된 둘 다 계산 됩니다. 그림 4 (S1 또는 S2) 분리형 문을 이해 하는 경우 참가자 계산 두 두 가지 추론을 보여 줍니다.

또한, 작은 닫힌된 상자에 참가자의 눈 fixations 이러한 fixations는 그 상자에 행동 반응에 의해 다음 경우에 특히 또한 제안 스칼라 implicature와 무지 추론 계산 됩니다. 두 개의 추론 해야 처리 되었습니다 초기 일시적인 포인트 보다 참가자 그들의 시각적 주의 fixations 작은 닫힌된 상자에 이동 하는 경우. 참가자의 눈 움직임 그림 5에 요약 되어 있습니다. 우리 B 패널에서 볼 수 있는, sentential 결합은 분리 연결, 또는하지 않는 한 참가자의 눈-fixations는 작은 폐쇄 상자 (B)에 증가 하지 않습니다. 또한,이 증가 분리 결합의 오프셋 보다 나중 아니를 시작합니다. 이 모두 스칼라 implicature와 무지 추론 계산 됩니다 sentential 결합의 오프셋 하기 전에 즉, 즉시 분리 결합 발생 나왔다.

그림 1 . 실험에 사용 된 테스트 이미지의 예. 회색 지역 참가자 들에 게 제시 되 고 실제로 테스트 이미지입니다. 블루스 상자, 점선, 및 요소의 너비를 나타내는 픽셀 일러스트 레이 션의 목적에만 있으며 참가자에 게 표시 되지 않습니다. (적응 실험 허가 L. Zhan ¹⁷ 중에서). 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.

그림 2 . 실험에 사용 된 테스트 문장의 예를 들어 (L. Zhan¹⁷ 동의에서 증 쇄). 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.

그림 3 . 시각적인 세계 패러다임을 사용 하 여 일반적인 눈-추적 실험의 계층 구조. 이미지에 오디오는 표준 중국어는 실험에 사용 된 영어 번역. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.

그림 4 . 참가자의 행동 응답 실험에서 기록 된 (L. Zhan¹⁷ 동의 한 실험에서 적응). 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.

그림 5 . 참가자의 눈 움직임을 관찰 하는 실험에. 발병 및 오프셋 sentential connectives의 두 개의 점선된 수직 라인에 의해 의미는. 중요 한 차이 분리 성의 특정 샘플링 지점에서 초기 조건 사이 기존 하는 회색 영역 (p <.05, Bonferroni 조정)에 의해 의미 (L. Zhan¹⁷ 동의에서 적응). 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

시각적 세계 연구를 실시, 따라 몇 가지 중요 한 단계가 있다. 첫째, 연구원은 시각적 세계에 참가자의 눈 움직임을 통해 청각적 표시 언어의 해석으로 추정할 것입니다. 이제부터, 시각적 자극의 레이아웃 디자인, 자연 작업 참가자의 눈 움직임에 영향을 줄 눈 움직임의 속성을 제어 한다. 참가자의 눈 움직임에 말한 언어의 효과 다음 인식할 수 있습니다. 음성된 언어에서 두 번째, 음향 신호는 과도 되며 아무 음향 서명을 특정 언어 범주에만 해당. 올바르게 시간 잠금 참가자의 눈-일부 언어 표시의 개시와 움직임, 객관적이 고 일관 된 방식으로 일부 언어 구조의 경계를 정의 하 연구원 찾아야한다. 셋째, 참가자의 눈 회전 머리 그들의 시선으로 영상 세계에서 관계의, 올바르게 지도 하 연구원은 하나 또는 여러 개의 교정, 유효성 검사, 및 드리프트 보정 프로세스의 실행을 수행 해야 합니다. 넷째, 시각적 세계 연구에서 얻은 데이터는 낮은 제한, 위 등의 독특한 속성을 autocorrelated 오류 등을 데 고. 이러한 독특한 속성 데이터를 통계적으로 분석 하는 방법을 선택 하는 경우 고려 되어야 한다.

세 가지 필수 구성 요소 구성 되어 시각적 세계 연구: 영상 표시, 음성된 언어, 실험 작업. 수정은 연구팀은 특정 목적을 수행 하기 위해 모든 구성 요소에 만들 수 있습니다. 첫째, 시각적 디스플레이 일반적으로 다양 한 그림을 묘사한 심사 디스플레이입니다. 하지만 다양 한 인쇄 된 단어³², 도식 장면³⁰^,³¹또는 실제 개체¹^,³²를 포함 하는 실제 장면 묘사 심사 표시 될 수도 있습니다. 둘째, 단어³⁶, 간단한 문장을³⁰^,³¹, 의미상 복잡 한 문¹⁷^,³⁴^,³⁵또는 대화³⁹음성된 발언 될 수 있습니다. 셋째, 실험 작업에서 참가자 중 단순히 요청 되고있다 영상 세계에 보고 하는 청각 발언³⁰^,³¹; 잘 들어 몇 가지 행동 반응, 청각 발언¹에서 설명 하는 움직임에 밖으로 행동, 청각 말³⁸시각적 디스플레이 적용 여부를 결정 올바른 선택 등을 확인 하는 데 필요한 되 고 또는 이미지를 시각적으로 표시 음성된 발언은¹⁷에 대 한 이야기입니다.

시각적인 세계 패러다임, psycholinguistic 다른 기법에 비해 몇 가지 독특한 장점이 있습니다. 첫째, 시각적인 세계 패러다임을 읽을 수 없습니다 또는 누구 공공연히 preliterate 어린이³⁷^,^,³⁸³⁹^, 같은 행동 그들의 응답을 줄 수 없는 포함 하 여 인구의 넓은에서 사용할 수 있습니다. ⁴⁰ ^, ⁴¹ ^, ⁴², 노인 성인⁴⁶및 환자 (예., aphasics)⁴⁷. 이 때문에 언어 자극 청각 보다; 서 면된 텍스트의 형태로 제공 됩니다. 그리고 언어 이해 보다 참가자의 암시적 자동 안구의 움직임에서 그들의 명백한 행동 답변에서 유추 됩니다. 둘째, 시각적인 세계 패러다임은 음성 신호 잘 배어 든된 조작에 매우 민감합니다. 이 패러다임 언어 이해 잘 배어 든된 음향 음성 기능³³^,^,⁴⁵⁴⁶, 등 여러 수준에서 항목을 대부분의 온라인 처리의 속성을 공부 하는 데 사용할 수 있습니다. 단어³⁰^,³¹,⁴⁷언어 구조¹^,및 concessives³⁷, biconditionals³⁷, 같은 의미가 복잡 한 문장의 논리 구조 조건부³⁸, 그리고 disjunctions¹⁷.

Psycholinguistic 다른 기술에 비해 시각적인 세계 패러다임 또한 잠재적인 몇 가지 제한이 있다. 첫째, 음성된 언어의 참가자의 해석은 시각적 세계에 그들의 눈 움직임에서 언어 속성을 visual 세계와 공부 될 수 있다 당 se. 이제부터, 언어 자극의 실제 해석에서 추론는 패러다임은 즉 구상 될 수 있다, 즉., 그들은 어떻게든 엔터티 또는 시각적 세계 이벤트에 관련 되어 있어야 합니다. 둘째, 시각적인 세계 패러다임 사용 일반적으로 제한 된 사진된 referents의와 잠재적인 작업의 제한 된 실제 비주얼 세계 보다 더 제한 됩니다. 이 소위 폐쇄 설정 문제⁴⁸ 는 관찰 된 언어 처리 실험 내에서 만들어진 특정 상황을 넘어 일반화 하지 않습니다 작업 관련 전략을 만들 수 있습니다. 이제부터, 패러다임 주어진된 재판에 설정 된 언어 지식과 경험 폐쇄 세트 밖에 서 거짓말의 특성에 민감 하지 않을 수 있습니다.

시각적인 세계 패러다임 본질적으로 시각적 도메인 및 청각 도메인 정보에서 정보 통합을 탐구 한다. 이론적으로, 두 개의 감각 도메인에 의해 처리 될 수 있는 모든 정보 수 있습니다 잠재적으로 공부 될이 패러다임을 사용 하 여. 예를 들어 가상 현실 또는 동적 비디오 영상 세계 수 있습니다. 청각 입력 반드시 언어 이며 자연 세계, 등사운드와 음악 등 다른 형식으로 될 수 있습니다. 또한,이 패러다임 하 여 정보를 통합 하 여 다른 도메인 보다는 시각적 도메인 및 청각 도메인 추가 확장할 수 있습니다. 예를 들어 연구자 어떻게 시각적 세계에서 참가자 들 fixations 다른 냄새, 다른 접촉 등에의해 영향을 받습니다 보고이 기법을 사용할 수 있습니다.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

저자는 그 아무 경쟁 금융 관심사가 선언 합니다.

Acknowledgments

이 연구는 과학 재단 베이징 언어와 문화 대학 중앙 대학 (승인 번호 15YJ050003)에 대 한 근본적인 연구 자금에 의해 지원 되었다.

Materials

Name	Company	Catalog Number	Comments
Pixelmator	Pixelmator Team	http://www.pixelmator.com/pro/	image editing app
Praat	Open Sourse	http://www.fon.hum.uva.nl/praat/	Sound analyses and editting software
Eyelink 1000plus	SR-Research, Inc	https://www.sr-research.com/products/eyelink-1000-plus/	remote infrared eye tracker
Experimental Builder	SR-Research, Inc	https://www.sr-research.com/experiment-builder/	eye tracker software
Data Viewer	SR-Research, Inc	https://www.sr-research.com/data-viewer/	eye tracker software
R	Open Sourse	https://www.r-project.org	free software environment for statistical computing and graphics

DOWNLOAD MATERIALS LIST

References

Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
Salverda, A. P., Tanenhaus, M. K. Research methods in psycholinguistics and the neurobiology of language: A practical guide. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).
Huettig, F., Rommers, J., Meyer, A. S. Using the visual world paradigm to study language processing: A review and critical evaluation. Acta Psychologica. 137 (2), 151-171 (2011).
Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. Viewing and naming objects: Eye movements during noun phrase production. Cognition. 66 (2), B25-B33 (1998).
Griffin, Z. M., Bock, K. What the eyes say about speaking. Psychological Science. 11 (4), 274-279 (2000).
Young, L. R., Sheena, D. Survey of eye movement recording methods. Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).
Conklin, K., Pellicer-Sánchez, A., Carrol, G. Eye-tracking: A guide for applied linguistics research. , Cambridge University Press. (2018).
Duchowski, A. Eye tracking methodology: Theory and practice. , 2, Springer. (2007).
Baayen, R. H., Davidson, D. J., Bates, D. M. Mixed-effects modeling with crossed random effects for subjects and items. Journal of Memory and Language. 59 (4), 390-412 (2008).
Barr, D. J. Analyzing 'visual world' eyetracking data using multilevel logistic regression. Journal of Memory and Language. 59 (4), 457-474 (2008).
Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception. Journal of Memory and Language. 90, 103-125 (2016).
Bolker, B. M., et al. Generalized linear mixed models: A practical guide for ecology and evolution. Trends in Ecology and Evolution. 24 (3), 127-135 (2009).
Mirman, D., Dixon, J. A., Magnuson, J. S. Statistical and computational models of the visual world paradigm: Growth curves and individual differences. Journal of Memory and Language. 59 (4), 475-494 (2008).
Baayen, H., Vasishth, S., Kliegl, R., Bates, D. The cave of shadows: Addressing the human factor with generalized additive mixed models. Journal of Memory and Language. 94, 206-234 (2017).
Baayen, R. H., van Rij, J., de Cat, C., Wood, S. Mixed-Effects Regression Models in Linguistics. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).
Zhan, L. Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm. Frontiers in Psychology. 9, (2018).
Maris, E., Oostenveld, R. Nonparametric statistical testing of EEG- and MEG-data. Journal of Neuroscience Methods. 164 (1), 177-190 (2007).
Barr, D. J., Jackson, L., Phillips, I. Using a voice to put a name to a face: The psycholinguistics of proper name comprehension. Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).
van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. Eye movements: A window on mind and brain. , Elsevier. Ch. 21 471-486 (2007).
Parkhurst, D., Law, K., Niebur, E. Modeling the role of salience in the allocation of overt visual attention. Vision Research. 42 (1), 107-123 (2002).
Grice, H. P. Vol. 3 Speech Acts. Syntax and semantics. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).
Sauerland, U. Scalar implicatures in complex sentences. Linguistics and Philosophy. 27 (3), 367-391 (2004).
Chierchia, G. Scalar implicatures and their interface with grammar. Annual Review of Linguistics. 3 (1), 245-264 (2017).
Fox, D. Presupposition and Implicature in Compositional Semantics. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).
Meyer, M. C. Ignorance and grammar. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).
SR Research Ltd. SR Research Experiment Builder User Manual (Version 2.1.140). , Ottawa, Canada. (2017).
SR Research Ltd. EyeLink® 1000 Plus Technical Specifications. , Mississauga, Canada. (2017).
SR Research Ltd. EyeLink-1000-Plus-Brochure. , Mississauga, Canada. (2017).
SR Research Ltd. EyeLink® 1000 Plus User Manual (Version 1.0.12). , Ottawa, Canada. (2017).
SR Research Ltd. EyeLink® Data Viewer User’s Manual (Version 3.1.97). , Ottawa, Canada. (2017).
McQueen, J. M., Viebahn, M. C. Tracking recognition of spoken words by tracking looks to printed words. The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).
Altmann, G. T. M., Kamide, Y. Incremental interpretation at verbs: restricting the domain of subsequent reference. Cognition. 73 (3), 247-264 (1999).
Altmann, G. T. M., Kamide, Y. The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing. Journal of Memory and Language. 57 (4), 502-518 (2007).
Snedeker, J., Trueswell, J. C. The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing. Cognitive Psychology. 49 (3), 238-299 (2004).
Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
Zhan, L., Crain, S., Zhou, P. The online processing of only if and even if conditional statements: Implications for mental models. Journal of Cognitive Psychology. 27 (3), 367-379 (2015).
Zhan, L., Zhou, P., Crain, S. Using the visual-world paradigm to explore the meaning of conditionals in natural language. Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).
Brown-Schmidt, S., Tanenhaus, M. K. Real-time investigation of referential domains in unscripted conversation: A targeted language game approach. Cognitive Science. 32 (4), 643-684 (2008).
Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. Rapid gains in speed of verbal processing by infants in the 2nd year. Psychological Science. 9 (3), 228-231 (1998).
Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying on-line sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese. Journal of Child Language. 39 (4), 687-730 (2012).
Zhou, P., Crain, S., Zhan, L. Grammatical aspect and event recognition in children's online sentence comprehension. Cognition. 133 (1), 262-276 (2014).
Zhou, P., Crain, S., Zhan, L. Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing. Journal of Memory and Language. 67 (1), 149-164 (2012).
Moscati, V., Zhan, L., Zhou, P. Children's on-line processing of epistemic modals. Journal of Child Language. 44 (5), 1025-1040 (2017).
Helfer, K. S., Staub, A. Competing speech perception in older and younger adults: Behavioral and eye-movement evidence. Ear and Hearing. 35 (2), 161-170 (2014).
Dickey, M. W., Choy, J. W. J., Thompson, C. K. Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening. Brain and Language. 100 (1), 1-22 (2007).
Magnuson, J. S., Nusbaum, H. C. Acoustic differences, listener expectations, and the perceptual accommodation of talker variability. Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).
Reinisch, E., Jesse, A., McQueen, J. M. Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately. Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).
Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).
Tanenhaus, M. K., Trueswell, J. C. Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).

Behavior

음성된 언어의 온라인 처리를 탐험 시각적인 세계 패러다임에 기록 하는 눈 움직임을 사용 하 여

Summary

Abstract

Introduction

Protocol

Representative Results

Discussion

Disclosures

Acknowledgments

Materials

References

Tags

Cite this Article

Summary

Abstract

Introduction

Protocol

Representative Results

Discussion

Disclosures

Acknowledgments

Materials

References

Tags

Cite this Article

Get cutting-edge science videos from JoVE sent straight to your inbox every month.