Summary
현재 문서 언어 이해에 대 한 연구에 대 한 눈-추적 방법론을 검토합니다. 신뢰할 수 있는 데이터를 얻기 위해 프로토콜의 주요 단계를 따라 해야 합니다. 이 중 눈 추적자 (예를 들어, 눈 및 머리 이미지의 좋은 품질 보장) 및 정확한 교정의 올바른 설정이 있습니다.
Abstract
현재 작업 및 언어 처리와 영상 세계의 지 각 사이 상호 작용의 다양 한 측면을 측정 하도록 설계 하는 방법론의 평가입니다. 눈 시선 패턴의 녹음의 시각적 컨텍스트 및 언어 이해 언어/세계 지식 기여에 대 한 좋은 증거를 제공 했다. 초기 연구는 언어 처리에서 모듈화의 이론을 테스트 개체 컨텍스트 효과 평가. 설명, 소개에서 후속 조사 자체 오른쪽에서 연구 항목으로 처리 하는 언어에서의 광범위 한 시각적 컨텍스트 역할 찍은, 어떻게 묻는 질문 등 이벤트와 스피커의 우리의 시각적 인식에 기여 하는 방법 comprehenders의 경험에 의해 정보 이해입니다. 시각적 컨텍스트 검사 측면 중에 작업, 이벤트, 스피커의 시선, 그리고 감정적인 표정으로 공간 개체 구성. 눈-추적 방법과 다른 응용 프로그램의 개요, 다음 우리는 성공적으로 시각적으로 위치 언어 이해 공부 그것을 사용 하는 방법을 설명 프로토콜, 방법론의 중요 한 단계를 나열 합니다. 마지막 섹션 대표 결과의 3 세트를 선물 하 고 혜택 및 시각적 세계와 언어 이해의 지 각 사이 상호 작용을 조사 눈 추적의 한계를 보여 줍니다.
Introduction
Psycholinguistic 연구는 언어 이해에 연루 프로세스 이해 안구 운동 분석의 중요성을 강조 했다. 시선 레코드에서 이해 과정을 유추의 핵심은 눈 운동5인지를 연결 하는 가설. 눈 움직임의 세 가지 주요 유형이 있다: saccades, vestibulo 눈 움직임, 그리고 부드러운 추구 움직임. Saccades는 빠르고 탄도 움직임을 대부분 무의식적으로 일어나 고 주의6교대와 안정적으로 연결 되었습니다. Saccades, fixations로 알려진 사이의 상대적 시선 안정성의 순간 인덱스 현재 시각적 주의 간주 됩니다. 인지 과정에 관하여 그들의 기간과 fixations의 소재 시를 측정 '눈-추적 방법'으로 알려져 있습니다. 이 방법의 초기 구현 제공 독 (Rayner7 리뷰 참조) 엄격 하 게 언어 컨텍스트에서 검사 됩니다. 그 접근 방식에서 단어 또는 문장을 영역 검사의 기간 어려움 처리와 연결 됩니다. 그러나 안구 추적,, 또한 있다 음성된 언어 이해는 세계에 있는 개체의 검사 중 검사 (또는 컴퓨터에 표시2)에 적용. 이 '시각 세계 눈 추적 버전에서 개체의 검사는 언어에 의해 유도 됩니다. Comprehenders는 얼룩말, 예를 들어, 화면에 얼룩말의 그들의 검사 들을 때 그들은 동물에 대 한 생각을 반영 하기 위해 가져온 것입니다. 시각적인 세계 패러다임으로 알려져, comprehender의 눈 시선이 반영 되어 음성된 언어 이해 및 관련 지식의 활성화를 반영 하기 위해 (예를 들어, 청취자는 또한 얼룩말 검사 방목, 듣고 나타내는 한 얼룩말에서 수행 하는 작업)2. 이러한 검사는 언어 세계 관계와 눈 움직임2사이 체계적인 링크 제안. 화면에 다른 미리 정해진된 영역 비율을 계산 하 여이 링크를 계량 하는 일반적인 방법이입니다. (조건, 참가자 및 항목)에서 직접 비교 하는 연구 서로 다른 개체를 특정 시간과 이러한 값 밀리초 해상도 변경 하는 방법에 관심의 금액 수 있습니다.
심리 언어학 연구 마음1의 아키텍처에 관한 떨어져 경쟁 이론적 가설을 애타게 시각 세계에서 눈 추적을 악용 했다. 눈 fixations 묘사 개체에는, 또한, comprehenders 수 있습니다 밝혀-충분히 제한적인 언어 컨텍스트 가정-증분 의미 해석8 을 수행 하 고도 곧 문자 에 대 한 기대를 개발 9. 같은 눈 시선 데이터 어휘 모호성 해결10,11, 대명사 해상도12, 구조와 주제의 역할의 명확성 더 이해 프로세스의 범위에 빛을 발산도 있다 의해 할당4시각적 컨텍스트13,,1416, 그리고 실용적인 프로세스15, 많은 다른 사람 사이 정보의 의미합니다. 명확 하 게, 언어 이해 하는 동안 개체에 눈 움직임 수 있습니다 연루 프로세스의 정보.
눈-추적 방법 비-침략 적 이며 유아, 젊고 더 오래 된 언어 사용자와 함께 사용할 수 있습니다. 주요 장점은, 프로브 punctate 응답 달리 또는 어떻게 언어 가이드 주의 어떻게에 밀리초 분해능 시간이 지남에 통찰력 제공 응답 버튼 누르면 확인 작업에서 (작업, 개체의 형태로 시각적 컨텍스트 이벤트, 스피커의 시선, 그리고 감정적인 표정으로 공간 개체 구성) 언어 처리에 기여. 문장 이해 하는 동안 측정의 연속성 명백한 사진/비디오-문장 확인, 이해 질문, 및 메모리 회수 작업에서와 같은 다른 후 문장 및 사후 실험 측정으로 잘 보완합니다. 이러한 작업에 대 한 명백한 응답 이해 프로세스, 메모리, 및 학습2의 결과에 대 한 통찰력을 제공 하 여 눈 시선 기록의 해석을 풍요롭게 수 있습니다. 눈 추적 이러한 다른 작업을 결합 하는 것은 어느 정도까지 다양 한 측면의 시각적 컨텍스트 변조 시각적 관심 및 즉시, 뿐만 아니라 (지연) 이해 수명에 걸쳐 것을 발견 했다.
언어 (음성 또는 서 면)의 프레 젠 테이 션 및 장면 순차적 또는 동시 수 있습니다. 예를 들어, Knoeferle 및 공동 작업자17 발표 현장 음성된 문장 전에 1000 ms 하 고 독 해 동안 남아 있었다. 그들은 개체 동사 주제 (OVS) 문장에 비해 독일 주제-동사-개체 (SVO)에서 로컬 구조적 모호성의 해상도로 작업 이벤트의 클립 아트 묘사 기여 하는 증거를 보고. Knoeferle와 크 로커18 서 면된 문장 전에 클립 아트 장면 제시 문장 독 해 동안 클립 아트 이벤트의 증분 통합 테스트. 그들은 관찰 증분 적합성 효과, 문장 성분의 참가자의 읽기 시간이 일치 하지 않을 때 더 이상 했다 의미 (대 일치) 앞 장면에서 묘사 하는 이벤트. 또 다른 자극 프레 젠 테이 션 변종에 참가자 먼저 공간 관계를 설명 하는 문장 읽었고 개체 선 그림19와 관련 된 특정 공간 배치의 장면을 보고. 이 연구는 참가자 현장 심문 하는 동안 기록 되 고 눈 움직임과 함께 현장, 주어진 문장에 맞는 평가를 요청 하 여 전산 공간 언어 모델의 예측 평가. 참가자의 시선을 패턴 그들은 직면 했다 개체의 모양에 의해 변조 했다-부분적으로 모델 예측을 확인 하 고 모델 구체화에 대 한 데이터를 제공 하.
많은 연구는 사용 동안 클립 아트 묘사17,18,19,20,21,,2223, 그것도 실제 결합 가능 개체, 이러한 개체, 또는 음성된 언어1,21,,2425,26,46정적 사진 동영상. 실제 설정24 를 사용 하는 Knoeferle와 동료 그리고 Abashidze와 동료 사용 촬영된 프레 젠 테이 션 형식 작업 이벤트 및 긴장 효과25검사. 정확한 콘텐츠를 다양 한 장면 (예를 들어, 또는 하지 작업을 묘사)의22,,2738 가능 하 고 시각적 컨텍스트 효과 밝힐 수 있습니다. 로드리게스와 공동 작업자26 관련된 연구 이후에 말한 문장을 제시의 이해에 촬영된 시각 성별 단서의 영향 조사. 참가자 stereotypically 성별 관련 작업을 수행 하는 남성 또는 여성 손을 표시 하는 동영상을 보았다. 다음, 그들은 문장에 대해 들었어요 하나 stereotypically 남성 또는 여성 액션 이벤트를 동시에 디스플레이 보여주는 두 사진, 남자와 여자의 다른 중 하나를 검사 하는 동안. 이 풍부한 비주얼 및 언어 환경에서 시각적으로 제시 (손) 성별 단서의 효과 이해에 틀에 박힌 지식 언어 중재의 효과 떨어져 애타게 저자 허용.
이 패러다임의 추가 응용 프로그램에는 언어 처리에서 발달 변화 대상 하고있다. 음성된 언어 이해 하는 동안 개체에 눈 움직임 젊은 성인에 비해 묘사와 이벤트에서 4-5-세27,28 세 성인29 실시간으로, 하지만 다소 지연의 효과를 밝혔다. Kröger 및 공동 작업자22 prosodic 단서와 실험 내에서 표시 하 고 성인과 어린이 실험 전체에 걸쳐 비교의 효과 검사 합니다. 참가자 관련된 명확 경우 표시 독일 문장을 모호한 행동-이벤트 현장 검사. 눈 움직임 누가-않습니다-무슨-에-누구를 구체화 하는 경우 별개 prosodic 패턴 도움 성인도는 4-또는 5-올해-옜 날을 밝혔다. 그러나, 표시, 문장 초기 경우 성인 하지만 하지 어린이 눈 움직임 영향을 받습니다. 이 케이스 표 하기의 5-올해-옜 날 ' 이해는 충분히 강력한 주제 역할 할당을 사용 하도록 제안 (ö z g e 및 공동 작업자30여 연구 참조), 적어도 아닙니다 때 액션 이벤트 않았다 하지 명확 하 게 주제 역할 관계. 이러한 결과 재미, 그들은 주제 역할 할당31prosodic 효과의 이전 결과와 그에 주어진. Kröger 및 공동 작업자22 (더 많거나 적은 지원) 시각적 컨텍스트 대조 연구 결과 대 한 책임은 제안 했다. 이러한 해석을 보류 하는 범위 그들은 수명에 걸쳐 언어 이해에서 맥락의 역할을 강조.
눈-추적 방법에서 그림 (또는 비디오) 문장 확인 작업18,,2026, 사진-사진 확인 작업32, 코 퍼스 연구24, 등급 조치 잘 결합 작업19또는 실험 후 회수 작업25,33. Abashidze 및 공동 작업자34 와 Kreysa와 협력자33 각각에 대 한 단서 스피커 시선 및 실제 액션 동영상34 와 스피커 시선 행동 묘사33의 상호 작용을 조사 곧 문장 콘텐츠입니다. 후 실험 메모리 작업 동안 언어 이해의 장면에서 눈 시선 추적을 결합 하 여 그들은 있는 청취자 스피커의 시선 및 묘사 작업의 상호 인식과 둘 다에 영향을 미칠 방법의 더 나은 이해를 얻고 즉각적인 언어 처리 하 고 메모리 리콜입니다. 결과의 실시간 이해 대 후 실험 메모리 회수 프로세스 작업 대 스피커 시선 뚜렷한 기여를 공개 했다.
눈-추적 메서드는 뛰어난 유연성으로 채택 될 수 있다, 하는 동안 특정 표준 열쇠입니다. 다음 프로토콜 연구원의 특정 필요에 따라 연구 질문의 종류를 조정 될 수 있는 일반적인된 절차를 요약 합니다. 이 프로토콜은 고용 훔볼트 대학 촉 산 베를린에서 심리 언어학 연구소 뿐만 아니라 이전 언어 및 인지 실험실에서 인지 상호 작용 기술 우수 클러스터 (CITEC)에서 표준화 된 절차 빌레펠트 대학입니다. 프로토콜은 데스크톱 및 원격 설치에 설명합니다. 후자는 어린이와 노인 연구에 사용 하기 위해 것이 좋습니다. 1000 Hz의 샘플링 속도가지고 있으며 머리 안정제, 참가자 (PC 디스플레이)를 테스트 하기 위해 PC와 실험을 모니터링 하기 위한 PC와 함께 사용 되는 눈 추적 장치를 사용 하는 대표 결과 에 언급 된 모든 실험과 참가자의 눈 운동 (호스트 PC)입니다. 그것의 전임자에이 소자의 주요 차이점은 두 눈 눈 추적에 대 한 수 있습니다. 프로토콜 충분히 머리 안정제를 포함 하 고 듀얼 PC를 사용 하는 다른 눈-추적 장치 사용에 대 한 일반적인 될 것입니다 (호스트 + 디스플레이) 설정. 그러나, 명심 하는 다른 설정 것 아마 교정 실패 또는 트랙 손실, 경우는 실험 한다 참조 하는 사용자에 게 같은 문제를 처리 하기 위한 다른 방법을 그들의 특정 장치의 수동 중요 하다.
Protocol
이 프로토콜은 기관의 데이터 수집 된 즉, 인지 상호 작용 기술 우수 클러스터 (CITEC) 빌레펠트 대학과 훔볼트 대학 촉 산 베를린의 윤리 지침을 따릅니다. 빌레펠트 대학에서 실시 하는 실험 빌레펠트 대학 윤리 위원회에 의해 개별적으로 승인 되었다. 훔볼트 대학 zu에서 심리 언어학 연구소 베를린 도이치 분야에 Sprachwissenschaft, 독일 언어학 학회 (DGfS)의 윤리 위원회에 의해 승인 되었다 실험실 윤리 프로토콜이 있다.
1. 바탕 화면 설정
참고: 다음은 눈-추적 실험에서 중요 한 단계입니다.
- 장비 준비
- 눈-추적 카메라와 호스트 PC 설정 ( 그림 1 -실험실 데이터 수집 및 전처리 설치의 그림 참조).
- 눈 추적자 소프트웨어를 시작 합니다.
- PC 디스플레이 켭니다. 실험을 포함 하는 폴더를 엽니다.
- 두 번 클릭 하 여.exe 확장명이 '배포' 버전을 시작 합니다.
- 설정에 따라 실험 목록 선택 프롬프트는 일반적으로 탭으로 구분 된.csv/.txt 파일 포함입니다 조건, 사운드 파일 이름, 쓰여진된 문장, 또는 이미지를 참가자에 노출 될 것입니다 나타날 수 있습니다. 목록, 선택 하 고 프로그램을 시작 합니다. 결과 저장 될 출력 파일을 이름을 지정 합니다.
참고: PC 디스플레이에 출력 파일을 저장 하 고 백업 호스트 PC에 저장 됩니다. - (소개 또는 환영 받은 스크린) 실험의 첫 번째 화면을 열어 둡니다.
- 눈 추적자 카메라에서 보호 커버를 제거 합니다.
- 위생 목적을 위해 턱 소유자에 휴지를 놓습니다.
- 선택 사항: 응답 패드 또는 실험에 의해 필요에 따라 키보드를 준비 합니다.
- 옵션: 청각 자극을 제시 하는 경우는 스피커의 볼륨을 조정 하 고 테스트 그들 실험을 실행 하기 전에. 또는 참가자에 의해 사용 되는 헤드폰의 기능을 테스트 합니다.
- 참가자의 서명이 필요한 양식을 준비 합니다.
- 데이터 수집 프로세스의 전체 기간에 대 한 지속적인 광도와 어렴풋이 점등된 방 하기 위해서는 실험실에서 빛의 강도 조정 합니다.
- 참가자를 위한 준비
- 참가자 도착, 후 자신을 소개 합니다.
- 장소는 방해 하지 마십시오 실험실 문을에 서명.
- 참가자가 자리를 요구 하십시오.
- 정보 시트와 필요한 동의 인구 양식을 통해 참가자 안내.
- 참가자를 읽었고 동의 양식에 서명 합시다.
- 짧게 실험 및 그 기간의 일반적인 측면을 설명 합니다. 이 참가자의 시선 행동과 결과 데이터 영향을 미칠 수 있기 때문에 실험 하기 전에 너무 많은 정보를 제공 하지 않습니다.
- 서 면된 지침을 제공 하 고 참가자에 게 질문 기회를 주고.
- 간단히 눈 추적기의 기능 설명.
- 필요한 경우 작업을 명확히 하 고 실험 기간 동안 누가 필요가 있을 것 이다 어떤 버튼/키 지적.
- 턱 나머지는 실험 기간 동안 머리의 움직임을 최소화 하기 위한 방법을 설명 합니다. 장치는 참가자 어떤 움직임을 방지 하는 경우 가장 기능을 언급 해 라.
- 눈 추적 설정
- 실험 참가자 준비: 턱 나머지에 그들의 턱을 테이블에 앉아 그들에 게. 머리 받침에 대 한 그들의 마를 숙이 고 그들에 게.
- 필요한 경우 높이의 자의 위치를 조정 하려면 참가자에 게 물어: 참가자 그들의 턱 턱 나머지에 머리 받침에 대 한 그들의 마와 함께 편안 하 게 느껴야 한다.
- 일반적인 실수로 실험 기간 동안 머리를 이동 하는 것을 설명 하 고이 피해 야 한다. 설명 머리 자세 실험 기간 동안 수정 해야 할 수도 있습니다.
- 실험이 필요한 경우 (예를 들어, 을 통해 응답 패드) 버튼을 누르면, 버튼에 손가락을 두고 참가자 지시 눌러야 하 고 피하기 위해 버튼을 누를 때 응답 패드에서 아래를 내려다 보면서.
- 환영/소개 스크린을 읽기 참가자를 요구 하십시오.
- 호스트 PC 앞에 앉아. 화면에 없는 경우 이미 카메라 설치, 카메라 설치 오른쪽 화면을 클릭 합니다. 카메라 렌즈에서 보호 커버를 제거 하는 경우 참가자가 올바르게 턱 나머지에 배치 화면 참가자의 눈의 세 개의 이미지를 표시 해야 합니다: 위쪽, 왼쪽 및 오른쪽 하단에 두 개의 작은 것 들에 더 큰 이미지를. 이러한 작은 이미지 표시 한 눈 왼쪽과 오른쪽 눈에 각각 해당 합니다.
- 눈 추적을 선택 합니다. 그것은 참가자의 지배적인 눈을 추적 하는 것이 관례입니다. 참가자는 눈은 지배적인 모른다면, 눈 우 성 테스트 (1.3.8 단계)를 수행 합니다.
- 눈 지배를 결정 합니다. 한 팔에 밖으로 기지개 하 고 오픈 양쪽 눈 먼 개체와 엄지 정렬에 참가자를 요구 하십시오. 대체 닫기 왼쪽 또는 오른쪽 눈에 참가자를 요구 하십시오. 지배적인 눈 하나는 엄지손가락 남아 개체와 정렬 때 눈이 열려35,36입니다.
- 이미지 에 클릭 | Pc 디스플레이 (또는 Enter키를 누릅니다) 및 단계 1.3.6에서에서 설명 하는 이미지에 참가자의 디스플레이 화면, 하지만 한 번에 하나씩만 나타납니다.
- 눈의 작고 큰 이미지 사이 전환 하는 실험 또는 참가자의 컴퓨터 키보드에 있는 왼쪽/오른쪽 화살표를 누릅니다. 작은 이미지 (눈)에 초점을.
- 눈동자 위치에 검색 제한 상자 센터 위해 어느 키보드에 압박 A (맞춤 눈 창). 다음, 눈 주위에 붉은 광장 눈동자의 하단 ['각 막 반사', (cr)] 터키석 원형으로 표시 되어야 합니다. 자체 눈동자는 파란색 해야 합니다.
- 두 십자가 ('총') 화면에 표시-각 막 반사의 중심에 있는 눈동자의 센터에서. 빨간 상자와 두 눈 추적자는 눈동자와 크롬을 감지 하는 말은 십자가.
참고: 빨간색 상자 또는 십자가 경우 결 석, 눈 추적 되지 않습니다-이 경우, 아니 학생 실험의 컴퓨터에 표시 됩니다. - 수동 초점 렌즈를 설정 하 여 카메라의 초점을 조정 합니다. 조심 하지 렌즈의 전면을 터치 합니다. 최고의 초점 포인트에이 때까지 렌즈를 설정 합니다.
참고: 최고의 초점 포인트에 도달할 때 청록색 원형 (각 막 반사)는 작은 가능한 (즉,이 원 초점에 있을 때). - 눈동자 임계값을 설정 합니다. 눈동자의 이미지만 파란색 인지 확인 (예를 들어, 속눈썹 해서는 안 블루) 호스트 PC에. 또한, 전체 학생 (뿐 아니라 그것의 중앙 부분) 파란색 인지 확인 합니다. 단지 빨간색 사각형 안에 뭐가 걱정.
- A키를 누릅니다. 이 자동으로 눈동자 임계값을 설정합니다. 눈동자가 파란색으로 정확 하 게 표시 되지 않으면, 증가 를 키와 파란색 부분의 이미지 표면 양을 감소를 아래로 키를 사용 하 여 수동으로 하는 임계값을 조정.
참고: (이것은 일반적으로 검은 눈동자 처럼) 마스카라 임계값 설정 방해할 수-눈 추적자는 눈동자 어두운 속눈썹 걸릴 수 있습니다. 이 경우에, 참가자 메이크업 리무버 티슈 들을 제공 함으로써 그들의 메이크업을 제거를 부탁 드립니다. - Cr 임계값을 설정 합니다. 단계 1.3.15에서에서 A 를 누르면 cr 임계값 해야 자동으로 설정 되었습니다.
참고: 모든 임계값 설정에 대 한 숫자 값 표시 되어야 합니다. 물음표는 그들 중 하나에 나타납니다, 앞 단계 중 하나에 문제가 발생 했습니다 하 고 임계값을 수동으로 설정 해야 합니다.
- 눈 추적자 보정
참고: 여부 눈 추적자 지속적으로 식별할 수는 눈의 위치 때 참가자는 스크린의 다른 부분에서 확인 합니다.- 카메라 설정 창 보기에 하는 동안 한 번에 하나의 스크린의 네 모서리에 보고 참가자를 요구 하십시오. 신중 하 게 각 막 반사 눈 시선에 지시 될 때 방해 하는 어떤 불규칙 한 반사 (이 표시 됩니다 터키석 'blob'는 화면에) 찾습니다.
- 스크린의 센터에서 모양과 눈 고 십자선의 주위에 빨간색 상자가 1.4.1 단계 동안 어떤 시점에서 표시 되지 않는 경우 다음 문제가 코너에 그들의 시선을 직접 참가자를 요구 하십시오. 이 문제의 원인을 확인 하는 데 도움이 됩니다.
- 참가자의 머리의 위치를 다시 조정 하 고 경우이 뛰어납니다 어떤 확인 합니다. 필요한 경우이 단계를 반복 합니다. 장치는 정확 하 게 여러 번 시도 후 참가자의 시선을 추적 하 수, 실험을 중단.
- 눈 추적자 측정 될 것 이다 그리고 그들은 스크린의 다른 부분에 이동 (작은 회색 점)와 검은 동그라미가 표시 하려고 하는 참가자에 게 알립니다. 참가자를 새 위치로 이동할 때까지 동그라미를 흥분 시키는 지시. 그들의 눈을 긴장 하지 않도록 하 고 최적의 결과 대 한 검은 원 안에 작은 회색 점에 집중 하는 참가자를 지시 합니다.
- 그것은 아직도 계속 하 고 보정 하는 동안 다음의 위치를 예측 하려고 하지 중요 한 참가자에 게. 그들의 눈 및 그들의 머리에 안 원을 따라 하도록 지시 합니다. 보정 보정 프로세스를 시작 하려면 클릭 하십시오. 일반적으로, 9 포인트 캘리브레이션 절차 검은 원을 이동 되 9 위치에 직렬 방식으로 사용 됩니다.
- 자동 보정에 대 한 참가자는 정확 하 게 집착 하 여 화면의 중간에 첫 번째 점 후 ENTER 를 누릅니다. ENTER 를 눌러 각 고정 수동 보정 (예를 들어, 참가자의 눈 또는 때 특별 한 참가자를 다루는 아이 같은 그룹을 추적 하는 문제가 있을 때)에 대 한 동의 (또는 동의 고정을 클릭 하 여 / 스페이스바누르면).
참고: 보정 프로세스의 끝에, 실험의 화면에 거의 직사각형 패턴 표시 되어야 합니다. 이 참가자의 눈 시선 패턴을 나타냅니다. 또한, 좋은 교정의 결과 녹색으로 강조 표시 합니다. 없는 경우, 교정 절차 (즉, 교정에 클릭)를 반복 합니다. - 결과 확인 합니다. 교정 과정의 결과 확인 하기 위해서는 (점 보고) 동일한 절차를 통해 갈 참가자에 게. 점을 보고 하 고 여전히 그들을 생각나 게 해요.
참고: 유효성 검사의 과정은 교정의 고 두 결과 눈 정확 하 게 추적 되은 되도록 눈 추적 소프트웨어에 의해 비교 됩니다. - 클릭 확인.
- ENTER 키를 눌러 (또는 스페이스바를 누르면/고정 허용을 클릭 하 여) 각 고정을 동의 합니다.
- 유효성 검사 후 결과 실험의 화면에 표시 됩니다. 두 오류 측정, 평균 오류 (예를 들어, 0.23 °) 및 최대 오류 (예를 들어, 0.70 °)에 특히 주의. 추적된 이미지는 참가자의 실제 시선 위치에서 벗어나는 나타냅니다.
- 시각적인 세계 패러다임을 사용 하는 경우 0.5 ° 및 최대 오류 (두 번째 숫자)에서 평균 오류 (첫 번째 숫자)를 계속 1 ° 미만.
- 오류 값이 임계값은 참가자가 그들의 머리의 위치를 조정 하 고 보정 절차를 다시 시작을 요청. 개선을 관찰 실험을 중단.
참고: 참가자는 콘택트 렌즈를 착용 하는 때 높은 보정 오류를 관찰 하는 것이 일반적입니다. 참가자는 그들의 콘택트 렌즈 대신 그들의 처방전 유리를가지고 사전에 게 한다. - 보정 프로세스를 성공적으로 완료 한 후 실험을 시작 하려면 출력/레코드 를 클릭 합니다. 실험 예정 지금 참가자에 게 알립니다.
- 실험 기간 동안
참고: 실험 (에 따라 어떻게 개별 실험 프로그램입니다, 하지만 일반적으로 각 실험 재판 전에), 동안 체크 드리프트 또는 드리프트 올바른 화면 화면 중앙에 도트를 표시 됩니다. 그것의 목적은 재판, 그리고 눈 추적 모델을 자동으로 조정에 따라 전류에 대 한 계산 된 고정 오류 보고입니다.- 명령 단계 동안, 참가자 중앙 점이 나타납니다 때마다 흥분에 말 했. 그 모든 드리프트 확인/드리프트 올바른 단계 동안, 참가자는 다시 편집증 점이 다는 것을 확인 하십시오. 이것은 참가자의 시선을 이동 녹색 원으로 나타나는 호스트 PC에 참가자의 시선에 따라 행 해질 수 있다.
- 드리프트 확인/드리프트 올바른 완료 되 면 (또는 스페이스바)를 사라지고 다음 재판 표시 점 확인 을 누릅니다.
- 눈 추적자 사용 모델에 따라 드리프트 확인 단계를 통과 하는 실패를 다루는 방법을 결정 합니다. 모델에 따라 눈 추적자 것 중 하나는 자동 보정 드리프트 중앙 점이 일치 하는 시선의 좌표를 조정 하 여 또는 수행 계속 하기 전에 다시 보정 실험을 들어오면 소리를 만들 것입니다는 (체크를 드리프트) 실험.
- 경우에 자동 드리프트 보정을 사용 하 여, 연속 시험 및/또는 드리프트 보정 정도의 너무 큰 너무 많은 드리프트 수정 결과 왜곡 하 고 장치의 재 교정 필요 명심 하십시오.
- 실험 기간 동안 재 교정
- 실험 기간 동안 언제 든 지 다시 보정 가능 하다. 드리프트 보정/드리프트 확인 화면 프레 젠 테이 션, 카메라 설정, 클릭 클릭 보정. 만족 스러운 값에 도달할 때까지 보정 및 검증 과정을 통해 가십시오 후 출력/레코드를 클릭 하십시오. 실험 시험 시퀀스의 종료 지점에서 다시 시작 됩니다.
- 실험 후
- 만약 그들이 주요 실험 조작 추측할 수를 평가 하기 위해 설문 조사와 함께 참가자를 제공 합니다. 여기, 그것은 또한 실험을 통해 개발 된 수 있는 잠재적인 전략에 대 한 요청 하는 것이 중요입니다.
- 실험의 목적에 대 한 참가자를 보고 합니다. 그들의 참여에 대해 감사 하 고 필요한 금전적 보상을 제공 또는 해당 하는 경우 코스 신용을 할당 합니다.
2. 원격 설정: 어린이와 노인 연구에 대 한 설정을 조정
참고:이 섹션 1 단계에 설명 된 대로 원격 설정 및 데스크톱 설정 간의 차이점을 설명 합니다. 포인트는 명시적으로 언급 여기 1 단계에서 설명 하는 절차와 동일한 것으로 간주 한다.
- 16 m m 렌즈에 대 한 표준 35 m m 눈 추적자 카메라 렌즈를 교환 합니다.
- 모든 필요한 장비 (호스트 PC, 스피커, 눈 추적, 그리고 노트북 노트북 사용 하는 경우)에 연결 합니다.
- 에 배치 하는 노트북 노트북 스탠드 및 앞 눈 추적자 (참가자는 스크린의 최고 75%를 볼 수 있어야 함).
- "대상 스티커"를 배치 (추적기의 제조 업체에서 사용 가능) 참가자의이 마에 (또는 오른쪽 뺨이 마 너무 경우에 오른쪽 눈의 눈 썹 위에 작은 (즉, 유아의 경우),이 스티커 대체 턱의 나머지는 데스크탑 설치 및 그것은 정확 하 게 참가자의 머리의 위치를 결정 하는 눈 추적을 허용 한다.
- 참가자 카메라 (카메라 대상 스티커의 거리)에서 550-600 m m를 장착 되어 있는지 확인 하십시오.
- 있는지 확인 단어 "큰 각도" 또는 "눈 근처" 호스트 PC에 표시 되지 않습니다. 만약 그들이, 그것은 대상 스티커의 위치는 이상적인 의미 합니다. 이 경우에, 조정 대상 스티커. 그것은 또한 참가자의이 마는 특히 작은 것을 의미할 수 있습니다. 이 경우 참가자의 뺨에 스티커를 놓습니다.
참고: 스티커의 경우 귀에 너무 가까이, 메시지 "큰 각도" 나타날 것 이며 스티커의 위치를 변경 해야 합니다. - 1.4 단계에서 설명 하는 보정 프로세스를 시작 하기 전에 참가자 편안 하 게 앉아 있는지 확인 합니다. 모든 실험에 걸쳐 동일한 위치를 유지 하 고 눈 추적자는 신체 움직임에 매우 민감한 설명 하도록 요청 합니다. 그들은 아직도 그들의 머리를 유지 하는 것을 주장 한다. 참가자가 너무 많이 이동 하는 경우 장치 윙윙 거 린 소음을 방출 합니다.
참고: 원격 눈 추적기 설치 어린이나 노인, 등 중요 한 인구를 테스트를 사용 하는 경우 그것은 수동 교정 절차를 사용 하는 것이 좋습니다.
3. 연구를 읽기 위한 설정 조정
참고: 읽기에 대 한 시각적 컨텍스트 효과 조사, 그것은 교정과 재 교정 프로세스에 특별 한 주의 지불 하는 데 필요한입니다. 영상 세계 연구, 반대 눈 읽기 중 추적 장치 정밀, 주어진 단어 대 단어, 문자를 읽기 패턴을 추적 하는 데 필요한 정확도의 훨씬 더 높은 학위를 필요 합니다.
- 모두 평균 및 최대 오류를 유효성 검사 단계 동안 표시 유지 미만 0.5 ° 다는 것을 확인 하십시오.
- 교정에 대 한 적어도 9 점 척도 사용 하 여 있는지 확인 합니다. 이 더 정확한 읽기 중 관심 분야의 작은 크기를 주어, 필수적 이다 눈 시선 위치 추적을 보장 합니다.
Representative Results
뮌스터와 공동 작업자37 여 연구 문장 구조의 상호 작용을 조사, 언어 이해 하는 동안 작업, 그리고 얼굴 정서적 단서를 묘사. 이 연구는 둘 다 강력한 액션 효과 문장 이해력에 얼굴 정서적 단서의 한계 효과 묘사 보여준 장점과 한계는 방법의 설명에 적합. 저자는 행복 또는 슬픈 식으로 휴식 위치에서 변경 하는 여자의 얼굴 식의 5 s 비디오를 만들었습니다. 그들은 또한 감정적으로 긍정적으로 valenced 독일 개체-동사-부사-주제 (OVAdvS)를 만들어 폼의 문장 ' [개체/환자대 격 케이스] [동사] [긍정적인 부사] [주제/에이전트지명 사례].' 통해 긍정적인 부사 문장과 일치 하는 '행복 한' 비디오 '슬픈' 비디오, 허용 하는 대리인 (웃 고 긍정적인 부사에 의해 행복 하 게 행동으로 설명)의 원리에 일치 하지 않는. 비디오 스피커 다음 문장 선택 항목 에이전트-환자 클립 아트 씬의 두 가지 버전 중 하나 나타났다. 한 버전에서 에이전트 선택 항목 문자는 다른 작업을 수행 하는 동안, 환자에서 언급 한 동작을 수행으로 묘사 했다. 다른 장면 버전 묘사 문자 사이의 작업이 없습니다. 현장에서 눈 운동을 문장 이해력에 스피커의 얼굴 표정 및 작업의 효과를 밝혔다.
액션 묘사는 참가자의 시각적 주의 언급 한 행동 때 참가자는 선택 항목에서 보다 에이전트에 더 닮은 의미에 빠르게 영향을 (대 아니었다) 묘사. 이 보이는 예상 했다 (즉, 에이전트를 언급 하기 전에 발생), 문장 전에 액션 묘사는 에이전트를 명확히 하는 것을 건의. 동사 중 등장 하는 액션 묘사의 초기 효과 (즉, 동사 중재 작업 관련 에이전트). 대조적으로, 앞 스피커 미소 여부 불행 보였다 에이전트 기대 (그림 2)에 아무 명확한 영향을 미쳤다. 후자의 결과 스피커의 미소와 긍정적인 sentential 부사 (중재 작업 관련 상담원이 직접 동사-작업 참조와 비교) 묘사 에이전트의 작업에 관련 된 사이 더 얇은 링크를 반영 수 있습니다. 또는, 그것은 특정 작업 및 자극 프레 젠 테이 션 수: 아마도 감정 효과 것 이다가지고 더 발음 더 많은 사회적 상호 작용 작업 또는 스피커의 얼굴 (보다 전에) 동안 문장 이해를 선물 하나. 그러나, 이해 하는 동안 웃 고 스피커의 얼굴을 제시 발생할 수 있습니다 초점을 참가자 다른 장면 콘텐츠 비용으로 얼굴에 아마도 조작 변수 마스킹 그렇지 않으면 현저한 효과 (소스: 게시 되지 않은 데이터).
패러다임의 추가 변형, Guerra 및 Knoeferle32 여부 공간 의미 세계 언어 관계 읽는 동안 추상적인 의미 내용의 이해를 조절 수 물었다. Guerra 및 Knoeferle 공간 거리 (예를들면, 근접) 추상적인 의미 관계 (예를 들어, 유사성)의 의미를 근거로 개념적은 유 이론38 에서 아이디어를 빌려. 이 가설에 따라 참가자 읽기 조정 추상 명사 빨리 때 그들은 비슷한 (대 반대) 의미에 (거리대 ; 카드 놀이 이동 가까이 함께 vs 비디오 전달 근접을 선행 했다. 멀리 떨어져). 연구39의 두 번째 세트에서 문장 서로 접근 하는 2 카드의 동영상 전달 사회 문장 영역의 읽기 빨라 발견에 친밀 한 또는 불친절, 앞으로 두 사람 사이의 상호 작용을 설명 근접/친밀입니다. Note 공간적 거리 문장 읽고 신속 하 고 증분도 때 문장 언급 하지 않았다 비디오에서 개체에 영향을 받습니다. 동영상 개성 공간 거리와 문장 의미의 의미 뿐만 아니라 사회적 측면 사이의 적합성의 기능으로 읽기 시간 변조. 이러한 효과 1 통과 독서 시간 (미리 정해진된 문장 영역의 첫 번째 검사 기간)에서 모두 나타나고 그 문장 지역에 소요 된 총 시간 (Guerra 하 여 연구에서 결과의 그림 그림 3 참조 그리고 Knoeferle)32. 그러나, 분석 또한 같은 미묘한 카드 거리 효과 동사-동작 관계, 한 예로 언급의 효과로 강력한 하지 않을 수 있습니다 결론에 지도 하는 참가자 들 간의 실질적인 변화를 밝혔다.
연구의 추가 된 문장 구조에서 시각적 컨텍스트 효과의 일반 평가 수 어떻게 보여 줍니다. Abashidze 및 공동 작업자34 로드리게스와 공동 작업자26 음성된 문장의 후속 처리에 최근 작업의 효과를 시험 했다. 두 연구에서 참가자 먼저 액션 비디오 검사 (예를 들어, 실험 조미료 오이, 나는 케이크를 굽고 하는 여성 손). 다음, 그들은 최근 작업 또는 다른 작업을 수행할 수도 있습니다 하거나 관련 된 독일 문장에 들어 다음 (맛 내기 토마토34; 건물 모델26). 이해, 동안 참가자 검사 장면 보여주는 두 개체 (오이, 토마토)34 또는 에이전트의 두 사진 얼굴 (여성 및 남성 에이전트 얼굴, 라는 '수 잔나'와 '토마스', 각각)26. Abashidze 및 공동 작업자34에 의해 연구, 스피커 먼저 언급는 실험 한 다음 (예를 들면, 조미료), 동사 (예:오이, 토마토) 테마에 대 한 기대를 도출. 로드리게스와 공동 작업자26에 의해 연구, 스피커 처음 언급 한 테마 (케이크), 그리고 동사 (제빵), 작업 에이전트에 대 한 기대를 도출 (여성: 수 잔나, 또는 남성: 토마스의 사진을 통해 묘사는 여성 그리고 남성 얼굴)입니다.
두 연구에서 문제에서 질문 여부 사람들이 최근 작업 이벤트의 테마/에이전트 또는 다른 테마/에이전트 이해 제공 추가 콘텐츠 단서에 따라 예상 (시각적으로) 것 이었다. Abashidze 및 공동 작업자34, 실험의 시선이 감 동사의 발병에서 미래의 테마 개체 (토마토) (독일어에서 그대로 번역: '실험-에이전트 맛 곧...'). 로드리게스와 공동26, 틀에 박힌 행동의 성별 지식을 가능 하 게 되었다 때 주제 및 동사를 언급 했다 (예를 들어, 독일 자극의 직역은: '케이크 테마 구울 때 곧...'). 연구의 두 세트에서 참가자 우선적으로 검사 대상/에이전트 최근 작업 (오이34 또는 수 잔나26)의 대체 (미래/기타-성별) 대상 (토마토34 또는 토마스26) 동안 문장.
이 소위 '최근 이벤트 특혜', 따라서, 문장 구조 및 실험 자료에 상당한 변화를 통해 강력한 것 처럼 보인다. 그러나 그것은,,로 변조 동시 현장26에서 시각적 제약 최근 검사 작업 이벤트에 대 한 의존도 감소의 에이전트 또한에 어렵습니다 사진 동사 테마의 그럴듯한 사진을 제시 하 고 변조 된 주의 언어에 의해 전달 하는 성별 고정관념 지식에 기반 합니다. 그림 4 는 로드리게스와 공동 작업자26에 의해 실험의 주요 연구 결과를 보여 줍니다.
시각적인 세계 패러다임의이 버전은 강력한 결과 굴복, 하는 동안 연결 가설의 복잡성 (및 제한) 다른 연구 강조 했습니다. Burigo 및 Knoeferle20 밝혀 그 참가자- 죽을 상자 ist 버 데르 Wurst 같은 발언을 들을 때 ('상자는 소시지 위에')-주로 이러한 개체의 클립 아트 묘사 검사에서 말을 따 랐 다. 하지만 재판의 비율에 무엇 으로부터 분리 하는 참가자의 시선을 언급 했다. '소시지'와 소시지를 적어도 한 번 검사 하는 데 듣고, 참가자의 다음 검사 후 문장 확인 (시험의 90%와 빨라 검증 (실험 1)에 재판의 약 21%에 상자에 반환 실험 2)입니다. 이 시선 패턴 참조 (청문회 ' 소시지')만 일부 (검사 소시지)을 유도 하지만 모든 눈의 움직임 (검열 된 상자) 제안 합니다. 디자인의이 종류 (를 포함 하 여 문장 수준 해석) 다른에서 떨어져 어휘 참조 프로세스를 애타게 하는 데 사용할 수 프로세스. 그러나, 연구원은 조심 해야 한다 때 주장을 눈 시선에 연결에서 모호성을 주어 안구 운동 비율에 상대적인 차이에 따라 언어 처리의 다른 수준에 대 한 인식 및 이해 과정.
그림 1: 데이터 컬렉션 환경 개요. 그래프는 어떻게 데이터 수집에 사용 되는 다른 소프트웨어 및 하드웨어 요소와 서로 관련 전처리를 보여 줍니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.
그림 2: 뮌스터와 공동 작업자37의 대표적인 결과. 이러한 패널 표시 주제에 의해 의미 로그-시선 조건 당 확률 비율 (묘사 작업)에 대 한 동사 영역에서 동사 부사 지역 (감정적인 총리의 효과)에 대 한 결합에서. 결과 문장에서 언급 한 행동 묘사 되지 이었다 때 보다 묘사 했다 때 보이는 대상 이미지 쪽으로 상당히 높은 비율을 보여준다. 감정적인 얼굴 primes의 효과 대 한 결과 보다 적게 결정 했다: 그들은 제안 대상의 평균 로그 비율에 약간의 증가 얼굴 프라임 했다 그것은 부정적인 원자가 (슬픈 얼굴) 했을 때 보다 긍정적인 감정적인 원자가 (웃음). 오차 막대는 뜻의 표준 오류를 나타냅니다. 이 그림에서 뮌스터 외 수정 되었습니다. 37. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.
그림 3: Guerra 및 Knoeferle32의 대표적인 결과. 이 패널 (dis) 유사성 형용사의 밀리초 단위로 평균 1 통과 독서 시간을 보여줍니다. 멀리 떨어져 있는 것에 비해 함께 가까이 이동의 재생 카드 두 개를 보고 후 결과 유사 문장에 대 한 읽기 시간을 단축 표시. 오차 막대는 뜻의 표준 오류를 나타냅니다. 이 그림은 Guerra 및 Knoeferle32에서 수정 되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.
그림 4: 대표적인 결과 로드리게스와 공동 작업자26. 이 패널 조건 당 확률 비율 동사 지역에 의해 주제 의미 로그 시선을 보여줍니다. 비율 0 표시 위의 대상 에이전트 이미지에 대 한 선호를 보이고 0 아래 비율 경쟁 에이전트 이미지에 대 한 기본 설정 표시. 결과 표시 참가자 더 가능성이 그들이 하지 않았다 때 보다 이전 촬영된 이벤트를 일치 하는 개체와 동사는 문장에서 언급 하는 때 대상 에이전트 이미지를 검사 했다. 또한, 문장에 의해 설명 된 행동 성별 고정관념에 일치 하는 경우 대상 에이전트 이미지 쪽으로 더 많은 것 있었다. 오차 막대는 뜻의 표준 오류를 나타냅니다. 이 수치는 로드리게스 외 에서 수정 26. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.
Discussion
요약 하자면, 비주얼 컨텍스트에서 추적 하는 눈의 검토 이체 있는 시각적 장면 영향을 미칠 수 언어 이해 하는 여러 가지 발견 있다. 이 방법은 반응 시간 측정 등 방법에 비해 중요 한 이점이 있습니다. 예를 들어, 지속적인 눈 움직임 입력 창 언어 이해 프로세스와 이러한 시간이 지남에 시각 세계의 우리의 지 각 상호 작용에. 또한, 참가자는 반드시 필요가 없습니다 (예: 한 문장을 통해 의 grammaticality 버튼을 누르면 판단) 언어 이해 하는 동안 명시적인 작업을 수행. 이 메서드를 사용 하는 명백한 행동 반응 눈 시선, 유아, 등 외 투 수 있습니다 인구와 연구원 수 어린이 일부의 경우, 노인. 안구 추적는 생태학적으로 유효한 참가자의 주의 응답 반영-펼쳐진 발언을 듣고 다소 세심 한 하는 동안 그들의 주위 세계에 있는 통신 관련 것의 인간 시각적 심문 달리.
시각적인 세계 패러다임의 경계 (또는 아마도 특성) 중 straightforwardly 및 명확 하 게 모든 이벤트를 표시할 수 수입니다. 콘크리트 개체 및 이벤트 표시 물론, 수. 하지만 추상적인 개념은 최고의 묘사 하는 것은 덜 분명 하다. 이 수 제한 (또는 정의) 언어 처리와 눈-추적 시각적인 세계 패러다임을 사용 하 여 시각적 세계의 인식 사이의 상호 작용으로 통찰력. 더 도전 관찰 된 행동과 이해 프로세스 사이의 연결 가설에 관련 된. 눈 fixations 단일 행동 응답 가능성이 언어 이해 (예:어휘, 참조 프로세스, 언어 중재 기대, 시각적 컨텍스트 효과, 다른 사람의 사이에서) 동안 많은 하위 프로세스를 반영 하는. 이 통찰력을 감안할 때, 연구원은 조심 해야 하지에 이상-또는 관찰된 시선 패턴을 오해. 이 문제를 해결 하려면 사전 연구 시선 기록40의 해석 명확 하 게 이해 하위 작업의 역할을 강조 했다.
눈 움직임의 판독을 향상 시키는 한 가지 방법은 이벤트 관련 뇌 전위 (르 프 스크 웨)와 같은 다른 측정으로 그들을 통합 하는 것입니다. 그들의 시간적 단위에 비교 하 고 그들의 연결 가설에 보완 하는 두 가지 방법으로 동일한 현상을 조사 함으로써 연구자 수 있습니다 그들의 결과의 대체 설명을 배제 풍부 하 게 각각의 해석 개별 측정41. 이 접근은 추진 하고있다 실험43, 하지만, 더 많은에서 최근에, 또한 단일 실험에서 (이기는 하지만 엄격 하 게 언어 문맥에서)44. 미래 연구 방법론 통합 등에서 크게 혜택을 받을 수 및 함께 포스트 예 심 및 후 실험 작업을 계속.
눈-추적 방법은 뿐만 아니라 언어 이해와 장면에 시각적인 관심의 상호 작용에 대 한 새로운 가설을 테스트 설립된 결과 복제할 수 있습니다. 프로토콜에서 설명 하는 절차 때문에 사소한 실험 오류 데이터 품질에 영향을 미칠 수 있습니다 신중 하 게 뒤 야 합니다. 읽고 연구, 예, 관련 분석 지역은 종종 개별 단어 또는 심지어 편지, 작은 교정 오류 (Raney 및 동료42여 기사 참조) 결과 왜곡 수 있습니다 의미입니다. 1.4와 1.5 단계 프로토콜의, 눈 추적자 및 드리프트 확인/드리프트, 교정 특정 중요성의 기록 정확도 직접 영향을 미치기 때문입니다. 실패 제대로 눈 추적자 측정을 하지 정확 하 게 미리 설립된 관심 분야에 안구의 움직임을 추적 하는 추적 될 수 있습니다. 이러한 추적 실패 누락 된 데이터 요소 및 통계적 인 힘은 매우 미묘 하 고 작은 통계 효과 크기를 산출 하는 세계 언어 관계를 조사할 때 문제가 될 수 있는 손실을 이어질 것입니다 (의 설명을 참조는 Guerra 및 Knoeferle32 및37 대표 결과뮌스터와 동료에 의해 실험).
능력과 장비의 감도 극대화를 필요 감안할 때, 그것은 경험 실험 세션 동안 정기적으로 발생 하는 문제를 해결 하는 방법을 알고 중요. 예를 들어 안경을 착용 하는 참가자의 운동과 눈동자 위치 교정 어려움 참가자의 안경의 렌즈에 빛의 반사 때문에 발생할 수 있습니다. 이 문제를 해결 하기 위해 한 가지 방법은 PC 디스플레이에 참가자의 눈의 이미지를 반영 하 여 안경에 빛의 반사는 더 이상 카메라에서 더 이상 캡처 의미 그들의 화면에 표시 될 때까지 그들의 머리를 이동 하는 것이 좋습니다입니다. 교정 오류의 추가 원인을 눈동자 긴축, 빛에 노출 과도의 결과 수 있습니다 수 있습니다. 이 경우, 실험실에서 빛을 디 밍 것 이다 눈동자 팽창 증가 그리고, 따라서, 도움이 정확 하 게 검출 하는 눈동자에서 눈 추적자.
마지막 생각으로 우리는 시각적인 세계 패러다임은 두번째 언어 학습에 대 한 연구에 대 한 가능성을 해결 하 고 싶습니다. 패러다임은 이미 성공적으로 사용 되었습니다 psycholinguistic 연구에서 크로스-언어 어휘 음운론 상호46,,4748같은 현상 조사. 또한, 시각적 주의 언어 학습 사이 가까운 연결 자주에 두 번째 언어 인수49,,5051-언어학 문학에서 강조 되었다. 두번째 언어 학습에 대 한 미래의 연구 밀리초 해상도에 시각적인 관심의 인덱스를 제공 하는 방법으로 눈 추적의 유리한 위치에서 혜택을 가능성이 계속 됩니다.
Disclosures
저자는 공개 없다.
Acknowledgments
이 연구는 ZuKo (우수 이니셔티브, 훔볼트 대학 촉 산 베를린), 우수 클러스터 277에 의해 투자 되었다 ' 인지 상호 작용 기술 ' (독일 연구 위원회, DFG), 그리고 연구를 위한 유럽 연합의 7 프레임 워크 프로그램 기술 개발, 그리고 데모 그랜트 계약 n ° 316748 (LanPercept)에서. 저자는 또한 우수의 센터, 프로젝트 FB0003는 연관 연구 프로그램의 CONICYT (칠레 정부), 그리고 프로젝트 "FoTeRo" 초점 센터 XPrag (DFG)에 대 한 기저 자금에서 지원을 인정합니다. 피아 Knoeferle는 문서의 첫 번째 초안 헬렌 Kreysa 빌레펠트 대학에서 인스턴스화할 실험실 프로토콜에 의해 정보 제공 훔볼트 대학 촉 산 베를린에서 사용 하 고 있습니다. 모든 저자는 입력 방법 및 한 형태 또는 다른에서 결과에 제공 하 여 내용을에 공헌 했다. 카밀로 로드리게스 Ronderos 피아 Knoeferle 저자에서 입력을 조정 하 고, 두 개의 반복에서 실질적으로 초기 초안 개정. 에 르네 스토 Guerra 그림 2 - 4 에서 Katja 뮌스터, 알바 로드리게스에 르네 스토 Guerra 입력에 따라 생산. 헬렌 Kreysa 그림 1 과 피아 Knoeferle 그것을 업데이 트를 제공 합니다. 보고 된 결과 인지 과학 사회의 연례 회의의 절차에서 출판 되었습니다.
Materials
| Name | Company | Catalog Number | Comments |
| Desktop mounted eye-tracker including head/chin rest | SR Research Ltd. | EyeLink 1000 plus | http://www.sr-research.com/eyelink1000plus.html |
| Software for the design and execution of an eye-tracking experiment | SR Research Ltd. | Experiment Builder | http://www.sr-research.com/eb.html |
References
- Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
- Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
- Knoeferle, P., Guerra, E. What is non-linguistic context? A view from language comprehension. In What is a Context? Linguistic Approaches and Challenges. Finkbeiner, R., Meibauer, J., Schumacher, P. B. , John Benjamins Publishing Company. Amsterdam, The Netherlands. 129-150 (2012).
- Knoeferle, P., Guerra, E. Visually situated language comprehension. Language and Linguistics Compass. 10 (2), 66-82 (2016).
- Just, M. A., Carpenter, P. A. A theory of reading: From eye fixations to comprehension. Psychological Review. 87 (4), 329-354 (1980).
- Deubel, H., Schneider, W. X. Saccade target selection and object recognition: Evidence for a common attentional mechanism. Vision Research. 36 (12), 1827-1837 (1996).
- Rayner, K. Eye movements in reading and information processing: 20 years of research. Psychological Bulletin. 124 (3), 372-422 (1998).
- Sedivy, J. C., Tanenhaus, M. K., Chambers, C. G., Carlson, G. N. Achieving incremental semantic interpretation through contextual representation. Cognition. 71 (2), 109-147 (1999).
- Kamide, Y., Scheepers, C., Altmann, G. T. Integration of syntactic and semantic information in predictive processing: Cross-linguistic evidence from German and English. Journal of Psycholinguistic Research. 32 (1), 37-55 (2003).
- Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
- Tanenhaus, M. K., Magnuson, J. S., Dahan, D., Chambers, C. Eye movements and lexical access in spoken-language comprehension: Evaluating a linking hypothesis between fixations and linguistic processing. Journal of Psycholinguistic Research. 29 (6), 557-580 (2000).
- Arnold, J. E., Eisenband, J. G., Brown-Schmidt, S., Trueswell, J. C. The rapid use of gender information: Evidence of the time course of pronoun resolution from eyetracking. Cognition. 76 (1), B13-B26 (2000).
- Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology: Learning, Memory, and Cognition. 30 (3), 687-696 (2004).
- Spivey, M. J., Tanenhaus, M. K., Eberhard, K. M., Sedivy, J. C. Eye movements and spoken language comprehension: Effects of visual context on syntactic ambiguity resolution. Cognitive Psychology. 45 (4), 447-481 (2002).
- Huang, Y. T., Snedeker, J. Online interpretation of scalar quantifiers: Insight into the semantics-pragmatics interface. Cognitive Psychology. 58 (3), 376-415 (2009).
- Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying online sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
- Knoeferle, P., Crocker, M. W., Scheepers, C., Pickering, M. J. The influence of the immediate visual context on incremental thematic role-assignment: evidence from eye movements in depicted events. Cognition. 95 (1), 95-127 (2005).
- Knoeferle, P., Crocker, M. W. Incremental Effects of Mismatch during Picture-Sentence Integration: Evidence from Eye-tracking. Proceedings of the 26th Annual Conference of the Cognitive Science Society. , Stresa, Italy. 1166-1171 (2005).
- Kluth, T., Burigo, M., Schultheis, H., Knoeferle, P. The role of the center-of-mass in evaluating spatial language. Proceedings of the 13th Biannual Conference of the German Society for Cognitive Science. , Bremen, Germany. 11-14 (2016).
- Burigo, M., Knoeferle, P. Visual attention during spatial language comprehension. PLoS One. 10 (1), (2015).
- Münster, K., Carminati, M. N., Knoeferle, P. How Do Static and Dynamic Emotional Faces Prime Incremental Semantic Interpretation? Comparing Older and Younger Adults. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2675-2680 (2014).
- Kroeger, J. M., Münster, K., Knoeferle, P. Do Prosody and Case Marking influence Thematic Role Assignment in Ambiguous Action Scenes? Proceedings of the 39th Annual Meeting of the Cognitive Science Society. , London, UK. 2463-2468 (2017).
- Knoeferle, P., Crocker, M. W. The influence of recent scene events on spoken comprehension: evidence from eye movements. Journal of Memory and Language. 57 (4), 519-543 (2007).
- Knoeferle, P., Carminati, M. N., Abashidze, D., Essig, K. Preferential inspection of recent real-world events over future events: evidence from eye tracking during spoken sentence comprehension. Frontiers in Psychology. 2, 376 (2011).
- Abashidze, D., Knoeferle, P., Carminati, M. N. How robust is the recent-event preference? Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 92-97 (2014).
- Rodríguez, A., Burigo, M., Knoeferle, P. Visual constraints modulate stereotypical predictability of agents during situated language comprehension. Proceedings of the 38th Annual Meeting of the Cognitive Science Society. , Philadelphia, USA. 580-585 (2016).
- Zhang, L., Knoeferle, P. Visual Context Effects on Thematic Role Assignment in Children versus Adults: Evidence from Eye Tracking in German. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 2593-2598 (2012).
- Zhang, L., Kornbluth, L., Knoeferle, P. The role of recent versus future events in children's comprehension of referentially ambiguous sentences: Evidence from eye tracking. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1227-1232 (2012).
- Münster, K., Knoeferle, P. Situated language processing across the lifespan: A review. International Journal of English Linguistics. 7 (1), 1-13 (2017).
- Özge, D., et al. Predictive Use of German Case Markers in German Children. Proceedings of the 40th Annual Boston University Conference on Language Development. , Somerville, USA. 291-303 (2016).
- Weber, A., Grice, M., Crocker, M. W. The role of prosody in the interpretation of structural ambiguities: A study of anticipatory eye movements. Cognition. 99 (2), B63-B72 (2006).
- Guerra, E., Knoeferle, P. Effects of object distance on incremental semantic interpretation: similarity is closeness. Cognition. 133 (3), 535-552 (2014).
- Kreysa, H., Knoeferle, P., Nunnemann, E. Effects of speaker gaze versus depicted actions on visual attention during sentence comprehension. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2513-2518 (2014).
- Abashidze, D., Knoeferle, P., Carminati, M. N. Eye-tracking situated language comprehension: Immediate actor gaze versus recent action events. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 31-36 (2015).
- Crovitz, H. F., Zener, K. A Group-Test for Assessing Hand- and Eye-Dominance. The American Journal of Psychology. 75 (2), 271-276 (1962).
- Ehrenstein, W. H., Arnold-Schulz-Gahmen, B. E., Jaschinski, W. Eye preference within the context of binocular functions. Graefe's Arch Clin Exp Ophthalmol. 243, 926 (2005).
- Münster, K., Carminati, M. N., Knoeferle, P. The Effect of Facial Emotion and Action Depiction on Situated Language Processing. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 1673-1678 (2015).
- Lakoff, G., Johnson, M. Metaphors We Live By. , University of Chicago Press. Chicago, USA. (1980).
- Guerra, E., Knoeferle, P. Visually perceived spatial distance affects the interpretation of linguistically mediated social meaning during online language comprehension: An eye tracking reading study. Journal of Memory and Language. 92, 43-56 (2017).
- Kreysa, H., Knoeferle, P. Effects of speaker gaze on spoken language comprehension: task matters. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1557-1562 (2012).
- Knoeferle, P. Language comprehension in rich non-linguistic contexts: Combining eye tracking and event-related brain potentials. Towards a cognitive neuroscience of natural language use. Roel, W. , Cambridge University Press. Cambridge, UK. 77-100 (2015).
- Raney, G. E., Campell, S. J., Bovee, J. C. Using eye movements to evaluate cognitive processes involved in text comprehension. Journal of Visualized Experiments. (83), e50780 (2014).
- Knoeferle, P., Habets, B., Crocker, M. W., Muente, T. F. Visual scenes trigger immediate syntactic reanalysis: evidence from ERPs during situated spoken comprehension. Cerebral Cortex. 18 (4), 789-795 (2008).
- Dimigen, O., Sommer, W., Hohlfeld, A., Jacobs, A. M., Kliegl, R. Coregistration of eye movements and EEG in natural reading: Analyses and review. Journal of Experimental Psychology: General. 140 (4), 552-572 (2011).
- Knoeferle, P., Kreysa, H. Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension? Frontiers in Psychology. 3, 538 (2012).
- Chambers, C. G., Cooke, H. Lexical competition during second-language listening: Sentence context, but not proficiency, constrains interference from the native lexicon. Journal of Experimental Psychology: Learning, Memory, and Cognition. 35 (4), 1029 (2009).
- Duyck, W., Van Assche, E., Drieghe, D., Hartsuiker, R. J. Visual word recognition by bilinguals in a sentence context: Evidence for nonselective lexical access. Journal of Experimental Psychology: Learning, Memory, and Cognition. 33 (4), 663 (2007).
- Weber, A., Cutler, A. Lexical competition in non-native spoken-word recognition. Journal of Memory and Language. 50 (1), 1-25 (2004).
- Verhallen, M. J., Bus, A. Young second language learners' visual attention to illustrations in storybooks. Journal of Early Childhood Literacy. 11 (4), 480-500 (2011).
- Robinson, P., Mackey, A., Gass, S. M., Schmidt, R. Attention and awareness in second language acquisition. The Routledge Handbook of Second Language Acquisition. , 247-267 (2012).
- Tomlin, R. S., Villa, V. Attention in cognitive science and second language acquisition. Studies in Second Language Acquisition. 16 (2), 183-203 (1994).
