Name: 시각적으로 위치한 언어 이해 동안 눈 추적: 유연성과 잠복 시각적 컨텍스트 효과에 한계 (동영상) | JoVE Journal
Uploaded: 2018-11-30T12:30:00.000+00:00
Duration: 7 min 36 s
Description: 배우세요 심리언어학 연구에서 눈 추적 방법론을 활용하여 언어 이해 과정을 탐구하는 기법입니다. 정확한 보정과 시각적 맥락이 실시간 언어 처리에 미치는 영향을 분석하여 신뢰할 수 있는 데이터를 수집합니다.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

이 연구는 ZuKo (우수 이니셔티브, 훔볼트 대학 촉 산 베를린), 우수 클러스터 277에 의해 투자 되었다 ' 인지 상호 작용 기술 ' (독일 연구 위원회, DFG), 그리고 연구를 위한 유럽 연합의 7 프레임 워크 프로그램 기술 개발, 그리고 데모 그랜트 계약 n ° 316748 (LanPercept)에서. 저자는 또한 우수의 센터, 프로젝트 FB0003는 연관 연구 프로그램의 CONICYT (칠레 정부), 그리고 프로젝트 "FoTeRo" 초점 센터 XPrag (DFG)에 대 한 기저 자금에서 지원을 인정합니다. 피아 Knoeferle는 문서의 첫 번째 초안 헬렌 Kreysa 빌레펠트 대학에서 인스턴스화할 실험실 프로토콜에 의해 정보 제공 훔볼트 대학 촉 산 베를린에서 사용 하 고 있습니다. 모든 저자는 입력 방법 및 한 형태 또는 다른에서 결과에 제공 하 여 내용을에 공헌 했다. 카밀로 로드리게스 Ronderos 피아 Knoeferle 저자에서 입력을 조정 하 고, 두 개의 반복에서 실질적으로 초기 초안 개정. 에 르네 스토 Guerra 그림 2 - 4 에서 Katja 뮌스터, 알바 로드리게스에 르네 스토 Guerra 입력에 따라 생산. 헬렌 Kreysa 그림 1 과 피아 Knoeferle 그것을 업데이 트를 제공 합니다. 보고 된 결과 인지 과학 사회의 연례 회의의 절차에서 출판 되었습니다.

이 프로토콜은 기관의 데이터 수집 된 즉, 인지 상호 작용 기술 우수 클러스터 (CITEC) 빌레펠트 대학과 훔볼트 대학 촉 산 베를린의 윤리 지침을 따릅니다. 빌레펠트 대학에서 실시 하는 실험 빌레펠트 대학 윤리 위원회에 의해 개별적으로 승인 되었다. 훔볼트 대학 zu에서 심리 언어학 연구소 베를린 도이치 분야에 Sprachwissenschaft, 독일 언어학 학회 (DGfS)의 윤리 위원회에 의해 승인 되었다 실험실 윤리 프로토콜이 있다.
1. 바탕 화면 설정
참고: 다음은 눈-추적 실험에서 중요 한 단계입니다.
<ol><li>장비 준비
	<ol>
<li>눈-추적 카메라와 호스트 PC 설정 ( 그림 1 -실험실 데이터 수집 및 전처리 설치의 그림 참조).</li>
		<li>눈 추적자 소프트웨어를 시작 합니다.</li>
		<li>PC 디스플레이 켭니다. 실험을 포함 하는 폴더를 엽니다.</li>
		<li>두 번 클릭 하 여.exe 확장명이 '배포' 버전을 시작 합니다.</li>
		<li>설정에 따라 실험 목록 선택 프롬프트는 일반적으로 탭으로 구분 된.csv/.txt 파일 포함입니다 조건, 사운드 파일 이름, 쓰여진된 문장, 또는 이미지를 참가자에 노출 될 것입니다 나타날 수 있습니다. 목록, 선택 하 고 프로그램을 시작 합니다. 결과 저장 될 출력 파일을 이름을 지정 합니다. 참고: PC 디스플레이에 출력 파일을 저장 하 고 백업 호스트 PC에 저장 됩니다.</li>
		<li>(소개 또는 환영 받은 스크린) 실험의 첫 번째 화면을 열어 둡니다.</li>
		<li>눈 추적자 카메라에서 보호 커버를 제거 합니다.</li>
		<li>위생 목적을 위해 턱 소유자에 휴지를 놓습니다.</li>
		<li>선택 사항: 응답 패드 또는 실험에 의해 필요에 따라 키보드를 준비 합니다.</li>
		<li>옵션: 청각 자극을 제시 하는 경우는 스피커의 볼륨을 조정 하 고 테스트 그들 실험을 실행 하기 전에. 또는 참가자에 의해 사용 되는 헤드폰의 기능을 테스트 합니다.</li>
		<li>참가자의 서명이 필요한 양식을 준비 합니다.</li>
		<li>데이터 수집 프로세스의 전체 기간에 대 한 지속적인 광도와 어렴풋이 점등된 방 하기 위해서는 실험실에서 빛의 강도 조정 합니다.</li>
	</ol></li>
	<li>참가자를 위한 준비
	<ol>
<li>참가자 도착, 후 자신을 소개 합니다.</li>
		<li>장소는 방해 하지 마십시오 실험실 문을에 서명.</li>
		<li>참가자가 자리를 요구 하십시오.</li>
		<li>정보 시트와 필요한 동의 인구 양식을 통해 참가자 안내.</li>
		<li>참가자를 읽었고 동의 양식에 서명 합시다.</li>
		<li>짧게 실험 및 그 기간의 일반적인 측면을 설명 합니다. 이 참가자의 시선 행동과 결과 데이터 영향을 미칠 수 있기 때문에 실험 하기 전에 너무 많은 정보를 제공 하지 않습니다.</li>
		<li>서 면된 지침을 제공 하 고 참가자에 게 질문 기회를 주고.</li>
		<li>간단히 눈 추적기의 기능 설명.</li>
		<li>필요한 경우 작업을 명확히 하 고 실험 기간 동안 누가 필요가 있을 것 이다 어떤 버튼/키 지적.</li>
		<li>턱 나머지는 실험 기간 동안 머리의 움직임을 최소화 하기 위한 방법을 설명 합니다. 장치는 참가자 어떤 움직임을 방지 하는 경우 가장 기능을 언급 해 라.</li>
	</ol></li>
	<li>눈 추적 설정
	<ol>
<li>실험 참가자 준비: 턱 나머지에 그들의 턱을 테이블에 앉아 그들에 게. 머리 받침에 대 한 그들의 마를 숙이 고 그들에 게.</li>
		<li>필요한 경우 높이의 자의 위치를 조정 하려면 참가자에 게 물어: 참가자 그들의 턱 턱 나머지에 머리 받침에 대 한 그들의 마와 함께 편안 하 게 느껴야 한다.</li>
		<li>일반적인 실수로 실험 기간 동안 머리를 이동 하는 것을 설명 하 고이 피해 야 한다. 설명 머리 자세 실험 기간 동안 수정 해야 할 수도 있습니다.</li>
		<li>실험이 필요한 경우 (예를 들어, 을 통해 응답 패드) 버튼을 누르면, 버튼에 손가락을 두고 참가자 지시 눌러야 하 고 피하기 위해 버튼을 누를 때 응답 패드에서 아래를 내려다 보면서.</li>
		<li>환영/소개 스크린을 읽기 참가자를 요구 하십시오.</li>
		<li>호스트 PC 앞에 앉아. 화면에 없는 경우 이미 카메라 설치, 카메라 설치 오른쪽 화면을 클릭 합니다. 카메라 렌즈에서 보호 커버를 제거 하는 경우 참가자가 올바르게 턱 나머지에 배치 화면 참가자의 눈의 세 개의 이미지를 표시 해야 합니다: 위쪽, 왼쪽 및 오른쪽 하단에 두 개의 작은 것 들에 더 큰 이미지를. 이러한 작은 이미지 표시 한 눈 왼쪽과 오른쪽 눈에 각각 해당 합니다.</li>
		<li>눈 추적을 선택 합니다. 그것은 참가자의 지배적인 눈을 추적 하는 것이 관례입니다. 참가자는 눈은 지배적인 모른다면, 눈 우 성 테스트 (1.3.8 단계)를 수행 합니다.</li>
		<li>눈 지배를 결정 합니다. 한 팔에 밖으로 기지개 하 고 오픈 양쪽 눈 먼 개체와 엄지 정렬에 참가자를 요구 하십시오. 대체 닫기 왼쪽 또는 오른쪽 눈에 참가자를 요구 하십시오. 지배적인 눈 하나는 엄지손가락 남아 개체와 정렬 때 눈이 열려35,36입니다.</li>
		<li>이미지 에 클릭 | Pc 디스플레이 (또는 Enter키를 누릅니다) 및 단계 1.3.6에서에서 설명 하는 이미지에 참가자의 디스플레이 화면, 하지만 한 번에 하나씩만 나타납니다.</li>
		<li>눈의 작고 큰 이미지 사이 전환 하는 실험 또는 참가자의 컴퓨터 키보드에 있는 왼쪽/오른쪽 화살표를 누릅니다. 작은 이미지 (눈)에 초점을.</li>
		<li>눈동자 위치에 검색 제한 상자 센터 위해 어느 키보드에 압박 A (맞춤 눈 창). 다음, 눈 주위에 붉은 광장 눈동자의 하단 ['각 막 반사', (cr)] 터키석 원형으로 표시 되어야 합니다. 자체 눈동자는 파란색 해야 합니다.</li>
		<li>두 십자가 ('총') 화면에 표시-각 막 반사의 중심에 있는 눈동자의 센터에서. 빨간 상자와 두 눈 추적자는 눈동자와 크롬을 감지 하는 말은 십자가. 참고: 빨간색 상자 또는 십자가 경우 결 석, 눈 추적 되지 않습니다-이 경우, 아니 학생 실험의 컴퓨터에 표시 됩니다.</li>
		<li>수동 초점 렌즈를 설정 하 여 카메라의 초점을 조정 합니다. 조심 하지 렌즈의 전면을 터치 합니다. 최고의 초점 포인트에이 때까지 렌즈를 설정 합니다. 참고: 최고의 초점 포인트에 도달할 때 청록색 원형 (각 막 반사)는 작은 가능한 (즉,이 원 초점에 있을 때).</li>
		<li>눈동자 임계값을 설정 합니다. 눈동자의 이미지만 파란색 인지 확인 (예를 들어, 속눈썹 해서는 안 블루) 호스트 PC에. 또한, 전체 학생 (뿐 아니라 그것의 중앙 부분) 파란색 인지 확인 합니다. 단지 빨간색 사각형 안에 뭐가 걱정.</li>
		<li>A키를 누릅니다. 이 자동으로 눈동자 임계값을 설정합니다. 눈동자가 파란색으로 정확 하 게 표시 되지 않으면, 증가 를 키와 파란색 부분의 이미지 표면 양을 감소를 아래로 키를 사용 하 여 수동으로 하는 임계값을 조정. 참고: (이것은 일반적으로 검은 눈동자 처럼) 마스카라 임계값 설정 방해할 수-눈 추적자는 눈동자 어두운 속눈썹 걸릴 수 있습니다. 이 경우에, 참가자 메이크업 리무버 티슈 들을 제공 함으로써 그들의 메이크업을 제거를 부탁 드립니다.</li>
		<li>Cr 임계값을 설정 합니다. 단계 1.3.15에서에서 A 를 누르면 cr 임계값 해야 자동으로 설정 되었습니다. 참고: 모든 임계값 설정에 대 한 숫자 값 표시 되어야 합니다. 물음표는 그들 중 하나에 나타납니다, 앞 단계 중 하나에 문제가 발생 했습니다 하 고 임계값을 수동으로 설정 해야 합니다.</li>
	</ol></li>
	<li>눈 추적자 보정 참고: 여부 눈 추적자 지속적으로 식별할 수는 눈의 위치 때 참가자는 스크린의 다른 부분에서 확인 합니다.<ol>
<li>카메라 설정 창 보기에 하는 동안 한 번에 하나의 스크린의 네 모서리에 보고 참가자를 요구 하십시오. 신중 하 게 각 막 반사 눈 시선에 지시 될 때 방해 하는 어떤 불규칙 한 반사 (이 표시 됩니다 터키석 'blob'는 화면에) 찾습니다.</li>
		<li>스크린의 센터에서 모양과 눈 고 십자선의 주위에 빨간색 상자가 1.4.1 단계 동안 어떤 시점에서 표시 되지 않는 경우 다음 문제가 코너에 그들의 시선을 직접 참가자를 요구 하십시오. 이 문제의 원인을 확인 하는 데 도움이 됩니다.</li>
		<li>참가자의 머리의 위치를 다시 조정 하 고 경우이 뛰어납니다 어떤 확인 합니다. 필요한 경우이 단계를 반복 합니다. 장치는 정확 하 게 여러 번 시도 후 참가자의 시선을 추적 하 수, 실험을 중단.</li>
		<li>눈 추적자 측정 될 것 이다 그리고 그들은 스크린의 다른 부분에 이동 (작은 회색 점)와 검은 동그라미가 표시 하려고 하는 참가자에 게 알립니다. 참가자를 새 위치로 이동할 때까지 동그라미를 흥분 시키는 지시. 그들의 눈을 긴장 하지 않도록 하 고 최적의 결과 대 한 검은 원 안에 작은 회색 점에 집중 하는 참가자를 지시 합니다.</li>
		<li>그것은 아직도 계속 하 고 보정 하는 동안 다음의 위치를 예측 하려고 하지 중요 한 참가자에 게. 그들의 눈 및 그들의 머리에 안 원을 따라 하도록 지시 합니다. 보정 보정 프로세스를 시작 하려면 클릭 하십시오. 일반적으로, 9 포인트 캘리브레이션 절차 검은 원을 이동 되 9 위치에 직렬 방식으로 사용 됩니다.</li>
		<li>자동 보정에 대 한 참가자는 정확 하 게 집착 하 여 화면의 중간에 첫 번째 점 후 ENTER 를 누릅니다. ENTER 를 눌러 각 고정 수동 보정 (예를 들어, 참가자의 눈 또는 때 특별 한 참가자를 다루는 아이 같은 그룹을 추적 하는 문제가 있을 때)에 대 한 동의 (또는 동의 고정을 클릭 하 여 / 스페이스바누르면). 참고: 보정 프로세스의 끝에, 실험의 화면에 거의 직사각형 패턴 표시 되어야 합니다. 이 참가자의 눈 시선 패턴을 나타냅니다. 또한, 좋은 교정의 결과 녹색으로 강조 표시 합니다. 없는 경우, 교정 절차 (즉, 교정에 클릭)를 반복 합니다.</li>
		<li>결과 확인 합니다. 교정 과정의 결과 확인 하기 위해서는 (점 보고) 동일한 절차를 통해 갈 참가자에 게. 점을 보고 하 고 여전히 그들을 생각나 게 해요. 참고: 유효성 검사의 과정은 교정의 고 두 결과 눈 정확 하 게 추적 되은 되도록 눈 추적 소프트웨어에 의해 비교 됩니다.</li>
		<li>클릭 확인.
</li>
		<li>ENTER 키를 눌러 (또는 스페이스바를 누르면/고정 허용을 클릭 하 여) 각 고정을 동의 합니다.</li>
		<li>유효성 검사 후 결과 실험의 화면에 표시 됩니다. 두 오류 측정, 평균 오류 (예를 들어, 0.23 °) 및 최대 오류 (예를 들어, 0.70 °)에 특히 주의. 추적된 이미지는 참가자의 실제 시선 위치에서 벗어나는 나타냅니다.</li>
		<li>시각적인 세계 패러다임을 사용 하는 경우 0.5 ° 및 최대 오류 (두 번째 숫자)에서 평균 오류 (첫 번째 숫자)를 계속 1 ° 미만.</li>
		<li>오류 값이 임계값은 참가자가 그들의 머리의 위치를 조정 하 고 보정 절차를 다시 시작을 요청. 개선을 관찰 실험을 중단. 참고: 참가자는 콘택트 렌즈를 착용 하는 때 높은 보정 오류를 관찰 하는 것이 일반적입니다. 참가자는 그들의 콘택트 렌즈 대신 그들의 처방전 유리를가지고 사전에 게 한다.</li>
		<li>보정 프로세스를 성공적으로 완료 한 후 실험을 시작 하려면 출력/레코드 를 클릭 합니다. 실험 예정 지금 참가자에 게 알립니다.</li>
	</ol></li>
	<li>실험 기간 동안 참고: 실험 (에 따라 어떻게 개별 실험 프로그램입니다, 하지만 일반적으로 각 실험 재판 전에), 동안 체크 드리프트 또는 드리프트 올바른 화면 화면 중앙에 도트를 표시 됩니다. 그것의 목적은 재판, 그리고 눈 추적 모델을 자동으로 조정에 따라 전류에 대 한 계산 된 고정 오류 보고입니다.<ol>
<li>명령 단계 동안, 참가자 중앙 점이 나타납니다 때마다 흥분에 말 했. 그 모든 드리프트 확인/드리프트 올바른 단계 동안, 참가자는 다시 편집증 점이 다는 것을 확인 하십시오. 이것은 참가자의 시선을 이동 녹색 원으로 나타나는 호스트 PC에 참가자의 시선에 따라 행 해질 수 있다.</li>
		<li>드리프트 확인/드리프트 올바른 완료 되 면 (또는 스페이스바)를 사라지고 다음 재판 표시 점 확인 을 누릅니다.</li>
		<li>눈 추적자 사용 모델에 따라 드리프트 확인 단계를 통과 하는 실패를 다루는 방법을 결정 합니다. 모델에 따라 눈 추적자 것 중 하나는 자동 보정 드리프트 중앙 점이 일치 하는 시선의 좌표를 조정 하 여 또는 수행 계속 하기 전에 다시 보정 실험을 들어오면 소리를 만들 것입니다는 (체크를 드리프트) 실험.</li>
		<li>경우에 자동 드리프트 보정을 사용 하 여, 연속 시험 및/또는 드리프트 보정 정도의 너무 큰 너무 많은 드리프트 수정 결과 왜곡 하 고 장치의 재 교정 필요 명심 하십시오.</li>
	</ol></li>
	<li>실험 기간 동안 재 교정
	<ol>
<li>실험 기간 동안 언제 든 지 다시 보정 가능 하다. 드리프트 보정/드리프트 확인 화면 프레 젠 테이 션, 카메라 설정, 클릭 클릭 보정. 만족 스러운 값에 도달할 때까지 보정 및 검증 과정을 통해 가십시오 후 출력/레코드를 클릭 하십시오. 실험 시험 시퀀스의 종료 지점에서 다시 시작 됩니다.</li>
	</ol></li>
	<li>실험 후
	<ol>
<li>만약 그들이 주요 실험 조작 추측할 수를 평가 하기 위해 설문 조사와 함께 참가자를 제공 합니다. 여기, 그것은 또한 실험을 통해 개발 된 수 있는 잠재적인 전략에 대 한 요청 하는 것이 중요입니다.</li>
		<li>실험의 목적에 대 한 참가자를 보고 합니다. 그들의 참여에 대해 감사 하 고 필요한 금전적 보상을 제공 또는 해당 하는 경우 코스 신용을 할당 합니다.</li>
	</ol></li>
</ol>2. 원격 설정: 어린이와 노인 연구에 대 한 설정을 조정
참고:이 섹션 1 단계에 설명 된 대로 원격 설정 및 데스크톱 설정 간의 차이점을 설명 합니다. 포인트는 명시적으로 언급 여기 1 단계에서 설명 하는 절차와 동일한 것으로 간주 한다.
<ol><li>16 m m 렌즈에 대 한 표준 35 m m 눈 추적자 카메라 렌즈를 교환 합니다.</li>
	<li>모든 필요한 장비 (호스트 PC, 스피커, 눈 추적, 그리고 노트북 노트북 사용 하는 경우)에 연결 합니다.</li>
	<li>에 배치 하는 노트북 노트북 스탠드 및 앞 눈 추적자 (참가자는 스크린의 최고 75%를 볼 수 있어야 함).</li>
	<li>"대상 스티커"를 배치 (추적기의 제조 업체에서 사용 가능) 참가자의이 마에 (또는 오른쪽 뺨이 마 너무 경우에 오른쪽 눈의 눈 썹 위에 작은 (즉, 유아의 경우),이 스티커 대체 턱의 나머지는 데스크탑 설치 및 그것은 정확 하 게 참가자의 머리의 위치를 결정 하는 눈 추적을 허용 한다.</li>
	<li>참가자 카메라 (카메라 대상 스티커의 거리)에서 550-600 m m를 장착 되어 있는지 확인 하십시오.</li>
	<li>있는지 확인 단어 "큰 각도" 또는 "눈 근처" 호스트 PC에 표시 되지 않습니다. 만약 그들이, 그것은 대상 스티커의 위치는 이상적인 의미 합니다. 이 경우에, 조정 대상 스티커. 그것은 또한 참가자의이 마는 특히 작은 것을 의미할 수 있습니다. 이 경우 참가자의 뺨에 스티커를 놓습니다. 참고: 스티커의 경우 귀에 너무 가까이, 메시지 "큰 각도" 나타날 것 이며 스티커의 위치를 변경 해야 합니다.</li>
	<li>1.4 단계에서 설명 하는 보정 프로세스를 시작 하기 전에 참가자 편안 하 게 앉아 있는지 확인 합니다. 모든 실험에 걸쳐 동일한 위치를 유지 하 고 눈 추적자는 신체 움직임에 매우 민감한 설명 하도록 요청 합니다. 그들은 아직도 그들의 머리를 유지 하는 것을 주장 한다. 참가자가 너무 많이 이동 하는 경우 장치 윙윙 거 린 소음을 방출 합니다. 참고: 원격 눈 추적기 설치 어린이나 노인, 등 중요 한 인구를 테스트를 사용 하는 경우 그것은 수동 교정 절차를 사용 하는 것이 좋습니다.</li>
</ol>3. 연구를 읽기 위한 설정 조정
참고: 읽기에 대 한 시각적 컨텍스트 효과 조사, 그것은 교정과 재 교정 프로세스에 특별 한 주의 지불 하는 데 필요한입니다. 영상 세계 연구, 반대 눈 읽기 중 추적 장치 정밀, 주어진 단어 대 단어, 문자를 읽기 패턴을 추적 하는 데 필요한 정확도의 훨씬 더 높은 학위를 필요 합니다.
<ol><li>모두 평균 및 최대 오류를 유효성 검사 단계 동안 표시 유지 미만 0.5 ° 다는 것을 확인 하십시오.</li>
	<li>교정에 대 한 적어도 9 점 척도 사용 하 여 있는지 확인 합니다. 이 더 정확한 읽기 중 관심 분야의 작은 크기를 주어, 필수적 이다 눈 시선 위치 추적을 보장 합니다.</li>
</ol>

저자는 공개 없다.

요약 하자면, 비주얼 컨텍스트에서 추적 하는 눈의 검토 이체 있는 시각적 장면 영향을 미칠 수 언어 이해 하는 여러 가지 발견 있다. 이 방법은 반응 시간 측정 등 방법에 비해 중요 한 이점이 있습니다. 예를 들어, 지속적인 눈 움직임 입력 창 언어 이해 프로세스와 이러한 시간이 지남에 시각 세계의 우리의 지 각 상호 작용에. 또한, 참가자는 반드시 필요가 없습니다 (예: 한 문장을 통해 의 grammaticality 버튼을 누르면 판단) 언어 이해 하는 동안 명시적인 작업을 수행. 이 메서드를 사용 하는 명백한 행동 반응 눈 시선, 유아, 등 외 투 수 있습니다 인구와 연구원 수 어린이 일부의 경우, 노인. 안구 추적는 생태학적으로 유효한 참가자의 주의 응답 반영-펼쳐진 발언을 듣고 다소 세심 한 하는 동안 그들의 주위 세계에 있는 통신 관련 것의 인간 시각적 심문 달리.
시각적인 세계 패러다임의 경계 (또는 아마도 특성) 중 straightforwardly 및 명확 하 게 모든 이벤트를 표시할 수 수입니다. 콘크리트 개체 및 이벤트 표시 물론, 수. 하지만 추상적인 개념은 최고의 묘사 하는 것은 덜 분명 하다. 이 수 제한 (또는 정의) 언어 처리와 눈-추적 시각적인 세계 패러다임을 사용 하 여 시각적 세계의 인식 사이의 상호 작용으로 통찰력. 더 도전 관찰 된 행동과 이해 프로세스 사이의 연결 가설에 관련 된. 눈 fixations 단일 행동 응답 가능성이 언어 이해 (예:어휘, 참조 프로세스, 언어 중재 기대, 시각적 컨텍스트 효과, 다른 사람의 사이에서) 동안 많은 하위 프로세스를 반영 하는. 이 통찰력을 감안할 때, 연구원은 조심 해야 하지에 이상-또는 관찰된 시선 패턴을 오해. 이 문제를 해결 하려면 사전 연구 시선 기록40의 해석 명확 하 게 이해 하위 작업의 역할을 강조 했다.
눈 움직임의 판독을 향상 시키는 한 가지 방법은 이벤트 관련 뇌 전위 (르 프 스크 웨)와 같은 다른 측정으로 그들을 통합 하는 것입니다. 그들의 시간적 단위에 비교 하 고 그들의 연결 가설에 보완 하는 두 가지 방법으로 동일한 현상을 조사 함으로써 연구자 수 있습니다 그들의 결과의 대체 설명을 배제 풍부 하 게 각각의 해석 개별 측정41. 이 접근은 추진 하고있다 실험43, 하지만, 더 많은에서 최근에, 또한 단일 실험에서 (이기는 하지만 엄격 하 게 언어 문맥에서)44. 미래 연구 방법론 통합 등에서 크게 혜택을 받을 수 및 함께 포스트 예 심 및 후 실험 작업을 계속.
눈-추적 방법은 뿐만 아니라 언어 이해와 장면에 시각적인 관심의 상호 작용에 대 한 새로운 가설을 테스트 설립된 결과 복제할 수 있습니다. 프로토콜에서 설명 하는 절차 때문에 사소한 실험 오류 데이터 품질에 영향을 미칠 수 있습니다 신중 하 게 뒤 야 합니다. 읽고 연구, 예, 관련 분석 지역은 종종 개별 단어 또는 심지어 편지, 작은 교정 오류 (Raney 및 동료42여 기사 참조) 결과 왜곡 수 있습니다 의미입니다. 1.4와 1.5 단계 프로토콜의, 눈 추적자 및 드리프트 확인/드리프트, 교정 특정 중요성의 기록 정확도 직접 영향을 미치기 때문입니다. 실패 제대로 눈 추적자 측정을 하지 정확 하 게 미리 설립된 관심 분야에 안구의 움직임을 추적 하는 추적 될 수 있습니다. 이러한 추적 실패 누락 된 데이터 요소 및 통계적 인 힘은 매우 미묘 하 고 작은 통계 효과 크기를 산출 하는 세계 언어 관계를 조사할 때 문제가 될 수 있는 손실을 이어질 것입니다 (의 설명을 참조는 Guerra 및 Knoeferle32 및37 대표 결과뮌스터와 동료에 의해 실험).
능력과 장비의 감도 극대화를 필요 감안할 때, 그것은 경험 실험 세션 동안 정기적으로 발생 하는 문제를 해결 하는 방법을 알고 중요. 예를 들어 안경을 착용 하는 참가자의 운동과 눈동자 위치 교정 어려움 참가자의 안경의 렌즈에 빛의 반사 때문에 발생할 수 있습니다. 이 문제를 해결 하기 위해 한 가지 방법은 PC 디스플레이에 참가자의 눈의 이미지를 반영 하 여 안경에 빛의 반사는 더 이상 카메라에서 더 이상 캡처 의미 그들의 화면에 표시 될 때까지 그들의 머리를 이동 하는 것이 좋습니다입니다. 교정 오류의 추가 원인을 눈동자 긴축, 빛에 노출 과도의 결과 수 있습니다 수 있습니다. 이 경우, 실험실에서 빛을 디 밍 것 이다 눈동자 팽창 증가 그리고, 따라서, 도움이 정확 하 게 검출 하는 눈동자에서 눈 추적자.
마지막 생각으로 우리는 시각적인 세계 패러다임은 두번째 언어 학습에 대 한 연구에 대 한 가능성을 해결 하 고 싶습니다. 패러다임은 이미 성공적으로 사용 되었습니다 psycholinguistic 연구에서 크로스-언어 어휘 음운론 상호46,,4748같은 현상 조사. 또한, 시각적 주의 언어 학습 사이 가까운 연결 자주에 두 번째 언어 인수49,,5051-언어학 문학에서 강조 되었다. 두번째 언어 학습에 대 한 미래의 연구 밀리초 해상도에 시각적인 관심의 인덱스를 제공 하는 방법으로 눈 추적의 유리한 위치에서 혜택을 가능성이 계속 됩니다.

Psycholinguistic 연구는 언어 이해에 연루 프로세스 이해 안구 운동 분석의 중요성을 강조 했다. 시선 레코드에서 이해 과정을 유추의 핵심은 눈 운동5인지를 연결 하는 가설. 눈 움직임의 세 가지 주요 유형이 있다: saccades, vestibulo 눈 움직임, 그리고 부드러운 추구 움직임. Saccades는 빠르고 탄도 움직임을 대부분 무의식적으로 일어나 고 주의6교대와 안정적으로 연결 되었습니다. Saccades, fixations로 알려진 사이의 상대적 시선 안정성의 순간 인덱스 현재 시각적 주의 간주 됩니다. 인지 과정에 관하여 그들의 기간과 fixations의 소재 시를 측정 '눈-추적 방법'으로 알려져 있습니다. 이 방법의 초기 구현 제공 독 (Rayner7 리뷰 참조) 엄격 하 게 언어 컨텍스트에서 검사 됩니다. 그 접근 방식에서 단어 또는 문장을 영역 검사의 기간 어려움 처리와 연결 됩니다. 그러나 안구 추적,, 또한 있다 음성된 언어 이해는 세계에 있는 개체의 검사 중 검사 (또는 컴퓨터에 표시2)에 적용. 이 '시각 세계 눈 추적 버전에서 개체의 검사는 언어에 의해 유도 됩니다. Comprehenders는 얼룩말, 예를 들어, 화면에 얼룩말의 그들의 검사 들을 때 그들은 동물에 대 한 생각을 반영 하기 위해 가져온 것입니다. 시각적인 세계 패러다임으로 알려져, comprehender의 눈 시선이 반영 되어 음성된 언어 이해 및 관련 지식의 활성화를 반영 하기 위해 (예를 들어, 청취자는 또한 얼룩말 검사 방목, 듣고 나타내는 한 얼룩말에서 수행 하는 작업)2. 이러한 검사는 언어 세계 관계와 눈 움직임2사이 체계적인 링크 제안. 화면에 다른 미리 정해진된 영역 비율을 계산 하 여이 링크를 계량 하는 일반적인 방법이입니다. (조건, 참가자 및 항목)에서 직접 비교 하는 연구 서로 다른 개체를 특정 시간과 이러한 값 밀리초 해상도 변경 하는 방법에 관심의 금액 수 있습니다.
심리 언어학 연구 마음1의 아키텍처에 관한 떨어져 경쟁 이론적 가설을 애타게 시각 세계에서 눈 추적을 악용 했다. 눈 fixations 묘사 개체에는, 또한, comprehenders 수 있습니다 밝혀-충분히 제한적인 언어 컨텍스트 가정-증분 의미 해석8 을 수행 하 고도 곧 문자 에 대 한 기대를 개발 9. 같은 눈 시선 데이터 어휘 모호성 해결10,11, 대명사 해상도12, 구조와 주제의 역할의 명확성 더 이해 프로세스의 범위에 빛을 발산도 있다 의해 할당4시각적 컨텍스트13,,1416, 그리고 실용적인 프로세스15, 많은 다른 사람 사이 정보의 의미합니다. 명확 하 게, 언어 이해 하는 동안 개체에 눈 움직임 수 있습니다 연루 프로세스의 정보.
눈-추적 방법 비-침략 적 이며 유아, 젊고 더 오래 된 언어 사용자와 함께 사용할 수 있습니다. 주요 장점은, 프로브 punctate 응답 달리 또는 어떻게 언어 가이드 주의 어떻게에 밀리초 분해능 시간이 지남에 통찰력 제공 응답 버튼 누르면 확인 작업에서 (작업, 개체의 형태로 시각적 컨텍스트 이벤트, 스피커의 시선, 그리고 감정적인 표정으로 공간 개체 구성) 언어 처리에 기여. 문장 이해 하는 동안 측정의 연속성 명백한 사진/비디오-문장 확인, 이해 질문, 및 메모리 회수 작업에서와 같은 다른 후 문장 및 사후 실험 측정으로 잘 보완합니다. 이러한 작업에 대 한 명백한 응답 이해 프로세스, 메모리, 및 학습2의 결과에 대 한 통찰력을 제공 하 여 눈 시선 기록의 해석을 풍요롭게 수 있습니다. 눈 추적 이러한 다른 작업을 결합 하는 것은 어느 정도까지 다양 한 측면의 시각적 컨텍스트 변조 시각적 관심 및 즉시, 뿐만 아니라 (지연) 이해 수명에 걸쳐 것을 발견 했다.
언어 (음성 또는 서 면)의 프레 젠 테이 션 및 장면 순차적 또는 동시 수 있습니다. 예를 들어, Knoeferle 및 공동 작업자17 발표 현장 음성된 문장 전에 1000 ms 하 고 독 해 동안 남아 있었다. 그들은 개체 동사 주제 (OVS) 문장에 비해 독일 주제-동사-개체 (SVO)에서 로컬 구조적 모호성의 해상도로 작업 이벤트의 클립 아트 묘사 기여 하는 증거를 보고. Knoeferle와 크 로커18 서 면된 문장 전에 클립 아트 장면 제시 문장 독 해 동안 클립 아트 이벤트의 증분 통합 테스트. 그들은 관찰 증분 적합성 효과, 문장 성분의 참가자의 읽기 시간이 일치 하지 않을 때 더 이상 했다 의미 (대 일치) 앞 장면에서 묘사 하는 이벤트. 또 다른 자극 프레 젠 테이 션 변종에 참가자 먼저 공간 관계를 설명 하는 문장 읽었고 개체 선 그림19와 관련 된 특정 공간 배치의 장면을 보고. 이 연구는 참가자 현장 심문 하는 동안 기록 되 고 눈 움직임과 함께 현장, 주어진 문장에 맞는 평가를 요청 하 여 전산 공간 언어 모델의 예측 평가. 참가자의 시선을 패턴 그들은 직면 했다 개체의 모양에 의해 변조 했다-부분적으로 모델 예측을 확인 하 고 모델 구체화에 대 한 데이터를 제공 하.
많은 연구는 사용 동안 클립 아트 묘사17,18,19,20,21,,2223, 그것도 실제 결합 가능 개체, 이러한 개체, 또는 음성된 언어1,21,,2425,26,46정적 사진 동영상. 실제 설정24 를 사용 하는 Knoeferle와 동료 그리고 Abashidze와 동료 사용 촬영된 프레 젠 테이 션 형식 작업 이벤트 및 긴장 효과25검사. 정확한 콘텐츠를 다양 한 장면 (예를 들어, 또는 하지 작업을 묘사)의22,,2738 가능 하 고 시각적 컨텍스트 효과 밝힐 수 있습니다. 로드리게스와 공동 작업자26 관련된 연구 이후에 말한 문장을 제시의 이해에 촬영된 시각 성별 단서의 영향 조사. 참가자 stereotypically 성별 관련 작업을 수행 하는 남성 또는 여성 손을 표시 하는 동영상을 보았다. 다음, 그들은 문장에 대해 들었어요 하나 stereotypically 남성 또는 여성 액션 이벤트를 동시에 디스플레이 보여주는 두 사진, 남자와 여자의 다른 중 하나를 검사 하는 동안. 이 풍부한 비주얼 및 언어 환경에서 시각적으로 제시 (손) 성별 단서의 효과 이해에 틀에 박힌 지식 언어 중재의 효과 떨어져 애타게 저자 허용.
이 패러다임의 추가 응용 프로그램에는 언어 처리에서 발달 변화 대상 하고있다. 음성된 언어 이해 하는 동안 개체에 눈 움직임 젊은 성인에 비해 묘사와 이벤트에서 4-5-세27,28 세 성인29 실시간으로, 하지만 다소 지연의 효과를 밝혔다. Kröger 및 공동 작업자22 prosodic 단서와 실험 내에서 표시 하 고 성인과 어린이 실험 전체에 걸쳐 비교의 효과 검사 합니다. 참가자 관련된 명확 경우 표시 독일 문장을 모호한 행동-이벤트 현장 검사. 눈 움직임 누가-않습니다-무슨-에-누구를 구체화 하는 경우 별개 prosodic 패턴 도움 성인도는 4-또는 5-올해-옜 날을 밝혔다. 그러나, 표시, 문장 초기 경우 성인 하지만 하지 어린이 눈 움직임 영향을 받습니다. 이 케이스 표 하기의 5-올해-옜 날 ' 이해는 충분히 강력한 주제 역할 할당을 사용 하도록 제안 (ö z g e 및 공동 작업자30여 연구 참조), 적어도 아닙니다 때 액션 이벤트 않았다 하지 명확 하 게 주제 역할 관계. 이러한 결과 재미, 그들은 주제 역할 할당31prosodic 효과의 이전 결과와 그에 주어진. Kröger 및 공동 작업자22 (더 많거나 적은 지원) 시각적 컨텍스트 대조 연구 결과 대 한 책임은 제안 했다. 이러한 해석을 보류 하는 범위 그들은 수명에 걸쳐 언어 이해에서 맥락의 역할을 강조.
눈-추적 방법에서 그림 (또는 비디오) 문장 확인 작업18,,2026, 사진-사진 확인 작업32, 코 퍼스 연구24, 등급 조치 잘 결합 작업19또는 실험 후 회수 작업25,33. Abashidze 및 공동 작업자34 와 Kreysa와 협력자33 각각에 대 한 단서 스피커 시선 및 실제 액션 동영상34 와 스피커 시선 행동 묘사33의 상호 작용을 조사 곧 문장 콘텐츠입니다. 후 실험 메모리 작업 동안 언어 이해의 장면에서 눈 시선 추적을 결합 하 여 그들은 있는 청취자 스피커의 시선 및 묘사 작업의 상호 인식과 둘 다에 영향을 미칠 방법의 더 나은 이해를 얻고 즉각적인 언어 처리 하 고 메모리 리콜입니다. 결과의 실시간 이해 대 후 실험 메모리 회수 프로세스 작업 대 스피커 시선 뚜렷한 기여를 공개 했다.
눈-추적 메서드는 뛰어난 유연성으로 채택 될 수 있다, 하는 동안 특정 표준 열쇠입니다. 다음 프로토콜 연구원의 특정 필요에 따라 연구 질문의 종류를 조정 될 수 있는 일반적인된 절차를 요약 합니다. 이 프로토콜은 고용 훔볼트 대학 촉 산 베를린에서 심리 언어학 연구소 뿐만 아니라 이전 언어 및 인지 실험실에서 인지 상호 작용 기술 우수 클러스터 (CITEC)에서 표준화 된 절차 빌레펠트 대학입니다. 프로토콜은 데스크톱 및 원격 설치에 설명합니다. 후자는 어린이와 노인 연구에 사용 하기 위해 것이 좋습니다. 1000 Hz의 샘플링 속도가지고 있으며 머리 안정제, 참가자 (PC 디스플레이)를 테스트 하기 위해 PC와 실험을 모니터링 하기 위한 PC와 함께 사용 되는 눈 추적 장치를 사용 하는 대표 결과 에 언급 된 모든 실험과 참가자의 눈 운동 (호스트 PC)입니다. 그것의 전임자에이 소자의 주요 차이점은 두 눈 눈 추적에 대 한 수 있습니다. 프로토콜 충분히 머리 안정제를 포함 하 고 듀얼 PC를 사용 하는 다른 눈-추적 장치 사용에 대 한 일반적인 될 것입니다 (호스트 + 디스플레이) 설정. 그러나, 명심 하는 다른 설정 것 아마 교정 실패 또는 트랙 손실, 경우는 실험 한다 참조 하는 사용자에 게 같은 문제를 처리 하기 위한 다른 방법을 그들의 특정 장치의 수동 중요 하다.

<table><tbody><tr><td>머리/턱 받침대를 포함한 데스크탑 장착형 시선 추적기</td><td>SR Research Ltd.</td><td>EyeLink 1000 plus</td><td>http://www.sr-research.com/eyelink1000plus.html</td></tr><tr><td>시선 추적 실험의 설계 및 실행을 위한 소프트웨어</td><td>SR Research Ltd.</td><td>Experiment Builder</td><td>http://www.sr-research.com/eb.html</td></tr></tbody></table>

시각적으로 위치한 언어 이해 동안 눈 추적: 유연성과 잠복 시각적 컨텍스트 효과에 한계

Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects

현재 작업 및 언어 처리와 영상 세계의 지 각 사이 상호 작용의 다양 한 측면을 측정 하도록 설계 하는 방법론의 평가입니다. 눈 시선 패턴의 녹음의 시각적 컨텍스트 및 언어 이해 언어/세계 지식 기여에 대 한 좋은 증거를 제공 했다. 초기 연구는 언어 처리에서 모듈화의 이론을 테스트 개체 컨텍스트 효과 평가. 설명, 소개에서 후속 조사 자체 오른쪽에서 연구 항목으로 처리 하는 언어에서의 광범위 한 시각적 컨텍스트 역할 찍은, 어떻게 묻는 질문 등 이벤트와 스피커의 우리의 시각적 인식에 기여 하는 방법 comprehenders의 경험에 의해 정보 이해입니다. 시각적 컨텍스트 검사 측면 중에 작업, 이벤트, 스피커의 시선, 그리고 감정적인 표정으로 공간 개체 구성. 눈-추적 방법과 다른 응용 프로그램의 개요, 다음 우리는 성공적으로 시각적으로 위치 언어 이해 공부 그것을 사용 하는 방법을 설명 프로토콜, 방법론의 중요 한 단계를 나열 합니다. 마지막 섹션 대표 결과의 3 세트를 선물 하 고 혜택 및 시각적 세계와 언어 이해의 지 각 사이 상호 작용을 조사 눈 추적의 한계를 보여 줍니다.

뮌스터와 공동 작업자37 여 연구 문장 구조의 상호 작용을 조사, 언어 이해 하는 동안 작업, 그리고 얼굴 정서적 단서를 묘사. 이 연구는 둘 다 강력한 액션 효과 문장 이해력에 얼굴 정서적 단서의 한계 효과 묘사 보여준 장점과 한계는 방법의 설명에 적합. 저자는 행복 또는 슬픈 식으로 휴식 위치에서 변경 하는 여자의 얼굴 식의 5 s 비디오를 만들었습니다. 그들은 또한 감정적으로 긍정적으로 valenced 독일 개체-동사-부사-주제 (OVAdvS)를 만들어 폼의 문장 ' [개체/환자대 격 케이스] [동사] [긍정적인 부사] [주제/에이전트지명 사례].' 통해 긍정적인 부사 문장과 일치 하는 '행복 한' 비디오 '슬픈' 비디오, 허용 하는 대리인 (웃 고 긍정적인 부사에 의해 행복 하 게 행동으로 설명)의 원리에 일치 하지 않는. 비디오 스피커 다음 문장 선택 항목 에이전트-환자 클립 아트 씬의 두 가지 버전 중 하나 나타났다. 한 버전에서 에이전트 선택 항목 문자는 다른 작업을 수행 하는 동안, 환자에서 언급 한 동작을 수행으로 묘사 했다. 다른 장면 버전 묘사 문자 사이의 작업이 없습니다. 현장에서 눈 운동을 문장 이해력에 스피커의 얼굴 표정 및 작업의 효과를 밝혔다.
액션 묘사는 참가자의 시각적 주의 언급 한 행동 때 참가자는 선택 항목에서 보다 에이전트에 더 닮은 의미에 빠르게 영향을 (대 아니었다) 묘사. 이 보이는 예상 했다 (즉, 에이전트를 언급 하기 전에 발생), 문장 전에 액션 묘사는 에이전트를 명확히 하는 것을 건의. 동사 중 등장 하는 액션 묘사의 초기 효과 (즉, 동사 중재 작업 관련 에이전트). 대조적으로, 앞 스피커 미소 여부 불행 보였다 에이전트 기대 (그림 2)에 아무 명확한 영향을 미쳤다. 후자의 결과 스피커의 미소와 긍정적인 sentential 부사 (중재 작업 관련 상담원이 직접 동사-작업 참조와 비교) 묘사 에이전트의 작업에 관련 된 사이 더 얇은 링크를 반영 수 있습니다. 또는, 그것은 특정 작업 및 자극 프레 젠 테이 션 수: 아마도 감정 효과 것 이다가지고 더 발음 더 많은 사회적 상호 작용 작업 또는 스피커의 얼굴 (보다 전에) 동안 문장 이해를 선물 하나. 그러나, 이해 하는 동안 웃 고 스피커의 얼굴을 제시 발생할 수 있습니다 초점을 참가자 다른 장면 콘텐츠 비용으로 얼굴에 아마도 조작 변수 마스킹 그렇지 않으면 현저한 효과 (소스: 게시 되지 않은 데이터).
패러다임의 추가 변형, Guerra 및 Knoeferle32 여부 공간 의미 세계 언어 관계 읽는 동안 추상적인 의미 내용의 이해를 조절 수 물었다. Guerra 및 Knoeferle 공간 거리 (예를들면, 근접) 추상적인 의미 관계 (예를 들어, 유사성)의 의미를 근거로 개념적은 유 이론38 에서 아이디어를 빌려. 이 가설에 따라 참가자 읽기 조정 추상 명사 빨리 때 그들은 비슷한 (대 반대) 의미에 (거리대 ; 카드 놀이 이동 가까이 함께 vs 비디오 전달 근접을 선행 했다. 멀리 떨어져). 연구39의 두 번째 세트에서 문장 서로 접근 하는 2 카드의 동영상 전달 사회 문장 영역의 읽기 빨라 발견에 친밀 한 또는 불친절, 앞으로 두 사람 사이의 상호 작용을 설명 근접/친밀입니다. Note 공간적 거리 문장 읽고 신속 하 고 증분도 때 문장 언급 하지 않았다 비디오에서 개체에 영향을 받습니다. 동영상 개성 공간 거리와 문장 의미의 의미 뿐만 아니라 사회적 측면 사이의 적합성의 기능으로 읽기 시간 변조. 이러한 효과 1 통과 독서 시간 (미리 정해진된 문장 영역의 첫 번째 검사 기간)에서 모두 나타나고 그 문장 지역에 소요 된 총 시간 (Guerra 하 여 연구에서 결과의 그림 그림 3 참조 그리고 Knoeferle)32. 그러나, 분석 또한 같은 미묘한 카드 거리 효과 동사-동작 관계, 한 예로 언급의 효과로 강력한 하지 않을 수 있습니다 결론에 지도 하는 참가자 들 간의 실질적인 변화를 밝혔다.
연구의 추가 된 문장 구조에서 시각적 컨텍스트 효과의 일반 평가 수 어떻게 보여 줍니다. Abashidze 및 공동 작업자34 로드리게스와 공동 작업자26 음성된 문장의 후속 처리에 최근 작업의 효과를 시험 했다. 두 연구에서 참가자 먼저 액션 비디오 검사 (예를 들어, 실험 조미료 오이, 나는 케이크를 굽고 하는 여성 손). 다음, 그들은 최근 작업 또는 다른 작업을 수행할 수도 있습니다 하거나 관련 된 독일 문장에 들어 다음 (맛 내기 토마토34; 건물 모델26). 이해, 동안 참가자 검사 장면 보여주는 두 개체 (오이, 토마토)34 또는 에이전트의 두 사진 얼굴 (여성 및 남성 에이전트 얼굴, 라는 '수 잔나'와 '토마스', 각각)26. Abashidze 및 공동 작업자34에 의해 연구, 스피커 먼저 언급는 실험 한 다음 (예를 들면, 조미료), 동사 (예:오이, 토마토) 테마에 대 한 기대를 도출. 로드리게스와 공동 작업자26에 의해 연구, 스피커 처음 언급 한 테마 (케이크), 그리고 동사 (제빵), 작업 에이전트에 대 한 기대를 도출 (여성: 수 잔나, 또는 남성: 토마스의 사진을 통해 묘사는 여성 그리고 남성 얼굴)입니다.
두 연구에서 문제에서 질문 여부 사람들이 최근 작업 이벤트의 테마/에이전트 또는 다른 테마/에이전트 이해 제공 추가 콘텐츠 단서에 따라 예상 (시각적으로) 것 이었다. Abashidze 및 공동 작업자34, 실험의 시선이 감 동사의 발병에서 미래의 테마 개체 (토마토) (독일어에서 그대로 번역: '실험-에이전트 맛 곧...'). 로드리게스와 공동26, 틀에 박힌 행동의 성별 지식을 가능 하 게 되었다 때 주제 및 동사를 언급 했다 (예를 들어, 독일 자극의 직역은: '케이크 테마 구울 때 곧...'). 연구의 두 세트에서 참가자 우선적으로 검사 대상/에이전트 최근 작업 (오이34 또는 수 잔나26)의 대체 (미래/기타-성별) 대상 (토마토34 또는 토마스26) 동안 문장.
이 소위 '최근 이벤트 특혜', 따라서, 문장 구조 및 실험 자료에 상당한 변화를 통해 강력한 것 처럼 보인다. 그러나 그것은,,로 변조 동시 현장26에서 시각적 제약 최근 검사 작업 이벤트에 대 한 의존도 감소의 에이전트 또한에 어렵습니다 사진 동사 테마의 그럴듯한 사진을 제시 하 고 변조 된 주의 언어에 의해 전달 하는 성별 고정관념 지식에 기반 합니다. 그림 4 는 로드리게스와 공동 작업자26에 의해 실험의 주요 연구 결과를 보여 줍니다.
시각적인 세계 패러다임의이 버전은 강력한 결과 굴복, 하는 동안 연결 가설의 복잡성 (및 제한) 다른 연구 강조 했습니다. Burigo 및 Knoeferle20 밝혀 그 참가자- 죽을 상자 ist 버 데르 Wurst 같은 발언을 들을 때 ('상자는 소시지 위에')-주로 이러한 개체의 클립 아트 묘사 검사에서 말을 따 랐 다. 하지만 재판의 비율에 무엇 으로부터 분리 하는 참가자의 시선을 언급 했다. '소시지'와 소시지를 적어도 한 번 검사 하는 데 듣고, 참가자의 다음 검사 후 문장 확인 (시험의 90%와 빨라 검증 (실험 1)에 재판의 약 21%에 상자에 반환 실험 2)입니다. 이 시선 패턴 참조 (청문회 ' 소시지')만 일부 (검사 소시지)을 유도 하지만 모든 눈의 움직임 (검열 된 상자) 제안 합니다. 디자인의이 종류 (를 포함 하 여 문장 수준 해석) 다른에서 떨어져 어휘 참조 프로세스를 애타게 하는 데 사용할 수 프로세스. 그러나, 연구원은 조심 해야 한다 때 주장을 눈 시선에 연결에서 모호성을 주어 안구 운동 비율에 상대적인 차이에 따라 언어 처리의 다른 수준에 대 한 인식 및 이해 과정.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/57694/57694fig1v3.jpg"> 그림 1: 데이터 컬렉션 환경 개요. 그래프는 어떻게 데이터 수집에 사용 되는 다른 소프트웨어 및 하드웨어 요소와 서로 관련 전처리를 보여 줍니다. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig1v3large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/57694/57694fig2.jpg"> 그림 2: 뮌스터와 공동 작업자37의 대표적인 결과. 이러한 패널 표시 주제에 의해 의미 로그-시선 조건 당 확률 비율 (묘사 작업)에 대 한 동사 영역에서 동사 부사 지역 (감정적인 총리의 효과)에 대 한 결합에서. 결과 문장에서 언급 한 행동 묘사 되지 이었다 때 보다 묘사 했다 때 보이는 대상 이미지 쪽으로 상당히 높은 비율을 보여준다. 감정적인 얼굴 primes의 효과 대 한 결과 보다 적게 결정 했다: 그들은 제안 대상의 평균 로그 비율에 약간의 증가 얼굴 프라임 했다 그것은 부정적인 원자가 (슬픈 얼굴) 했을 때 보다 긍정적인 감정적인 원자가 (웃음). 오차 막대는 뜻의 표준 오류를 나타냅니다. 이 그림에서 뮌스터 외 수정 되었습니다. 37. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig2large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/57694/57694fig3v2.jpg"> 그림 3: Guerra 및 Knoeferle32의 대표적인 결과. 이 패널 (dis) 유사성 형용사의 밀리초 단위로 평균 1 통과 독서 시간을 보여줍니다. 멀리 떨어져 있는 것에 비해 함께 가까이 이동의 재생 카드 두 개를 보고 후 결과 유사 문장에 대 한 읽기 시간을 단축 표시. 오차 막대는 뜻의 표준 오류를 나타냅니다. 이 그림은 Guerra 및 Knoeferle32에서 수정 되었습니다. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig3v2large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/57694/57694fig4v3.jpg"> 그림 4: 대표적인 결과 로드리게스와 공동 작업자26. 이 패널 조건 당 확률 비율 동사 지역에 의해 주제 의미 로그 시선을 보여줍니다. 비율 0 표시 위의 대상 에이전트 이미지에 대 한 선호를 보이고 0 아래 비율 경쟁 에이전트 이미지에 대 한 기본 설정 표시. 결과 표시 참가자 더 가능성이 그들이 하지 않았다 때 보다 이전 촬영된 이벤트를 일치 하는 개체와 동사는 문장에서 언급 하는 때 대상 에이전트 이미지를 검사 했다. 또한, 문장에 의해 설명 된 행동 성별 고정관념에 일치 하는 경우 대상 에이전트 이미지 쪽으로 더 많은 것 있었다. 오차 막대는 뜻의 표준 오류를 나타냅니다. 이 수치는 로드리게스 외 에서 수정 26. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig4v3large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.</a>

현재 문서 언어 이해에 대 한 연구에 대 한 눈-추적 방법론을 검토합니다. 신뢰할 수 있는 데이터를 얻기 위해 프로토콜의 주요 단계를 따라 해야 합니다. 이 중 눈 추적자 (예를 들어, 눈 및 머리 이미지의 좋은 품질 보장) 및 정확한 교정의 올바른 설정이 있습니다.

The present work is a description and an assessment of a methodology designed to quantify different aspects of the interaction between language processing ...

이 방법은 언어 이해에 연루 된 정신 과정에 관한 정신 언어학의 주요 연구 질문에 대답하는 데 도움이 될 수 있습니다. 이 기술의 장점은 시각적 세계와 언어 처리 사이의 관계를 시험하기 위해 기어드 높은 시간적 해상도의 시각적 주의 지수를 제공한다는 것입니다. 프로토콜을 높은 수준의 정밀도로 실행해야 하기 때문에 이 메서드에 새로 온 개인은 어려움을 겪을 수 있습니다.이 메서드의 시각적 데모는 메서드를 적절히 구현하려면 임시 문제 해결이 필요한 경우가 많기 때문에 매우 중요합니다. 안구의 지배력을 확인하려면 참가자에게 한 쪽 팔을 뻗어 엄지 손가락을 두 눈을 뜨고 먼 물체와 정렬하도록 요청하십시오. 참가자가 각 눈을 번갈아 닫게 합니다.지배적인 눈은 엄지 손가락이 눈을 열 때 물체와 정렬된 채로 남아 있는 눈입니다. 그런 다음 참가자에게 턱 받침대와 이마가 머리 받침대를 대고 테이블에 앉도록 요청하십시오. 다음으로 이미지를 클릭하여 PC를 표시합니다. 참가자의 눈의 크고 작은 이미지 하나 하나가 나타나야 합니다.키보드 화살표 키를 사용하여 작은 지배적인 눈 이미지 중 하나를 선택하고 A를 눌러 동공 위치의 검색 제한 상자를 가운데로 지정합니다. 눈 주위에 는 빨간색 사각형이 나타나야 하며, 동공 의 바닥 근처에 청록색 원이 나타납니다. 동공 자체는 파란색이어야 합니다.화면에 두 개의 십자선의 존재를 확인, 동공의 중심에 하나 각막 반사의 중심에 하나. 각막 반사의 크기를 조정하는 것은 매우 중요합니다. 그것은 아이 트래커의 좋은 보정을위한 기초입니다.초점 렌즈를 수동으로 돌려 카메라를 필요에 따라 조정하여 각막 반사가 가능한 한 작을 때까지 렌즈 전면을 만지지 않도록 주의하십시오. 그런 다음 A를 눌러 호스트 컴퓨터에서 동공과 각막 임계값을 자동으로 설정하여 전체 동공과 동공만 파란색이 되도록 합니다. 아이 트래커를 보정하려면 참가자에게 카메라 설정 창이 있는 한 번에 화면의 네 모서리를 주의 깊게 살펴보고 참가자의 시선이 코너를 향할 때 각막 반사를 방해하는 불규칙한 반사를 주의 깊게 찾아보도록 요청하십시오.눈 주위또는 십자선 중 하나가 어느 시점에서도 표시되지 않는 경우 참가자가 먼저 화면의 중심을 보고 문제가 있는 코너로 가서 문제의 원인을 결정합니다. 참가자의 머리 위치를 재조정하여 개선이 발생하는지 확인합니다. 다음으로, 참가자에게 아이 트래커가 보정되고 원이 화면의 다른 부분으로 이동함에 따라 더 큰 검은 색 원 내의 작은 회색 점에 고정해야 한다는 것을 알려줍니다.참가자가 준비되면 보정을 클릭하여 9점 보정 프로세스를 시작하고 참가자가 자동 보정을 위해 화면 중앙의 첫 번째 점에 정확하게 고정한 후 enter를 누를 수 있습니다. 교정 프로세스가 끝나면 참가자의 시선 패턴을 나타내는 실험자의 화면에 거의 직사각형 패턴이 표시되어야 합니다. 좋은 교정의 결과는 녹색으로 강조 표시됩니다.결과를 확인하려면 참가자가 절차를 반복하여 참가자에게 점을 보고 여전히 유지하도록 상기시킵니다. 유효성 을 클릭하고 각 고정을 수락하려면 입력합니다. 결과는 호스트 컴퓨터 모니터에 나타납니다.평균 및 최대 오류를 기록합니다. 이러한 데이터는 추적된 이미지가 참가자의 실제 시선 위치에서 벗어난 정도를 나타냅니다. 평균 오차가 0.5도 이상이고 최대 오차가 1도 이상인 경우 참가자가 헤드 위치를 재조정하고 교정 절차를 다시 시작하십시오.최대 오차율을 1도 이하로 유지하는 것은 고품질 데이터 수집에 매우 중요합니다. 이는 음성 언어 이해 중에 상대적으로 큰 개체에 대한 시선을 추적하기 위한 임계값입니다. 판독 중 아이트래킹의 임계값은 더 낮습니다.교정 프로세스가 성공적으로 완료된 후 출력 레코드를 클릭하여 실험을 시작합니다. 위치 된 독서 중에 눈의 움직임을 추적하기위한 한 예로 먼저 두 개의 재생 카드가 서로 더 가깝거나 멀리 떨어져 있는 것을 표시하십시오. 그런 다음 참가자가 서로 유사하거나 유사하게 표현되는 두 가지 개념에 대한 문장을 읽고 카드 사이의 거리가 언어의 유사성을 조절할 수 있는지 여부를 평가하게 됩니다.청각 언어 이해 중에 눈의 움직임을 기록하는 한 가지 예로 먼저 참가자에게 관심 있는 이벤트의 비디오를 보여 주세요. 그런 다음 참가자에게 비디오에서 에이전트와 개체의 이미지가 포함된 대상 장면과 반대 성별의 에이전트와 다른 오브젝트의 이미지를 표시합니다. 동시에 이전 동영상과 일치하거나 일치하지 않는 이벤트를 설명하는 문장을 재생하여 이전 이벤트에 등장하는 에이전트의 손의 성별이 참가자가 음성 이해 중에 예상되는 대상 장면에서 직면하는 데 영향을 줄 수 있는 정도를 평가합니다.이 대표적인 독서 아이트래킹 실험에서, 유사성 형용사의 평균 첫 번째 패스 판독 시간은 카드가 더 멀리 이동했을 때와 비교하여 서로 가깝게 움직이는 두 개의 카드 카드를 관찰한 후 유사성 문장에 대해 짧아졌습니다. 여기서, 청각 이해 시험의 동사 영역 동안 평균 로그 시선 비율의 분석은 참가자가 후속 문장에 언급 된 개체와 동사가 비디오와 일치하고 고정 관념이 두 차원에서 일치하지 않을 때보다 이전에 표시된 비디오에서 성별일치 이벤트의 에이전트의 사진을 검사 할 가능성이 더 높다는 것을 알 수 있습니다. 이 절차를 실행하는 동안 각 단계를 수행하는 정밀도는 고품질 데이터 수집에 매우 중요하다는 점을 기억하는 것이 중요합니다.이런 식으로, 우리는 그림 컨텍스트가 점진적으로 실시간 언어 이해를 조절하는 정도에 대한 통찰력을 얻을 수 있습니다. 응답 시간 및 정확성, 또는 다른 오프라인 테스트의 데이터와 같은 사후 문장 또는 실험 후 측정값은 온라인 고정 조치에서 얻을 수 있는 통찰력을 풍부하게 할 수 있습니다. 이 기술은 정신 언어학자가 언어 이해에 연루 된 정신 표현과 실시간 프로세스를 조사 할 수있게합니다.

eye-tracking-during-visually-situated-language-comprehension

Research

연구

JoVE Journal

Behavior

행동

본 기사는 아이트래킹 방법론을 사용하여 텍스트 이해와 관련된 인지 과정을 연구하는 방법을 설명합니다. 아이트래킹 장비, 실험 자극 개발 방법 및 절차 권장 사항에 대한 설명이 포함되어 있습니다. 제시된 정보는 구두 자극을 사용하여 대부분의 모든 연구에 적용될 수 있습니다.

눈 의 움직임을 사용하여 텍스트 이해에 관련된 인지 프로세스를 평가합니다.

그들은을 듣고는 또는 음성된 언어를 말하기로 시각적인 세계 패러다임 visual 작업 영역에서 참가자의 눈 움직임을 모니터링 합니다. 이 패러다임 조사 psycholinguistic 질문, 분리형 문과 같은 의미가 복잡 한 문을 포함 하 여 광범위의 온라인 처리를 사용할 수 있습니다.

음성된 언어의 온라인 처리를 탐험 시각적인 세계 패러다임에 기록 하는 눈 움직임을 사용 하 여

메서드는 읽는 동안 역행 하는 눈 운동에 반환 (IOR)의 억제의 역할을 조사 하도록 설계 되었습니다. 초점은 regressions 이해 어려움 대 그 IOR의 역할을 포함 하 여 재발의 두 가지 유형에서 oculomotor 오류에서 발생 하는 결과로 발생 사이의 차별화에 있습니다.

눈-추적 읽기 중 이해 및 기반 Oculomotor 역행 하는 안구의 움직임을 구별 하

우리는 자폐증을 가진 아이 들에 의해 실시간으로 문장 이해 하는 동안 형태학 단서의 사용을 검사 하는 프로토콜을 제시.

자폐증을 가진 아이 들 중국어 말하기에서 문장 독 해 공부를 시각적인 세계 패러다임을 사용 하 여

우선적으로 보이는 패러다임을 이용한 아이트래킹 연구는 유아의 외부 시각 세계에 대한 새로운 이해와 관심을 연구하는 데 사용할 수 있습니다.

아이 트래킹과 우대 보이는 패러다임을 사용하여 시각적 언어에 대한 유아감도 탐색

일반 인구에서의 지각과 감각 타이밍 능력의 평가를 허용 행동 작업 (즉, 비 음악가)되게됩니다. 손가락 청각 자극의 비트에 도청 리듬 부정 검출 동기화 리듬 장애를 폭로하는 수단을 제공합니다.

비트의 청각 장애를 폭로 : 감지 리듬 장애를 누르면 동기화 손가락 및 지각 타이밍 작업에

특정 시각 양식에 대한 반응으로 반사적 안구 운동을 기반으로 시각적 정보 처리의 품질을 정량화하는 방법을 설명합니다. 반응 시간 및 고정 출력 매개변수는 생후 6개월부터 시각 장애가 있거나 없는 어린이의 시력 성능을 특성화하는 데 사용됩니다.

Method는 눈 추적을 사용하여 어린이의 시각 정보 처리를 정량화하기

어린 아이 할 하지 수 동적으로 관찰 세계, 그러나 오히려 적극적으로 탐구 하 고 그들의 환경과 교전. 이 프로토콜에는 기본 원칙 및 자연적인 행동의 맥락에서 유아의 기록 헤드 마운트 눈 추적자 ' 동적 시각적 환경 및 시각적 주의 사용 하 여에 대 한 실질적인 권장 사항을 제공 합니다.

행동에 시선: 자연 동작 동안 어린이 동적 시각적 관심의 머리 장착형 눈 추적

여기 우리 언어와 해독의 독특하고 일반적인 효과에 독에 대 한 분산 분해 프로토콜을 제시.

언어의 고유 하 고 일반적인 효력을 독에 대 한 분산 분해 및 디코딩

우리는 인간에 있는 동시 눈 추적을 가진 단 하나 신경 기록을 수행하는 방법을 기술합니다. 우리는 이 방법의 유용성을 설명하고 시각적 검색의 표적을 인코딩하는 인간 내측 측두엽에서 뉴런을 얻기 위해 이 접근법을 어떻게 사용했는지 설명합니다.

인간 간질 환자에서 동시 눈 추적 및 단일 뉴런 기록

배우세요 심리언어학 연구에서 눈 추적 방법론을 활용하여 언어 이해 과정을 탐구하는 기법입니다. 정확한 보정과 시각적 맥락이 실시간 언어 처리에 미치는 영향을 분석하여 신뢰할 수 있는 데이터를 수집합니다.

시각적으로 위치한 언어 이해 동안 눈 추적: 유연성과 잠복 시각적 컨텍스트 효과에 한계

더 많은 동영상 탐색