이 콘텐츠를 보려면 JoVE 구독이 필요합니다. 로그인하거나 오늘 무료 평가판을 시작하세요.

방법 논문

음성된 언어의 온라인 처리를 탐험 시각적인 세계 패러다임에 기록 하는 눈 움직임을 사용 하 여

10.5K 조회수

DOI:

10.3791/58086

2018년 10월 13일

이 논문에서

요약

그들은을 듣고는 또는 음성된 언어를 말하기로 시각적인 세계 패러다임 visual 작업 영역에서 참가자의 눈 움직임을 모니터링 합니다. 이 패러다임 조사 psycholinguistic 질문, 분리형 문과 같은 의미가 복잡 한 문을 포함 하 여 광범위의 온라인 처리를 사용할 수 있습니다.

초록

전형적인 눈 추적 연구 시각적인 세계 패러다임을 사용 하 여, 참가자의 눈 움직임을 개체 또는 visual 작업 영역에서 그림 참가자 생산 또는 동시 시각을 설명 하는 음성된 언어를 이해는 눈 추적기를 통해 기록 됩니다. 세계입니다. 이 패러다임의 인구, 읽을 수 없습니다 또는 누구 공공연히 preliterate 어린이, 노인, 어른과 환자 같은 행동 그들의 응답을 줄 수 없는 포함 하 여 넓은 범위에서 사용할 수 있는 높은 다양성이 있다. 더 중요 한 것은, 패러다임의 음성 신호 잘 배어 든된 조작에 매우 민감한 이며 공부 언어 이해 잘 배어 든된 음향 소리 등 여러 수준에서 항목을 대부분의 온라인 처리를 사용할 수 있습니다. 기능, 단어, 속성 및 언어 구조 이 문서에서 설명 하는 프로토콜 어떻게 일반적인 시각 세계 눈 추적 연구 실시, 어떻게 어떤 의미가 복잡 한 문의 온라인 처리 시각적인 세계 패러다임으로 탐험 수 있습니다 보여 주는 예제와 함께 보여 줍니다.

서론

음성된 언어는 빠르고, 지속적인 정보 흐름을 바로 사라집니다. 실험적으로 시간 연구, 음성 신호를 빠르게 변경 하는 도전 이다. 이 문제를 극복 하기 위해 시각적인 세계 패러다임에 기록 된 안구의 움직임을 사용할 수 있습니다. 전형적인 눈 추적 연구 시각적인 세계 패러다임을 사용 하 여, 그들은 듣고, 또는 생산, 음성된 언어 영상 세계1의 내용을 묘사한 참가자의 눈 움직임 디스플레이에서 사진 또는 visual 작업 영역에서 실제 개체는 모니터링 ,2,,34. 기본적인 논리 또는 연결 가설,이 패러다임의 뒤에 이해 또는 계획 한 말 (공공연히 또는 은밀 하 게) 이동 합니다 시각적 세계에 특정 개체에 참가자의 시각적 주의 이다. 이 주의 변화 시야 비전으로 참석된 영역을가지고 saccadic 눈 운동 시작 하는 높은 확률을 가질 것 이다. 이 패러다임 연구 개체 또는 시각에 있는 그림에 saccadic 눈 운동에 의해 측정 된 음성 신호에서 일부 음향 랜드마크에 관하여 어떤 시간 시점에서 참가자의 시각적 관심에 변화 발생, 결정 하려는 세계입니다. 음성 신호에 관....

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

프로토콜

모든 과목은 실험 프로토콜의 관리 전에 정보 서 면된 동의 주어 야 한다. 모든 절차, 동의 형태, 및 실험 프로토콜 베이징 언어와 문화 대학 연구 윤리 위원회에 의해 승인 되었다.

참고: 일반적으로 시각적인 세계 패러다임을 사용 하 여 이해 연구는 다음 단계로 구성 됩니다: 탐험; 이론적인 문제 소개 형성 된 실험적인 디자인; 준비 하는 시각 및 청각 자극; 실험 디자인에 관하여 이론적인 문제를 프레임 참가자의 눈 움직임;을 추적 하는 눈 추적자 선택 소프트웨어를 선택 하 고 자극; 현재 소프트웨어로 스크립트를 구축 코드 및 기록된 눈 움직임 데이터를 분석. 특정 실험 설명 단계에서 다른 달라질 수 있습니다. 예를 들어, 프로토콜은 실험을 실시 하 고 연구자 빌드하고 시각적인 세계 패러다임을 사용 하 여 그들의 자신의 실험을 실시 하는 때 명심 하는 몇 가지 포인트를 논의 소개 된다.

1. 준비 테스트 자극

  1. 시각적 자극
    1. 인터넷에서 저작권의 무료 동물의 60 클립 아트를 다운로드 합니다. 오픈 이미지 편집기 (예: Pixelmator), 각 이미지 하나 하나 클릭 도구 | 빠른 선택 도구 선택 하 고 배경 삭제. 이미....

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

결과

참가자의 행동 응답 그림 4에 요약 되어 있습니다. 우리가 앞에서 설명한, 접속 어 문 (S1 및 S2)에 대 한 올바른 응답 상자 A 그림1과 같은 큰 열기 상자입니다. 하지만올바른 응답-문 (S1 하지만 하지 S2) 작은 열기 상자 상자 D 그림 1에서 같이 첫 번째 언급 한 동물을 포함 하는. 비판적, 분리형 문을 처리 하는 방법에 따라 어떤 상자가 분리 정책 (S1 또는 S2) 선택: 상자 B 그림 1에서 같은 작은 닫힌된 상자 경우에만 선택은 스칼라 implicature와 무지 추론 분리형 문에 관련 된 둘 다 계산 됩니다. 그림 4 .......

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

토론

시각적 세계 연구를 실시, 따라 몇 가지 중요 한 단계가 있다. 첫째, 연구원은 시각적 세계에 참가자의 눈 움직임을 통해 청각적 표시 언어의 해석으로 추정할 것입니다. 이제부터, 시각적 자극의 레이아웃 디자인, 자연 작업 참가자의 눈 움직임에 영향을 줄 눈 움직임의 속성을 제어 한다. 참가자의 눈 움직임에 말한 언어의 효과 다음 인식할 수 있습니다. 음성된 언어에서 두 번째, 음향 신호는 과도 되며 아무 음향 서명을 특정 언어 범주에만 해당. 올바르게 시간 잠금 참가자의 눈-일부 언어 표시의 개시와 움직임, 객관적이 고 일관 된 방식으로 일부 언어 구조의 경계를 정의 하 연구원 찾아야한다. 셋째, 참가자의 눈 회전 머리 그들의 시선으로 영상 세계에서 관계의, 올바르게 지도 하 연구원은 하나 또는 여러 개의 교정, 유효성 검사, 및 드리프트 보정 프로세스의 실행을 수행 해야 합니다. 넷째, 시각적 세계 연구에서 얻은 데이터는 낮은 제한, 위 등의 독특한 속성을 autocorrelated 오류 등을 데 고. 이러한 독특한 속성 데이.......

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

공개 사항

저자는 그 아무 경쟁 금융 관심사가 선언 합니다.

감사의 글

이 연구는 과학 재단 베이징 언어와 문화 대학 중앙 대학 (승인 번호 15YJ050003)에 대 한 근본적인 연구 자금에 의해 지원 되었다.

....

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

재료

이 논문에 사용된 재료 목록
이름회사카탈로그 번호댓글
PixelmatorPixelmator Teamhttp://www.pixelmator.com/pro/이미지 편집 앱
PraatOpen Soursehttp://www.fon.hum.uva.nl/praat/사운드 분석 및 편집 소프트웨어
Eyelink 1000plusSR-Research, Inchttps://www.sr-research.com/products/eyelink-1000-plus/원격 적외선 아이 트래커 
Experimental BuilderSR-Research, Inchttps://www.sr-research.com/experiment-builder/아이 트래커 소프트웨어 
Data ViewerSR-Research, Inchttps://www.sr-research.com/data-viewer/아이트래커 소프트웨어 
ROpen Soursehttps://www.r-project.org통계 컴퓨팅 및 그래픽을 위한 무료 소프트웨어 환경

참고문헌

  1. Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
  2. Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language p....

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

재인쇄 및 허가

태그

EyeLink