음성된 언어의 온라인 처리를 탐험 시각적인 세계 패러다임에 기록 하는 눈 움직임을 사용 하 여

이 방법은 명령 및 조건부와 같은 복잡한 문장을 포함하여 음성 언어의 온라인 처리의 주요 질문에 답하는 데 도움이 될 수 있습니다. 이 기술의 주요 장점은 언어 처리 분야에서 대부분의 주제를 연구하기 위해 광범위한 인구에서 수행 할 수 있다는 것입니다. 절차를 시연하는 것은 대학원생인 쉬징(Xu Jing)이 될 것입니다.

카오 이판, 왕멩, 양샤오통, 잔민, 저우쉬한은 제 연구 그룹의 학생들입니다. 시각적 자극을 준비하려면 인터넷에서 동물의 60 저작권 무료 클립 아트 이미지를 다운로드하고 적절한 이미지 편집기에서 이미지를 엽니 다. 도구를 클릭하고 빠른 선택을 사용하여 각 이미지에서 배경을 선택하고 삭제합니다.

이미지 및 이미지 크기를 클릭하여 이미지를 120x 120픽셀로 조정하고 하나의 큰 열기 320 x 240 픽셀 상자, 1개의 작은 닫힌 160 x 160 픽셀 상자, 두 개의 작은 열기 160 x 240 픽셀 상자를 그립니다. 새 파일을 열어 첫 번째 테스트 이미지에 대해 1, 024 x 768 픽셀 템플릿을 만들고 상자를 표시된 위치로 드래그합니다. 두 개의 클립 아트 이미지를 큰 열린 상자에 드래그하고 동일한 두 개의 이미지를 각각 두 개의 작은 열린 상자에 넣습니다.

그런 다음 각 동물 이미지가 테스트 이미지당 두 번 사용되어 이미지 간에 4개의 상자의 공간 위치를 재조정하여 입증된 것처럼 59개의 테스트 이미지를 더 만듭니다. 음성 언어 자극을 준비하기 위해, 총 240 개의 테스트 문장을 기록 할 참가자의 모국어로 각 테스트 이미지에 해당하는 네 개의 테스트 문장을 설계하고, 네 문장 중 적어도 3 문장과 각 형태의 하나를 그림으로 기록할 수 있습니다. 실험에 사용되는 모든 동물에 대한 오디오뿐만 아니라 네 가지 예제 진술을 기록하기 위해 여성 원어민을 모집합니다.

240개의 시험 문장을 4개 그룹으로 나누고, 각 그룹에는 결막 문 15개, 결막 진술 15개, 진술 15개, 필러 문장 15개를 포함합니다. 그런 다음 테스트 자극에 관한 모든 중요한 정보를 탭 구분 텍스트 파일에 저장하고 각 행은 각각 240 시험에 해당합니다. 실험 순서를 작성하려면 실험 빌더를 열고 새 프로젝트를 만듭니다.

디스플레이 화면 개체를 작업 공간으로 드래그하고 작업 영역 명령의 이름을 바꿉니다. 다중 선 텍스트 리소스 삽입을 클릭하고 두 번 클릭하여 블록 시퀀스를 열어 블록 시퀀스를 빌드합니다. EI 카메라 설정 노드를 블록 시퀀스로 드래그하여 EyeLink 호스트 PC에 카메라 설정 화면을 설치하여 카메라 설정 교정 및 유효성 검사를 용이하게 합니다.

속성 패널에서 교정 유형 필드를 클릭하고 드롭다운 목록에서 HV5를 선택합니다. 평가판 시퀀스를 빌드하려면 디스플레이 화면 노드를 평가판 시퀀스로 드래그하고 이름을 Animal_1_Image 이름을 바꿉니다. 재생 사운드 노드를 평가판 시퀀스로 드래그하고 Animal_1_Audio 이름을 바꿉니다.

타이머 노드를 평가판 시퀀스로 드래그하고 이름을 Animal_1_Audio_Length 이름을 바꿉니다. 각 클립 아트 이미지에 대해 세 개의 노드가 생성될 때까지 추가 디스플레이 화면, 사운드 재생 및 타이머 노드를 평가판 시퀀스로 드래그하고 이름을 변경합니다. 그런 다음 드리프트 올바른 노드를 평가판 시퀀스로 드래그하여 드리프트 수정을 도입합니다.

기록 시퀀스를 빌드하려면 새 디스플레이 화면 노드를 레코드 시퀀스로 드래그합니다. 노드 Test_Image 이름을 바꿉니다. 디스플레이 화면 노드를 두 번 클릭하여 화면 빌더를 열고 직사각형 관심 영역 인서트를 클릭하고 관심 영역 4개에 그립니다.

타이머 노드를 작업 공간으로 드래그하고 노드 일시 중지이름을 변경하고 기간 속성을 500밀리초로 변경합니다. Play Sound 노드를 작업 공간으로 드래그하고 Test_Audio 노드이름을 변경한 다음 타이머 노드를 작업 공간으로 드래그하고 Test_Audio_Length 이름을 바꿉니다. 그런 다음 작업 영역에 키보드 노드를 추가하고 노드 동작 응답의 이름을 변경하고 허용 가능한 키 속성을 위, 아래, 오른쪽, 왼쪽으로 변경합니다.

실험을 수행하려면 호스트 PC에서 시스템을 부팅하여 카메라의 호스트 응용 프로그램을 시작하고 디스플레이 PC에서 실험 프로젝트의 실행 가능한 버전을 클릭합니다. 참가자의 이름을 입력하고 조건 값 선택(선택)을 클릭하여 실행하여 프롬프트 창에서 그룹을 선택합니다. 참가자의 이마에 작은 대상 스티커를 놓아 깜박임이나 갑작스러운 움직임과 같이 동공 이미지가 손실된 경우에도 머리 위치를 추적합니다. 참가자는 21인치 4:3 컬러 모니터에서 1, 024 x 769 픽셀 해상도로 약 60cm의 시트를 착용할 수 있으며, 27픽셀은 1도 각도와 같습니다.

디스플레이 PC 모니터의 높이를 조정하여 참가자가 똑바로 앞을 내다보고 있을 때 모니터의 중간에서 위쪽 75%까지 수직으로 바라보고 책상 마운트에 초점을 맞춘 팔을 회전하여 눈 이미지를 집중시합니다. 다음으로, 호스트 PC에서 교정을 클릭하고 참가자에게 5개의 고정 대상그리드에 고정하도록 요청하여, 지나치게 행동적인 응답없이 임의로 연속하여 참가자의 눈 움직임을 시각적 세계의 시선에 매핑하도록 요청합니다. 유효성 검사를 클릭하고 참가자에게 동일한 고정 대상 그리드에 고정하여 교정 결과의 유효성을 검사하도록 요청합니다.

화면 중앙의 검은 점에 고정하면서 참가자에게 키보드의 스페이스 바를 눌러달라고 요청하여 드리프트 검사를 수행합니다. 그런 다음 모니터의 왼쪽과 오른쪽에 위치한 외부 스피커 쌍을 통해 청각 자극을 재생하는 동안 디스플레이 PC 모니터를 통해 시각적 자극을 제시한다. 데이터 코딩 및 분석을 위해 데이터 뷰어를 열고 파일, 가져오기 파일 및 여러 EyeLink 데이터 파일을 가져와 기록된 아이 트래커 파일을 모두 가져옵니다.

파일을 단일 evs 파일에 저장한 다음 evs 파일을 열고 분석, 보고서 및 샘플 보고서를 클릭하여 집계 없이 원시 샘플 데이터를 내보냅니다. 결막 문에 대한 올바른 응답은 큰 오픈 박스이며, 그러나 문에 대한 올바른 응답은 문 내에서 처음 언급 된 동물을 포함하는 작은 열린 상자입니다. 결정적으로, 결막 문에 대해 선택된 상자는 조건부 문이 처리되는 방법에 따라 달라집니다.

예를 들어, 작은 닫힌 상자는 스칼라 의 연루와 무지 추론이 모두 계산될 때만 선택되며, 이는 불변성 진술의 이해에서 발생합니다. 패널에 설명된 바와 같이, 작은 닫힌 상자의 눈 고정은 파수형이 불복성 결합이거나 확장성 결합의 오프셋보다 늦어도 증가가 시작되지 않는 한 증가하지 않습니다. 비주얼 월드 패러다임은 참가자가 실제 눈의 움직임에서 말하는 언어를 온라인으로 이해할 수 있는 다재다능한 아이트래킹 기법입니다.

참가자를 모집할 때 정상 또는 올바른 정상적인 시각 능력과 정상적인 청력 능력이 있어야 한다는 것을 기억하십시오. 적격한 실제 연구를 설계하려면 참가자의 눈 운동에 영향을 줄 수 있는 다른 요인을 제어하거나 배제해야 합니다. 결과를 통계적으로 분석할 때 경계응답에서 발생할 수 있는 문제를 고려할 때 모든 자동 상관관계 또는 자동 비교를 고려해야 합니다.