이중 모달 간섭 작업을 사용하여 중국어로 음성 복잡한 문장의 온라인 구문 처리 검토

Summary

여기서는 이중 모달 간섭 작업을 사용하여 중국어 음성 상대 절 문장의 온라인 처리를 검사하는 프로토콜을 제시합니다. 경내 및 외부 간섭을 가진 청각 처리를 포함하는 2개의 예시적인 실험이 기술됩니다. 패러다임은 작업 메모리의 특성과 문장 처리에 미치는 영향을 해결하는 방법론을 제공합니다.

Abstract

작업 메모리 (WM)는 복잡한 문장의 이해에 중심 역할을한다. 음성 복잡한 문장 처리의 기능은 말의 복잡한 문장 처리가 메모리 집약적이기 때문에 특히 분명하다. 이중 모달 간섭 패러다임은 WM 시스템이 복잡한 구문 처리에 어떻게 관여하는지 검토하는 데 사용되었습니다. 이 문서에서는 청각 처리와 관련된 두 가지 예시적인 실험을 소개합니다. 첫 번째 실험에서, 청각 자극 [음성 - 중국어 상대 절 (RC) 두 구문 유형문장: 주제 -gapped (SRC) 대 객체 gapped (ORC)] 문장 내에서 시각적으로 제시 된 어휘 결정 작업을 통해 방해하고 세 가지 간섭 타임포인트를 사용하여 조작할 수 있습니다. 두 번째 실험에서는 청각 창 이동 기술을 통해 제시된 동일한 청각 자극이 문장 을 넘어 시각적으로 제시된 디지털 리콜 작업을 통해 방해되고 세 개의 디지털 메모리 부하를 사용하여 조작됩니다. RC 문장을 이해의 주요 작업이 보조 작업에 의해 영향을받는 방법을 평가함으로써, 우리는 중국 RC 처리 비대칭에 관한 논란이 문제를 해결할 수 있습니다. 우리의 결과는 이전 연구에서 보고된 것과 비교하여 RC 처리의 다른 패턴을 드러냅니다. 실험 1은 SRC 또는 ORC에서 명확한 RC 처리 이점을 나타내지 않습니다. 그러나 ORC에 대한 기본 설정은 문장의 끝에서 관찰되며 SRC에 대한 기본 설정은 기본 동사 사이트에서 찾을 수 있습니다. 마찬가지로 실험 2는 동적 패턴을 제공합니다. 자릿수 가중에서 SRC는 RC 마커 영역에서 처리 이점을 보여줍니다. 그러나 높은 자릿수 부하 간섭 하에서 ORC는 동일한 영역에서 처리 이점을 보여줍니다. 이러한 결과는 중국 RC의 처리에 명백하거나 본질적인 처리 비대칭이 존재하지 않는다는 추측으로 이어진다. 작업 메모리와 관련된 음성 문장의 처리 메트릭을 탐색하는 응용 프로그램입니다.

Introduction

음성 문장 처리 중 작업 메모리(WM)의 역할은 자명합니다: 음성의 일시적인 특성으로 인해 청취자는 처리될 때까지 구성 요소 음향 형태를 메모리에 유지해야 합니다. 이러한 측면은 구문적으로 복잡한 문장을 처리하는 동안 더욱 중요해집니다. 복잡한 문장의 단어에 구문 관계를 할당하려면 짧은 시간 동안 메모리에 보존된 항목에 대한 계산 작업을 수행하여 메모리 수요가 증가합니다. 그러나 WM 시스템이 말하는 문장 처리에 어떻게 관여하는지는 논란의 여지가 있다.

이 논쟁은 두 가지 주요 불일치를 포함: 일부 연구자들은 모든 구두 작업에 사용되는 단일 WM 시스템이 존재한다고 주장^1,2—즉, 구문 처리는 더 많은 사람들이 사용하는 동일한 메모리 리소스에 의존 일반적인 인지 과정. 단일 리소스 모델입니다. 다른 사람들은 구문 구조에 따라 문장의 의미를 결정하는 것은 다른 구두 작업에 사용되는 것과는 별개로 특수 WM 시스템을^{포함한다고}주장했다^3,4. 이 맥락에서, 구문 처리는 모듈식이다. 이것은 별도의 문장 해석 리소스 모델입니다.

Protocol

이러한 실험의 관리는 모든 연구 윤리 규정을 따랐다. 모든 과목은 실험이 투여되기 전에 구두 및 서면 동의를 제공했다. 모든 절차, 동의서 및 실험 프로토콜은 대만 국립 청쿵 대학의 연구 윤리위원회에 의해 승인되었습니다.

1. 실험 1-이중 모달 내 간섭 작업

1. 국립태인간호연구소와 국립태난중고등학교에서 97명의 학생, 54명의 여성, 42명의 남성을 모집하여 실험 1에 참여합니다.
   참고: 모든 참가자는 정상 또는 수정 된 시력을 가진 유창한 중국어 원어민이어야하며 자기 보고에 의한 청각 장애가 없습니다.
2. 재료 준비
   1. LDT에 대한 단어와 비단어를 선택합니다. 총 48개의 비실라빅(2자) 중국어 단어를 포함했으며, 그 중 24개는 단어였고 24개는 단어가 아닌 단어였습니다.
      참고: 중국어 문자는 음절을 나타내며, 이는 일반적으로 형태(즉, 가장 작은 의미 있는 요소)입니다. 여기서 대상 단어는 비실라블 복합 단어입니다. LDT 작업에 사용되는 시각적 대상 단어/비단어 목록은 보충 파일을 참조하십시오.
      1. Sinica Corpus 기술 보고서^18에서24개의 단어를 선택하고 모든 대상 단어가 중간 빈도인지 확....

Results

간섭 효과는 이중 모달 인트라-LDT 및 엑스트라디츠 부하 작업 모두에서 관찰되었다. 실험 1의 세 가지 프로브 사이트를 고려할 때, INTRA-LDT 태스크의 RT 결과는 두 개의 RC 유형의 함수로서 RC 처리의 동적 패턴을 나타냈다. 도 3에도시된 바와 같이, ORC 형은 RC(P1) 후 매트릭스 피사체(S_MC)와문장(P3)의 끝에 있는 위치 포스트에서 처리 이점을 나타내고 있는 반면, SRC 형은 매트릭스 동사(V MC)를 포스트하는 위치에서 우위를 갖는다. )을 참조하십시오. 문장 유형의 간단한 주요 효과는 P2 및 P3에서 중요했으며, 이는 SRC가 매트릭스 동사(P2)에서 LDT 간섭 작업으로 처리 부하가 낮았음을 나타내는 반면, ORC는 문장(P3)의 끝에 낮은 처리 부하를 가짐을 나타냅니다. 이러한 결과는 영어와 같은 머리 초기 언어의 RC 연구에 의해 보고된 일관된 SRC 선호도와 는 달랐으며 이전 중국 RC 연구에서 .......

Discussion

이 연구는 DMI 메서드를 인트라-및 extrasentent 간섭 작업모두에서 사용하면 음성 문장 처리에서 WM의 역할을 설명하고 중국 RC 처리 비대칭 문제에 대한 빛을 비추는 데 도움이 될 수 있음을 보여줍니다. 예상대로, 보조 작업의 간섭이 1 차 문장 처리에 대한 청취자의 성과에 영향을 미치는 정도를 측정함으로써 중국 RC 처리 패턴을 추론하고 중국 SRC / 토론에 대한 실행 가능한 해결책에 도달 할 수 있습니다. ORC 처리 이점.

간섭 효과는 간섭의 근원에 관계없이 WM이 음성 문장 처리에서 필수적인 역할을 한다는 것을 보여줍니다. 우리의 경우, 실험 1과 2의 경우, 내간섭은 문장과 관련이 없는 어휘적 결정 작업이며, 추론 간섭은 난이도가 증가하는 비언어적 산술 작업입니다. 숫자 로드 회수. 이 접근법은 기본 및 보조 작업에 관여하는 WM이 공통 인지 리소스^1,2,

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
E-Prime	심리학 소프트웨어 도구	버전 Professional 2.0
헤드폰	Logitech
Praat Praat		5.3.43	듣기 위해 사운드 파일을 편집하는 데 사용되는 온라인 소프트웨어; http://www.fon.hum.uva.nl/praat/
Serial Response Box	심리학 소프트웨어 도구
표준 PC	ASUS K42Jv 노트북