Summary
여기서는 이중 모달 간섭 작업을 사용하여 중국어 음성 상대 절 문장의 온라인 처리를 검사하는 프로토콜을 제시합니다. 경내 및 외부 간섭을 가진 청각 처리를 포함하는 2개의 예시적인 실험이 기술됩니다. 패러다임은 작업 메모리의 특성과 문장 처리에 미치는 영향을 해결하는 방법론을 제공합니다.
Abstract
작업 메모리 (WM)는 복잡한 문장의 이해에 중심 역할을한다. 음성 복잡한 문장 처리의 기능은 말의 복잡한 문장 처리가 메모리 집약적이기 때문에 특히 분명하다. 이중 모달 간섭 패러다임은 WM 시스템이 복잡한 구문 처리에 어떻게 관여하는지 검토하는 데 사용되었습니다. 이 문서에서는 청각 처리와 관련된 두 가지 예시적인 실험을 소개합니다. 첫 번째 실험에서, 청각 자극 [음성 - 중국어 상대 절 (RC) 두 구문 유형문장: 주제 -gapped (SRC) 대 객체 gapped (ORC)] 문장 내에서 시각적으로 제시 된 어휘 결정 작업을 통해 방해하고 세 가지 간섭 타임포인트를 사용하여 조작할 수 있습니다. 두 번째 실험에서는 청각 창 이동 기술을 통해 제시된 동일한 청각 자극이 문장 을 넘어 시각적으로 제시된 디지털 리콜 작업을 통해 방해되고 세 개의 디지털 메모리 부하를 사용하여 조작됩니다. RC 문장을 이해의 주요 작업이 보조 작업에 의해 영향을받는 방법을 평가함으로써, 우리는 중국 RC 처리 비대칭에 관한 논란이 문제를 해결할 수 있습니다. 우리의 결과는 이전 연구에서 보고된 것과 비교하여 RC 처리의 다른 패턴을 드러냅니다. 실험 1은 SRC 또는 ORC에서 명확한 RC 처리 이점을 나타내지 않습니다. 그러나 ORC에 대한 기본 설정은 문장의 끝에서 관찰되며 SRC에 대한 기본 설정은 기본 동사 사이트에서 찾을 수 있습니다. 마찬가지로 실험 2는 동적 패턴을 제공합니다. 자릿수 가중에서 SRC는 RC 마커 영역에서 처리 이점을 보여줍니다. 그러나 높은 자릿수 부하 간섭 하에서 ORC는 동일한 영역에서 처리 이점을 보여줍니다. 이러한 결과는 중국 RC의 처리에 명백하거나 본질적인 처리 비대칭이 존재하지 않는다는 추측으로 이어진다. 작업 메모리와 관련된 음성 문장의 처리 메트릭을 탐색하는 응용 프로그램입니다.
Introduction
음성 문장 처리 중 작업 메모리(WM)의 역할은 자명합니다: 음성의 일시적인 특성으로 인해 청취자는 처리될 때까지 구성 요소 음향 형태를 메모리에 유지해야 합니다. 이러한 측면은 구문적으로 복잡한 문장을 처리하는 동안 더욱 중요해집니다. 복잡한 문장의 단어에 구문 관계를 할당하려면 짧은 시간 동안 메모리에 보존된 항목에 대한 계산 작업을 수행하여 메모리 수요가 증가합니다. 그러나 WM 시스템이 말하는 문장 처리에 어떻게 관여하는지는 논란의 여지가 있다.
이 논쟁은 두 가지 주요 불일치를 포함: 일부 연구자들은 모든 구두 작업에 사용되는 단일 WM 시스템이 존재한다고 주장1,2—즉, 구문 처리는 더 많은 사람들이 사용하는 동일한 메모리 리소스에 의존 일반적인 인지 과정. 단일 리소스 모델입니다. 다른 사람들은 구문 구조에 따라 문장의 의미를 결정하는 것은 다른 구두 작업에 사용되는 것과는 별개로 특수 WM 시스템을포함한다고주장했다3,4. 이 맥락에서, 구문 처리는 모듈식이다. 이것은 별도의 문장 해석 리소스 모델입니다.
심리학 연구에서, 이중 모달 간섭 패러다임은 두 경쟁 계정을 검사하는 데 사용되었습니다. WM 저장소 용량이5,6으로제한된다는 가정하에 패러다임은 보조 중간 작업으로 기본 작업을 복잡하게 하여 문제를 해결합니다. 기본 작업이 보조 중간 작업과 제한된 리소스를 위해 경쟁한다는 점을 감안할 때, 난이도가 증가하고 기본 작업은 더 긴 반응 시간을 나타낸다. 이러한 상황을 감안할 때 이중 모달 간섭 접근 방식은 참가자가 두 작업을 동시에 수행해야 하는 작업을 받을 때 WM의 처리 부하와 참여 정도를 평가할 수 있게 합니다.
잘 알려진 복잡한 구문 구조로 인해 더 많은 이해력을 유발하는 RC 구성 요소를 포함하는 문장은 WM 시스템이 복잡한 문장을 처리하는 데 어떻게 관련되어 있는지 조사하는 데 널리 사용됩니다. 그러나 복잡한 문장을 처리하는 것은 음성 처리와 관련된 WM 리소스에 더 많은 수요를 가하지만, 헤드 초기 RC가있는 언어의 구문 이동 비용에 기여할 것으로 생각되는 WM이 있는지 여부는 분명하지 않습니다. 구조(예: 영어)는 최종 VC(예: 중국어)를 통해 언어의 구문 적 복잡성을 반영합니다. 이중 모달 간섭 패러다임을 사용하여 현재 연구는이 문제에 빛을 발산합니다.
두 개의 RC 구조, 주제 간격 및 개체 간격 상대 절 (SRC 대 ORC)를 처리하는 것과 관련된 어려움은 광범위한 논쟁의 대상이되었습니다. 이러한 논쟁은 주로 유형학적으로 다른 언어에서 관찰됩니다. 상대 절이 수정하는 머리 명사다음에 있는 영어와 같은 초기 언어에서 일반적인 결과는 예 1(a)과 같은 SRC가 예제 1(b)의 ORC보다 더 쉽게 처리된다는 것입니다.
예(1)에 표시된 것처럼 영어로 간격의 표면 위치는 SCC와 ORC 간에 최소한으로 다릅니다. 이러한 간격은 RC에서 제거하여 남겨진 머리 명사'actor'(필러라고함)의 빈 위치인 e1로인덱싱됩니다. 그러나, SRC와 ORC는 RC 도메인의 갭의 문법 구조와 기능면에서 실질적으로 다르다. 충전제와 갭 사이의 구조적 종속성을 통합하고 해결하기 위한 메모리 비용은 실험 연구를 위한 적절한 목표이며 언어 처리 및 이해에서 WM의 역할에 대한 통찰력을 얻기 위해 널리 사용되어 왔습니다.
예를 들어, 이러한 사후 RC를 이해및 처리하려면 SRC 및 ORC에서 머리 명사'를기능적 주체 또는 동사의 개체로 인덱싱한 다음 나중에 WM에 머리 명사를 저장해야 합니다. 동사의 문법 주제에 할당 '인정' 주요 절에.
SRC를 이해하기 쉽다는 헤드 초기 언어와 일관된 발견과는 달리, 상대가 하는 머리 최종 언어인 중국어의 RC 처리 비대칭에 대해 혼합된 결과가 보고되었습니다. 절은 머리 명사 앞에 옵니다. 일부는 SRC 처리 이점을 관찰한 반면 다른 일부는 반대 패턴(즉, ORC 처리 이점)을 보고했습니다. 연구의 후자 라인은 또한 RC 처리 비대칭이 WM에 의해 변조 될 수 있음을 제안, 자기 주도독서 성능의연구에서 얻은 결과에 의해 제안7,8,9.
위에서 언급했듯이 WM이 (복잡한) 구문 처리에서 수행하는 역할에 대한 두 가지 경쟁 모델이 있습니다. 하나는 "구문 처리는 모듈식"이고 다른 하나는 "구문 처리가 일반적"이라는 것입니다. 이해 난이도에 잘 알려진 차이를 가진 복잡한 문장, 즉, SCC 대 ORC(영어)는 모듈성 문제와 관련하여 이러한 두 가지 주장을 검토하기 위해 이중 모달 간섭(DMI) 작업에 자주 사용됩니다. WM의 개입은 처리 비대칭을 병렬로 주장된다. 따라서 간섭 작업을 통해 동시 메모리 로드를 유도하면 구문 처리에 대한 WM 효과가 보여 줍니다. 그 근거는 단일 구두 WM 시스템또는 별도의 모듈식 구문 시스템이 존재하든 간섭 작업과 함께 시스템을 참여하면 WM 리소스 제한으로 인해 구문 처리의 효율성이 떨어지는 것입니다. 구문적으로 더 복잡한 문장 (ORC, 영어)을 처리하는 방법은 구문적으로 간단한 문장 (SRC, 영어)을 처리하는 것과 비교하여 WM의 특정 효과에 대한 증거를 제공하고 그 정도를 나타냅니다. WM이 관여하고 있습니다.
영어와 같은 초기 언어와는 달리, 중국어 RC는 머리 - 최종 형성을 나타내고 갭 필러 관계를 나타낸다. 인덱싱된 이동 아웃 요소인 간격은 2(a), SRC 및 2(b) ORC에 표시된 대로 머리 명사앞에 옵니다.
중국어 RC 를 처리하는 데서 비롯된 논란은 SCC가 ORC보다 처리하기 가 용이하다고 일관되게 보고되지 않고 있으며, 이러한 불일치는 언어 처리 및 이해 이론에 대한 도전을 제기했다는 것입니다. 상대화자 'DE' 이전의 사전 콘텐츠는 간격이 있을 때까지 WM에 저장되어야 하기 때문에 이동된 머리 명사 'actor'가 연결되고 검색되므로 이 프로세스를 이해하면 언어 처리에서 WM의 역할에 대한 통찰력을 얻는 데 도움이 됩니다.
현재 연구에서는, 음성 RC 문장 처리는 청취가 처리 도중 높게 압축되고 WM의 기능과 밀접하게 관련되기 때문에 검토됩니다. 이중 모달 간섭 패러다임은 간섭이 단기 청각 기억에서 잘 확립된 잊어버린 기능이기 때문에 사용됩니다. 메모리에 저장된 표현은 저하될 수 있으며, 간섭 이벤트가10일발생하면 이후에 손실될 수 있습니다. 다른 측면에 따라 변화하는 산만 (현재의 경우 : intralinguistic 및 extradigital, 아래 참조) 정식 음성 문장에 우리는 다른 처리 단계 와 아래 증분 입력을 통합하는 비용을 측정 할 수 있습니다 다른 간섭 조건.
구문적으로 복잡한 문장을 처리하는 것이 단순한 문장을 처리하는 것보다 WM에 과부하가 걸리기 때문에 이해 과정에서 간섭 유형을 조작하는 것이 영향을 미를 가져야 한다는 가설을 세울 수 있습니다. 문장 처리. 암시적으로, 구문적으로 더 복잡한 문장을 처리하는 것은 비례적으로 더 크거나 불균형하게 더 큰 청취 시간을 온라인으로 요구하고 온라인 문장 이해 평가에서 더 나쁜 성능을 보여줄 것입니다. 구문적으로 간단한 구조를 처리합니다. 현재 연구는 문장 처리 중 간섭이 WM 개입을 인덱싱 할 수 있다는 가설을 검토하고 사실상 구문 모듈화의 문제를 넘어 그 가치를 배치합니다 : 그것은 중국 RC 처리에 대한 논쟁이 될 수 있다는 아이디어를 제안합니다. 언어 이해의 근본적인 역할로 인해 WM의 조사를 통해 해명. 따라서 중국 RC 처리에서 DMI 작업의 사용에 첨부된 중요성은 중국 RC 처리 비대칭에 관한 지속적인 논쟁을 해결하는 경로를 제공합니다.
이 문서에서는 내 간섭과 외부 간섭을 모두 사용하여 청각 처리를 포함하는 두 가지 예시적인 실험을 제공합니다. 이 두 실험의 목표는 WM이 서로 다른 유형의 간섭하에서 중국 RC를 처리하는 데 어느 정도까지 관여하는지 탐구하는 것이었습니다.
첫 번째 실험에서는 시각적으로 제시된 어휘 결정 태스크를 내간섭으로 사용했습니다. 보조 간섭 작업으로, 단어 / 비 단어 어휘 결정 작업 (LDT)는 대상 상대 절 문장의 청각 프리젠 테이션 중에 세 지점에서 도입, 따라서 처리 어려움이 이 시점에서 측정 할 수 있도록. 이 실험에서 주요 관심사는 상대 절(RC)의 갭이 매트릭스 절(MC)의 필러와 어떻게 연관되는지, 그리고 후속 MC의 처리에 영향을 미치는지 여부이다. 따라서, 측정할 3개의 프로빙 사이트는 MC 영역 후에 설정되었다. 화살표로 표시되고 해당 구문 연결로 정렬된 3개의 프로빙 사이트 중 (2)에서 복제된 예는, 예 3(a)가 SRC를 나타내고 3(b)가 ORC를 나타낸다는 예 3에 도시되어 있다.
그림 1은 3개의 조사 사이트 중 어느 곳에서나 LDT에 의한 지속적인 청각 RC 프리젠테이션을 방해하는 절차를 나타낸다. 타이밍 설계는 이전 중국 처리 연구11에서LDT 작업의 종래의 프로토콜을 따릅니다. 예를 들어, 각 시각적 LDT 시험은 500 ms에 대한 모니터의 중앙에 고정 점을 나타내는 교차 기호 "+"로 시작하고, 3,000 ms에 대한 화면에 표시되고 피사체가 만든다 직후 사라지는 시각적 LDT 자극이 뒤따릅니다. 어휘 결정. 일반적인 과목은 30~35분 이내에 연습 세션을 포함하여 실험 1을 완료합니다.
그림 1: 어휘 결정 작업을 가진 내적 간섭 절차.
이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
LDT 작업과 함께 세 개의 프로빙 사이트:
1. 위치 1 (P1): 포스트 SMC 영역
측정되는 제1 위치(P1)는 RC 경계 후 영역에서 MC의 피험자 직후이다. 이 사이트에서 처리 부하가 발생할 것으로 예상됩니다. 한 가지, 이 시점 이전에(SMC),RC 도메인 내의 피사체 갭 및 객체 갭 시공은 각각 대조적인 동사-객체(VO) 및 주제동사(SV) 구조를 형성한다. 또 다른 경우, RC 지역의 구성 요소를 MC의 머리 명사와 통합하려면 청취자는 갭의 문법 적 역할을 식별하고 다가오는 필러 헤드 명사와 연결해야합니다.
2. 위치 2 (P2): 포스트 VMC 영역
측정할 제2 위치(P2)는 매트릭스 절(VMC)에서동사 바로 이후에 측정된다. 이 사이트는 또한 처리 부하를 유도하는 것으로 가정됩니다. 구두 정보를 통합하려면 수신기가 문장에서 명사 인수를 검색하고 이전 RC 도메인또는 RC가 수정하는 머리 명사에서 행렬 동사의 에이전트를 식별해야 합니다.
3. 위치 3 (P3): 포스트 문장 영역
측정할 제3 위치(P3)는 문장이 끝난 직후이다. 처리에 대한 이전 연구는 문장의 끝 마무리 효과가 있음을 제안 - 비 syntactic 정보 (예를 들어, 담론과 의미 수준)가 활성화하고 완전한 이해를 위해 문장의 끝에 고려되는 현상12 ,13. 따라서, 처리 하중은 이 비신타문 정보14,15를통합할 필요성으로 인해 문장의 끝으로 증가해야 한다. 위치 3은 이 사이트 주변에서 문장 확인이 시도되었기 때문에 처리 부하가 저하된 것으로 가정합니다.
두 번째 실험에서는 청각 이동 창(AMW) 작업이 채택되었습니다. AMW 기술은 온라인 언어 처리 동안 리소스 할당의 패턴을 캡처할 수 있는 것으로 간주되며 두 개의 경쟁 WM 접근 방식16,17을구별하기 위한 시도에서 널리 사용되고 있다. 일시적인 간섭은 일시적인 다가오는 문장을 처리하는 동안 청취자에게 추가 시간을 지불해야 한다고 추정됩니다. AMW 패러다임하에서 참가자들은 단어로 분할된 문장을 들었고, 키보드의 키를 눌러 후속 세그먼트의 연주를 시작했습니다. 따라서 키 누름 간의 일시 중지 기간은 후속 세그먼트를 시작하고 들어오는 정보의 흐름을 제어하는 데 해당되는 특정 언어 기능에 대한 참가자의 응답성을 반영합니다. 예를 들어, 추론 간섭이 서로 다른 구문 복잡성의 문장 처리에 특정 영향을 미치는 경우 참가자는 후속 세그먼트를 시작하기 전에 그에 상응하는 더 긴 일시 중지 기간을 나타낼 것입니다. 절차는 스키마화되어 그림 2에제시됩니다.
그림 2: 숫자 회수 작업이 있는 초분절 간섭 절차.
이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
다음 프로토콜은 연구원이 시각적으로 제시된 어휘 결정 작업을 사내 간섭으로 사용하고 동시 산술 간섭 부하를 초인적 간섭으로 사용하여 WM 개입 및 처리를 조사하는 방법을 보여줍니다. 중국 RC의 비대칭과 기본 논리를 정교하게.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
이러한 실험의 관리는 모든 연구 윤리 규정을 따랐다. 모든 과목은 실험이 투여되기 전에 구두 및 서면 동의를 제공했다. 모든 절차, 동의서 및 실험 프로토콜은 대만 국립 청쿵 대학의 연구 윤리위원회에 의해 승인되었습니다.
1. 실험 1-이중 모달 내 간섭 작업
- 국립태인간호연구소와 국립태난중고등학교에서 97명의 학생, 54명의 여성, 42명의 남성을 모집하여 실험 1에 참여합니다.
참고: 모든 참가자는 정상 또는 수정 된 시력을 가진 유창한 중국어 원어민이어야하며 자기 보고에 의한 청각 장애가 없습니다. - 재료 준비
- LDT에 대한 단어와 비단어를 선택합니다. 총 48개의 비실라빅(2자) 중국어 단어를 포함했으며, 그 중 24개는 단어였고 24개는 단어가 아닌 단어였습니다.
참고: 중국어 문자는 음절을 나타내며, 이는 일반적으로 형태(즉, 가장 작은 의미 있는 요소)입니다. 여기서 대상 단어는 비실라블 복합 단어입니다. LDT 작업에 사용되는 시각적 대상 단어/비단어 목록은 보충 파일을 참조하십시오.- Sinica Corpus 기술 보고서18에서24개의 단어를 선택하고 모든 대상 단어가 중간 빈도인지 확인합니다. 평균 빈도 백분율의 검색 단어는 약 0.00030이고 순위 순서는 데이터베이스에서 약 4,000개입니다.
참고: 중간 빈도의 단어를 대상 단어로 선택하면 빈도 가산도 효과를 줄이기 위한 것으로, 고주파 단어의 응답 시간(RT)이 짧아지고 저주파 단어에서 더 긴 RT가 생성됩니다. - 개별적으로 의미가 있지만 그 조합이 의미적으로 비정상적인 두 개의 단음절 문자를 사용하여 24개의 비단어를 만듭니다. 잠재적인 활성화를 방지하기 위해 동일한 라디칼(예: haiyang,'바다'를의미)을 가진 비실라브
문자 단어를 피하십시오. 물과 관련된 문자및 
)에서 공유됩니다. - 필러 문장의 24개의 비단어와 대상 RC 문장의 24단어를 수동으로 대조합니다.
참고: RC와 비단어를 채우기로 배치하는 것은 RC가 있는 24개의 단어중 LDT만 고려하고 통계 분석에 포함해야 하기 때문에 필요했습니다.
- Sinica Corpus 기술 보고서18에서24개의 단어를 선택하고 모든 대상 단어가 중간 빈도인지 확인합니다. 평균 빈도 백분율의 검색 단어는 약 0.00030이고 순위 순서는 데이터베이스에서 약 4,000개입니다.
- 청각 RC 및 필러 문장
참고: SRC, ORC 및 필러 문장의 예는 보충 파일을 참조하십시오.- 청각 자극을 72문장으로 구성하여 SRC 24개, ORC 24개, 필러 문장 24개 등 3가지 유형의 문장을 포함합니다.
- 48개의 RC 문장을 두 그룹으로 나누어 불완전한 균형 잡힌 설계를 만들어 2(SRC, ORC) * 3(프로빙 사이트) * 2(단어/비단어) 조건에서 48개의 시험(SRC, ORC 12개, 필러 24개)을 형성합니다.
- LDT에 대한 단어와 비단어를 선택합니다. 총 48개의 비실라빅(2자) 중국어 단어를 포함했으며, 그 중 24개는 단어였고 24개는 단어가 아닌 단어였습니다.
- 실험 소프트웨어 설정
- 표준 실험 소프트웨어(즉, E-Prime19)를사용하여 소프트웨어 프로토콜에 따라 실험을 프로그래밍합니다.
- 실험 소프트웨어를 사용하여 모든 자극을 무작위화하십시오.
- (1) 응답 시간, (2) LDT에서 참가자의 응답 정확도 속도, (3) 참가자의 키보드 누시기에 따라 사후 이해: 다음 데이터를 기록하도록 소프트웨어 시스템을 구성합니다.
- 참가자의 잘못된 어휘 결정 또는 응답 없음에 대한 피드백을 포함합니다. 참가자의 부정확하거나 누락된 응답 이 후에 모니터 화면에 피드백을 표시합니다. 참가자의 응답이 올바르면 피드백이 표시되지 않습니다.
- 평가판과 관련된 실습 섹션을 피드백과 함께 제공합니다.
- 연습 세션이 끝나면 이중 모달 내 LDT 간섭 작업을 시작합니다. 실험 세션 동안, 참가자는 모든 사이 휴식을 취할 수 있도록 24 시험.
- 각 참가자에게 개별적으로 작업을 수행하게 한다. 첫째, 참가자들에게 컴퓨터 화면의 서면 양식과 실험자가 구두로 지시한 지침을 제공합니다. 참가자를 컴퓨터 앞에 앉고 헤드폰을 장착합니다.
- 참가자들에게 헤드폰을 통해 재생된 문장을 들으면서 동시에 청취 과정 중 어느 시점에서 어휘적 의사 결정 작업을 수행하도록 지시합니다.
- 참가자에게 화면에 표시되는 간섭 하는 시각적 프로브가 단어인지 단어가 아닌지 결정하고 응답 키 '예'를 누르도록 지시하거나 가능한 한 빠르고 정확하게 비단어에 대해 '아니오'를 누르라고 지시합니다.
- 참가자들에게 문장 직후에 이해질문이 뒤따를 것임을 알려주십시오. 동시에 LDT 작업을 수행하는 동안 청각 문장에 주의 깊게 듣고 그들에게 상기시켜.
문자 단어를 피하십시오. 물과 관련된 문자및 
)에서 공유됩니다.2. 실험 2-이중 모달 외계인 간섭 작업
- 국립 타이베이 공과대학과 국립 타이난 단기 간호 대학에서 61명의 대학생, 40명의 여성, 21명의 남성을 실험 2의 참가자로 모집합니다.
참고: 모든 참가자는 정상 또는 수정 된 시력을 가진 유창한 중국어 원어민이어야하며 자기 보고에 의한 청각 장애가 없습니다. - 재료 준비
- 청각 RC 및 필러 문장
- 청각 자극을 SCC, ORC 및 필러 문장의 세 가지 유형의 문장으로 구성합니다. 48개의 RC 문장을 두 그룹으로 균등하게 나누어 2(문장 유형: SRC, ORC) * 3(숫자 로드) 조건에 대해 총 96개의 시험(24개의 SRC, 24개의 ORC 및 48개의 필러)으로 불완전한 균형 잡힌 설계를 만듭니다.
참고 : SRC, ORC 및 필러 문장의 대상 청각 재판 예에 대한 보충 파일을 참조하십시오.
- 청각 자극을 SCC, ORC 및 필러 문장의 세 가지 유형의 문장으로 구성합니다. 48개의 RC 문장을 두 그룹으로 균등하게 나누어 2(문장 유형: SRC, ORC) * 3(숫자 로드) 조건에 대해 총 96개의 시험(24개의 SRC, 24개의 ORC 및 48개의 필러)으로 불완전한 균형 잡힌 설계를 만듭니다.
- 0/3/5자리 숫자
- 0/3/5 숫자 조합으로 구성된 총 96개의 디지털 항목을 구성합니다. 각 0, 3 또는 5자리 로드를 모든 문장 재판에 균등하게 할당합니다.
- 청각 RC 및 필러 문장
- AMW 패러다임을 갖춘 이중 모달 디지털 간섭 작업
- 표준 실험 소프트웨어(즉, E-Prime19)를사용하여 소프트웨어 프로토콜에 따라 실험을 프로그래밍합니다.
- 문장 유형(SRC 대 ORC) 및 메모리 로드(로드 없음, 3자리 로드, 5자리 로드)의 두 가지 주제 내 요인의 조합을 나타내는 두 개의 자극 세트 중 하나에 참가자를 임의로 할당합니다. 참가자들에게 AMW 작업 전에 1,500ms의 숫자 시각적 프레젠테이션을 제공합니다.
- 그런 다음 AMW 작업을 시작합니다.
참고 : AMW 작업20은 자기 주도청취 작업입니다.- 참가자에게 앞의 시각적 프레젠테이션(숫자 또는 숫자 없음)을 메모리에 유지하도록 지시합니다.
- 그런 다음 참가자들에게 단어로 분할된 문장을 듣고 헤드폰을 통해 연주하도록 지시합니다. 키보드를 눌러 후속 세그먼트 단어의 재생을 시작하여 가능한 한 빨리 속도를 내라고 말하십시오.
- 참가자들에게 각 재판 문장을 들은 후 컴퓨터 화면에 나타난 예/아니오 이해 력 질문에 대답하도록 지시합니다. 참가자에게 컴퓨터 화면에 물음표가 "?"가 표시되고 질문이 앞문장에서 들었던 정보와 관련이 있음을 알립니다.
- 참가자가 이해 질문에 대답하기 위해 예 / 아니오 키를 누르면 짧은 "경고음"소리가 재생됩니다. 경고음이 울릴 후 화면에 나타나는 지시에 따라 참가자들에게 문장을 듣기 전에 본 숫자를 반복해 보라고 한다.
- 실험자가 참가자의 숫자 회수 응답을 점수 시트에 기록하게 합니다.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
간섭 효과는 이중 모달 인트라-LDT 및 엑스트라디츠 부하 작업 모두에서 관찰되었다. 실험 1의 세 가지 프로브 사이트를 고려할 때, INTRA-LDT 태스크의 RT 결과는 두 개의 RC 유형의 함수로서 RC 처리의 동적 패턴을 나타냈다. 도 3에도시된 바와 같이, ORC 형은 RC(P1) 후 매트릭스 피사체(SMC)와문장(P3)의 끝에 있는 위치 포스트에서 처리 이점을 나타내고 있는 반면, SRC 형은 매트릭스 동사(V MC)를 포스트하는 위치에서 우위를 갖는다. )을 참조하십시오. 문장 유형의 간단한 주요 효과는 P2 및 P3에서 중요했으며, 이는 SRC가 매트릭스 동사(P2)에서 LDT 간섭 작업으로 처리 부하가 낮았음을 나타내는 반면, ORC는 문장(P3)의 끝에 낮은 처리 부하를 가짐을 나타냅니다. 이러한 결과는 영어와 같은 머리 초기 언어의 RC 연구에 의해 보고된 일관된 SRC 선호도와 는 달랐으며 이전 중국 RC 연구에서 보고된 경쟁 적인 SRC 및 ORC 이점과도 달랐습니다.
그림 3: 실험 1의 결과, 평균 RTs(ms)를 문장 유형 및 간섭 프로브 사이트의 함수로 표시합니다.
*문장 유형의 주요 효과는 P2 및 P3에서 유의한 것으로 나타났습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
실험 2의 세 자리 하중 조건에 비추어 초자릿수-리콜 작업의 RT 결과는 두 개의 RC 유형의 함수로서 RC 처리의 동적 패턴을 나타내었습니다. SCC와 ORC는 세 가지 초월적 숫자 하중 간섭 조건에서 유의한 차이를 보이지 않았습니다. 사후 DE 영역(즉, 실험 1에서 감지된 동일한 영역)을 중심으로 실험 2는 0자리 부하 간섭 하에서 매트릭스 동사 사이트에서 T5(V2=VMC)에서SRC 이점을 복제했습니다. 그러나 RC 의 장점은 3자리 및 5자리 부하 조건에서 ORC를 선호하는 경향이 있습니다. 이러한 동적 패턴은 상대화기 DE-region(T3)에서 관찰되었으며, 여기서 SRC는 0자리 하중하에서 처리 이점을 보였지만 부하 간섭이 5자리로 증가할 때 반전된 ORC 이점이 나타났습니다. 이러한 모든 결과 이전 중국 RC 연구에서 보고 된 SRC 또는 ORC 처리 장점에 대 한 부정적인 증거를 제공 합니다.
실험 2에서 중국 RC 처리에 대한 서로 다른 숫자 부하 간섭의 결과는 그림 4, 그림 5 및 그림 6에각각 나와 있습니다.
그림 4: 실험 2의 결과, 0자리 부하 에서 문장 유형의 함수로 평균 RT(ms)를 표시합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
0자리 부하 간섭하에서 참가자들은 RC의 초기 처리(T1) 영역에서 ORC에 대한 이점을 보였지만 SRC는 상대화자 DE(T3) 및 매트릭스 동사(T5) 영역에서 우위를 점했습니다.
그림 5: 실험 2의 결과, 3자리 하중 하에서 문장 유형의 함수로 평균 RT(ms)를 표시합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
3자리 하중 간섭 하에서 사전 DE 영역(T1 및 T2) 주변에서 SRC/ORC 차이가 관찰되지 않았습니다. 그러나 참가자들은 상대화자 DE(T3)에서 SRC 이점과 매트릭스 동사(T5) 영역에서 ORC 우위를 보였다.
그림 6: 실험 2의 결과, 아래 의 문장 유형 함수로 평균 RT(ms)를 표시 5자리 로드. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
5자리 하중 간섭 하에서 참가자들은 매트릭스 피사체(T4) 영역에서 PRE-DE 영역(T1 및 T2) 및 사후 DE 영역 주위의 전반적인 ORC 이점을 보였다.
보충 표 1. 이 표를 다운로드하려면 여기를 클릭하십시오.
보충 표 2. 이 표를 다운로드하려면 여기를 클릭하십시오.
보충 표 3. 이 표를 다운로드하려면 여기를 클릭하십시오.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
이 연구는 DMI 메서드를 인트라-및 extrasentent 간섭 작업모두에서 사용하면 음성 문장 처리에서 WM의 역할을 설명하고 중국 RC 처리 비대칭 문제에 대한 빛을 비추는 데 도움이 될 수 있음을 보여줍니다. 예상대로, 보조 작업의 간섭이 1 차 문장 처리에 대한 청취자의 성과에 영향을 미치는 정도를 측정함으로써 중국 RC 처리 패턴을 추론하고 중국 SRC / 토론에 대한 실행 가능한 해결책에 도달 할 수 있습니다. ORC 처리 이점.
간섭 효과는 간섭의 근원에 관계없이 WM이 음성 문장 처리에서 필수적인 역할을 한다는 것을 보여줍니다. 우리의 경우, 실험 1과 2의 경우, 내간섭은 문장과 관련이 없는 어휘적 결정 작업이며, 추론 간섭은 난이도가 증가하는 비언어적 산술 작업입니다. 숫자 로드 회수. 이 접근법은 기본 및 보조 작업에 관여하는 WM이 공통 인지 리소스1,2,21을 공유하거나 별도의 시스템3,4를 통해 운영된다는 가정에 의존합니다. . 이전 모델에서 메모리 부하의 일반성에 대한 증거는 단순히 참가자가 더 많은 오류를 만들거나 간섭 조건에서 문장 이해 작업에서 더 긴 처리 / 반응 시간 (RTs)을 가지고 있다는 것을 발견에서 유래, 에 대한 증거동안 후자의 모델에서 문장 처리에 메모리 부하의 특이성은 구문적으로 더 복잡한 문장을 처리하는 것이 구문적으로 간단한 문장을 처리하는 데 비해 불균형적으로 성능이 저하된다는 것을 발견한 데서 비롯됩니다. 간섭 조건에서. 즉, 기본 문장 처리의 성능이 간섭의 존재에 의해 영향을 받는 정도를 조사하면 WM 시스템의 일반 또는 특정 도메인이 두 작업에 관여하는지 여부에 대한 증거가 됩니다.
그럼에도 불구하고, 이번 연구의 목적은 모듈화 문제를 다루기보다는 WM 용량 제한 개념을 중국 RC 처리 비대칭과 같은 논란이 되는 문제에 적용할 수 있는지 여부에 더 초점을 맞추고 있습니다. 결과는 영어로 관찰 된 일관된 SRC 처리 이점에 비해 달성되었습니다. 이 연구에서는 WM 시스템의 간섭이 1 차 음성 중국어 RC 문장 처리에 미치는 정도를 측정함으로써 SRC 및 ORC 모두에 대한 처리 프로파일을 감지하고 RC 처리 비대칭을 결정할 수 있다고 가설을 세었습니다. RC 처리 기본 설정이 중국어로 존재하는 경우, 우리는 내부 또는 extrasentent DMI 작업 모두에서 참가자의 성능에서 SRC 또는 ORC 이점을 준수해야합니다.
그러나 중국어에서는 그렇지 않습니다. 우리의 결과는 중국어가 영어에 대해 관찰 된 것과 동일한 RC 처리 비대칭을 가지고 있지 않은 것으로 나타났습니다. 실험 1의 결과는 참가자의 RC 환경 설정의 일정한 패턴이 아닌 동적으로 나타났습니다. ORC 이점은 매트릭스 주제 영역 주변에서 발견되었으며, SRC 이점은 매트릭스 동사 영역 주변에서 발견되었습니다. 한 가지 가능한 추론은 중국어 RC, 영어에서 유형학적 차이 주어진, SRC 또는 ORC에 대 한 명확한 기본 설정을 가지고 있지 않습니다.
실험 1은 문장 처리 중에 내간섭이 있는 전형적인 이중 모달 절차를 나타냅니다. 이것은 실시간으로 음성 문장 이해 프로세스를 측정하는 간단한 방법이지만, 테스트 자극을 구성 할 때, RC 마커 DE 후 세 개의 프로빙 사이트를 측정 할 때, 및 조사 결과를 정렬 할 때 예방 조치를 취해야합니다 LDT 작업. 프로토콜을 디자인할 때 중요한 단계는 대상 SRC 및 ORC 문장을 단어와 페어링해야 하고 필러 문장을 비단어로만 배치해야 한다는 것이었습니다. 이러한 상황을 감안할 때, RC 문장의 처리 시간(RT)은 실제 단어 판단에 대한 간섭에 의해서만 측정및 비교될 수 있다. 고려해야 할 또 다른 중요한 점은 균형 잡힌 자극 디자인입니다. 각각의 LDT 시각적 단어는 태스크에 한 번만 나타날 수 있으며, 각 RC 자극은 하나의 사이트에서만 조사될 수 있다. 또한 단어 /비 단어 LDT와 두 개의 RC 문장 유형과 결합 된 3 개의 프로브 사이트의 조합은 2 * 3 * 2 = 12 조건을 형성했지만 현재 연구에서는 48 개의 시험만 구성되었습니다. 이중 모달 간섭 작업 동안 각 문장에 대해 하나의 사이트만 측정하면 간섭을 줄이고 작업을 가능한 한 일반 청취와 유사하게 만드는 장점이 있지만, 단일 관측 사이트가 제한되는 경우도 있습니다. 그 또는 그녀가 문장 이해 과정에서 모든 영역을 측정하고 완전한 균형을 공격하고자하는 경우 실험자는 자극의 큰 숫자를 설계해야합니다. 따라서 실험 1에서 3개의 프로빙 사이트를 측정하기 위해 48개의 시험만을 사용하여 불완전한 균형을 달성한 것은 후속 실험 2가 한계를 극복하기 위한 동기부여였습니다.
실험 2는 이중 모달 간섭 작업을 채택하는 장점을 보여줍니다: 다재다능하고 메모리 로드 및 WM의 특성과 관련된 다양한 질문을 해결하기 위해 수정 및 조정할 수 있습니다. 또한 AMW 패러다임에 따른 이중 모달 간섭을 통해 문장 처리 과정에서 모든 영역을 측정할 수 있습니다. 실험 2의 결과는 실험 1에서 중국 RC 처리가 동적이라는 결과를 복제했습니다. 디지털 간섭이 없는 상황에서 는 초기 영역에서 ORC 이점이 발견되었으며 RC 마커 DE및 매트릭스 동사 주변에서 SRC 이점이 발견되었습니다. 그러나 디지털 간섭이 증가함에 따라(3자리 및 5자리 하중), 참가자들은 매트릭스 피사체에서 PRE-DE 영역 과 사후 DE 영역을 중심으로 전반적인 ORC 우위를 보였으며, WM과 관련된 요인이 중국 RC 처리를 변경할 수 있음을 보여주었습니다. 역학. 이러한 연구 결과는 중국어로 null RC 처리 비대칭 모델에 대한 강력한 부정적인 증거를 제공합니다. SRC 또는 ORC에 대한 명확한 처리 선호도가 없다는 주장에 관해서는, EPR 연구에서 보충 지원은 최근에뿐만 아니라보고되었다 22.
전통적으로, RC 처리를 위한 널리 사용되는 연구 방법은 실시간으로 언어 이해 프로세스를 측정하는 가장 간단한 방법으로 간주되는 자기 주도적 독서 패러다임을 기반으로 작업을 분석하는 것입니다. 즉, 일반 독서와 가능한 한 유사하다"23. 그러나, 주로 자동 구문 분석 과정에 창을 제공에도 불구 하 고, 고전적인 단어-by-word-by-단어 자기 주도 읽기 작업, 피사체 뒤를 볼 수 없습니다., 앞뒤로 눈 의 움직임을 반영 하는 데 실패 독자는 통합을 위해 확인 하 고 자연 독서 과정에서 이해. 과목이 이전 자료를 처리하기 위해 돌아가는 데 제한이 있다는 것은 사실 자연 청취 이해 작업에 훨씬 더 가깝습니다.
듣기는 언어 처리 및 언어 발달과 밀접한 관련이 있으며 온라인 청각 문장 처리를 조사하기 위해 몇 가지 연구가 수행되었다는 사실에 비추어, 현재 연구는 음성 문장 처리를 위해 이 DMI 접근 방식을 적용합니다.
이 연구의 중요한 혁신은 WM의 특성에 대한 탐구와 복잡한 구문 구조가 RC 처리의 오랜 문제를 해결하기 위해 음성 처리와 관련된 WM 리소스에 대한 높은 요구를 배치한다는 주장을 적용한다는 것입니다. 중국어의 비대칭. 이 연구의 결과는 중국 SCC와 ORC가 내적 또는 사외 간섭 조건 하에서 유의한 차이를 보이지 않는다는 것을 보여줍니다. 이러한 연구 결과는 중국어의 SRC 또는 ORC 이점에 관한 이전의 혼합 결과와 다르므로 영어와 같은 초기 언어에서 일관되게 발견되는 RC 처리 비대칭이 중국어로 존재하지 않는다는 추측이 나오게 됩니다. 이는 또한 중국어로 SRC와 ORC 간의 복잡성 메트릭이 영어와 다를 수 있음을 의미합니다. 구문 구조의 특성으로 인해 중국어 RC는 언어별 방식으로 처리되어야 합니다.
LDT 태스크 및 AMW 기술과 결합된 이중 모달 간섭 패러다임은 실시간으로 처리 과정을 측정하는 목표를 성공적으로 달성할 수 있는 새로운 접근 방식이며, 이러한 측정은 처리 문제에 대한 빛을 비추는 데 도움이 될 수 있습니다. 복잡성. 참가자에 대한 지침과 관련하여 실험 1과 2 모두에 중요한 단계가 있습니다. 실험 1의 어휘 결정 작업은 비교적 적은 메모리 부담을 포함하지만 더 자동 응답을 유도하기 때문에 참가자는 문장을 들을 때 세심한주의를 기울여야합니다. 반대로 실험 2에서 숫자 회수는 메모리 부하를 더 많이 유도하기 때문에 참가자는 가능한 한 빨리 문장을 들으면서 숫자를 올바르게 기억하려고 우선 순위를 지정해야 하지만, 너무 빨리 듣고 문장의 의미를 캡처하지 않도록. 이 방법을 사용하면 문장에 참석하는 것과 숫자 회수 작업 사이의 장단점을 줄일 수 있습니다. 또한, 참가자들이 문장을 들을 때 피로해지는 것을 방지하기 위해, 우리는 그들에게 간단한 휴식을 주는 것이 좋습니다. 따라서 테스트 시간이 30분을 초과할 수 있습니다.
이 연구에서 중요한 발견은 WM 참여를 고려하기 위해 RC 문장 복잡성의 처리 메트릭을 탐구하는 미래 연구의 필요성을 강조합니다. 특히 AMW 기술을 사용하는 이중 모달 간섭 태스크는 내인성 또는 사내 간섭과 함께 사용할 때 이 문제를 해결하는 역할을 할 수 있습니다. 또한, 이 절차는 WM의 본질과 문장 처리와의 연관성에 대한 이해를 높이기 위해 노력하는 심리학자들에게 광범위한 관심과 적용이 있어야 합니다.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
저자는 공개 할 것이 없다.
Acknowledgments
이 연구는 첫 번째 저자, 투위안 청에 과학 기술부, 대만, R.O.C. [NSC-101-2410-H-439-001]의 보조금에 의해 지원되었다. 저자들은 NTIN의 양야휘와 첸페이한이 실험을 준비하고 수행하는 데 도움을 준 연구원양야휘와 첸페이한에게 감사를 표한다.
Materials
| Name | Company | Catalog Number | Comments |
| E-Prime | Psychology Software Tools | version Professional 2.0 | |
| Headphone | Logitech | ||
| Praat | Praat | 5.3.43 | The online software used to edit the sound files for listening; http://www.fon.hum.uva.nl/praat/ |
| Serial Response Box | Psychology Software Tools | ||
| Standard PC | ASUS K42Jv laptop |
References
- Just, M. A., Carpenter, P. A. A capacity theory of comprehension: Individual differences in working memory. Psychological Review. 99, 122-149 (1992).
- King, J., Just, M. A. Individual differences in syntactic processing: The role of working memory. Journal of Memory and Language. 30, 580-602 (1991).
- Caplan, D., Waters, G. S. Verbal working memory and sentence comprehension. Behavioral & Brain Sciences. 22, 77-94 (1999).
- Waters, G., Caplan, D., Yampolsky, S. On-line syntactic processing under concurrent memory load. Psychonomic Bulletin & Review. 10 (1), 88-95 (2003).
- Cowan, N. Working Memory Capacity. , Psychology Press. New York, NY. (2005).
- Miller, G. A. The magical number seven, plus or minus two: Some limits on our capacity for processing information. Psychological Review. 63, 81-97 (1956).
- Chen, B., Ning, A., Bi, H., Dunlap, S. Chinese subject-relative clauses are more difficult to process than the object-relative clauses. Acta Psychologica. 129, 61-65 (2008).
- Gibson, E., Wu, H. H. Processing Chinese relative clauses in context. Language and Cognitive Processes. 28, 125-155 (2013).
- Hsiao, F., Gibson, E. Processing relative clauses in Chinese. Cognition. 90, 3-27 (2003).
- Lewandowsky, S., Oberauer, K., Brown, G. D. A. No temporal decay in verbal short-term memory. Trends in Cognitive Science. 13, 120-126 (2009).
- Wu, J. T., Chou, T. L., Liu, I. M. The locus of the character/word frequency effect. Advances in the study of Chinese language processing. Chang, H. W., Huang, J. T., Hue, C. W., Tzeng, O. J. L. , Taipei. Taipei: National Taiwan University (in Chinese) 31-58 (1994).
- Fodor, J. D., Ni, W., Crain, S., Shankweiler, D. Tasks and timing in the perception of linguistic anomaly. Journal of Psycholinguistic Research. 25 (1), 25-57 (1996).
- Swinney, D., Zurif, E. Syntactic processing in aphasia. Brain and Language. 50 (2), 225-239 (1995).
- Balogh, J., Zurif, E., Prather, P., Swinney, D., Finkel, L. Gap-filling and end-of-sentence effects in real-time language processing: implications for modeling sentence comprehension in aphasia. Brain and Language. 61 (2), 169-182 (1998).
- Granier, J. P., Robin, D. A., Shapiro, L. P., Peach, R. K., Zimba, L. D. Measuring processing load during sentence comprehension: visuomotor tracking. Aphasiology. 14 (5-6), 501-513 (2000).
- Waters, G. S., Caplan, D. Age, working memory, and on-line syntactic processing in sentence comprehension. Psychology and Aging. 16, 128-144 (2001).
- Waters, G. S., Caplan, D. Working memory and online syntactic processing in Alzheimer’s disease: Studies with auditory moving window presentation. Journal of Gerontology: Psychological Sciences. 57B, 298-311 (2002).
- Cheng, T., Cheung, H., Wu, J. Spoken relative clause processing in Chinese: measure from an alternative task. Language and Linguistics. 12 (3), 669-705 (2011).
- Cheng, T., Wu, J., Huang, S. Use of Memory-Load Interference in Processing Spoken Chinese Relative Clauses. Journal of Psycholinguistic Research. 47 (5), https://doi.org/10.1007/s10936-018-9576-5 1035-1055 (2018).
- CKIP. Zhongwen shumianyu pinlü cidian [Dictionary of Chinese written word frequency], CKIP Technical Report, No. 94-01. , Institute of Information Science, Academia Sinica. Taipei. (1994).
- MacWhinney, B., James, J., Schunn, C., Li, P., Schneider, W. Step—A system for teaching experimental psychology using E-Prime. Behavior Research Methods, Instruments, and Computers. 33 (2), 287-296 (2001).
- Ferreira, F., Henderson, J., Anes, M., Weeks, P., McFarlane, D. Effects of lexical frequency and syntactic complexity in spoken language comprehension: Evidence from the auditory moving-window technique. Journal of Experimental Psychology: Learning, Memory, and Cognition. 22, 324-335 (1996).
- Daneman, M., Carpenter, P. A. Individual differences in working memory and reading. Journal of Verbal Learning and Verbal Behavior. 19, 450-466 (1980).
- Bulut, T., Cheng, S. K., Xu, K. Y., Hung, D. L., Wu, D. H. Is there a processing preference for object relative clauses in Chinese? Evidence from ERPs. Frontiers in Psychology. 9, 1-18 (2018).
- Mitchell, D. C., Green, D. W. The effects of context and content on immediate processing in reading. Quarterly Journal of Experimental Psychology. 30 (4), 609-636 (1978).
