Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

부바와 키키에 대한 시각적 이미지 및 학습 모양 오디오 규칙의 효과 조사

Published: September 13, 2019 doi: 10.3791/59954
Automatic Translation
1, 1
1Department of Experimental Psychology, University of Oxford

Summary

제시된 프로토콜의 목적은 부바/키키-이펙트에서 시각적 이미지의 역할을 조사하는 것이며, 부바/키키 모양-오디오 규칙성에 대한 교육이 부바/키키 효과및 개별 부바 및 키키 모양의 인식에 영향을 미치는지 여부, 그리고 마지막으로 어떤 정신 이미지 이러한 규칙 생산.

Abstract

이 문서에서는 부바 /키키 효과에서 시각적 이미지의 역할을 조사하기위한 프로토콜을 제시하며, 부바 / 키키 모양 오디오 규칙성을 알아 차리는 교육이 부바 / 키키 효과 및 개별 부바 및 키키 모양의 인식에 영향을 미치는지 여부, 그리고 마지막으로 어떤 정신 이미지 이러한 규칙 생산. 부바 / 키키 모양 오디오 규칙성을 생성하기 위해, 모양의 두 가지 유형 (채워진; 개요) 오디오의 두 가지 유형이 있었다 (단어; 비 단어 소리). 세 그룹의 개인은 눈가리개, 눈가리개, 시력의 세 가지 실험에 참여했습니다. 실험은 참가자 들 사이 휴식 없이 고정된 순서로 실시 되었다. 실험 1 (세 가지 반복 그룹 내에서 측정 사전 테스트 후 디자인) 참가자는 청각 부바 / 키키와 관련된 모양을 선택하도록 요청받았다; 실험 2 (주제 내 디자인), 하나의 모양과 일부 오디오 (때로는 부바' 또는 'kiki;'로, 실험 3 (사후 테스트 전용 디자인)로 이름을 지정하여 청각 부바 / 키키와 관련된 모양을 그립니다. 결과는 눈가리개 그룹이 새로운 문제를 해결하기 위해 시각적 이미지에 그릴 것을 제안하지만, 장기적으로; 부바 / 키키 모양 오디오 규칙성에 대한 교육은 부바 / 키키 효과 및 개별 부바와 키키 모양의 인식에 영향을 미치지만 각 실험 그룹에서 는 다르게; 그리고 모든 실험 그룹은 부바 (곡선)와 키키 (각도)의 가장 독특한 모양 기능의 정신 이미지를 만들 수 있습니다. 실제로 시각적 이미지의 효과는 작업 전반에 걸쳐 강력하지만 장기적으로는 그렇지 않습니다. 모양 오디오 규칙학습의 효과는 견고한 장기이지만, 작업 전반에 걸쳐 그렇지 않습니다. 제시된 프로토콜은 시각적 이미지의 효과를 조사하고 모양 오디오 규칙체가 발생하는 시기와 견고한 정도를 조사하는 데 적합합니다. 특정 개인 및 개인 그룹에서. 이 프로토콜은 교육 및 테스트 중에 시각적 이미지와 감각 정보를 모두 제어한다는 점에서 독특합니다.

Introduction

전 세계 인구의 95%가 청각-비주얼 부바/키키 효과를 보여주며, 시각적으로 둥근 모양과 'bouba;', 그리고 'kiki;'라는 단어와 시각적으로 각진 모양을 연결하며 경험이 없는 경우에도 이를 수행합니다. 모양 또는 단어1과함께 . 부바/키키 효과는 언어 학습에 앞서 있습니다. 그것은 언어1,2,3,4,5, 부바와 키키 (참조. 시각적 각도를 통해 시각적 곡선에 대한 사람들의 선호6,7 , 8개 , 9)모음과 자음의 조합에 따라 달라집니다 (예를 들어, '비비'와 '쿠쿠'로 발생하지 않습니다.) 1개 , 5개 , 10개 , 11세 , 12. 이 모양 단어 연관은 다른 모양과 단어 쌍으로도 발생하며, 주로 부바와 같이 구부러지고 주로 각도가 있는 한 키키11,13으로발생합니다. 그리고 모음과 자음이 '부바'와 '키키'와 같은 조합을 가지고 있습니다: 예를 들어 '발루마'와 '테이크', '말루마'와 '테이크', '울루모'와 '테이크', '마부마'와 '투-키티'1,3, 3 4,10,11,12,14. 실제로 사람들은 둥근 시각적 모양을 연속자음(예: /l/ 및 /m/)을 포함하는 음성 단어와 뒤의 모음(예: /에서 :/// //)을 연결하고, 시각적 각도 모양과 파열자음이 포함된 음성 단어(예: //)를 연결합니다. k/ 및 /t/) 및 닫기 전면 모음(예: (예: (θ/및 /I/)11,12,15,16. 모음보다 자음의 영향을 더 많이 받는데, 특히 무성한 사람(예: /k/및 /t/)11,12,15,16. 실제로, 그것은 글로벌 모양의 특징 보인다 – 그들의 곡선과 각도17 – 그리고 음성 단어의 소리 - 그들의 멜로디17 – 글로벌 모양과 단어 자체반대로, 가장 중요한.

한 연구는 시각적 부바 / 키키 모양 대신 촉각 부바와 키키와 부바 / 키키 효과를 조사하고 시각 장애가있는 참가자가 훨씬 덜 강력한 부바 / 키키 효과 (~64 %)를 보였다는 것을 발견했습니다. 보다 전시(~90%)18. 이 연구는 시각 장애인과 부분적으로 시력을 가진 참가자들 사이에서 훨씬 덜 강력한 부바 / 키키 효과가 시각적 이미지의 부족에 기인했다고 주장 : 완전히 시력 참가자는 그렇지 않은 자신의 환경에서 규칙성을 발견했다 시력이 손상될 때 쉽게 접근할 수 있습니다18. 그러나 이 연구에서 는 부바/키키 효과를 얻기 위해 시각적 이미지가 필요한지 여부는 명확하지 않습니다: 시각 장애가 있는 42명의 참가자 중 6명만이 선천적으로 완전히 눈이멀었으며,따라서 시각적 이미지가 전혀 없었습니다. 또한, 다른 참가자, 그들 중 누구도 눈을 가리고, 부바 / 키키 단어를 발표 할 때 실험자의 입술 움직임을 관찰 했을 수 있습니다 – 'kiki'를 발표 할 때 'bouba'와 각 입술 움직임을 발표 할 때 둥근 입술 움직임1 , 18 – 시각적 이미지에 그리는 대신 촉각 - 시각적 청각 부바 / 키키 효과를 보여주는. 또한, 촉각 청각 규칙의 어떤 효과 조사 하지 않았다, 예를 들어, 재판 에 부바/kiki 효과 비교 하 여 재판 1 및 재판 4 모든 4 재판에 걸쳐 효과 계산 하는 대신. 또한, 촉각 부바와 키키는 재판에 걸쳐 다소 달랐다 : 시험 에서 하나와 두 그들은 3D 및 2D 모양이었다 (곡선 v 각도); 시험 에서 3 과 4, 모양 (원)과 질감 (부드러운 v 거친; 부드러운 v 뾰족한)18에서 이질적입니다. 관련 정맥에서, 한 연구는 눈을 가리고 (완전히 시력) 개인에 운동 - 청각 부바 / kiki 효과를 조사하고, 부바와 키키의 궤적을 그리도록 프로그램 로봇 스타일러스를 들고 2 분 훈련 기간 후 것을 발견했다 82%는 부바/키키 효과19를보였다. 이 연구에서 명확하지 않다, 그러나, 부바 / 키키 효과는 훈련 기간 때문에 발생 여부 : 연구는 사전 테스트를 포함하지 않았다, 도 대조군.

이를 위해, 우리는 부바 / 키키 효과에서 시각적 이미지의 역할을 조사, 촉각 / 시각적 청각 부바와 키키 규칙성에 대한 교육이 부바 / 키키 효과에 영향을 미치는 여부와 개별 촉각 / 시각적 부바의 인식과 kiki 모양, 그리고 마지막으로 어떤 정신 이미지 이러한 모양 오디오 규칙 생산17. 부바 / 키키 모양 오디오 규칙체를 생성하기 위해 – 단순히, 예를 들어, 키키 모양 / 키키 단어 특수성1 – 이 연구는 촉각 / 시각적 부바 / 키키 모양의 두 가지 유형을 포함 (작성; 개요) 및 청각 부바 / 키키의 두 가지 유형 [오디오 ( 오디오 ) 단어; 비 단어 소리)]17. 3개의 개별 적인 단은 3개의 실험에서 참가했습니다: 블라인드 (N = 12), 눈가리개 (N = 12), 및 비전 (N = 12). 실험은 참가자에 걸쳐 고정 된 순서로 실시하고 그들 사이에 휴식없이, 참가자의 양과 부바와 키키와 경험의 유형을 제어 할 수 있습니다. 실험 1 (세 가지 반복 그룹 내에서 측정 사전 테스트 후 디자인) 참가자는 청각 부바 / 키키와 관련된 촉각 / 시각적 모양을 선택하도록 요청받았다; 실험 2 (주제 내 디자인) 하나의 촉각 / 시각적 모양과 일부 오디오 (때로는 부바'또는 'kiki;'로 일부 오디오를 이름 지정하고 실험 3에서, (사후 테스트 전용 디자인) 그들은과 관련된 촉각 / 시각적 모양을 그릴 수 청각 부바 / 키키17. 전반적으로, 이 연구는 시각적 이미지의 효과는 작업 전반에 걸쳐 강력하지만, 각 작업 내에서 장기적이지 는 않지만, 모양 오디오 규칙성을 학습하는 효과는 각 작업 내에서 견고한 장기이지만 작업17에서는그렇지 않다는 것을 시사했습니다. 이 문서는 이 연구17의프로토콜을 제시합니다. 제시된 프로토콜은 시각적 이미지의 효과를 조사하고 모양 오디오 규칙체가 발생하는 시기와 견고한 정도를 조사하는 데 적합합니다. 특정 개인 및 개인 그룹에서. 이 프로토콜은 교육 및 테스트 중에 시각적 이미지와 감각 정보를 모두 제어한다는 점에서 독특합니다.

Protocol

의학 간 연구 윤리위원회 (IDREC) 옥스포드 대학은이 프로토콜에 대한 승인을 제공 (참조 번호: MS-IDREC-C1-2015-200, R46287 / RE002, 및 R42687 / RE004).

1. 디자인 및 조건

  1. 모든 참가자와 함께 다음과 같은 고정된 순서로 세 가지 실험을 수행합니다: 실험 1, 실험 2, 실험 3, 둘 사이의 휴식 없이. 실험 2의 모든 참가자가 실험 1에 참여했는지, 실험 3의 모든 참가자도 실험 2(및 실험 1)에 참여했는지 확인합니다.
  2. 실험 실시 1 – 세 가지 실험 그룹과 사전 테스트 후 테스트 설계, : 눈가리개, 눈가리개, 시력; 그룹 내에서 세 번 반복되는 조치입니다. 모든 참가자에게 정해진 순서로 시험을 제시하십시오. (총 시험 횟수: 8.)
    1. 사전 테스트(시험 1)를 실시하여 즉각적인 촉각/시각 청각 부바/키키 효과를 테스트합니다.
    2. 그룹 내에서 처음으로 반복된 측정값(시험 4)을 수행하여 반복되는 촉각/시각적 모양(채워지거나 윤곽이 있는) 및 다양한 오디오(단어 및 비단어 소리)의 효과를 테스트합니다.
    3. 두 번째 그룹 내 측정값(평가판 5)을 수행하여 새로운 촉각/시각적 모양(윤곽이 있거나 채워진) 및 다양한 오디오(단어 및 비단어 사운드)의 효과를 테스트합니다.
    4. 세 번째 그룹 내 측정 및 사후 테스트(시험 8)를 수행하여 다양한 촉각/시각적 모양(채워지고 윤곽이 있는) 및 다양한 오디오(단어 및 비단어 사운드)의 효과를 테스트합니다.
    5. 시험 1-4 (채워지거나 윤곽이 있는 것)에 제시할 촉각/시각적 부바/키키 모양유형을 임의로 할당합니다. 시험 4-8에서 다른 유형을 제시한다. 그런 다음, 시험 1에 어떤 청각 단어(부바 또는 키키)를 무작위로 할당하고, 어떤 청각 부바/키키(부바 또는 키키, 단어 또는 비단어 소리)를 각 시험 2-8에 제시하도록 지정합니다.
      참고: 총 4개의 부바와 4개의 키키 시험이 있는지 확인하십시오. 4 개의 채워진 및 4 개의 윤곽 촉각/시각적 모양 시험; 청각 단어 4개, 청각 비단어 소리 시험 4회.
  3. 실험 수행 2 – 세 가지 실험 그룹과 주제 내 디자인, 눈가리개, 눈가리개, 시력; 그룹 내 두 가지 측정값입니다. 모든 참가자에게 정해진 순서로 시험을 제시하십시오. (총 시험 횟수: 8)
    1. 합동(부바/키키 + 부바/키키) 형상 오디오(시험 1)의 즉각적인 인식을 테스트합니다.
    2. (a) 합동(부바/키키 + 부바/키키) 및 (b) 부화(부바/키키 + 키키/부바) 형상 오디오[응화 유형당 4번의 시험(시험 1-8)]의 인식을 테스트합니다.
    3. 시험 1-8에 제출할 촉각/시각적 부바/키키 모양(채워지거나 윤곽이 있는) 유형을 임의로 할당합니다. 그런 다음, 무작위로 어떤 합동 촉각 / 시각적 모양과 청각 비 단어 소리 (부바 + 부바 또는 키키 + 키키) 시험 1에 제시하고, 마지막으로 합동의 유형 (응고 또는 부조리 한 촉각 / 시각적 부바 / 키키 모양 + 청각) 할당 bouba/kiki 비단어 소리)를 각각 의시험 2-8에 제시합니다.
      참고 : 총 4 개의 촉각 / 시각적 부바와 4 개의 촉각 / 시각적 키키 시험이 있는지 확인하십시오. 4 개의 채워진 및 4 개의 윤곽 촉각/ 시각적 시험; 4 개의 합동 및 4 개의 부조리 (모양 + 비 단어 소리) 시험. (청각 부바/키키 단어는 이 실험에 포함되지 않습니다.)
  4. 실험 수행 3 – 눈가리개, 눈가리개, 시력의 세 가지 실험 그룹으로 시험 후 전용 디자인. 모든 참가자에게 정해진 순서로 시험을 제시하십시오(총 시험 횟수: 4).
    1. 모양 오디오 규칙 (즉, 실험 1 및 실험 2)를 몰래 훈련이 생성 한 정신 이미지를 테스트, 네 개의 별도의 시험에서: 부바 단어, 부바 비 단어 소리, 키키 단어, 그리고 키키 비 단어 소리.
    2. 무작위로 청각 부바 / 키키의 유형을 할당 (부바 또는 키키 중 하나 단어 또는 비 단어 소리) 시험 의 각 하나에 제시 1-4.
      참고 : 총, 하나의 청각 부바 단어 재판, 하나의 청각 부바 비 단어 사운드 재판, 하나의 청각 키키 단어 재판, 하나의 청각 키키 비 단어 사운드 재판이 있는지 확인하십시오.

2. 참가자

  1. 선천적으로 장님 참가자의 한 그룹을 모집; 즉, 출생 후 4 개월 미만 을 맹인20,21,22: 카테고리 5 : 총 실명; 및 4: 광지각(광원을 인식함) 및 광 투영(광원이 위치한 위치 인식)22. 모든 점자 판독기인지 확인합니다.
  2. 선천적으로 맹인 참가자 그룹의 두 배 크기의 완전히 시력을 가진 참가자 의 한 그룹을 모집합니다. 모두 정상/정상 시력으로 교정되었는지 확인합니다.
    참고: 모든 참가자가 18세에서 70세 사이인지, 정상 청력으로 교정되고, 인지 지연이나 장애, 신체 장애가 없는지, 그리고 부바/키키 효과에 대해 모두 순진한지 확인하십시오.
  3. 완전히 시력을 본 참가자의 절반을 눈가리개 그룹에 무작위로 할당하고 나머지 절반은 시력 그룹에 할당합니다.
    참고 : 참가자, 촉각 / 시각적 부바 / 키키 모양의 유형, 청각 부바 / 키키의 유형, 그리고 합동은 모두 두 가지 범주 중 하나에 무작위로 할당됩니다 : 눈가리개 또는 시력; 채우거나 설명된; 단어 또는 비 단어 소리; 부바 또는 키키; 합의 또는 부조화. 따라서 임의 할당은 컴퓨터 프로그램이나 수동으로 수행 할 수 있습니다 (예를 들어, 동전을 던지기로).

3. 재료

  1. 촉각/시각적 재료 생성
    1. 개인용 컴퓨터에서 인쇄하거나 그림에서 복사하여 시각적 부바/키키 모양(30 x 23mm)을 인쇄하여 용지에 팽창시도록 옮니다. 두 가지 유형의 시각적 부바/키키 모양을 전송해야 합니다. 그림 1참조].
    2. 열 퓨저를 통해 팽창 용지를 전달합니다. 촉각 부바/키키 모양이 ~0.5mm 높이로 상승하는지 확인합니다. 또는 시각 장애가 있는 사람들을 위한 전사 서비스에서 촉각/시각적 부바/키키 모양을 주문하십시오(PDF 파일이 첨부된 경우).
    3. 팽창 용지를 폼 보드에 붙입니다 [흰색 (두께 5mm)]. 스프레이 접착제를 사용하십시오.
    4. 팽창 용지와 폼 보드를 크기 (50 x 50mm)로 자르면 부바 채우기, 부바 윤곽, 키키 채우기 및 키키 윤곽 (그림 1참조)의 네 개의 별도의 촉각 / 시각적 그림 카드를 만듭니다. 벽지를 절단칼을 사용합니다.
    5. 촉각/비주얼 부바/키키 모양을 크기(297 x 210mm)로 덮기 위해 판지 플레이트/폼 보드를 자른다. 벽지를 절단칼을 사용합니다. 또는 A4 형식을 주문합니다.
    6. 복사 용지/플라스틱 엠보싱 필름을 크기(210 x 148mm)로 자른다. 기요틴을 사용하십시오. 또는 A5 형식을 주문합니다.
    7. 고무 매트를 크기로 자른다(230 x 150mm). 칼이나 가위를 사용하십시오. 또는 Moon 핸드 프레임을 주문하고 고무 매트를 발견하기 위해 분해하십시오.

Figure 1
그림 1: 두 가지 유형의 부바/키키 모양: 채워지고 윤곽이 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

  1. 청각 재료 생산
    1. 음성 부바 (참조. 오디오 1)및 키키 단어를 기록합니다. MP3 형식으로 저장 : 부바 단어에 대한 하나의 파일과 키키 단어에 대한 하나.
    2. 'bouba'와 'kiki'라는 단어의 지속 시간과 빈도(즉, 멜로디)를 모방하여 부바와 키키가 아닌 소리를 만듭니다. 음파 발생기와 피치 벤드를 사용합니다. MP3 형식으로 저장 : 부바 사운드 (참조. 오디오 2)에대한 하나의 파일과 키키 사운드에 대한 하나.
    3. 스마트폰에 iOS용 VLC 앱을 설치합니다. 부바 및 키키용 MP3 파일을 VLC 앱으로 전송합니다.

오디오 1: 부바 단어 이 파일을 다운로드하려면 여기를 클릭하십시오.

오디오 2: 부바 사운드 이 파일을 다운로드하려면 여기를 클릭하십시오.

4. 절차 및 채점

  1. 테스트 세션 설정
    1. 색상이 중립적인 조용한 방에서 모든 참가자와 개별적으로 세 가지 실험을 수행하십시오. 눈가리개 그룹의 참가자들에게 촉각/시각 청각 자료를 설정하기 전에 눈가리개를 착용하도록 하고, 세 가지 실험 전체와 실험 사이에 눈가리개를 유지하도록 한다.
  2. 촉각/시각적 재료 설정
    1. 고무 매트를 참가자 바로 앞에 놓습니다. 이어서, 두 개의 촉각/비주얼 부바와 키키 형상(실험 2), 하나의 촉각/비주얼 부바 또는 키키 형상(Experiment 3)을 배치하고 고무 매트 위에 복사용지/플라스틱 엠보싱 필름을 배치한다.
      참고: 실험 1에서는 항상 왼쪽에 부바를, 오른쪽에는 키키를 표시해야 합니다. 실험 1과 실험 2 모두에서 항상 동일한 방향으로 제시하기 위해 (그림 1참조) : 참가자가 자신의 위치 및 / 또는 방향의 간섭없이 부바와 키키 모양의 정신 적 이미지를 형성하는 능력을 향상시킵니다. 고무 매트. 촉각 / 시각적 부바와 키키 모양의이 고정 프리젠 테이션에 대해 참가자에게 알리지 않도록하십시오. 비전 그룹에서는 항상 판지 판/폼 보드 뒤에 테스트 자료를 설정하여 이러한 참가자가 매장에 있는 것을 엿볼 수 없도록 합니다.
  3. 청각 자료 설정
    1. MP3 플레이어를 참가자 바로 앞에 놓습니다(고무 매트 의 반대편에), 라우드 스피커가 가장 가까운 곳에 있습니다.
      참고 : MP3 플레이어에서 청각 정보를 구두로 반복하지 마십시오 : 비전 그룹의 참가자가 부바 / 키키 단어 - 시험1의입술 움직임을 관찰하지 못하게하여 모든 실험 그룹에서 통제하십시오. 감각 정보의 양과 유형.
  4. 실험 수행 1, 실험 2 및 실험 3
    1. 촉각 모양(예: 블라인드 및 눈가리개 그룹)을 탐색하고 그리는 참가자를 고무 매트(터치로)로 탐색하도록 초대합니다: 예를 들어, 촉각/시각적 그림 카드 및/또는 복사 용지 또는 플라스틱 없이 크기와 질감을 탐색합니다. 상단에 필름을 배치.
  5. 실험 수행 1
    1. 고무 매트에 두 장의 그림 카드가 표시될 예정이며, 각 카드는 촉각/시각적 모양을 묘사한다. 그런 다음 MP3 플레이어에서 일부 오디오가 재생되고 이 오디오가 촉각/시각적 모양 중 하나에 해당한다고 설명합니다.
      참고 : 촉각 / 시각적 부바 / 키키 (채우고 설명) 및 청각 부바 / 키키 (소리와 단어)의 두 가지 유형에 대해 참가자에게 알리지 마십시오.
    2. 두 개의 촉각/시각적 그림 카드를 고무 매트위에 놓습니다(그림 1참조).
    3. 맹인 과 눈가리개 그룹에서, 참가자에게 두 손을 사용하여 주먹을 만들고 제시된 촉각 / 시각적 그림 카드 위에 주먹을 놓고 필요한 경우 안내하십시오. 왼손을 참가자의 주먹 위에 놓습니다.
    4. 참가자에게 두 가지 촉각/시각적 모양, 터치로 맹인 및 눈가리개 그룹, 시력 그룹별, 주먹(눈가리개 그룹) / 판지 판 또는 폼 보드(vision-group)의 상단에 있는 손이 제거될 때, 그리고 '라고 말하도록 요청합니다. 그들이 탐험을 마쳤을 때'.
    5. 참가자의 주먹에서 왼손을 제거하십시오 (맹인 및 눈가리개 그룹) / 판지 판 또는 폼 보드 (비전 그룹에서).
    6. 참가자가 '예'라고 말하면 촉각 / 시각적 그림 카드를 덮습니다.
    7. MP3 플레이어에서 오디오를 재생합니다.
      참고: MP3 플레이어의 청각 정보를 한 번만 재생하고 참가자에게 구두로 다시 반복하지 마십시오.
    8. 참가자에게 '왼쪽/오른쪽', '곡선/각도' 또는 '꽃/별'이라고 말하여 오디오와 연관된 촉각/시각적 모양을 알리고 주어진 모양을 적어 보라고 합니다. 참가자의 대답에 응답하지 마십시오.
    9. 참가자의 대답이 올바르지 잘못된지 점수를 매다.
      참고: 8번의 모든 시험에 대해 4.5.2-4.5.9를 반복합니다.
  6. 실험 수행 2
    1. 촉각/시각적 모양을 그리는 하나의 그림 카드가 고무 매트에 표시되고 일부 오디오가 MP3 플레이어에서 재생될 것이라고 설명한다. 그런 다음 참가자가 촉각/시각적 모양을 탐색하기 시작하자마자 오디오가 그림 카드당 한 번 재생됩니다.
      참고 : 촉각 / 시각적 부바 / 키키 (채워지고 설명) 의 두 가지 유형, 청각 부바 / 키키 (소리)의 한 유형, 그리고 두 가지 유형의 합동 (합동및 부조화)에 대해 참가자에게 알리지 마십시오.
    2. 촉각/시각적 그림 카드를 고무 매트위에 놓습니다.
    3. 맹인 과 눈가리개 그룹에서, 참가자에게 두 손을 사용하여 주먹을 만들고 제시된 촉각 / 시각적 사진 카드 위에 주먹을 놓고 필요한 경우 안내하십시오. 왼손을 참가자의 주먹 위에 놓습니다.
    4. 참가자에게 촉각/시각적 모양, 눈가리개 및 눈가리개 그룹을 터치하여 탐색하고 시력군을 시현으로 탐색하도록 요청하며, 주먹 위에 있는 손(눈가리개 그룹/눈가리개 그룹) / 판지 판 또는 폼 보드(비전 그룹)가 제거되면 오디오를 볼 수 있습니다. 그런 다음 촉각/시각적 모양과 오디오를 'bouba' 또는 'kiki'로 지정하도록요청합니다.
    5. 참가자의 주먹에서 왼손을 제거하고 (눈가리개와 눈가리개 그룹에서) / 판지 판 또는 폼 보드 (비전 그룹에서) MP3 플레이어에서 오디오를 재생합니다.
      참고: MP3 플레이어의 청각 정보를 한 번만 재생하고 참가자에게 구두로 다시 반복하지 마십시오.
    6. 참가자가 촉각/시각적 모양과 오디오의 이름을 지정하는 즉시 그림 카드를 덮고 주어진 이름을 기록합니다. 참가자의 대답에 응답하지 마십시오.
    7. 참가자의 대답이 올바르지 잘못된지 점수를 매다.
      참고: 8번의 모든 시험에 대해 4.6.2-4.6.7을 반복합니다.
    8. 응화적이고 부조리한 시험을 통해, 촉각/시각적 부바와 키키 모양의 ≥75%를 인식했을 때 참가자를 '올바른'으로 계산합니다.
  7. 실험 수행 3:
    1. 일부 복사 용지/플라스틱 엠보싱 필름은 촉각/시각적 그림 카드 대신 고무 매트 위에 놓이고 참가자에게 그림을 그려야 한다고 설명한다. 블라인드 및 눈가리개 그룹에서 참가자에게 다른 드로잉 장비를 시험해 보고 자신이 선호하는 것을 결정하도록 초대합니다: 복사 용지 또는 플라스틱 엠보싱 필름과 롤러볼 펜 또는 안장 백 스타일. 다음으로, 일부 오디오는 MP3 플레이어에서 재생되며 참가자는 요청할 때 오디오 세그먼트당 하나의 모양인 이 오디오와 연관된 촉각/시각적 모양을 그릴 것이라고 설명한다.
      참고 : 청각 정보 (부바와 키키) 또는 청각 부바 / 키키 (소리와 단어)의 두 가지 유형에 대해 참가자에게 알리지 마십시오.
    2. 복사 용지/플라스틱 엠보싱 필름을 고무 매트위에 놓습니다.
    3. 세 가지 실험 그룹(블라인드; 눈가리개, 시야)에서 참가자에게 롤러볼 펜/안장 백 스타일을 들고 양손으로 주먹을 쥐고 필요한 경우 복사 용지/플라스틱 엠보싱 필름 위에 주먹을 놓도록 요청합니다. 왼손을 참가자의 주먹 위에 놓습니다.
    4. 참가자에게 주먹 위에 있는 손이 제거될 때 제시된 오디오와 연관된 모양을 그려 보라고 한다. 맹인 및 눈가리개 그룹에서 참가자에게 촉각 모양을 그려 보라고 한다. 그리고 비전 그룹에서, 시각적 인 모양. 그림이 완성되면 참가자에게 '예'라고 말하도록 한다.
    5. 참가자의 주먹에서 왼손을 제거합니다.
    6. MP3 플레이어에서 오디오를 재생합니다.
      참고: MP3 플레이어의 청각 정보를 한 번만 재생하고 참가자에게 구두로 다시 반복하지 마십시오.
    7. 참가자가 '예'라고 말하면 고무 매트에서 촉각 / 시각적 드로잉을 제거하고 올바른 평가판 번호로 오른쪽 하단 모서리에 레이블을 지정합니다. 참가자의 답변/그린 모양에 대해 응답하거나 의견을 제공하지 마십시오.
      참고: 4개의 시험 모두에 대해 4.7.2-4.7을 반복합니다.
    8. 각 테스트 세션 직후 모든 촉각/시각적 도면(1:1 크기)을 jpg 형식으로 스캔합니다.
      참고: 실험 3은 모든 도면 데이터가 수집된 후 득점자 그룹에 의해 점수가 매겨지며 점수가 매겨지며, 이 에 대한 점수는 모두 수집된 후입니다.
    9. 도면 데이터 채점을 위한 설문지를 생성합니다(그림 2참조):
      1. 스캔한 모든 도면을 축소하여 가로 A4 형식으로 페이지당 12장의 그림을 포함합니다.
      2. 부바/키키 시험, 사운드/워드 트라이얼, 블라인드/눈가리개/시력 서랍을 무작위로 할당합니다.
      3. 각 그림의 왼쪽 위 모서리에 평가판 번호를 추가합니다.
      4. 각 그림 아래에 '부바'와 '키키', '블라인드', '눈가리개', '시력'을 추가합니다.
    10. 18세 이상의 그룹 득점자 모집; 정상/정상 청력 및 시력 교정; 인지 장애 나 신체 장애가없는 경우; 이 연구에 순진한 모든, 그리고 그 시각적 모양 인쇄 단어 부바 / kiki 효과를 보여줍니다.
    11. 점수점수에게 설문지에서 그림당 두 가지 객관식 질문에 답하도록 요청합니다.
      (1) '그림모양이 '부바' 또는 '키키;','2' '(출생 후) 눈이 멀거나, 눈을 가리거나, 완전히 시력을 잃은 사람이 그린 그림 모양인가?' 17.
    12. 설문지에 있는 사진의 수에 따라, 득점자 그룹의 절반에게 설문지의 절반을 채점하도록 하고 나머지 절반은 점수를 매기도록 요청합니다.
    13. 각 평가판에 대해 '대응', '해당되지 않음', '결정적이지 않음'을 계산합니다.
      1. '대응' 때 (i) ≥75% 득점자의 촉각/시각적 모양에 동의 (bouba 또는 kiki) 그리고 (ii) 이 모양은이 재판에서 제시 된 청각 부바 / 키키에 대응.
      2. (i) 득점자의 ≥75%가 어떤 촉각/시각적 모양(bouba 또는 kiki)이 그려졌는가에 동의했을 때,'와 (ii) 이 모양은 이 시험에서 제시된 청각 부바/키키와 일치하지 않습니다.
      3. 득점자의 75%가 촉각/비주얼 모양(부바 또는 키키)에 동의했을 때 '결정적이지 않은'. 통계 분석에서 '결정적이지 않은' 그림/참가자 도면을 제거합니다.
    14. 시험 전반에 걸쳐, 참가자를 '대응'으로 계산할 때 ≥75% 그들의 그려진된 정신 이미지: 즉, 촉각/시각적 모양은 제시된 청각 부바/키키에 해당합니다.
    15. 각 평가판에 대해 '인식', '인식되지 않음', '결정적이지 않음'을 계산합니다.
      1. (i) 득점자의 ≥66.6%가 어떤 실험군(눈가리개, 눈가리개 또는 시력)이 그림 모양에 그려졌는지에 동의했을 때 '인식'하고(ii) 이 시험에서 이것이 옳았습니다.
      2. (i) 득점자의 ≥66.6%가 어떤 실험군(눈가리개, 눈가리개 또는 시력)이 그림 모양에 그려졌는지에 동의했을 때 '인식되지 않음'과 (ii) 이 시험에서 이것이 정확하지 않았습니다.
      3. 득점자의 66.6%가 어떤 실험군(맹인, 눈가리개 또는 시야)이 그려진 모양을 그렸는지에 대해 '결정적이지 않다'고 답했다. 통계 분석에서 '결정적이지 않은' 참가자 인식을 제외합니다.
    16. 모든 시험의 ≥75%에서 인정될 때 (그리고 '결정적이지 않은' 참가자 인정이 제거된 경우) 시험 전반에 걸쳐 참가자를 '인식'으로 계산합니다.

Figure 2
그림 2: 도면 데이터 채점에 대한 설문지의 예 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

Representative Results

부바/키키 효과

선천성 맹인 12명 중 6명(50%), 눈을 가린 12명 중 9명(75%), 완전히 시력을 잃은 12명 중 10명(~83%) 즉각적인 촉각/시각 청각 부바/키키 효과를 보였다: 즉, 눈가리개와 시력 군 모두 기회 수준(50%)을 크게 상회했다: θ2(1). N = 12) = 3.00, p = 0.08 및 θ2(1. N = 12) = 5.33, p = 0.02 (실험 1, 시험 1)17. 3개의 실험군(실험 1, 사전시험)17사이의 피셔의 정확한 시험에서 유의한 차이는 발견되지 않았다. (표 1.

장기 촉각/시각 청각 부바/키키 효과: 첫 번째 그룹 내 측정에서 선천적으로 맹인인 참가자 9명이 완전히 시력을 잃은 9명과 7명이 부바/키키 효과를 보였습니다. 눈가리개: 시각 장애인 과 시력 그룹은 기회 수준(50%)보다 현저히 높은 수준입니다: θ2(1) N = 12) = 3.00, p = 0.08 및 θ2(1. N = 12) = 3.00, p = 0.08 (실험 1, 시험 4)17. 두 번째 반복 된 그룹 내 측정에, 맹인 및 시력 그룹에 11 참가자는 촉각 / 시각 청각 부바 / 키키 효과를 보였다 : 두 실험 그룹은 다시 확률 수준 (50 %)을 크게 초과했다 : θ2(1. N = 12) = 8.33, p = 0.00 및 θ2(1. N = 12) = 8.33, p = 0.00; 눈가리개 군(실험 1, 시험 5)17에서일곱 개. 마지막으로, 세 번째 반복 된 그룹 내 측정 및 사후 테스트에 선천성 맹인 (75%), 눈을 가리고 12 명 중 6 명 (50%), 완전히 시력을 가진 12 명의 참가자 (100 %)의 9 명 촉각/시각 청각 부바/키키 효과를 보였다; 맹인과 시력 그룹 모두 다시 기회 수준(50%)보다크게 높았습니다: θ 2(1). N = 12) = 3.00, p = 0.08 및 θ2(1. N = 12) = 12.00, p = 0.00 (실험 1, 시험 8)17. 피셔의 정확한 시험은 눈가리개와 시력 군[p = 0.01] 사이에 유의한 차이를 발견했다. (실험 1, 사후 테스트)] 17. (Cf. 표 1.)

참가자 그룹 인스턴트 부바/키키- 효과 장기 부바/키키 효과
사전 테스트 반복 측정 1 반복 측정 2 반복 측정 3/사후 테스트
장 님 50.0% 75.0% 91.7% 75.0%
눈가리개 75.0% 58.3% 58.3% 50.0%
비전 83.3% 75.0% 91.7% 100.0%

표 1: 인스턴트 및 장기 부바/키키 효과

부바와 키키 모양의 인식

선천성 맹인(~92%), 눈가리개(75%), 완전히 시력을 잃은 12명 중 9명(100%) 즉시 합동 촉각 / 시각 및 청각 부바 / 키키를 인식; 세 실험 군 모두 확률 수준(50%)을크게 상회했다: σ 2(1). N = 12) = 8.33, p = 0.00, θ2(1. N = 12) = 3.00, p = 0.08 및 θ2(1. N = 12) = 12.00, p = 0.00 (실험 2, 시험 1)17. (표 2.

장기적으로, 맹인 그룹의 11 참가자는 합동 오디오와 함께 촉각 부바 / 키키 모양을 인식하고 부조리 오디오와 10 참가자 : 두 유형의 합동은 기회 수준 (50 %)보다 크게 인식 : θ2( ( ( 1. N = 12) = 8.33, p = 0.00 및 θ2(1. N = 12) = 5.33, p = 0.02 (실험 2, 시험 1-8)17. 눈가리개 그룹의 9명의 참가자는 합동 오디오와 함께 촉각 모양을 인식하고 8 명의 참가자와 부조리한 오디오를 함께 인식했습니다. 즉, 합동 모양과 오디오는 확률 수준(50%)보다 훨씬 높았습니다: θ 2(1). N = 12) = 3.00, p = 0.08 (실험 2, 시험 1-8)17. 비전 그룹의 모든 12 참가자는 합동 오디오와 함께 시각적 부바 / 키키 모양을 인식하고 부조리 한 오디오와 여섯 참가자 : 합동 모양과 오디오는 기회 수준 (50 %)보다 크게 인식 :2(1). N = 12) = 12.00, p = 0.00 (실험 2, 시험 1-8)17. (표 2.

참가자 그룹 부바/키키 모양의 즉각적인 인식 부바와 키키 모양의 장기적인 인식
합동 모양 및 오디오 합동 모양 및 오디오 부조리한 모양과 오디오
장 님 91.7% 91.7% 83.3%
눈가리개 75.0% 75.0% 66.7%
비전 100.0% 100% 50.0%

표 2: 부바와 키키 모양의 즉각적이고 장기적인 인식

부바와 키키의 정신적 이미지

선천적으로 맹인인 12명 중 8명[~73%(결정적이지 않은' 참가자 드로잉 제거)] 12명 중 8명[눈을 가리고 있는 사람 중 89%(3개의 '결정되지 않은' 참가자 도면 제거)], 12명 중 8명이 완전히 시력을 잃은 것으로 나타났다. [80%(결정적이지 않은' 참가자 도면 2개 제거)] 즉시 정신적 이미지를 그렸다: 제시된 청각 부바/키키에 해당하는 촉각/시각적 모양(실험 3, 시험 1)17. 눈가리개와 시력 군 모두 확률 수준(50%)보다 현저히높았습니다: θ 2(1). N = 9) = 5.44, p = 0.02 및 θ2(1. N = 10) = 3.60, p = 0.06 (실험 3, 시험 1)17. (표 3.

부바와 키키의 장기적인 정신적 이미지에 대해: 맹인 그룹 11명, 눈가리개 그룹 8명, 시력군 12명 이내 의식/시각부바/키키(실험 3, 평가판 1-4)17. 맹인과 시력 그룹 모두 기회 수준(50%)보다 현저히 높았습니다: θ 2(1). N = 12) = 8.33, p = 0.00 및 θ2(1. N = 12) = 12.00, p = 0.00 (실험 3, 시험 1-4)17. 피셔의 정확한 시험은 눈가리개 군과 시력 군[p= 0.09(실험 3, 시험 1-4)]17사이의 유의한 차이를 발견했다. (표 3.

참가자 그룹 부바/키키의 인스턴트 정신 이미지 부바와 키키의 장기 정신 이미지
장 님 72.7% 91.7%
눈가리개 88.9% 66.7%
비전 80.0% 100.0%

표 3: 부바와 키키의 즉각적이고 장기적인 정신적 이미지

또한. ~모든 참가자 도면의 83%는 글로벌 부바와 키키 형상의 가장 특징적인 형상 특징을 포함하였다: 곡선과 각도, 각각 (실험 3, 시험 1-4)17. 참가자 도면은 곡선/각도의 양(예: 키키 단어의 1개 및 5개 각도: 그림 2,시험 1, 6 및 9) 및 곡선/각도 방향(예: 수평, 수직 또는 대각선: cf. 도 2) 및 시험 2, 5 및 8(부바 소리)]하지만 전형적으로 는 글로벌 부바/키키 형상을 포함하지 않았다[실험 3, 시험 1-4(도 1 참조; 그림 2)]17. 마지막으로, 실험 군은 점수의 43%에서 인식되었다: 맹인 그룹에 있는 5명의 참가자, 눈가리개 그룹에서 3명, 비전 그룹에서 5명; 실험군은 33.3%(실험 3, 시험 1-4)의 확률 수준보다 현저히높았으며 17.

시각적 이미지와 학습의 효과

제시된 프로토콜은 부바/키키 효과에서 시각적 이미지의 역할을 조사하는 데 성공했으며, 촉각/시각 청각 부바 및 키키 규칙성에 대한 교육이 부바/키키 효과와 개별 촉각 인식에 영향을 미쳤는지 여부 /visual bouba와 kiki 모양, 그리고 마지막으로 어떤 정신 이미지 이러한 모양 오디오 규칙 생산17. 시각 경험이 없는 실험군 1군(즉, 블라인드 그룹)과 시각적 경험이 있는 두 개의 실험군(즉, 눈가리개 및 시력군)을 포함시킴으로써, 시각적 이미지의 효과를 시험할 수 있었다; 그리고 시각적 경험과 광범위한 촉각 경험이없는 하나의 실험 그룹과 광범위한 시각적 경험과 촉각 경험이없는 하나의 실험 그룹 (즉, 눈가리개 그룹)을 포함시킴으로써 테스트 할 수 있었습니다. 촉각 - 청각 규칙에 대한 교육의 효과. 결과는 명확하게 눈가리개 그룹이 새로운 촉각 청각 문제를 해결하기 위해 시각적 이미지에 그린 것을 제안하지만, 장기 (실험 1-3); 그 훈련은 부바 / 키키 모양 - 오디오 규칙촉각 / 시각 청각 부바 / kiki 효과 (실험 1) 및 개별 촉각 / 시각적 부바와 키키 모양의 인식에 영향을 미치는 [즉, 합동 오디오와 함께 (실험 2)] , 각 실험군(실험 1-2)에서 다르지만, 모든 실험군은 부바(curve)와 키키[(각도) 실험 3의 가장 특징적인 촉각/시각 청각 형상 의 정신적 이미지를 생성하였다. Cf. 표 1; 표 2; 표 3]17. 더욱이, 즉각적이고 장기적인 효과(실험 1-3)의 그룹 내 측정을 반복하여, 시각적 이미지및 학습 형상-오디오 규칙성의 효과가 실제로 발생했을 때 시험할 수 있었다; 그리고 세 가지 다른 작업 (즉, 실험 1의 촉각 / 시각 청각 부바 / kiki 효과) 포함하여, 실험 2에서 합동및 부조리 오디오와 함께 개별 촉각 / 시각적 부바 / 키키 모양을 인식하고, 정신 이미지를 그리기 실험 3의 부바 /키키 오디오) 이러한 효과가 얼마나 강력한지 테스트합니다. 결과는 시각적 이미지의 효과가 각 작업 내에서 강력하지 않은 것을 명확하게 제안, 햅틱 터치를 사용하는 경우에 특히 [참조. 눈가리개 그룹 (실험 1-3)]; 반면 모양 오디오 규칙 학습의 효과, 하지만 작업에 걸쳐 하지 [참조. 맹인 및 비전 그룹 (실험 1-3). Cf. 표 1; 표 2; 표 3.] 17세

Discussion

제시된 프로토콜은 시각적 이미지의 효과를 조사하고 모양 오디오 규칙체가 발생하는 시기와 견고한 정도를 조사하는 데 적합합니다. 특정 개인 및 개인 그룹에서.

이 프로토콜은 정확성뿐만 아니라 탐사 시간을 테스트하는 데 적합 할 것입니다 : 실험자가 참가자의 주먹에서 왼손을 제거 할 때부터 (눈가리개 및 눈가리개 그룹) / 판지 판 또는 폼 보드 ( 참가자가 '예'라고 말하는 경우) 통계 분석에서 실험 그룹당 실험당 가장 긴 탐사 시간은 4개로 나뉘며 각 실험 군의 '빠른', '보통', '느린' 참가자의 수는 이 탐색 시간의 ≤25%를 사용하여 '빠름'으로 계산됩니다. 26-75%를 사용하고 ≥75%를 사용하여 '느림'을 사용했습니다. 시험 전반에 걸쳐, 참가자는 실험2에서와 같이 계산됩니다: 즉, 모든 시험의 ≥66.6%에서 '빠른'으로 계산되는 경우, 모든 시험의 ≥66.6%에서 '보통'으로 계산되는 경우, 그리고 등등입니다. ('결정적이지 않은'의 경우, 즉 참가자는 '빠름', '보통' 또는 '느리다', 실험 3참조로 계산할 수 없습니다.) 표본 크기 및/또는 정답 및 오답 수에 따라 정답과 오답에 대한 탐색 시간을 별도로 테스트할 수 있습니다. 테스트 정확성, 탐색 시간 또는 둘 다에 관계없이 따라야 할 중요한 프로토콜 단계가 있습니다: 세 가지 실험은 고정된 순서로 수행되어야 하며, 모든 참가자에게 는 시험이 고정된 순서로 제시되어야 합니다. 참가자들은 세 가지 실험에서 모두 부바와 키키가 포함된 시험 물질이 있음을 인식해서는 안 된다. 또한, MP3 플레이어의 청각 정보는 한 번만 재생되어야하며 참가자에게 구두로 다시 반복되지 않아야합니다 (세 가지 실험 모두). 실험 1 및 실험 2에서는 촉각/시각적 부바와 키키가 동일한 위치와 방향으로 표시되어야 합니다. 비전 그룹(세 가지 실험 모두)의 경우 판지 플레이트/폼 보드 뒤에 테스트 재료를 설정해야 합니다. 마지막으로, 눈가리개 그룹에서 참가자들은 실험 3이 완료될 때까지 눈가리개를 제거해서는 안 됩니다. 이러한 단계는 촉각/시각 및 청각 부바 및 키키에 대한 정보의 양과 유형이 모든 실험 그룹에서 제어되도록 하는 것입니다. 또한 실험 2에서는 참가자가 촉각/시각적 부바/키키 탐색을 시작하자마자 청각 부바/키키를 제시하는 것이 중요합니다. 이렇게 하면 멀티모달(합동 또는 부조리) 정보가 표시됩니다. 또한 이 프로토콜은 다른 개인 그룹을 테스트하는 데도 적합합니다. 이들을 통합하기 위해, 이러한 참가자 그룹은 별도의 실험 그룹으로 추가될 수 있다: 예를 들어, 색상 지각 그룹 및 형상 지각 그룹; 22 갑작스런 시력 상실 군 및 진보적인 시력 상실 군; 20개 , 21 및/또는 청각 장애 및/또는 자폐 스펙트럼 장애를 가진 개인의 특정 그룹13 추가 될 수 있습니다.

이 프로토콜을 사용하면 그룹 내 측정 및/또는 작업을 반복하는 각 측정값을 포함하여 각 인스턴트 및 장기 효과에 대한 특정 그룹에 대한 그룹 규범(정확도 및/또는 탐색 시간)을 설정할 수 있습니다. 그런 다음 자신의 그룹 규범에 대한 개인을 테스트하려면 : 어떤 특정 개인 또는 전체 그룹이 모양 오디오 규칙성을 알아 차리에 추가 교육이 필요한지 여부. 각 인스턴트 및 장기 효과에 대한 그룹 규범( 그룹 내 측정 값 반복 및/또는 작업 포함)을 통해 모양 오디오 규칙성을 알아내기 위해 어떤 종류의 교육이 필요한지 결정할 수 있습니다. 비주얼 청각 부바 / 키키 효과 (실험 1) 및 / 또는 합동과 부조리 한 촉각 / 시각적 모양과 오디오 (실험 2)와 더 많은 시험. 실제로, 각 과제에서 시험 횟수와 반복된 그룹 내 측정 횟수를 모두 증가시킬 수 있을 뿐만 아니라 그 사이의 시간을 변경하여 보다 개별화된 교육 및 테스트를 허용할 수 있습니다.

그러나 이 프로토콜은 어떤 유형의 재료(예: 부바 또는 키키, 채워지거나 윤곽이 있는 촉각/시각적 모양, 및/또는 청각 사운드 또는 단어)를 테스트하는 것이 형상 오디오 규칙의 학습을 가장 잘 보장하는지 수정해야 합니다. 이 프로토콜을 수정할 수 있는 방법은 다양한 자료를 블록으로 표시하는 것(예: 채워진 촉각/시각적 모양 및/또는 윤곽이 있는 촉각/시각적 모양 및 청각 단어(실험 1)을 포함할 수 있습니다. 이러한 블록은 하나의 실험 그룹의 모든 참가자에게 무작위로 제시될 수 있습니다. 또는 대안적으로, 각각의 4개의 블록중 하나를 분리하여 실험군(실험 1)한다. 또한 이 프로토콜은 시각적 이미지의 견고성을 더욱 테스트하거나 작업 내에서 및 전체에서 학습된 셰이프 오디오 규칙성을 테스트하는 경우에도 수정해야 합니다. 수정은 훈련에 포함 된 것보다 다른 촉각 / 시각적 모양 및 / 또는 오디오와 그룹 내에서 반복 측정을 추가 포함 할 수있다; 예를 들어, 촉각/비주얼 부바와 키키 모양과 청각 단어 (실험 1)1,3,4,10, 'maa-boo-maa'와 'tuh-kee-tee'에 대한 청각 소리와 함께, 11세 , 12세 , 13세 , 14세 , 15세 , 16. 또 다른 옵션은 실험 110,11,12에서 촉각 / 시각적 부바와 키키 모양과 함께 주로 곡선 / 각도가 아닌 세 번째 촉각 / 시각적 모양을 제시하는 것을 포함 할 수 있습니다. ,13,14,15,16. 청각 말도 안되는 단어와 소리는 세 번째 모양 단어 쌍14,15,16 및 세 번째 모양 사운드 쌍(실험 1)을 생성하기 위해이 촉각 / 시각적 모양에 대해 생성 할 수 있습니다. 그런 다음 모양 사운드 쌍을 실험 2에 캐치 트라이얼로 포함시킬 수 있습니다. 또는 정기적 인 합동 재판과 그에 상응하는 부조리 한 재판으로 대체할 수 있습니다. 마지막으로 실험 2및 실험 1의 사운드 및/또는 실험 1의 말도 안되는 단어를 실험 3에 표시할 수 있습니다. 세 번째 옵션은 실험 2와 실험 3을 전혀 수행하지 않고 실험 1의 반복된 그룹 내 측정값에 작업을 임의순서로 포함하는 것입니다.

제시된 프로토콜은 교육 및 테스트 중에 시각적 이미지와 감각 정보를 모두 제어한다는 점에서 독특합니다. 그것은 유연합니다 : 크고 작은 샘플 및 특정 개인은 그들 자신에 대해 테스트 할 수 있습니다 (그룹 내 테스트 참조) 및 / 또는 개인의 다른 그룹 (그룹 간 테스트 참조). 정확도와 탐색 시간을 모두 테스트하고, 각 실험에서 시험 횟수와 반복된 그룹 내 측정값을 변경하고, 시험 및/또는 실험 순서를 변경하거나 축소할 수 있습니다.

Disclosures

저자는 공개 할 것이 없다.

Acknowledgments

Funders:
이 작품은 마리 Sklodowska-퀴리 행동 (보조금 계약 번호 657440)과 맹인과 부분적으로 시력의 노르웨이 협회에서 유럽 연합 (EU)의 호라이즌 2020 연구 및 혁신 프로그램에 의해 투자되었다.

필름 메이크업:
메이크업 아티스트 레이철 패리.

Materials

Name Company Catalog Number Comments
Bouba/kiki filled 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height
Bouba/kiki outlined 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height
Bouba/kiki sound (sine wave)
Bouba/kiki word (human voice)
Carton plate/foam board for covering bouba/kiki (white) Ryman 230461860 297 mm horizontal x 210 vertical 0 mm vertical
Copy paper [white (80 g/m2 )] Ryman 250030000 210 mm horizontal x 148 mm vertical
Foam board for bouba/kiki picture cards [white (5 mm thick)] Ryman 230461860 50 mm horizontal x 50 mm vertical
MP3-player (smartphone with the VLC app for iOS installed) Carphone Warehouse
Plastic embossing film RNIB Shop ZM04 210 mm horizontal x 148 mm vertical
Rollerball pen [black (1.0 mm tip)] Ryman 827134001
Rubber mat RNIB Shop LC177 230 mm horizontal x 150 mm vertical
Saddleback style RNIB Shop B511
Swell paper Zychem Ltd Zytex2 paper 50 mm horizontal x 50 mm vertical

DOWNLOAD MATERIALS LIST

References

  1. Ramachandran, V. S., Hubbard, E. M. Synaesthesia - A Window Into Perception, Thought and Language. Journal of Consciousness Studies. 8 (12), 3-34 (2001).
  2. Bremner, A. J., Caparos, S., Davidoff, J., de Fockert, J., Linnell, K. J., Spence, C. Bouba’’and ‘‘Kiki’’ in Namibia? A remote culture make similar sound-shape matches, but different taste-shape matches to Westerners. Cognition. 126 (2), 165-172 (2013).
  3. Davis, R. The fitness of names to drawings. A cross-cultural study in Tanganyika. British Journal of Psychology. 52 (3), 259-268 (1961).
  4. Maurer, D., Pathman, T., Mondloch, C. J. The shape of boubas: sound-shape correspondences in toddlers and adults. Developmental Science. 9 (3), 316-322 (2006).
  5. Ozturk, O., Krehm, M., Vouloumanos, A. Sound-symbolism in infancy: Evidence for sound-Shape cross-modal correspondences in 4-months-olds. Journal of Experimental Child Psychology. 114 (2), 173-186 (2013).
  6. Bar, M., Neta, M. Humans Prefer Curved Visual Objects. Psychological Science. 17 (8), 645-648 (2006).
  7. Bertamini, M., Palumbo, L., Gheorghes, T. N., Galatsidas, M. Do observers like curvature or do they dislike angularity? British Journal of Psychology. 107 (1), 154-178 (2016).
  8. Quinn, P. C., Brown, C. R., Streppa, M. L. Perceptual Organization of Complex Visual Configurations by Young Infants. Infant Behavior and Development. 20 (1), 35-46 (1997).
  9. Silvia, P. J., Barona, C. M. Do people prefer curved objects? Angularity, expertise, and aesthetic preference. Empirical Studies of the Arts. 27 (1), 25-42 (2009).
  10. Nielsen, A., Rendall, D. The Sound of Round: Evaluating the Sound-Symbolic Role of Consonants in the Classic Takete-Maluma Phenomenon. Canadian Journal of Experimental Psychology. 65 (2), 115-124 (2011).
  11. D’Onofrio, A. Phonetic Detail and Dimensionality in Sound-shape Correspondences: Refining the Bouba-Kiki Paradigm. Language and Speech. 57 (3), 367-393 (2014).
  12. Westbury, C., Hollis, G., Sidhu, D. M., Pexman, P. M. Weighing up the evidence for sound symbolism: Distributional properties predict cue strength. Journal of Memory and Language. 99, 122-150 (2018).
  13. Oberman, L. M., Ramachandran, V. S. Preliminary evidence for deficits in multisensory integration in autism spectrum disorders: The mirror neuron hypothesis. Social Neuroscience. 3 (3-4), 348-355 (2008).
  14. Köhler, W. Gestalt psychology. , Liveright. New York, NY. (1929).
  15. Monaghan, P., Mattock, K., Walker, P. The Role of Sound Symbolism in Language Learning. Journal of Experimental Psychology: Learning, Memory, and Cognition. 38 (5), 1152-1164 (2012).
  16. Fort, M., Martin, A., Peperkamp, S. Consonants are More Important than Vowels in the Bouba-kiki Effect. Language and Speech. 58 (2), 247-266 (2015).
  17. Graven, T., Desebrock, C. Bouba or kiki with and without vision: Shape-audio regularities and mental images. Acta Psychologica. 188, 200-212 (2018).
  18. Fryer, L., Freeman, J., Pring, L. Touching words is not enough: How visual experience influences haptic-auditory associations in the “Bouba-Kiki” effect. Cognition. 132 (2), 164-173 (2014).
  19. Fontana, F. Association of Haptic Trajectories to Takete and Maluma. Lecture Notes in Computer Science. 7989, 60-68 (2013).
  20. Graven, T. How blind individuals discriminate braille characters: An identification and comparison of three discrimination strategies. British Journal of Visual Impairment. 33 (2), 80-95 (2015).
  21. Graven, T. How attention is allocated when using haptic touch: Shape feature distinction and discrimination strategy. EuroHaptics 2016, Part 1. Bello, F., Kajimoto, H., Visell, Y. , Springer International Publishing AG. Switzerland, Heidelberg. Part of the Lecture Notes in Computer Science book series (LNCS, volume 9774) 380-393 (2016).
  22. WHO. ICD-10 version: 2016 (International Statistical Classification of Diseases and Related Health Problems 10th revision). Chapter VII Diseases of the eye and adnexa (H00-H59). , Available from: http://apps.who.int/classifications/icd10/browse/2016/en#/H53-H54 (2019).
  23. Heller, M. A., Calcaterra, J. A., Burson, L. L., Tyler, L. A. Tactual picture identification by blind and sighted people: Effects of providing categorical information. Perception & Psychophysics. 58 (2), 310-323 (1996).
  24. Heller, M. A., Gentaz, E. Psychology of Touch and Blindness. , Psychology Press. New York, NY and Hove, East Sussex. (2014).
  25. Pathak, K., Pring, L. Tactual picture recognition in congenitally blind and sighted children. Applied Cognitive Psychology. 3 (4), 337-350 (1989).

Tags

행동 문제 151 부바 / 키키 효과 크로스 모달 햅틱 터치 청각 학습 효과 정신 이미지 멀티 모달 감각 규칙 모양 인식 모양 오디오 규칙 비전 시각적 이미지
부바와 키키에 대한 시각적 이미지 및 학습 모양 오디오 규칙의 효과 조사
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Graven, T., Desebrock, C.… More

Graven, T., Desebrock, C. Investigating the Effect of Visual Imagery and Learning Shape-Audio Regularities on Bouba and Kiki. J. Vis. Exp. (151), e59954, doi:10.3791/59954 (2019).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter