Method Article

视觉影像与学习形状-音频规律对布巴和基基的影响

DOI:

10.3791/59954

⸱

September 13th, 2019

 , 
1Department of Experimental Psychology, University of Oxford

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

所提出的协议的目的是调查视觉图像在布巴/kiki-效果中的作用，是否在注意布巴/kiki形状-音频规律方面的培训会影响布巴/kiki-效应以及单个布巴和kiki形状的识别，最后，这些规律性会产生什么心理图像。

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本文提出了一个协议，用于调查视觉图像在布巴/kiki-效果中的作用，是否在注意布巴/kiki形状-音频规律的训练影响布巴/kiki效果和识别单个布巴和kiki形状，最后，这些规律性会产生什么心理图像。要生成 bouba/kiki 形状-音频规律，有两种类型的形状（填充;轮廓）和两种类型的音频（单词;非单词声音）。三组人参加了三个实验:盲人、眼罩和视力。实验在参与者之间按固定顺序进行，两者之间没有中断。在实验1（测试后测试前设计，三个重复的组内措施）中，要求参与者挑选出他们与听觉布巴/kiki相关的形状;在实验2（主体内设计）中，将一个形状和一些音频（有时是一致的;有时是不协调的）命名为"bouba"或"kiki";在实验3（仅测试后设计）中，绘制它们与听觉布巴/kiki相关的形状。结果表明，盲带利用视觉图像解决新问题，但长期不及;注意布巴/kiki形状-音频规律的训练会影响布巴/kiki-效应和个体布巴和kiki形状的识别，但在每个实验组不同;所有实验组都创建布巴（曲线）和kiki（角度）最具特征的形状特征的心理图像。事实上，视觉图像的效果在任务之间是可靠的，但不是长期的;学习形状-音频规律性的效果是长期稳健的，但不是跨任务。所呈现的协议适用于调查视觉图像和学习形状-音频规律的影响、发生时间以及它们是否强大;在特定的个人和个人群体中。该协议的独特之处是，在训练和测试过程中，它始终控制视觉图像和感官信息。

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

95%的世界人口表现出听觉视觉布巴/kiki-效果，将视觉圆润的形状与口语单词"bouba;"和视觉角度形状与口语单词"kiki"相关联，即使他们没有任何经验，他们也会这样做。形状或单词1。布巴/基基效应先于语言学习;它发生在语言1，2，3，4，5， 与 bouba 和 kiki （参见. 人对视觉曲线的偏好比视觉角度6，7,8,9），它取决于元音和辅音的组合（例如，它不发生与"比比"和"kuku"）。1,5,10,11,12.这种形状词关联发生与其他形状和字对，以及，只要他们主要是弯曲，作为布巴，主要是角，如kiki 11，13;和/或他们有相同的元音和辅音组合"布巴"和"kiki"，例如:"巴卢马"和"takete"，"马鲁马"和"takete"，"uloomo"和"takete"，"maa-boo-maa"和"tuh-kee-tee"1，3， 4，10，11，12，14.事实上，人们将圆角的视觉形状与包含连续辅音（如 /l/ 和 /m/） 的口语和打开的后元音（如 /*:/和 /*:/））相关联，将视觉角度形状与包含辅音辅音的口语（如 / ）k/ 和 /t/） 和关闭前元音（如 （/+/ 和 /I/）11、12、15、16。它们受辅音的影响大于元音的影响，尤其是无音元音（例如，/k/和/t/）11、12、15、16 。事实上，全球形状的特征——它们的曲线和角度17——以及口语的声音——它们的旋律17——似乎是至关重要的，而不是全球形状和文字本身。

一项研究调查了用触觉布巴和kiki代替视觉布巴/kiki形状的布巴/kiki效应，发现视力受损的参与者表现出明显不太健壮的布巴/kiki效应（+64%）比全视（+90%）18。这项研究认为，失明和部分失明的参与者中明显不太健壮的布巴/kiki效应是由于缺乏视觉图像造成的:完全失明的参与者注意到其环境中的规律性，这些规律性并不严重。视力受损18.然而，从这项研究中，还不清楚视觉图像是否有必要使布巴/kiki效应发生:在42名有视觉障碍的参与者中，只有6人先天性完全失明18岁，因此根本没有视觉图像。此外，其他参与者（没有一个是蒙上眼睛的）在宣布 bouba/kiki 单词时可能观察到了实验者的嘴唇运动 - 在宣布"bouba"和角唇运动时，在宣布"kiki"1 时，唇部动作是圆的,18 – 显示触觉-视觉-听觉布巴/kiki-效果，而不是利用任何视觉图像。此外，没有调查注意到触觉-听觉规律的任何效果，例如，通过比较对试验一和试验四的bouba/kiki效应，而不是计算所有四个试验的效果。此外，触觉布巴和kiki在试验中相当不同:在试验中，它们是3D和2D形状（弯曲v角）;在试验三和四，相同的形状（圆形）和不同的纹理（平滑v粗糙;平滑v尖）18。在相关方面，一项研究调查了被蒙住眼睛（全视）个体的动感听觉布巴/kiki 效应，并发现，在两分钟的训练期后，拿着一个机器人手写笔编程绘制布巴和基基的轨迹形状，82%显示布巴/基基效应19。然而，从这项研究中，还不清楚布巴/kiki效应是否因为训练期而发生:该研究没有包括预测试，也没有对照组。

为此，我们调查了视觉图像在布巴/基基效果中的作用，是否对触觉/视觉听觉布巴和基基规律进行注意，是否影响了布巴/基基效应以及个体触觉/视觉布巴和kiki形状，最后是什么心理图像这些形状-音频规律产生17。为了生成 bouba/kiki 形状-音频规律性 - 不仅仅是，例如，kiki 形/kiki 字特殊性1 - 本研究包括两种类型的触觉/视觉布巴/kiki 形状（填充;轮廓）和两种类型的听觉布巴/kiki 音频 （字;非单词声音）=17.三组个体参加了三个实验:盲人（N = 12）、眼罩（N = 12）和视力（N = 12）。实验在参与者之间按固定顺序进行，在它们之间没有中断，以控制参与者的bouba和kiki的经验量和类型。在实验1（测试后测试前设计，三个重复的组内措施）中，要求参与者挑选出他们与听觉布巴/kiki相关的触觉/视觉形状;在实验2（主体内设计）中，将一个触觉/视觉形状和一些音频（有时是一致的;有时是不协调的）命名为"bouba"或"kiki";在实验3中（仅测试后设计），以绘制与听觉布巴/基基17.总体而言，本研究表明，视觉图像的效果在任务之间是强大的，但不是在每个任务中的长期，而学习形状-音频规律的影响是强大的长期在每个任务中，但不是跨任务17。本文介绍了本研究17中的协议。所呈现的协议适用于调查视觉图像和学习形状-音频规律的影响、发生时间以及它们是否强大;在特定的个人和个人群体中。该协议的独特之处是，在训练和测试过程中，它始终控制视觉图像和感官信息。

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

牛津大学医学部门间研究伦理委员会（IDREC）批准了该协议（参考号:MS-IDREC-C1-2015-200、R46287/RE002和R42687/RE004）。

1. 设计和条件

  1. 以以下固定顺序与所有参与者进行三个实验:实验 1、实验 2 和实验 3，它们之间没有中断。确保实验 2 的所有参与者都参加了实验 1，实验 3 的所有参与者也参加了实验 2（和实验 1）。
  2. 进行实验1 – 测试后测试前设计，有三个实验组:盲、眼罩和视觉;和三个重复的组内措施。以固定顺序向所有参与者演示试验。（试验总数:8.
    1. 进行预测试（试验 1），以测试即时触觉/视觉听觉布巴/kiki 效应。
    2. 执行第一次重复的组内测量（试验 4），以测试重复的触觉/视觉形状（填充或轮廓）和不同音频（单词和非单词声音）的效果。
    3. 执行第二组内测量（试用版 5），以测试新触觉/视觉形状（轮廓或填充）和不同音频（单词和非单词声音）的效果。
    4. 进行第三次组内测量和测试后（试验 8），以测试各种触觉/视觉形状（填充和轮廓）和不同音频（单词和非单词声音）的效果。
    5. 随机分配在试验1-4（填充或轮廓）中要呈现的触觉/视觉布巴/kiki形状的类型。在试验4-8中呈现另一种类型。然后，随机分配哪个听觉词（布巴或kiki）出现在审判1中，以及哪个听觉布巴/基基（布巴或基基和单词或非单词的声音）出现在审判2-8的每个。
      注:确保总共有4个布巴和4个kiki试验;四个填充和四个轮廓触觉/视觉形状试验;四个听觉单词和四个听觉非单词声音试验。
  3. 进行实验2 – 主题内设计，有三个实验组:盲、眼罩和视觉;和两个组内度量。以固定顺序向所有参与者演示试验。（试验总数:8）
    1. 测试一致（布巴/基基 + 布巴/基基）形状音频的即时识别（试用 1）。
    2. 测试（a） 一致性（布巴/基基 = 布巴/基基）和（b） 不协调（布巴/基基+kiki/bouba）形状-音频的识别[跨越每类一致性的四个试验（试验1-8）]。
    3. 随机分配在试验1-8中呈现的触觉/视觉布巴/基基形状（填充或轮廓）。然后，随机分配哪个一致的触觉/视觉形状和听觉非文字声音（bouba + bouba 或 kiki + kiki + kiki）呈现在试验 1 中，最后分配哪种类型的一致性（一致或不协调的触觉/视觉布巴/kiki 形状 + 听觉bouba/kiki非单词声音）出现在每个试验2-8。
      注:确保总共有四个触觉/视觉布巴和四个触觉/视觉基基试验;四个填充和四个轮廓触觉/视觉试验;四个一致性和四个不协调（形状 + 非单词声音）试验。（该实验中不包括听觉布巴/kiki 单词。
  4. 进行实验 3 – 仅测试后设计，有三个实验组:盲、眼罩和视觉。以固定顺序向所有参与者演示试验（试验总数:4）。
    1. 测试在注意形状-音频规律（即实验1和实验2）的训练中产生的心理图像，在四个单独的试验:布巴字，布巴非字声，kiki单词，和kiki非单词的声音。
    2. 随机分配哪种类型的听觉布巴/kiki（布巴或kiki和单词或非单词的声音）出现在每个试验1-4。
      注:确保总共有一个听觉布巴字试验，一个听觉布巴非字声试验，一个听觉kiki字审判，和一个听觉基基非字声审判。

2. 与会者

  1. 招募一组先天性失明的参与者;即，在出生后不到四个月，20，21，22:类别5:完全失明;和4:光感知（感知光源）和光投影（感知光源所在的位置）22。确保他们都是盲文阅读器。
  2. 招募一组全视参与者，其规模是先天性失明参与者人数的两倍。确保它们都正常/修正为正常视力。
    注:确保所有参与者年龄在18至70岁之间，正常/纠正正常听力，没有认知延迟或损伤，也没有任何身体残疾，并且他们都对布巴/kiki效应很天真。
  3. 随机将全视参与者的一半分配给蒙眼组，另一半分配给视觉组。
    注:参与者，触觉/视觉布巴/基基形状的类型，听觉布巴/基基的类型，和一致性都随机分配给两个类别之一:蒙眼或视觉;填充或概述;单词或非单词的声音;布巴或基基;一致或不协调。因此，随机分配可以通过计算机程序或手动完成（例如，通过乱发硬币）。

3. 材料

  1. 制作触觉/视觉材料
    1. 将视觉 bouba/kiki 形状 （30 x 23 mm） 转移到膨胀的纸张中，要么从个人计算机打印，要么从图片中复印。确保传输两种类型的可视 bouba/kiki 形状:一种填充，一种轮廓 =（1.5 pt. 线）。参见图1。
    2. 将膨胀纸通过热引气器。确保触觉布巴/基基形状上升到 ±0.5 mm 高度。或者，从为视障人士的转录服务（附有 PDF 文件）订购触觉/视觉 bouba/kiki 形状。
    3. 将膨胀纸粘附在泡沫板上 [白色 （5 毫米厚）]。使用喷雾胶。
    4. 将膨胀纸和泡沫板切成尺寸（50 x 50 mm），即创建四个单独的触觉/视觉图片卡:布巴填充、布巴轮廓、kiki 填充和 kiki 轮廓（参见图1）。用刀子剪墙纸。
    5. 将纸箱板/泡沫板切割成尺寸（297 x 210 mm），用于遮盖触觉/视觉布巴/基基形状。用刀子剪墙纸。或者，订购 A4 格式。
    6. 将复印纸/塑料压花膜切成尺寸（210 x 148 mm）。使用断头台。或者，订购 A5 格式。
    7. 将橡胶垫切成尺寸（230 x 150 mm）。用一把刀或一把剪刀。或者，订购月球手架，将其拆开以揭开橡胶垫。

figure-protocol-1
图 1:两种类型的布巴/基基形状:填充和轮廓请点击此处查看此图的较大版本。

  1. 生产听觉材料
    1. 录制口语布巴语（参见音频1）和kiki单词。以 MP3 格式保存:一个文件用于 bouba 单词，一个文件用于 kiki 单词。
    2. 通过模仿口语"bouba"和"kiki"的持续时间和频率（即旋律），创建布巴和kiki非单词的声音。使用声波发生器和音调弯曲。保存在MP3格式:一个文件为布巴声音（参见音频2）和一个基基声音。
    3. 在智能手机上安装适用于 iOS 的 VLC 应用程序。将布巴和kiki的MP3文件传输到VLC应用程序。将它们保存为四个独立的文件:布巴声音，布巴字，kiki声音和kiki字。

音频 1: 布巴字请点击此处下载此文件。

音频 2:布巴声音请点击此处下载此文件。

4. 程序和评分

  1. 设置测试会话
    1. 在一个安静的房间进行三个实验，这个房间的颜色是中性的，并且与所有参与者单独进行。要求蒙眼组的参与者在设置触觉/视觉听觉材料之前戴上眼罩，并确保他们在整个所有三个实验期间和之间保持蒙眼。
  2. 设置触觉/视觉材料
    1. 将橡胶垫直接放在参与者的前面。然后，将两个触觉/视觉布巴和基基形状（实验 2）、一个触觉/视觉布巴或基基形状和（实验 3）放在橡胶垫顶部的复印纸/塑料压花膜。
      注:在实验1中，确保始终在左侧显示 bouba，在右侧显示 kiki;在实验1和实验2中，始终以相同的方向呈现它们（参见图1）:提高参与者形成布巴和kiki形状的心理图像的能力，不受其位置和/或方向的干扰。橡胶垫。确保不要通知学员有关触觉/视觉布巴和 kiki 形状的固定演示。在视觉组中，始终在纸箱板/泡沫板后面设置测试材料，以防止这些参与者偷看店内的东西。
  3. 设置听觉材料
    1. 将 MP3 播放器直接放在参与者的前面（在橡胶垫的另一侧），扬声器离他们最近。
      注意:不要口头重复来自MP3播放器的听觉信息:为了防止视觉组的参与者观察bouba/kiki字试验1的唇部运动，从而控制所有实验组感官信息的数量和类型。
  4. 进行实验 1、实验 2 和实验 3
    1. 邀请将探索和绘制触觉形状（即盲和眼罩组）的参与者（通过触摸）探索橡胶垫:例如，对于尺寸和纹理，无需任何触觉/视觉图片卡和/或复制纸张或塑料浮雕薄膜放在顶部。
  5. 进行实验 1
    1. 说明橡胶垫上会显示两张图片卡，每张都描绘出触觉/视觉形状。然后，解释一些音频将从MP3播放器播放，并且此音频将对应于触觉/视觉形状之一。
      注:不要告知学员两种类型的触觉/视觉布巴/基基（填充和轮廓）和两种类型的听觉布巴/基基（声音和文字）。
    2. 将两个触觉/视觉图片卡放在橡胶垫上（参见图1）。
    3. 在盲和蒙眼组中，要求参与者用双手制作拳头，并将拳头放在呈现的触觉/视觉图片卡上，必要时引导他们。将左手放在参与者的拳头上。
    4. 当手在拳头（盲和眼罩组）/纸箱板或泡沫板（视觉组）被移除时，要求学员探索两种触觉/视觉形状，即通过触摸和视觉组进行盲和眼对组，然后说"是的，当他们完成他们的探索。
    5. 从参与者的拳头（在盲和蒙上组）/纸箱板或泡沫板（在视觉组中）中取出左手。
    6. 只要参与者说"是"，盖住触觉/视觉图片卡。
    7. 播放来自 MP3 播放器的音频。
      注意:只播放一次来自 MP3 播放器的听觉信息，并且不要口头重复给参与者。
    8. 要求参与者发出他们与音频关联的触觉/视觉形状的信号，例如，通过说"左/右"、"曲线/角"或"花/星"来指示，并记下给出的形状。不要回答参与者的回答。
    9. 对参与者的回答正确还是不正确进行评分。
      注:对所有八项试验重复 4.5.2~4.5.9。
  6. 进行实验 2
    1. 说明一张图片卡，描绘触觉/视觉形状，将在橡胶垫上显示，一些音频将从MP3播放器播放。然后，说明音频将在参与者开始探索触觉/视觉形状时，每张图片卡播放一次。
      注:不要告知学员两种类型的触觉/视觉布巴/基基（填充和轮廓），一种类型的听觉布巴/基基（声音），和两种类型的一致性（一致和不协调）。
    2. 将触觉/视觉图片卡放在橡胶垫上。
    3. 在盲和蒙眼组中，要求参与者用双手制作拳头，并将拳头放在呈现的触觉/视觉图片卡上，必要时引导他们。将左手放在参与者的拳头上。
    4. 当手在拳头顶部（盲和眼罩组）/纸箱板或泡沫板（视觉组）被移除时，请学员通过触摸和视觉组探索触觉/视觉形状、盲眼和眼罩组，并聆听音频。然后，请他们把触觉/视觉形状和音频命名为"bouba"或"kiki":一个名字只有23，24，25，当他们完成他们的探索。
    5. 从参与者的拳头（在盲和蒙上组）/纸箱板或泡沫板（在视觉组中）中取出左手，并从 MP3 播放器播放音频。
      注意:只播放一次来自 MP3 播放器的听觉信息，并且不要口头重复给参与者。
    6. 一旦参与者命名触觉/视觉形状和音频，盖住图片卡并记下给出的名称。不要回答参与者的回答。
    7. 对参与者的回答正确还是不正确进行评分。
      注:对所有八项试验重复 4.6.2~4.6.7。
    8. 在一致和不协调的试验中，当参与者识别了 +75% 的触觉/视觉布巴和 kiki 形状时，将他们算作"正确"。
  7. 进行实验 3:
    1. 说明一些复印纸/塑料压花膜将放置在橡胶垫的顶部，而不是触觉/视觉图片卡，并且参与者将被要求在它上绘制。在盲和蒙眼组，请参与者尝试不同的绘图设备，并自行决定他们喜欢的:复印纸或塑料浮雕薄膜和滚珠笔或鞍背风格。接下来，说明一些音频将从 MP3 播放器播放，并且参与者将绘制他们与该音频关联的触觉/视觉形状，当询问时，每个音频片段有一个形状。
      注:不要向学员通报听觉信息（布巴和基基），也不要告知学员两种类型的听觉布巴/基基（声音和单词）。
    2. 将复印纸/塑料压花膜放在橡胶垫上。
    3. 在所有三个实验组（盲区;蒙眼;视力），要求参与者在握有滚珠笔/鞍背样式时用双手制作拳头，并将拳头放在复印纸/塑料压花膜的顶部，如果需要，引导他们。将左手放在参与者的拳头上。
    4. 当手放在拳头顶部时，要求学员绘制他们与呈现的音频相关联的形状。在盲和蒙眼组，要求参与者绘制触觉形状;在视觉组中，视觉形状。要求学员完成绘图后说"是"。
    5. 从参与者的拳头上取下左手。
    6. 播放来自 MP3 播放器的音频。
      注意:只播放一次来自 MP3 播放器的听觉信息，并且不要口头重复给参与者。
    7. 学员一说"是"，就会从橡胶垫上取下触觉/视觉绘图，并将其标在右下角，并贴上正确的试验编号。不要对参与者的答案/绘制形状做出响应或提供任何评论。
      注:对所有四个试验重复 4.7.2~4.7.7。
    8. 在每个测试会话后立即将所有触觉/视觉绘图（1:1 大小）扫描到 jpg 格式。
      注:在收集了所有绘图数据后，实验 3 由一组记分器评分。
    9. 生成用于对绘图数据评分的调查问卷（参见图 2）:
      1. 缩小所有扫描的图形，以横向 A4 格式每页包含 12 张图片。
      2. 随机分配布巴/基基试验、声音/文字试验和盲/眼罩/视觉抽屉。
      3. 在每个图片的左上角添加试用编号。
      4. 在每张图片下添加"bouba"和"kiki"和"盲"，"蒙上眼睛"和"视力"。
    10. 招募团体记分员，年满18周岁;正常/纠正到正常听力和视力;无认知延迟或损伤，也无身体残疾;都天真的这项研究，并显示一个视觉形状打印字bouba/kiki效果。
    11. 要求记分员回答问卷中每张图片的两个多选题:
      （1） "图片形状是"bouba"还是"kiki"和（2）'图片形状是由盲人（自出生以来）、蒙上眼睛或完全失明的人绘制的？17.
    12. 根据问卷中的照片数量，让一半的得分者给一半的问卷打分，另一半给其余的人打分。
    13. 对于每个试验，计数"对应"，"不对应"和"不确定"，即:
      1. 当 （i） +75% 的评分者同意哪个触觉/视觉形状（布巴或基基）被描绘时，和 （ii） 此形状对应于本试验中呈现的听觉布巴/kiki 时，即表示"对应"。
      2. 当 （i） 75% 的评分者同意描绘哪个触觉/视觉形状（布巴或基基）和 （ii） 此形状与本次试验中呈现的听觉布巴/kiki 不对应时，"不对应"。
      3. 当 <75% 的记分员同意拍摄哪个触觉/视觉形状（布巴或基基）时，即为"无定论"。从统计分析中删除"不确定"的图片/参与者图纸。
    14. 在试验中，当参与者绘制的心理图像的+75%时，将参与者算作"对应":也就是说，触觉/视觉形状对应于呈现的听觉布巴/kiki。
    15. 对于每个试验，计数"已识别"，"未识别"和"不确定"，即:
      1. 当 （i） 66.6% 的评分者同意哪个实验组（盲、眼罩或视觉）绘制了如图所示的形状时，即"认可"，（ii） 这在此试验中是正确的。
      2. 当 （i） 66.6% 的评分者同意哪个实验组（盲、眼罩或视觉）绘制了如图所示的形状时，即"未识别"，（ii） 这在此试验中不正确。
      3. 当 <66.6% 的评分者同意哪个实验组（盲、眼罩或视觉）绘制了如图所示的形状时，即为"不确定"。从统计分析中排除"无结论"参与者的承认。
    16. 在试验中（并删除"无结论"参与者识别），当在所有试验中，当 75% 的试验中确认参与者为"认可"时，将参与者计数为"认可"。

figure-protocol-2
图 2:调查问卷中用于对绘图数据评分的示例请点击此处查看此图的较大版本。

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

布巴/基基效应

12名先天性失明参与者中有6名（50%），12名被蒙上眼睛的9人，12名全视者中的10人（+83%）显示即时触觉/视觉听觉布巴/kiki效应:即眼罩和视觉组都明显高于机会水平（50%）:+2（1）。N = 12） = 3.00，p = 0.08 和+2（1。 N = 12） = 5.33，p = 0.02（实验 1，试验 1）17。 费舍尔对三个实验组（实验1，预测试）17的精确测试没有发现显著差异。（参见表 1.

当谈到长期触觉/视觉听觉布巴/kiki-效果:在第一次重复的组内测量中，9名先天性失明的参与者表现出布巴/kiki效应，还有9名完全视力完全失明，7人蒙眼:盲人和视觉组明显高于机会水平（50%）:+2（1）。N = 12） = 3.00，p = 0.08 和+2（1。 N = 12） = 3.00，p = 0.08（实验 1，试验 4）17。 在第二次重复的组内测量中，11名盲人和视觉组的参与者表现出触觉/视觉听觉布巴/kiki效应:两个实验组再次明显高于机会水平（50%）:+2（1）。N = 12） = 8.33，p = 0.00 和+2（1。 N = 12） = 8.33，p = 0.00; 和七在蒙眼组（实验1，试验5）17。最后，在第三次重复的小组内测量和术后测试中，12名先天性失明参与者中有9人（75%），12名被蒙上眼睛的6人（50%），12名全视参与者（100%）显示了触觉/视觉听觉布巴/kiki效果;盲人和视觉组再次明显高于机会水平（50%）:+2（1）。N = 12） = 3.00，p = 0.08 和+2（1。 N = 12） = 12.00，p = 0.00（实验 1，试验 8）17。 费舍尔的精确测试发现，眼罩和视觉组之间有显著差异=p = 0.01。（实验1，测试后）*17. （参见表 1.）

参与者组即时布巴/基基-效果长期布巴/基基效应
预测试重复措施 1重复措施 2重复测量 3/后测试
盲50.0%75.0%91.7%75.0%
眼罩75.0%58.3%58.3%50.0%
视觉83.3%75.0%91.7%100.0%

表1:即时和长期布巴效应/基基效应

布巴和基基形状的识别

12名先天性失明参与者中有11名（+92%），12名被蒙上眼睛的9人，12名全视者（100%）立即识别一致的触觉/视觉和听觉布巴/基基;所有三个实验组都明显高于机会水平（50%）:+2（1）。N = 12） = 8.33，p = 0.00，±2 （1. N = 12） = 3.00，p = 0.08 和+2（1。 N = 12） = 12.00，p = 0.00（实验 2，试验 1）17。 （参见表2.

长期来看，盲人组中的 11 名参与者识别触觉 bouba/kiki 形状以及一致的音频，10 名参与者具有不协调的音频:两种类型的一致性识别明显高于机会级别（50%）:+2 （1. N = 12） = 8.33，p = 0.00 和+2（1.N = 12） = 5.33，p = 0.02（实验 2，试验 1-8）17。 蒙眼组的九名参与者识别了触觉形状以及一致的音频，8 名参与者与不协调的音频一起识别;换句话说，一致的形状和音频明显高于机会水平（50%）:±2（1）。N = 12） = 3.00，p = 0.08（实验 2，试验 1-8）17。 视觉组的所有 12 名参与者都识别了视觉 bouba/kiki 形状以及一致的音频，6 名参与者具有不协调的音频:一致的形状和音频识别明显高于机会级别（50%）:+2 （1）。N = 12） = 12.00，p = 0.00（实验 2，试验 1-8）17。 （参见表2.

参与者组即时识别布巴/基基形状长期识别布巴和基基形状
一致的形状和音频一致的形状和音频形状和音频不协调
盲91.7%91.7%83.3%
眼罩75.0%75.0%66.7%
视觉100.0%100%50.0%

表2:布巴和基基形状的即时和长期识别

布巴和基基的精神形象

12名先天性失明的参与者中有8名[73%（一个"无结论"的参与者图纸被移除）]，12名被蒙住眼睛的参与者中有8人[89%（删除了3张"无结论"参与者图纸），12名完全失明的参与者中有8人[80%（删除了两张"无结论"参与者的图画）]立即绘制出一个心理图像:一个触觉/视觉形状，对应于呈现的听觉布巴/kiki（实验3，试验1）17。眼罩和视觉组都明显高于机会水平（50%）:+2（1）。N = 9） = 5.44，p = 0.02 和+2（1。 N = 10） = 3.60，p = 0.06（实验 3，试验 1）17。 （参见表3.

关于布巴和基基的长期心理图像:11名盲人组参与者，8名盲人，12名在视觉组绘制触觉/视觉布巴/基基形状，对应于呈现的听觉布巴/kiki（实验3，审判 1-4）17.盲人和视觉组都明显高于机会水平（50%）:+2（1）。N = 12） = 8.33，p = 0.00 和+2（1。 N = 12） = 12.00，p = 0.00（实验 3，试验 1-4）17。 费舍尔的精确测试发现，眼罩组和视觉组之间存在显著差异[p = 0.09（实验3，试验1-4）]17。（参见表3.

参与者组布巴/基基的即时心理图像布巴和基基的长期心理图像
盲72.7%91.7%
眼罩88.9%66.7%
视觉80.0%100.0%

表3:布巴和基基的即时和长期心理图像

此外。*83% 的所有参与者图纸包含全球 bouba 和 kiki 形状的最典型的形状特征:曲线和角度，分别为（实验 3，试验 1-4）17。参与者的绘图在曲线/角度的数量上有所不同（例如，kiki 单词的 1 和 5 个角度:参见图 2，试验 1、6 和 9），以及曲线/角度的方向 [即水平、垂直或对角:参见图 2。试验2、5和8（布巴声音）*，但通常不包括全球布巴/kiki形状[实验3，试验1-4（参见图1;图 2*17.最后，实验组在43%的分数答案中得到认可:5名盲组参与者，3名盲人组参与者，5名视力组参与者;没有实验组明显高于33.3%的机率（实验3，试验1-4）]17。

视觉影像与学习的效果

所提出的协议成功地调查了视觉图像在布巴/kiki效应中的作用，是否对触觉/视觉听觉布巴和kiki规律的训练影响了布巴/kiki效应以及个体触觉的识别/视觉布巴和kiki形状，最后是什么心理图像这些形状-音频规律产生17。通过包括一个没有视觉体验的实验组（即盲人组）和两个具有视觉体验的实验组（即蒙眼和视觉组），可以测试视觉图像的效果;通过包括一个没有视觉经验和广泛触觉经验的实验组（即盲组）和一个具有丰富视觉经验和没有触觉体验的实验组（即眼罩组），可以测试注意触觉听觉规律的训练效果。研究结果清楚地表明，蒙眼组利用视觉图像来解决新的触觉听觉问题，但不是长期问题（实验1+3）;注意布巴/kiki 形状-音频规律性的培训影响了触觉/视觉听觉布巴/kiki-效果（实验 1）和单个触觉/视觉布巴和基基形状的识别[即与一致音频（实验2）]，但在每个实验组（实验1-2）不同，并且所有实验组都创建了最具有特征的触觉/视觉听觉形状特征的布巴（曲线）和kiki [（角度）实验3》的心理图像。参见表1;表2;表3=17.此外，通过包括反复的即时和长期效应的组内测量（实验1-3），可以测试视觉图像和学习形状-音频规律的影响实际发生;通过包括三个不同的任务（即实验1中的触觉/视觉听觉布巴/kiki-效果），识别单个触觉/视觉布巴/kiki形状以及实验2中一致和不协调的音频，并绘制实验3中的bouba/kiki音频，以测试这些效果的强健性。结果表明，视觉图像的影响在每项任务中长期并不强健，特别是在使用触觉触摸[参见盲带组（实验1-3）]时;而学习形状-音频规律的效果是，但不是跨任务[参见盲和视觉组（实验1-3）。参见表1;表2;表 3.17

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

所呈现的协议适用于调查视觉图像和学习形状-音频规律的影响、发生时间以及它们是否强大;在特定的个人和个人群体中。

该协议不仅适用于测试准确性，还适用于探索时间:从实验者从参与者的拳头（在盲和蒙上组）/纸箱板或泡沫板（在视觉组），当参与者说"是"。在统计分析中，每个实验组每次试验的最长探索时间将分为四个，每个实验组中的"快速"、"中等"和"慢"参与者的数量计算:"快速"，使用此探索时间的 ±25%。中等使用 26-75%，使用 ±75%的"慢"在整个试验中，参与者将被视为实验2:也就是说，在所有试验中，如果算得上是"快"，那么在所有试验中，如果算上是"中等"，则"中等"，如在所有试验中算66.6%，等等。（对于"无结论"，即参与者不能算作"快速"、"中等"或"慢"，参见实验 3。根据样本大小和/或正确和错误答案的数量，可以单独测试探索时间以查找正确和不正确的答案。无论是测试精度、探索时间还是两者兼而有之，都必须遵循关键的协议步骤:三个实验应按固定顺序进行，并且对所有参与者进行固定顺序的试验。不应使参与者意识到所有三个实验中的测试材料都包括布巴和kiki。此外，来自 MP3 播放器的听觉信息应只播放一次，并且不得口头重复给参与者（所有三个实验）。在实验1和实验2中，触觉/视觉布巴和基基应以相同的位置和方向呈现。对于视觉组（在所有三个实验中），测试材料应设置在纸箱板/泡沫板后面。最后，在盲带组中，在实验3完成之前，参与者不应摘除眼罩。这些步骤是为了确保所有实验组控制有关触觉/视觉和听觉布巴和kiki的信息的数量和类型。此外，在实验2中，当参与者开始探索触觉/视觉布巴/基基时，立即呈现听觉布巴/kiki至关重要。这将确保提供多式联运（一致或不协调）信息。此外，该议定书也适合测试其他群体的个人。为了整合这些群体，可以添加这些参与者组作为单独的实验组:例如，颜色感知组和形状感知组;22个突然视力丧失组和一个渐进视力损失组;20,可以添加21和/或有听力障碍和/或自闭症谱系障碍13的特定组。

有了这个协议，就可以为每个即时和长期影响（包括每一个重复的集团内措施和/或任务）为特定组建立组规范（准确性和/或探索时间）;然后根据他们的群体规范测试个人:任何特定的个人或整个群体是否需要进一步培训，以注意到形状-音频规律。每个即时和长期效应的组规范（包括每个重复的组内度量和/或任务）还可以确定需要注意形状-音频规律的培训类型:例如，具有触觉的更多试验/视觉听觉布巴/kiki-效果（实验1）和/或更多试验，具有一致和不协调的触觉/视觉形状和音频（实验2）。事实上，有可能增加每项任务中试验次数和重复的小组内措施次数，并改变两项任务之间的时间，从而允许进行更加个性化的培训和测试。

但是，如果测试哪种材料类型（例如，bouba 或 kiki、填充或轮廓触觉/视觉形状和/或听觉声音或单词）最能确保学习形状-音频规律，则需要修改此协议。修改此协议的一种可能方法可能涉及以块形式呈现不同的材料:例如，填充的触觉/视觉形状和听觉声音和/或轮廓触觉/视觉形状和听觉单词（实验 1）。这些块可以随机地呈现给一个实验组的所有参与者;或者，四个块中的每一个来分离实验组（实验1）。如果进一步测试任务内和任务之间视觉图像和/或学习的形状-音频规律的鲁棒性，则此协议也需要修改。修改可能涉及添加与培训中包含的不同触觉/视觉形状和/或音频的重复组内措施;例如，用触觉/视觉布巴和kiki形状和听觉单词（实验1）1，3，4，10，训练后，用听觉声音为"maa-boo-maa"和"tuh-kee-tee"11,12,13,14,15,16.另一种选择可能涉及在实验110、11、12中呈现第三个触觉/视觉形状，该形状主要与触觉/视觉布巴和kiki形状一起呈现。 ，13，14，15，16.可以为此触觉/视觉形状创建一个听觉废话单词和声音，以产生第三个形状词对 14、15、16 和第三个形状声音对17（实验 1）。然后，形状声音对可以作为捕获试验包含在实验2中;或作为定期一致的试验和相应的不协调试验。最后，可以在实验3中提出声音（来自实验2和实验1）和/或废话（来自实验1）。第三个选项可以涉及根本不执行实验 2 和实验 3，而是将它们作为任务包含在实验 1 中重复的组内度量值中，随机顺序。

所呈现的协议的独特之处是，在训练和测试过程中，它既控制视觉图像，又控制感官信息。它很灵活:大样本和小样本以及特定个体可以针对自身进行测试（参见组内测试）和/或其他组人（参见组间测试）。可以同时测试准确性和探索时间，更改每个试验中的试验次数和重复的组内度量和它们之间的时间，并更改甚至折叠试验和/或实验的顺序。

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者没有什么可透露的。

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

资助:
这项工作由欧盟Horizon 2020研究和创新方案资助，该计划由玛丽·斯克洛多斯卡-库里行动（赠款协议号657440）和挪威盲人和部分视力协会资助。

电影化妆:
化妆师拉切尔·帕雷

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Bouba/kiki 填充水平 30 毫米，垂直 23 毫米，垂直厚度 0.5 毫米，线高 0.5 毫米，压花高度 0.5 毫米
Bouba/kiki 轮廓水平 30 毫米，垂直 23 毫米，垂直厚度 0.5 毫米，线高 0.5 毫米，压花高度 0.5 毫米
Bouba/kiki 声音（正弦波）
Bouba/kiki 单词（人声）
覆盖bouba/kiki的纸箱板/泡沫板（白色）Ryman230461860水平 297 mm x 垂直 210 mm 垂直 0 mm
垂直复印纸 [白色 （80 g/m2 ）]Ryman250030000210 mm 水平 x 148 mm 垂直
bouba/kiki 图片卡泡沫板 [白色（5 mm 厚）]Ryman230461860水平 50 mm x 垂直
50 mmMP3 播放器（安装了适用于 iOS 的 VLC 应用程序的智能手机）汽车仓库
塑料压花膜RNIB 商店ZM04210 毫米水平 x 148 毫米垂直
圆珠笔 [黑色（1.0 毫米笔尖）]Ryman827134001
橡胶垫RNIB 商店LC177230 毫米水平 x 150 毫米垂直
马鞍峰式RNIB 商店B511
膨胀纸Zychem LtdZytex2 纸50 毫米（水平）x 50 毫米（垂直
用于）

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Ramachandran, V. S., Hubbard, E. M. Synaesthesia - A Window Into Perception, Thought and Language. Journal of Consciousness Studies. 8 (12), 3-34 (2001).
  2. Bremner, A. J., Caparos, S., Davidoff, J., de Fockert, J., Linnell, K. J., Spence, C. Bouba’’and ‘‘Kiki’’ in Namibia? A remote culture make similar sound-shape matches, but different taste-shape matches to Westerners. Cognition. 126 (2), 165-172 (2013).
  3. Davis, R. The fitness of names to drawings. A cross-cultural study in Tanganyika. British Journal of Psychology. 52 (3), 259-268 (1961).
  4. Maurer, D., Pathman, T., Mondloch, C. J. The shape of boubas: sound-shape correspondences in toddlers and adults. Developmental Science. 9 (3), 316-322 (2006).
  5. Ozturk, O., Krehm, M., Vouloumanos, A. Sound-symbolism in infancy: Evidence for sound-Shape cross-modal correspondences in 4-months-olds. Journal of Experimental Child Psychology. 114 (2), 173-186 (2013).
  6. Bar, M., Neta, M. Humans Prefer Curved Visual Objects. Psychological Science. 17 (8), 645-648 (2006).
  7. Bertamini, M., Palumbo, L., Gheorghes, T. N., Galatsidas, M. Do observers like curvature or do they dislike angularity? British Journal of Psychology. 107 (1), 154-178 (2016).
  8. Quinn, P. C., Brown, C. R., Streppa, M. L. Perceptual Organization of Complex Visual Configurations by Young Infants. Infant Behavior and Development. 20 (1), 35-46 (1997).
  9. Silvia, P. J., Barona, C. M. Do people prefer curved objects? Angularity, expertise, and aesthetic preference. Empirical Studies of the Arts. 27 (1), 25-42 (2009).
  10. Nielsen, A., Rendall, D. The Sound of Round: Evaluating the Sound-Symbolic Role of Consonants in the Classic Takete-Maluma Phenomenon. Canadian Journal of Experimental Psychology. 65 (2), 115-124 (2011).
  11. D’Onofrio, A. Phonetic Detail and Dimensionality in Sound-shape Correspondences: Refining the Bouba-Kiki Paradigm. Language and Speech. 57 (3), 367-393 (2014).
  12. Westbury, C., Hollis, G., Sidhu, D. M., Pexman, P. M. Weighing up the evidence for sound symbolism: Distributional properties predict cue strength. Journal of Memory and Language. 99, 122-150 (2018).
  13. Oberman, L. M., Ramachandran, V. S. Preliminary evidence for deficits in multisensory integration in autism spectrum disorders: The mirror neuron hypothesis. Social Neuroscience. 3 (3-4), 348-355 (2008).
  14. Köhler, W. Gestalt psychology. , Liveright. New York, NY. (1929).
  15. Monaghan, P., Mattock, K., Walker, P. The Role of Sound Symbolism in Language Learning. Journal of Experimental Psychology: Learning, Memory, and Cognition. 38 (5), 1152-1164 (2012).
  16. Fort, M., Martin, A., Peperkamp, S. Consonants are More Important than Vowels in the Bouba-kiki Effect. Language and Speech. 58 (2), 247-266 (2015).
  17. Graven, T., Desebrock, C. Bouba or kiki with and without vision: Shape-audio regularities and mental images. Acta Psychologica. 188, 200-212 (2018).
  18. Fryer, L., Freeman, J., Pring, L. Touching words is not enough: How visual experience influences haptic-auditory associations in the “Bouba-Kiki” effect. Cognition. 132 (2), 164-173 (2014).
  19. Fontana, F. Association of Haptic Trajectories to Takete and Maluma. Lecture Notes in Computer Science. 7989, 60-68 (2013).
  20. Graven, T. How blind individuals discriminate braille characters: An identification and comparison of three discrimination strategies. British Journal of Visual Impairment. 33 (2), 80-95 (2015).
  21. Graven, T. How attention is allocated when using haptic touch: Shape feature distinction and discrimination strategy. EuroHaptics 2016, Part 1. Bello, F., Kajimoto, H., Visell, Y. , Springer International Publishing AG. Switzerland, Heidelberg. Part of the Lecture Notes in Computer Science book series (LNCS, volume 9774) 380-393 (2016).
  22. WHO. ICD-10 version: 2016 (International Statistical Classification of Diseases and Related Health Problems 10th revision). Chapter VII Diseases of the eye and adnexa (H00-H59). , Available from: http://apps.who.int/classifications/icd10/browse/2016/en#/H53-H54 (2019).
  23. Heller, M. A., Calcaterra, J. A., Burson, L. L., Tyler, L. A. Tactual picture identification by blind and sighted people: Effects of providing categorical information. Perception & Psychophysics. 58 (2), 310-323 (1996).
  24. Heller, M. A., Gentaz, E. Psychology of Touch and Blindness. , Psychology Press. New York, NY and Hove, East Sussex. (2014).
  25. Pathak, K., Pring, L. Tactual picture recognition in congenitally blind and sighted children. Applied Cognitive Psychology. 3 (4), 337-350 (1989).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Bouba Kiki EffectVisual ImageryShape Audio RegularitiesBlindfold GroupTactile ShapesAudio AssociationMental ImagesCongenitally BlindWithin Group MeasuresExperimental Protocol

Related Articles