方法文章

探究视觉意象与学习形状-声音规律对“布巴”和“基基”效应的影响

12.3K 次观看

⸱

DOI：

10.3791/59954

⸱

2019年9月13日

 , 
1Department of Experimental Psychology, University of Oxford

本文内容

摘要

本方案旨在研究视觉表象在“bouba/kiki效应”中的作用，训练个体识别bouba/kiki形状与声音之间的规律性是否会影响bouba/kiki效应及对单个bouba和kiki形状的识别，以及这些规律性所引发的心理表征图像。

摘要

本文介绍了一种研究视觉表征在“bouba/kiki效应”中作用的实验方案，探讨了训练个体识别bouba/kiki形状-声音规律是否会影响bouba/kiki效应及对单个bouba和kiki形状的识别能力，并进一步分析这些规律所引发的心理意象。为生成bouba/kiki形状-声音规律，实验中采用了两种类型的形状（实心；轮廓线）和两种类型的声音（词语；非词声音）。三组受试者参与了三项实验：盲人组、蒙眼组和有视力组。所有参与者按固定顺序连续完成三项实验，中间无休息间隔。实验1采用前测-干预-后测设计（含三次重复的组内测量），要求参与者选出其与听觉刺激“bouba”或“kiki”相关联的图形；实验2采用被试内设计，要求参与者将某一图形与某种声音（有时一致，有时不一致）共同命名为“bouba”或“kiki”；实验3仅包含后测，要求参与者画出其与听觉刺激“bouba”或“kiki”相关联的图形。结果表明，蒙眼组在解决新问题时会依赖视觉表征，但这种依赖不持久；训练识别bouba/kiki形状-声音规律会影响bouba/kiki效应及对单个bouba和kiki形状的识别，但不同实验组之间存在差异；所有实验组均会形成bouba（曲线）和kiki（角）最具特征性的形状的心理图像。事实上，视觉表征的影响在不同任务中表现稳健，但不具长期性；而学习形状-声音规律的影响具有长期稳健性，但在不同任务间表现不一致。本方案适用于研究视觉表征和学习形状-声音规律的效应，及其发生时机与稳健程度，可应用于特定个体或人群。该方案的独特之处在于，在训练和测试过程中同时控制了视觉表征和感官信息的输入。

引言

全球95%的人口表现出听觉-视觉的“bouba/kiki”效应，即将视觉上圆润的形状与发音为“bouba”的词语相关联，将视觉上尖锐的形状与发音为“kiki”的词语相关联；即使个体此前从未接触过这些形状或词语，该现象依然存在1。bouba/kiki效应先于语言学习出现，且跨语言普遍存在1,2,3,4,5，不仅体现在bouba和kiki上（参见人们对视觉曲线相较于视觉角度的偏好6,7,8,9），还依赖于元音与辅音的组合方式（例如，在“bibi”和“kuku”中该效应则不出现）1,5,10,11,12。这种形状与词语的关联也适用于其他主要呈曲线形（如bouba）和主要呈尖角形（如kiki）的形状与词语组合11,13；或者只要其元音与辅音的组合方式与“bouba”和“kiki”相同即可，例如：“Baluma”与“takete”、“maluma”与“takete”、“uloomo”与“takete”、“maa-boo-maa”与“tuh-kee-tee”1,3,4,10,11,12,14。事实上，人们倾向于将圆润的视觉形状与包含延续音辅音（如/l/和/m/）以及开元音（如/ɑ:/和/ɔ:/）的词语相联系，而将尖锐的视觉形状与包含塞音辅音（如/k/和/t/）以及闭前元音（如/ε/和/I/）的词语相联系11,12,15,16。其中，辅音的影响大于元音，尤其是清辅音（如/k/和/t/）的影响更为显著11,12,15,16。实际上，决定该效应的关键因素似乎是整体形状的特征——即其曲线与角度17——以及词语发音的听觉特征——即其音调旋律17，而非形状或词语本身。

一项研究探讨了触觉形式的“bouba/kiki效应”，即使用触觉感知的bouba和kiki代替视觉形状，发现视力受损的参与者表现出的bouba/kiki效应显著较弱（约64%），而视力正常的参与者则表现出较强的效应（约90%）18。该研究认为，盲人和部分视力受损者中bouba/kiki效应较弱的原因在于缺乏视觉意象：视力正常的参与者注意到了环境中存在的规律性，而这些规律在视力受损时难以获取18。然而，该研究并未明确说明视觉意象是否为产生bouba/kiki效应所必需：在42名视力受损的参与者中，仅有六人是先天全盲18，即完全不具备视觉意象。此外，其余参与者均未蒙眼，可能在实验者说出“bouba”或“kiki”一词时观察到了其嘴唇动作——说“bouba”时嘴唇呈圆润形状，说“kiki”时嘴唇呈尖锐形状1,18，因此他们所表现出的可能是触觉-视觉-听觉联结的bouba/kiki效应，而非依赖于内在视觉意象。此外，该研究未考察参与者对触觉-听觉规律性感知的影响，例如未通过比较第一次试验与第四次试验的bouba/kiki效应，而是将四次试验的结果合并计算总体效应。再者，触觉形式的bouba和kiki在不同试验中差异较大：在第一和第二次试验中，它们分别为三维和二维形状（弯曲形 vs 尖角形）；在第三和第四次试验中，形状相同（均为圆形），但表面质地不同（光滑 vs 粗糙；光滑 vs 多刺）18。与此相关的一项研究调查了蒙眼（视力正常）个体中的动觉-听觉bouba/kiki效应，发现经过两分钟训练，手持编程为绘制bouba和kiki形状轨迹的机械触控笔后，82%的参与者表现出bouba/kiki效应19。然而，该研究并未明确说明bouba/kiki效应是否由训练阶段引起：研究未设置前测，也未设立对照组。 

为此，我们研究了视觉意象在“bouba/kiki效应”中的作用，探讨了训练个体识别触觉/视觉-听觉的bouba和kiki规律是否会影响bouba/kiki效应以及对单个触觉/视觉bouba和kiki形状的识别能力，最后探究这些形状-声音规律产生了何种心理图像17。为了生成bouba/kiki形状-声音之间的规律性——而不仅仅是例如kiki形状与kiki词语之间的特定关联1——本研究包含了两种类型的触觉/视觉bouba/kiki形状（实心；轮廓线型）以及两种类型的听觉bouba/kiki刺激[声音（词语；非词语声音）]17。三组参与者分别参与了三项实验：盲人组（N = 12）、蒙眼组（N = 12）和正常视力组（N = 12）。实验在所有参与者中以固定顺序进行，且各实验之间无间断，以严格控制参与者接触bouba和kiki刺激的数量与类型。在实验1（前测-训练-后测设计，包含三次重复的组内测量）中，要求参与者从触觉/视觉形状中选出他们与听觉bouba/kiki相对应的形状；在实验2（被试内设计）中，要求参与者将某一触觉/视觉形状与某些声音（有时一致；有时不一致）命名为“bouba”或“kiki”；在实验3（仅后测设计）中，要求参与者画出他们与听觉bouba/kiki相对应的触觉/视觉形状17。总体而言，该研究提示，视觉意象的影响在不同任务间具有稳健性，但在单个任务内部并不具有长期稳定性；而学习形状-声音规律的影响在单个任务内部具有长期稳健性，却无法跨任务迁移17。本文呈现了该研究的实验方案17。该方案适用于研究视觉意象及形状-声音规律学习效应的发生时机及其稳健性，可用于特定个体或群体的研究。本方案的独特之处在于，在训练和测试过程中同时对视觉意象和感官信息进行了严格控制。   

方案

牛津大学医学科学部际研究伦理委员会（IDREC）已批准本方案（编号：MS-IDREC-C1-2015-200、R46287/RE002 和 R42687/RE004）。

1. 设计与条件

  1. 对所有参与者按以下固定顺序依次进行三项实验：实验1、实验2和实验3，中间不设休息间隔。确保参与实验2的所有参与者均已参加实验1，且参与实验3的所有参与者也均已参加实验2（以及实验1）。
  2. 进行实验1——采用前测-后测设计，包含三个实验组：盲人组、蒙眼组和有视力组；以及三次组内重复测量。向所有参与者以固定顺序呈现试验。（总试验次数：8次）
    1. 进行前测（试验1），以检验即时的触觉/视觉-听觉“bouba/kiki”效应。
    2. 进行第一次组内重复测量（试验4），以检验重复呈现的触觉/视觉形状（实心或轮廓）与变化的音频（词语和非词语声音）的影响。
    3. 进行第二次组内测量（试验5），以检验新呈现的触觉/视觉形状（轮廓或实心）与变化的音频（词语和非词语声音）的影响。
    4. 进行第三次组内测量及后测（试验8），以检验变化的触觉/视觉形状（实心和轮廓）与变化的音频（词语和非词语声音）的影响。
    5. 随机分配在试验1-4中向参与者呈现的触觉/视觉bouba/kiki形状类型（实心或轮廓），并在试验4-8中呈现另一种类型。随后，随机分配在试验1中呈现的听觉词语（bouba或kiki），以及在试验2-8中每次试验所呈现的听觉bouba/kiki刺激（bouba或kiki，词语或非词语声音）。
      注意：确保总体上有四次bouba试验和四次kiki试验；四次实心和四次轮廓触觉/视觉形状试验；四次听觉词语和四次听觉非词语声音试验。
  3. 进行实验2——采用被试内设计，包含三个实验组：盲人组、蒙眼组和有视力组；以及两次组内测量。向所有参与者以固定顺序呈现试验。（总试验次数：8次）
    1. 检验对一致匹配（bouba/kiki + bouba/kiki）形状-声音刺激的即时识别能力（试验1）。
    2. 检验对（a）一致匹配（bouba/kiki + bouba/kiki）和（b）不一致匹配（bouba/kiki + kiki/bouba）形状-声音刺激的识别能力［每种一致性类型各四次试验（试验1-8）］。
    3. 随机分配在试验1-8中呈现的触觉/视觉bouba/kiki形状类型（实心或轮廓）。然后，随机分配在试验1中呈现的一致匹配触觉/视觉形状与听觉非词语声音组合（bouba + bouba 或 kiki + kiki），最后随机分配在试验2-8中每次试验所呈现的一致性类型（一致或不一致的触觉/视觉bouba/kiki形状 + 听觉bouba/kiki非词语声音）。
      注意：确保总体上有四次触觉/视觉bouba试验和四次触觉/视觉kiki试验；四次实心和四次轮廓触觉/视觉试验；四次一致和四次不一致（形状 + 非词语声音）试验。（本实验不包含听觉bouba/kiki词语。）
  4. 进行实验3——仅后测设计，包含三个实验组：盲人组、蒙眼组和有视力组。向所有参与者以固定顺序呈现试验（总试验次数：4次）。
    1. 通过四次独立试验，检验形状-声音规律训练（即实验1和实验2）所产生的心理表征：bouba词语、bouba非词语声音、kiki词语、kiki非词语声音。
    2. 随机分配在试验1-4中每次试验所呈现的听觉bouba/kiki刺激（bouba或kiki，词语或非词语声音）。
      ​注意：确保总体上各有一次听觉bouba词语试验、一次听觉bouba非词语声音试验、一次听觉kiki词语试验和一次听觉kiki非词语声音试验。

2. 参与者

  1. 招募一组先天性失明的参与者，即出生后不到四个月就失明的个体20,21,22：包括第5类：完全失明；以及第4类：光感（能够感知光源）和光定位（能够感知光源的位置）22。确保所有参与者均能阅读盲文。
  2. 招募一组视力完全正常的参与者，其人数为先天性失明组人数的两倍。确保所有参与者视力正常或矫正后视力正常。
    注意：确保所有参与者年龄在18至70岁之间，听力正常或矫正后正常，无认知发育迟缓或认知障碍，无任何身体残疾，并且均未接触过“bouba/kiki效应”。
  3. 将视力正常组的参与者随机分配至一半进入眼罩组，另一半进入视觉组。
    注意：对参与者、触觉/视觉呈现的bouba/kiki形状类型、听觉bouba/kiki刺激类型以及一致性条件均随机分配至以下两类之一：眼罩或视觉；实心或轮廓；词语或非词声音；bouba或kiki；一致或不一致。因此，随机分配可通过计算机程序或人工方式（例如抛硬币）完成。

3. 材料

  1. 制备触觉/视觉材料
    1. 将视觉化的bouba/kiki图形（30 × 23 mm）转移到发泡纸上，可通过个人电脑打印或从图片复印实现。确保转移两种类型的视觉bouba/kiki图形：一种为实心填充，另一种为轮廓线（1.5 pt线宽）。参见图1。
    2. 将发泡纸通过热定影仪处理。确保生成的触觉bouba/kiki图形凸起高度约为0.5 mm。或者，可向为视障人士提供服务的转录机构订购触觉/视觉bouba/kiki图形（附PDF文件）。
    3. 使用喷雾胶将发泡纸粘贴至泡沫板上［白色，5 mm厚］。
    4. 将发泡纸和泡沫板裁剪成50 × 50 mm大小，制成四张独立的触觉/视觉图片卡：实心bouba、轮廓bouba、实心kiki和轮廓kiki（参见图1）。使用壁纸刀进行裁剪。
    5. 将纸板/泡沫板裁剪成297 × 210 mm大小，用于覆盖触觉/视觉bouba/kiki图形。使用壁纸刀裁剪。或者，可直接订购A4尺寸材料。
    6. 将复印纸/塑料压纹膜裁剪成210 × 148 mm大小。使用切纸机裁剪。或者，可直接订购A5尺寸材料。
    7. 将橡胶垫裁剪成230 × 150 mm大小。使用刀具或剪刀裁剪。或者，可订购Moon手框并将其拆解以取出内部橡胶垫。

展示形状构型的静态平衡示意图；宏观平衡与对称性展示。
图1：两种类型的bouba/kiki形状：实心与轮廓 请点击此处查看此图的放大版本。

  1. 制备听觉材料
    1. 录制“bouba”（参见音频 1）和“kiki”的发音。以 MP3 格式保存：分别为“bouba”和“kiki”各保存一个文件。
    2. 通过模仿“bouba”和“kiki”这两个词的发音时长和频率（即音调旋律），创建“bouba”和“kiki”的非词声音。使用声波发生器和音高弯曲功能。以 MP3 格式保存：分别为“bouba”声音（参见音频 2）和“kiki”声音各保存一个文件。
    3. 在智能手机上安装适用于 iOS 系统的 VLC 应用程序。将“bouba”和“kiki”的 MP3 文件传输至 VLC 应用中，并保存为四个独立文件：“bouba”声音、“bouba”词语、“kiki”声音和“kiki”词语。

音频 1：Bouba 词汇 请点击此处下载该文件。

音频 2：Bouba 声音 请点击此处下载该文件。

4. 实验步骤与评分

  1. 设置测试会话
    1. 在一间颜色中性且安静的房间内，对所有参与者逐一进行三项实验。要求蒙眼组的参与者在布置触觉/视觉-听觉材料前戴上眼罩，并确保他们在整个实验过程中及三项实验间始终佩戴眼罩。
  2. 准备触觉/视觉材料
    1. 将橡胶垫直接放置在受试者前方。然后，将（实验1）两个触觉/视觉的bouba和kiki形状、（实验2）一个触觉/视觉的bouba或kiki形状，以及（实验3）复印纸/塑料压纹膜依次放置在橡胶垫上。
      注意：在实验1中，务必始终将“bouba”呈现在左侧，“kiki”呈现在右侧；在实验1和实验2中，均需始终保持其呈现方向一致（参见 图1：旨在提高参与者在不受橡胶垫上形状位置和/或方向干扰的情况下，形成bouba和kiki触觉图形心理表征的能力。切勿向参与者透露触觉/视觉bouba和kiki形状将以固定方式呈现。对于视觉组，始终将测试材料置于纸板/泡沫板后方，以防止参与者偷看即将呈现的内容。
  3. 设置听觉材料
    1. 将MP3播放器直接放在参与者正前方（橡胶垫的另一侧），扬声器朝向参与者最近的一侧。
      注意：请勿口头重复MP3播放器中的听觉信息：以防止视觉组的参与者在“bouba/kiki”词汇试验中观察到口型动作1从而在所有实验组中控制感觉信息的类型和数量。
  4. 进行实验1、实验2和实验3
    1. 邀请将要探索并绘制触觉图形的参与者（即盲人组和蒙眼组）通过触摸来探索橡胶垫：例如，感知其尺寸和质地，但不要在橡胶垫上放置任何触觉/视觉图片卡和/或复印纸或塑料浮雕膜。
  5. 进行实验1
    1. 说明将在橡胶垫上呈现两张图片卡片，每张卡片上各有一种触觉/视觉形状的图像。然后说明将通过MP3播放器播放一段音频，该音频对应其中一种触觉/视觉形状。
      注意：不要向参与者说明触觉/视觉的两种bouba/kiki类型（实心和轮廓）以及听觉的两种bouba/kiki类型（声音和词语）。
    2. 将两张触觉/视觉图片卡片放在橡胶垫上（参见 图1).
    3. 在盲组和蒙眼组中，要求参与者双手握拳，并将拳头放在呈现的触觉/视觉图片卡上，必要时给予指导。将左手放在参与者的拳头上方。
    4. 要求参与者在拳头上方的遮挡物（盲组和蒙眼组）或纸板/泡沫板（视觉组）被移除后，通过触觉（盲组和蒙眼组）或视觉（视觉组）探索两个触觉/视觉形状，并在完成探索后说出“是”。
    5. 将左手从受试者的拳头（盲组和蒙眼组）或纸板/泡沫板（有视觉组）上移开。
    6. 一旦参与者回答“是”，立即盖住触觉/视觉图片卡片。
    7. 播放MP3播放器中的音频。
      注意：仅通过MP3播放器播放一次听觉信息，切勿口头重复向参与者复述。
    8. 要求参与者指出他们将听到的音频与哪种触觉/视觉形状相关联，例如通过说出“左/右”、“弯曲/有棱角”或“花朵/星星”，并记录其给出的形状。不要对参与者的回答作出回应。
    9. 判断参与者的回答是否正确。
      注意：对全部八次试验重复步骤 4.5.2–4.5.9。
  6. 进行实验2
    1. 说明将有一张图片卡片（显示一个触觉/视觉形状）放置在橡胶垫上，同时MP3播放器将播放一段音频。然后解释，每张图片卡片仅播放一次音频，且在参与者开始探索该触觉/视觉形状时立即播放。
      注意：不要向参与者透露触觉/视觉的两种bouba/kiki刺激类型（实心和轮廓）、听觉bouba/kiki的一种类型（声音）以及两种一致性类型（一致和不一致）。
    2. 将触觉/视觉图片卡放在橡胶垫上。
    3. 在盲组和蒙眼组中，要求参与者双手握拳，并将其拳头放在呈现的触觉/视觉图片卡上，必要时给予指导。将左手放在参与者的拳头上方。
    4. 要求参与者在拳头（盲组和蒙眼组）/纸板或泡沫板（视觉组）被移开时，通过触觉（盲组和蒙眼组）或视觉（视觉组）感知触觉/视觉形状，并同时聆听音频。随后，要求他们将所感知的触觉/视觉形状和音频分别命名为“bouba”或“kiki”：每次仅允许使用一个名称23,24,25，当它们完成探索后。
    5. 从参与者拳头（盲组和蒙眼组）或纸板/泡沫板（视觉组）上移开左手，并播放MP3播放器中的音频。
      注意：仅通过MP3播放器播放一次听觉信息，切勿口头向参与者重复。
    6. 一旦参与者说出触觉/视觉图形和声音的名称，立即盖住图片卡片并记录其给出的名称。不要对参与者的回答作出回应。
    7. 判断参与者的回答是否正确。
      注意：对全部八次试验重复步骤 4.6.2–4.6.7。
    8. 在一致和不一致试验中，当参与者正确识别出≥75%的触觉/视觉bouba和kiki形状时，计为“正确”。
  7. 进行实验3：
    1. 说明将把一些复印纸/塑料压纹膜放在橡胶垫上，以替代触觉/视觉图片卡，参与者将被要求在上面进行绘画。对于盲人组和蒙眼组，邀请参与者试用不同的绘图工具，并自行选择偏好的组合：复印纸或塑料压纹膜，以及滚珠笔或马鞍形笔。接着说明，将通过MP3播放器播放一段音频，参与者需根据所听到的音频内容，绘制出与其联想到的触觉/视觉形状，每次播放一段音频时绘制一个形状。
      注意：不要向参与者透露听觉信息（bouba 和 kiki），也不要告知存在两种类型的听觉 bouba/kiki（声音和词语）。
    2. 将复印纸/塑料压纹膜放在橡胶垫上。
    3. 在全部三个实验组（盲组；蒙眼组；视力组）中，要求参与者双手握紧滚珠笔/马鞍形笔，将拳头放在复印纸/塑料浮雕膜上方，必要时给予指导。将左手放在参与者的拳头上方。
    4. 当参与者拳头上方的手移开时，请其绘制与所呈现音频相关联的图形。对于盲人组和蒙眼组，请参与者绘制触觉图形；对于视力正常组，请参与者绘制视觉图形。当参与者完成绘图后，请其说出“是”。
    5. 将左手从参与者的拳头中移开。
    6. 播放MP3播放器中的音频。
      注意：仅通过MP3播放器播放一次听觉信息，切勿口头向参与者重复。
    7. 一旦参与者回答“是”，立即将其触觉/视觉绘图从橡胶垫上取下，并在右下角标注正确的试验编号。不要对参与者的回答或所绘图形作出任何回应或评论。
      注意：对全部四次试验重复步骤 4.7.2–4.7.7。
    8. 每次测试结束后，立即将所有触觉/视觉绘图（1:1尺寸）扫描为jpg格式。
      注意：在收集完所有绘图数据后，由一组评分人员对实验3进行评分。
    9. 制作用于评分绘图数据的问卷（参见 图2):
      1. 将所有扫描的图纸缩小比例，使横向A4页面包含12张图片。
      2. 随机分配“bouba/kiki”实验组、声音/词语实验组以及盲人/蒙眼/视力正常组。
      3. 在每张图片的左上角添加试验编号。
      4. 在每张图片下方添加“bouba”和“kiki”，以及“blind”、“blindfolded”和“sighted”。
    10. 招募一名评分员，年龄在18岁以上；听力和视力正常或矫正至正常；无认知迟缓或认知障碍，且无任何身体残疾；此前未参与过本研究，且表现出视觉形状-印刷词语“bouba/kiki”效应。
    11. 要求评分者在问卷中针对每张图片回答两个选择题：
      （1）图中所示的形状是“bouba”还是“kiki”？（2）该形状是由先天失明者、蒙眼者还是视力正常者绘制的？17.
    12. 根据问卷中图片的数量，让评分者小组中的一半人员评阅问卷的一半内容，另一半人员评阅其余部分。
    13. 每次试验中，统计“相符”、“不相符”和“不确定”的次数，即：
      1. 当同时满足以下两个条件时视为“匹配”：（i）≥75%的评分者对所呈现的触觉/视觉形状（bouba 或 kiki）达成一致；（ii）该形状与本试验中呈现的听觉刺激 bouba/kiki 相对应。
      2. 当（i）≥75%的评分者对所呈现的触觉/视觉形状（bouba 或 kiki）达成一致，且（ii）该形状与本试验中呈现的听觉 bouba/kiki 不一致时，判定为“不对应”。
      3. “不确定”当 <75% 的评分者对所呈现的触觉/视觉形状（bouba 或 kiki）达成一致。在统计分析中剔除“无定论”的图片/参与者绘制的图形。
    14. 在各次试验中，当参与者所绘制的心理图像中有≥75%的触觉/视觉形状与所呈现的听觉bouba/kiki相对应时，将其计为“对应”。
    15. 每次试验中，统计“已识别”、“未识别”和“不确定”的数量，即：
      1. 当同时满足以下两个条件时视为“被识别”：（i）≥66.6%的评分者一致认为所绘制图形属于哪个实验组（盲法组、蒙眼组或视觉组）；（ii）该判断在本试验中是正确的。
      2. 当同时满足以下两个条件时，判定为“未识别”：（i）≥66.6%的评分者一致认为某一实验组（盲法组、遮蔽组或视觉组）绘制了图中所示的形状；（ii）在该次试验中，该判断不正确。
      3. “不确定”时 <66.6% 的评分者在判断哪个实验组（盲人组、蒙眼组或有视力组）绘制了图示形状上达成一致。在统计分析中排除“无结论”的参与者识别结果。
    16. 在各次试验中（排除“不确定”的参与者识别结果），若某参与者在 ≥75% 的试验中被识别出，则计为“已识别”。

Bouba-Kiki 实验结果；视觉感知差异；蒙眼参与者与有视觉参与者之间的试验。
图2：用于评分绘图数据的问卷示例 请点击此处查看该图的放大版本。

结果

波巴/奇奇效应

在12名先天失明的参与者中，有6人（50%）；在12名被蒙住眼睛的参与者中，有9人（75%）；在12名视力完全正常的参与者中，有10人（约83%）表现出即时的触觉/视觉-听觉“bouba/kiki”效应：也就是说，蒙眼组和有视觉组的表现均显著高于随机水平（50%）：χ2(1, N = 12) = 3.00, p = 0.08 和 χ2(1, N = 12) = 5.33, p = 0.02（实验1，试验1）17。通过Fisher精确检验，在三个实验组之间未发现显著差异（实验1，前测）17。（参见表1。）

关于长期的触觉/视听觉“bouba/kiki效应”：在第一次重复的组内测量中，12名先天盲人参与者中有9名表现出bouba/kiki效应，12名视力正常者中有9名表现出该效应，12名蒙眼者中有7名表现出该效应；盲人组与视力正常组的表现均显著高于偶然水平（50%）：χ2(1, N = 12) = 3.00, p = 0.08 和 χ2(1, N = 12) = 3.00, p = 0.08（实验1，试验4）17。在第二次重复的组内测量中，盲人组和视力正常组各有11名参与者表现出触觉/视听觉bouba/kiki效应；两个实验组的表现再次显著高于偶然水平（50%）：χ2(1, N = 12) = 8.33, p = 0.00 和 χ2(1, N = 12) = 8.33, p = 0.00；蒙眼组中有7名参与者表现出该效应（实验1，试验5）17。最后，在第三次重复的组内测量及后测中，12名先天盲人参与者中有9名（75%），12名蒙眼者中有6名（50%），以及12名视力正常者全部（100%）表现出触觉/视听觉bouba/kiki效应；盲人组和视力正常组的表现再次显著高于偶然水平（50%）：χ2(1, N = 12) = 3.00, p = 0.08 和 χ2(1, N = 12) = 12.00, p = 0.00（实验1，试验8）17。Fisher精确检验发现蒙眼组与视力正常组之间存在显著差异 [p = 0.01（实验1，后测）]17。（参见表1。）

参与者组别即时bouba/kiki效应长期bouba/kiki效应
前测重复测量1重复测量2重复测量3/后测
盲人50.0%75.0%91.7%75.0%
蒙眼75.0%58.3%58.3%50.0%
正常视力83.3%75.0%91.7%100.0%

表1：bouba/kiki效应的即时与长期表现

对“bouba”和“kiki”形状的识别

12名先天失明的参与者中有11名（约92%），12名被蒙住眼睛的参与者中有9名（75%），以及全部12名视力正常的参与者（100%）均立即识别出了匹配的触觉/视觉与听觉的“bouba/kiki”；这三个实验组的表现均显著高于随机水平（50%）：χ2(1, N = 12) = 8.33, p = 0.00，χ2(1, N = 12) = 3.00, p = 0.08，和χ2(1, N = 12) = 12.00, p = 0.00（实验2，试验1）17。（参见表2。）

长期来看，在蒙眼组中，有11名参与者能够识别触觉的“bouba/kiki”形状，并与一致的声音配对，10名参与者能够与不一致的声音配对：两种一致性条件下的识别率均显著高于偶然水平（50%）：χ2(1, N = 12) = 8.33，p = 0.00 和 χ2(1, N = 12) = 5.33，p = 0.02（实验2，试验1-8）17。在眼罩组中，有9名参与者能够识别触觉形状并与其一致的声音配对，8名参与者能与不一致的声音配对；换言之，一致的形状与声音识别率显著高于偶然水平（50%）：χ2(1, N = 12) = 3.00，p = 0.08（实验2，试验1-8）17。在视觉组中，所有12名参与者均能识别视觉呈现的“bouba/kiki”形状并与其一致的声音配对，6名参与者能与不一致的声音配对：一致的形状与声音识别率显著高于偶然水平（50%）：χ2(1, N = 12) = 12.00，p = 0.00（实验2，试验1-8）17。（参见表2。）

参与者组别对bouba/kiki形状的即时识别对bouba和kiki形状的长期识别
形状与声音匹配形状与声音匹配形状与声音不匹配
盲人91.7%91.7%83.3%
蒙眼75.0%75.0%66.7%
有视力100.0%100%50.0%

表2：对“bouba”和“kiki”形状的即时与长期识别

“bouba”和“kiki”的心理意象

在12名先天失明的参与者中，有8名[约73%（剔除1名“结果不明确”参与者的绘图后）]、在12名被蒙住眼睛的参与者中，有8名[约89%（剔除3名“结果不明确”参与者的绘图后）]，以及在12名视力完全正常的参与者中，有8名[80%（剔除2名“结果不明确”参与者的绘图后）]立即绘制出了心理图像：一种与所呈现的听觉“bouba/kiki”相对应的触觉/视觉形状（实验3，试验1）17。蒙眼组和有视觉组的表现均显著高于偶然水平（50%）：χ2(1, N = 9) = 5.44，p = 0.02，以及χ2(1, N = 10) = 3.60，p = 0.06（实验3，试验1）17。（参见表3。）

关于bouba和kiki的长期心理表征：在盲组中有11名参与者，在蒙眼组中有8名参与者，在有视觉组中有12名参与者，他们绘制出的触觉/视觉bouba/kiki形状与所呈现的听觉bouba/kiki相对应（实验3，试次1-4）17。盲组和有视觉组的表现均显著高于随机水平（50%）：χ2(1, N = 12) = 8.33，p = 0.00，以及χ2(1, N = 12) = 12.00，p = 0.00（实验3，试次1-4）17。Fisher精确检验发现蒙眼组与有视觉组之间存在显著差异[p = 0.09（实验3，试次1-4）]17。（参见表3。）

参与者组别对bouba/kiki的即时心理图像对bouba和kiki的长期心理图像
盲人72.7%91.7%
蒙眼88.9%66.7%
有视力80.0%100.0%

表3：bouba与kiki的即时和长期心理意象

此外，约83%的参与者绘制的图形包含了全球“bouba”和“kiki”形状最典型的形态特征：曲线和尖角（实验3，试验1-4）17。参与者的绘图在曲线/尖角的数量上有所不同（例如，“kiki”一词对应的图形中分别有一个和五个尖角：参见图2，试验1、6和9），曲线/尖角的方向也各不相同［即水平、垂直或对角线方向：参见图2，试验2、5和8（bouba发音）］，但通常并未包含完整的全球bouba/kiki形状［实验3，试验1-4（参见图1；图2）］17。最后，在评分结果中，实验组被识别出的比例约为43%：蒙眼组有五名参与者，眼罩组三人，视觉组五人；没有任何一个实验组的识别率显著高于随机水平［33.3%（实验3，试验1-4）］17。

视觉表象与学习的效果

本方案成功探究了视觉意象在“bouba/kiki效应”中的作用，训练识别触觉/视听觉bouba与kiki规律是否影响bouba/kiki效应以及个体触觉/视觉bouba和kiki形状的识别，以及这些形状-声音规律最终产生了何种心理表征17。通过纳入一个无视觉经验的实验组（即盲人组）和两个具有视觉经验的实验组（即蒙眼组和有视力组），可以检验视觉意象的作用；而通过纳入一个无视觉经验但具有丰富触觉经验的实验组（即盲人组）和一个具有丰富视觉经验但无触觉经验的实验组（即蒙眼组），可以检验训练识别触觉-听觉规律的效果。结果明确表明，蒙眼组在解决新的触觉-听觉问题时会依赖视觉意象，但这种效应不具有长期性（实验1–3）；训练识别bouba/kiki形状-声音规律影响了触觉/视听觉bouba/kiki效应（实验1）以及个体触觉/视觉bouba和kiki形状的识别[即与一致的声音共同呈现时（实验2）]，但在各实验组中表现不同（实验1-2）；所有实验组均形成了bouba（曲线）和kiki[（角）实验3]最具特征性的触觉/视听觉形状特征的心理图像。参见表1；表2；表317。此外，通过在组内重复测量即时效应和长期效应（实验1-3），可以检验视觉意象及学习形状-声音规律效应实际发生的时间；通过设置三种不同任务（即实验1中的触觉/视听觉bouba/kiki效应，实验2中结合一致与不一致声音识别个体触觉/视觉bouba/kiki形状，以及实验3中绘制bouba/kiki声音的心理图像），可以检验这些效应的稳健性。结果明确表明，视觉意象的效应在各任务中长期来看并不稳健，尤其是在使用触压觉时[参见蒙眼组（实验1-3）]；而学习形状-声音规律的效应则具有任务内的稳健性，但不能跨任务迁移[参见盲人组和有视力组（实验1-3）。参见表1；表2；表3]17

讨论

本方案适用于研究视觉表象以及形状-声音规律学习的效果、发生时机及其稳健性，适用于特定个体及个体群体。 

该方案不仅适用于测试准确性，也适用于测试探索时间：即从实验者将其左手从参与者握紧的拳头（盲人组和蒙眼组）或纸板/泡沫板（视觉组）上移开，到参与者说出“是”为止的时间段。在统计分析中，每个实验组每次试验的最长探索时间将被分为四等份，并统计各实验组中“快速”、“中等”和“慢速”参与者的数量：“快速”指使用 ≤25% 的探索时间，“中等”指使用 26–75% 的时间，“慢速”指使用 ≥75% 的时间。在多次试验中，参与者的分类方式与实验2相同：即在所有试验中，若被归类为“快速”的次数 ≥66.6%，则整体归为“快速”；若被归类为“中等”的次数 ≥66.6%，则整体归为“中等”，依此类推。（对于“无定论”情况，即无法归类为“快速”、“中等”或“慢速”的参与者，参见实验3。）可根据样本量和/或正确与错误回答的数量，分别对正确答案和错误答案的探索时间进行测试。无论测试准确性、探索时间，还是两者同时测试，都有一些关键的实验步骤必须遵循：三个实验应对所有参与者按固定顺序进行，且各实验内的试验也应按固定顺序呈现。不应让参与者意识到这三个实验所使用的测试材料均包含“bouba”和“kiki”。此外，MP3播放器中的听觉信息应仅播放一次，不得口头重复给参与者（适用于所有三个实验）。在实验1和实验2中，触觉/视觉的bouba和kiki应以相同的位置和方向呈现。对于视觉组（在所有三个实验中），测试材料应放置在纸板/泡沫板后方。最后，在蒙眼组中，参与者应在完成实验3之前不得摘下眼罩。这些步骤旨在确保在所有实验组之间，关于触觉/视觉及听觉bouba和kiki的信息量和信息类型均得到严格控制。此外，在实验2中，当参与者开始探索触觉/视觉bouba/kiki时，应立即呈现听觉bouba/kiki，以确保多模态（一致或不一致）信息的同步呈现。此外，该方案也适用于测试其他人群。为纳入这些群体，可将其作为独立的实验组加入：例如，颜色感知组和形状感知组；22 突发性视力丧失组和渐进性视力丧失组；20,21 和/或具有听力障碍和/或自闭症谱系障碍的特定人群13也可被纳入。 

通过本方案，可以针对特定群体在各个即时和长期效应（包括每个重复的组内测量指标和/或任务）上建立群体常模（准确性或/和探索时间）；随后将个体表现与该群体常模进行比较，以判断特定个体或整个群体是否需要进一步训练以识别形状-声音之间的规律性。针对每个即时和长期效应（包括每个重复的组内测量指标和/或任务）建立的群体常模，还有助于确定所需训练的具体类型：例如，增加触觉/视觉-听觉“bouba/kiki”效应的试验次数（实验1），和/或增加触觉/视觉形状与声音匹配与不匹配条件下的试验次数（实验2）。实际上，还可以在每项任务中增加试验次数以及重复的组内测量次数，同时调整测量之间的时间间隔，从而实现更个性化的训练与测试。 

然而，如果需要测试何种类型的材料（例如，bouba 或 kiki、实心或轮廓触觉/视觉形状，和/或听觉声音或词语）最有利于形状-声音规律的学习，则该方案需要进行修改。一种可能的修改方式是将不同材料以组块形式呈现：例如，实心触觉/视觉形状与听觉声音，以及轮廓触觉/视觉形状与听觉词语（实验1）。这些组块可以以随机顺序呈现给同一实验组的所有参与者；或者 alternatively，将四个组块分别分配给不同的实验组（实验1）。如果要进一步检验视觉表征和/或习得的形状-声音规律在任务内和跨任务中的稳健性，则该方案也需要修改。修改方式可包括在组内增加重复测量，使用不同于训练阶段的触觉/视觉形状和/或音频材料；例如，在经过触觉/视觉bouba和kiki形状及听觉词语训练后，使用“maa-boo-maa”和“tuh-kee-tee”的听觉声音进行测试（实验1）1,3,4,10,11,12,13,14,15,16。另一种选择是在实验1中引入第三个既非主要弯曲也非主要尖锐的触觉/视觉形状，与bouba和kiki形状一同呈现10,11,12,13,14,15,16。可为该触觉/视觉形状创建一个听觉无意义词语和一个声音，以形成第三个形状-词语配对14,15,16，以及第三个形状-声音配对17（实验1）。该形状-声音配对随后可在实验2中作为捕获试次使用；或 alternatively 作为常规一致试次，并设置相应的不一致试次。最后，在实验3中可呈现来自实验2和实验1的声音和/或来自实验1的无意义词语。第三种选择是完全不单独进行实验2和实验3，而是将它们作为实验1中组内重复测量的一部分任务，以随机顺序纳入其中。

本方案的独特之处在于，它能够在训练和测试过程中同时控制视觉图像和感觉信息。该方案具有灵活性：可对大样本和小样本以及特定个体进行自身对照测试（参见组内测试）和/或与其他个体组进行比较测试（参见组间测试）。可以在每次实验中测试准确性和探索时间，调整试验次数以及组内重复测量的次数和间隔时间，并可更改甚至合并试验和/或实验的顺序。

披露

作者无任何利益冲突需要披露。

致谢

资助方：
本工作由欧盟“地平线2020”研究与创新计划下的玛丽·斯克沃多夫斯卡-居里行动计划（资助协议编号 657440）以及挪威盲人和弱视者协会资助。 

影视化妆：
化妆师 Rachael Parrey。

材料

本文使用的材料清单
姓名公司目录编号评论
实心的 Bouba/kiki30 mm 水平，23 mm 垂直，0.5 mm 垂直厚度，0.5 mm 线高，0.5 mm 凸起高度
轮廓线的 Bouba/kiki30 mm 水平，23 mm 垂直，0.5 mm 垂直厚度，0.5 mm 线高，0.5 mm 凸起高度
Bouba/kiki 声音（正弦波）
Bouba/kiki 词语（人声）
覆盖 Bouba/kiki 的纸板/泡沫板（白色）Ryman230461860297 mm 水平 × 210 mm 垂直
复印纸［白色（80 g/m²）］Ryman250030000210 mm 水平 × 148 mm 垂直
Bouba/kiki 图片卡用泡沫板［白色（5 mm 厚）］Ryman23046186050 mm 水平 × 50 mm 垂直
MP3 播放器（安装了 iOS 版 VLC 应用的智能手机）Carphone Warehouse
塑料压凸薄膜RNIB ShopZM04210 mm 水平 × 148 mm 垂直
滚珠笔［黑色（1.0 mm 笔尖）］Ryman827134001
橡胶垫RNIB ShopLC177230 mm 水平 × 150 mm 垂直
马鞍式装订RNIB ShopB511
热敏发泡纸Zychem LtdZytex2 paper50 mm 水平 × 50 mm 垂直

参考文献

  1. Ramachandran, V. S., Hubbard, E. M. Synaesthesia - A Window Into Perception, Thought and Language. Journal of Consciousness Studies. 8 (12), 3-34 (2001).
  2. Bremner, A. J., Caparos, S., Davidoff, J., de Fockert, J., Linnell, K. J., Spence, C. Bouba’’and ‘‘Kiki’’ in Namibia? A remote culture make similar sound-shape matches, but different taste-shape matches to Westerners. Cognition. 126 (2), 165-172 (2013).
  3. Davis, R. The fitness of names to drawings. A cross-cultural study in Tanganyika. British Journal of Psychology. 52 (3), 259-268 (1961).
  4. Maurer, D., Pathman, T., Mondloch, C. J. The shape of boubas: sound-shape correspondences in toddlers and adults. Developmental Science. 9 (3), 316-322 (2006).
  5. Ozturk, O., Krehm, M., Vouloumanos, A. Sound-symbolism in infancy: Evidence for sound-Shape cross-modal correspondences in 4-months-olds. Journal of Experimental Child Psychology. 114 (2), 173-186 (2013).
  6. Bar, M., Neta, M. Humans Prefer Curved Visual Objects. Psychological Science. 17 (8), 645-648 (2006).
  7. Bertamini, M., Palumbo, L., Gheorghes, T. N., Galatsidas, M. Do observers like curvature or do they dislike angularity? British Journal of Psychology. 107 (1), 154-178 (2016).
  8. Quinn, P. C., Brown, C. R., Streppa, M. L. Perceptual Organization of Complex Visual Configurations by Young Infants. Infant Behavior and Development. 20 (1), 35-46 (1997).
  9. Silvia, P. J., Barona, C. M. Do people prefer curved objects? Angularity, expertise, and aesthetic preference. Empirical Studies of the Arts. 27 (1), 25-42 (2009).
  10. Nielsen, A., Rendall, D. The Sound of Round: Evaluating the Sound-Symbolic Role of Consonants in the Classic Takete-Maluma Phenomenon. Canadian Journal of Experimental Psychology. 65 (2), 115-124 (2011).
  11. D’Onofrio, A. Phonetic Detail and Dimensionality in Sound-shape Correspondences: Refining the Bouba-Kiki Paradigm. Language and Speech. 57 (3), 367-393 (2014).
  12. Westbury, C., Hollis, G., Sidhu, D. M., Pexman, P. M. Weighing up the evidence for sound symbolism: Distributional properties predict cue strength. Journal of Memory and Language. 99, 122-150 (2018).
  13. Oberman, L. M., Ramachandran, V. S. Preliminary evidence for deficits in multisensory integration in autism spectrum disorders: The mirror neuron hypothesis. Social Neuroscience. 3 (3-4), 348-355 (2008).
  14. Köhler, W. Gestalt psychology. , Liveright. New York, NY. (1929).
  15. Monaghan, P., Mattock, K., Walker, P. The Role of Sound Symbolism in Language Learning. Journal of Experimental Psychology: Learning, Memory, and Cognition. 38 (5), 1152-1164 (2012).
  16. Fort, M., Martin, A., Peperkamp, S. Consonants are More Important than Vowels in the Bouba-kiki Effect. Language and Speech. 58 (2), 247-266 (2015).
  17. Graven, T., Desebrock, C. Bouba or kiki with and without vision: Shape-audio regularities and mental images. Acta Psychologica. 188, 200-212 (2018).
  18. Fryer, L., Freeman, J., Pring, L. Touching words is not enough: How visual experience influences haptic-auditory associations in the “Bouba-Kiki” effect. Cognition. 132 (2), 164-173 (2014).
  19. Fontana, F. Association of Haptic Trajectories to Takete and Maluma. Lecture Notes in Computer Science. 7989, 60-68 (2013).
  20. Graven, T. How blind individuals discriminate braille characters: An identification and comparison of three discrimination strategies. British Journal of Visual Impairment. 33 (2), 80-95 (2015).
  21. Graven, T. How attention is allocated when using haptic touch: Shape feature distinction and discrimination strategy. EuroHaptics 2016, Part 1. Bello, F., Kajimoto, H., Visell, Y. , Springer International Publishing AG. Switzerland, Heidelberg. Part of the Lecture Notes in Computer Science book series (LNCS, volume 9774) 380-393 (2016).
  22. WHO. ICD-10 version: 2016 (International Statistical Classification of Diseases and Related Health Problems 10th revision). Chapter VII Diseases of the eye and adnexa (H00-H59). , Available from: http://apps.who.int/classifications/icd10/browse/2016/en#/H53-H54 (2019).
  23. Heller, M. A., Calcaterra, J. A., Burson, L. L., Tyler, L. A. Tactual picture identification by blind and sighted people: Effects of providing categorical information. Perception & Psychophysics. 58 (2), 310-323 (1996).
  24. Heller, M. A., Gentaz, E. Psychology of Touch and Blindness. , Psychology Press. New York, NY and Hove, East Sussex. (2014).
  25. Pathak, K., Pring, L. Tactual picture recognition in congenitally blind and sighted children. Applied Cognitive Psychology. 3 (4), 337-350 (1989).

重印与许可

标签

探究视觉意象与学习形状-声音规律对“布巴”和“基基”效应的影响
联系我们
向图书馆推荐

隐私

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。