Name: 视觉影像与学习形状-音频规律对布巴和基基的影响 (视频) | JoVE Journal
Uploaded: 2019-09-13T14:30:00.000+00:00
Duration: 7 min 31 s
Description: 探索视觉意象在布巴/基基效应中的作用，通过触觉与听觉任务训练参与者识别形状-音频规律。该神经科学方法揭示感官经验如何影响认知加工与心理表象形成。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

资助方： 
本工作由欧盟“地平线2020”研究与创新计划下的玛丽·斯克沃多夫斯卡-居里行动计划（资助协议编号 657440）以及挪威盲人和弱视者协会资助。&#160; 
 
影视化妆： 
化妆师 Rachael Parrey。

牛津大学医学科学部际研究伦理委员会（IDREC）已批准本方案（编号：MS-IDREC-C1-2015-200、R46287/RE002 和 R42687/RE004）。
1. 设计与条件
<ol>
	<li>对所有参与者按以下固定顺序依次进行三项实验：实验1、实验2和实验3，中间不设休息间隔。确保参与实验2的所有参与者均已参加实验1，且参与实验3的所有参与者也均已参加实验2（以及实验1）。</li>
	<li>进行实验1——采用前测-后测设计，包含三个实验组：盲人组、蒙眼组和有视力组；以及三次组内重复测量。向所有参与者以固定顺序呈现试验。（总试验次数：8次）
	<ol>
		<li>进行前测（试验1），以检验即时的触觉/视觉-听觉“bouba/kiki”效应。</li>
		<li>进行第一次组内重复测量（试验4），以检验重复呈现的触觉/视觉形状（实心或轮廓）与变化的音频（词语和非词语声音）的影响。</li>
		<li>进行第二次组内测量（试验5），以检验新呈现的触觉/视觉形状（轮廓或实心）与变化的音频（词语和非词语声音）的影响。</li>
		<li>进行第三次组内测量及后测（试验8），以检验变化的触觉/视觉形状（实心和轮廓）与变化的音频（词语和非词语声音）的影响。</li>
		<li>随机分配在试验1-4中向参与者呈现的触觉/视觉bouba/kiki形状类型（实心或轮廓），并在试验4-8中呈现另一种类型。随后，随机分配在试验1中呈现的听觉词语（bouba或kiki），以及在试验2-8中每次试验所呈现的听觉bouba/kiki刺激（bouba或kiki，词语或非词语声音）。 
		注意：确保总体上有四次bouba试验和四次kiki试验；四次实心和四次轮廓触觉/视觉形状试验；四次听觉词语和四次听觉非词语声音试验。</li>
	</ol>
	</li>
	<li>进行实验2——采用被试内设计，包含三个实验组：盲人组、蒙眼组和有视力组；以及两次组内测量。向所有参与者以固定顺序呈现试验。（总试验次数：8次）
	<ol>
		<li>检验对一致匹配（bouba/kiki + bouba/kiki）形状-声音刺激的即时识别能力（试验1）。</li>
		<li>检验对（a）一致匹配（bouba/kiki + bouba/kiki）和（b）不一致匹配（bouba/kiki + kiki/bouba）形状-声音刺激的识别能力［每种一致性类型各四次试验（试验1-8）］。</li>
		<li>随机分配在试验1-8中呈现的触觉/视觉bouba/kiki形状类型（实心或轮廓）。然后，随机分配在试验1中呈现的一致匹配触觉/视觉形状与听觉非词语声音组合（bouba + bouba 或 kiki + kiki），最后随机分配在试验2-8中每次试验所呈现的一致性类型（一致或不一致的触觉/视觉bouba/kiki形状 + 听觉bouba/kiki非词语声音）。 
		注意：确保总体上有四次触觉/视觉bouba试验和四次触觉/视觉kiki试验；四次实心和四次轮廓触觉/视觉试验；四次一致和四次不一致（形状 + 非词语声音）试验。（本实验不包含听觉bouba/kiki词语。）</li>
	</ol>
	</li>
	<li>进行实验3——仅后测设计，包含三个实验组：盲人组、蒙眼组和有视力组。向所有参与者以固定顺序呈现试验（总试验次数：4次）。
	<ol>
		<li>通过四次独立试验，检验形状-声音规律训练（即实验1和实验2）所产生的心理表征：bouba词语、bouba非词语声音、kiki词语、kiki非词语声音。</li>
		<li>随机分配在试验1-4中每次试验所呈现的听觉bouba/kiki刺激（bouba或kiki，词语或非词语声音）。 
		​注意：确保总体上各有一次听觉bouba词语试验、一次听觉bouba非词语声音试验、一次听觉kiki词语试验和一次听觉kiki非词语声音试验。</li>
	</ol>
	</li>
</ol>
2. 参与者
<ol>
	<li>招募一组先天性失明的参与者，即出生后不到四个月就失明的个体20,21,22：包括第5类：完全失明；以及第4类：光感（能够感知光源）和光定位（能够感知光源的位置）22。确保所有参与者均能阅读盲文。</li>
	<li>招募一组视力完全正常的参与者，其人数为先天性失明组人数的两倍。确保所有参与者视力正常或矫正后视力正常。 
	注意：确保所有参与者年龄在18至70岁之间，听力正常或矫正后正常，无认知发育迟缓或认知障碍，无任何身体残疾，并且均未接触过“bouba/kiki效应”。</li>
	<li>将视力正常组的参与者随机分配至一半进入眼罩组，另一半进入视觉组。 
	注意：对参与者、触觉/视觉呈现的bouba/kiki形状类型、听觉bouba/kiki刺激类型以及一致性条件均随机分配至以下两类之一：眼罩或视觉；实心或轮廓；词语或非词声音；bouba或kiki；一致或不一致。因此，随机分配可通过计算机程序或人工方式（例如抛硬币）完成。</li>
</ol>
3. 材料
<ol>
	<li>制备触觉/视觉材料
	<ol>
		<li>将视觉化的bouba/kiki图形（30 × 23 mm）转移到发泡纸上，可通过个人电脑打印或从图片复印实现。确保转移两种类型的视觉bouba/kiki图形：一种为实心填充，另一种为轮廓线（1.5 pt线宽）。参见图1。</li>
		<li>将发泡纸通过热定影仪处理。确保生成的触觉bouba/kiki图形凸起高度约为0.5 mm。或者，可向为视障人士提供服务的转录机构订购触觉/视觉bouba/kiki图形（附PDF文件）。</li>
		<li>使用喷雾胶将发泡纸粘贴至泡沫板上［白色，5 mm厚］。</li>
		<li>将发泡纸和泡沫板裁剪成50 × 50 mm大小，制成四张独立的触觉/视觉图片卡：实心bouba、轮廓bouba、实心kiki和轮廓kiki（参见图1）。使用壁纸刀进行裁剪。</li>
		<li>将纸板/泡沫板裁剪成297 × 210 mm大小，用于覆盖触觉/视觉bouba/kiki图形。使用壁纸刀裁剪。或者，可直接订购A4尺寸材料。</li>
		<li>将复印纸/塑料压纹膜裁剪成210 × 148 mm大小。使用切纸机裁剪。或者，可直接订购A5尺寸材料。</li>
		<li>将橡胶垫裁剪成230 × 150 mm大小。使用刀具或剪刀裁剪。或者，可订购Moon手框并将其拆解以取出内部橡胶垫。</li>
	</ol>
	</li>
</ol>
<img alt="展示形状构型的静态平衡示意图；宏观平衡与对称性展示。" class="xfigimg" src="/files/ftp_upload/59954/59954fig1.jpg" data-altupdatedat="1788282455000" data-alt="图1"> 
图1：两种类型的bouba/kiki形状：实心与轮廓 <a href="https://www.jove.com/files/ftp_upload/59954/59954fig1large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<ol start="2">
	<li>制备听觉材料
	<ol>
		<li>录制“bouba”（参见音频 1）和“kiki”的发音。以 MP3 格式保存：分别为“bouba”和“kiki”各保存一个文件。</li>
		<li>通过模仿“bouba”和“kiki”这两个词的发音时长和频率（即音调旋律），创建“bouba”和“kiki”的非词声音。使用声波发生器和音高弯曲功能。以 MP3 格式保存：分别为“bouba”声音（参见音频 2）和“kiki”声音各保存一个文件。</li>
		<li>在智能手机上安装适用于 iOS 系统的 VLC 应用程序。将“bouba”和“kiki”的 MP3 文件传输至 VLC 应用中，并保存为四个独立文件：“bouba”声音、“bouba”词语、“kiki”声音和“kiki”词语。</li>
	</ol>
	</li>
</ol>
音频 1：Bouba 词汇 <a href="https://www.jove.com/files/ftp_upload/59954/Audio_1.mp3">请点击此处下载该文件。</a>
音频 2：Bouba 声音 <a href="https://www.jove.com/files/ftp_upload/59954/Audio_2.mp3">请点击此处下载该文件。</a>
4. 实验步骤与评分
<ol>
	<li>设置测试会话
	<ol>
		<li>在一间颜色中性且安静的房间内，对所有参与者逐一进行三项实验。要求蒙眼组的参与者在布置触觉/视觉-听觉材料前戴上眼罩，并确保他们在整个实验过程中及三项实验间始终佩戴眼罩。</li>
	</ol>
	</li>
	<li>准备触觉/视觉材料
	<ol>
		<li>将橡胶垫直接放置在受试者前方。然后，将（实验1）两个触觉/视觉的bouba和kiki形状、（实验2）一个触觉/视觉的bouba或kiki形状，以及（实验3）复印纸/塑料压纹膜依次放置在橡胶垫上。 
		注意：在实验1中，务必始终将“bouba”呈现在左侧，“kiki”呈现在右侧；在实验1和实验2中，均需始终保持其呈现方向一致（参见 图1：旨在提高参与者在不受橡胶垫上形状位置和/或方向干扰的情况下，形成bouba和kiki触觉图形心理表征的能力。切勿向参与者透露触觉/视觉bouba和kiki形状将以固定方式呈现。对于视觉组，始终将测试材料置于纸板/泡沫板后方，以防止参与者偷看即将呈现的内容。</li>
	</ol>
	</li>
	<li>设置听觉材料
	<ol>
		<li>将MP3播放器直接放在参与者正前方（橡胶垫的另一侧），扬声器朝向参与者最近的一侧。 
		注意：请勿口头重复MP3播放器中的听觉信息：以防止视觉组的参与者在“bouba/kiki”词汇试验中观察到口型动作1从而在所有实验组中控制感觉信息的类型和数量。</li>
	</ol>
	</li>
	<li>进行实验1、实验2和实验3
	<ol>
		<li>邀请将要探索并绘制触觉图形的参与者（即盲人组和蒙眼组）通过触摸来探索橡胶垫：例如，感知其尺寸和质地，但不要在橡胶垫上放置任何触觉/视觉图片卡和/或复印纸或塑料浮雕膜。</li>
	</ol>
	</li>
	<li>进行实验1
	<ol>
		<li>说明将在橡胶垫上呈现两张图片卡片，每张卡片上各有一种触觉/视觉形状的图像。然后说明将通过MP3播放器播放一段音频，该音频对应其中一种触觉/视觉形状。 
		注意：不要向参与者说明触觉/视觉的两种bouba/kiki类型（实心和轮廓）以及听觉的两种bouba/kiki类型（声音和词语）。</li>
		<li>将两张触觉/视觉图片卡片放在橡胶垫上（参见 图1).</li>
		<li>在盲组和蒙眼组中，要求参与者双手握拳，并将拳头放在呈现的触觉/视觉图片卡上，必要时给予指导。将左手放在参与者的拳头上方。</li>
		<li>要求参与者在拳头上方的遮挡物（盲组和蒙眼组）或纸板/泡沫板（视觉组）被移除后，通过触觉（盲组和蒙眼组）或视觉（视觉组）探索两个触觉/视觉形状，并在完成探索后说出“是”。</li>
		<li>将左手从受试者的拳头（盲组和蒙眼组）或纸板/泡沫板（有视觉组）上移开。</li>
		<li>一旦参与者回答“是”，立即盖住触觉/视觉图片卡片。</li>
		<li>播放MP3播放器中的音频。 
		注意：仅通过MP3播放器播放一次听觉信息，切勿口头重复向参与者复述。</li>
		<li>要求参与者指出他们将听到的音频与哪种触觉/视觉形状相关联，例如通过说出“左/右”、“弯曲/有棱角”或“花朵/星星”，并记录其给出的形状。不要对参与者的回答作出回应。</li>
		<li>判断参与者的回答是否正确。 
		注意：对全部八次试验重复步骤 4.5.2–4.5.9。</li>
	</ol>
	</li>
	<li>进行实验2
	<ol>
		<li>说明将有一张图片卡片（显示一个触觉/视觉形状）放置在橡胶垫上，同时MP3播放器将播放一段音频。然后解释，每张图片卡片仅播放一次音频，且在参与者开始探索该触觉/视觉形状时立即播放。 
		注意：不要向参与者透露触觉/视觉的两种bouba/kiki刺激类型（实心和轮廓）、听觉bouba/kiki的一种类型（声音）以及两种一致性类型（一致和不一致）。</li>
		<li>将触觉/视觉图片卡放在橡胶垫上。</li>
		<li>在盲组和蒙眼组中，要求参与者双手握拳，并将其拳头放在呈现的触觉/视觉图片卡上，必要时给予指导。将左手放在参与者的拳头上方。</li>
		<li>要求参与者在拳头（盲组和蒙眼组）/纸板或泡沫板（视觉组）被移开时，通过触觉（盲组和蒙眼组）或视觉（视觉组）感知触觉/视觉形状，并同时聆听音频。随后，要求他们将所感知的触觉/视觉形状和音频分别命名为“bouba”或“kiki”：每次仅允许使用一个名称23,24,25，当它们完成探索后。</li>
		<li>从参与者拳头（盲组和蒙眼组）或纸板/泡沫板（视觉组）上移开左手，并播放MP3播放器中的音频。 
		注意：仅通过MP3播放器播放一次听觉信息，切勿口头向参与者重复。</li>
		<li>一旦参与者说出触觉/视觉图形和声音的名称，立即盖住图片卡片并记录其给出的名称。不要对参与者的回答作出回应。</li>
		<li>判断参与者的回答是否正确。 
		注意：对全部八次试验重复步骤 4.6.2–4.6.7。</li>
		<li>在一致和不一致试验中，当参与者正确识别出≥75%的触觉/视觉bouba和kiki形状时，计为“正确”。</li>
	</ol>
	</li>
	<li>进行实验3：
	<ol>
		<li>说明将把一些复印纸/塑料压纹膜放在橡胶垫上，以替代触觉/视觉图片卡，参与者将被要求在上面进行绘画。对于盲人组和蒙眼组，邀请参与者试用不同的绘图工具，并自行选择偏好的组合：复印纸或塑料压纹膜，以及滚珠笔或马鞍形笔。接着说明，将通过MP3播放器播放一段音频，参与者需根据所听到的音频内容，绘制出与其联想到的触觉/视觉形状，每次播放一段音频时绘制一个形状。 
		注意：不要向参与者透露听觉信息（bouba 和 kiki），也不要告知存在两种类型的听觉 bouba/kiki（声音和词语）。</li>
		<li>将复印纸/塑料压纹膜放在橡胶垫上。</li>
		<li>在全部三个实验组（盲组；蒙眼组；视力组）中，要求参与者双手握紧滚珠笔/马鞍形笔，将拳头放在复印纸/塑料浮雕膜上方，必要时给予指导。将左手放在参与者的拳头上方。</li>
		<li>当参与者拳头上方的手移开时，请其绘制与所呈现音频相关联的图形。对于盲人组和蒙眼组，请参与者绘制触觉图形；对于视力正常组，请参与者绘制视觉图形。当参与者完成绘图后，请其说出“是”。</li>
		<li>将左手从参与者的拳头中移开。</li>
		<li>播放MP3播放器中的音频。 
		注意：仅通过MP3播放器播放一次听觉信息，切勿口头向参与者重复。</li>
		<li>一旦参与者回答“是”，立即将其触觉/视觉绘图从橡胶垫上取下，并在右下角标注正确的试验编号。不要对参与者的回答或所绘图形作出任何回应或评论。 
		注意：对全部四次试验重复步骤 4.7.2–4.7.7。</li>
		<li>每次测试结束后，立即将所有触觉/视觉绘图（1:1尺寸）扫描为jpg格式。 
		注意：在收集完所有绘图数据后，由一组评分人员对实验3进行评分。</li>
		<li>制作用于评分绘图数据的问卷（参见 图2):
		<ol>
			<li>将所有扫描的图纸缩小比例，使横向A4页面包含12张图片。</li>
			<li>随机分配“bouba/kiki”实验组、声音/词语实验组以及盲人/蒙眼/视力正常组。</li>
			<li>在每张图片的左上角添加试验编号。</li>
			<li>在每张图片下方添加“bouba”和“kiki”，以及“blind”、“blindfolded”和“sighted”。</li>
		</ol>
		</li>
		<li>招募一名评分员，年龄在18岁以上；听力和视力正常或矫正至正常；无认知迟缓或认知障碍，且无任何身体残疾；此前未参与过本研究，且表现出视觉形状-印刷词语“bouba/kiki”效应。</li>
		<li>要求评分者在问卷中针对每张图片回答两个选择题： 
		（1）图中所示的形状是“bouba”还是“kiki”？（2）该形状是由先天失明者、蒙眼者还是视力正常者绘制的？17.</li>
		<li>根据问卷中图片的数量，让评分者小组中的一半人员评阅问卷的一半内容，另一半人员评阅其余部分。</li>
		<li>每次试验中，统计“相符”、“不相符”和“不确定”的次数，即：
		<ol>
			<li>当同时满足以下两个条件时视为“匹配”：（i）≥75%的评分者对所呈现的触觉/视觉形状（bouba 或 kiki）达成一致；（ii）该形状与本试验中呈现的听觉刺激 bouba/kiki 相对应。</li>
			<li>当（i）≥75%的评分者对所呈现的触觉/视觉形状（bouba 或 kiki）达成一致，且（ii）该形状与本试验中呈现的听觉 bouba/kiki 不一致时，判定为“不对应”。</li>
			<li>“不确定”当 &lt;75% 的评分者对所呈现的触觉/视觉形状（bouba 或 kiki）达成一致。在统计分析中剔除“无定论”的图片/参与者绘制的图形。</li>
		</ol>
		</li>
		<li>在各次试验中，当参与者所绘制的心理图像中有≥75%的触觉/视觉形状与所呈现的听觉bouba/kiki相对应时，将其计为“对应”。</li>
		<li>每次试验中，统计“已识别”、“未识别”和“不确定”的数量，即：
		<ol>
			<li>当同时满足以下两个条件时视为“被识别”：（i）≥66.6%的评分者一致认为所绘制图形属于哪个实验组（盲法组、蒙眼组或视觉组）；（ii）该判断在本试验中是正确的。</li>
			<li>当同时满足以下两个条件时，判定为“未识别”：（i）≥66.6%的评分者一致认为某一实验组（盲法组、遮蔽组或视觉组）绘制了图中所示的形状；（ii）在该次试验中，该判断不正确。</li>
			<li>“不确定”时 &lt;66.6% 的评分者在判断哪个实验组（盲人组、蒙眼组或有视力组）绘制了图示形状上达成一致。在统计分析中排除“无结论”的参与者识别结果。</li>
		</ol>
		</li>
		<li>在各次试验中（排除“不确定”的参与者识别结果），若某参与者在 ≥75% 的试验中被识别出，则计为“已识别”。</li>
	</ol>
	</li>
</ol>
<img alt="Bouba-Kiki 实验结果；视觉感知差异；蒙眼参与者与有视觉参与者之间的试验。" class="xfigimg" src="/files/ftp_upload/59954/59954fig2v2.jpg" data-altupdatedat="1788282455000" data-alt="Figure 2"> 
图2：用于评分绘图数据的问卷示例 <a href="https://www.jove.com/files/ftp_upload/59954/59954fig2large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>

<ol><li>Ramachandran, V. S., Hubbard, E. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Synaesthesia+-+A+Window+Into+Perception%2C+Thought+and+Language%5BTitle%5D)+AND+%22Journal+of+Consciousness+Studies%22%5BJournal%5D)">Synaesthesia - A Window Into Perception, Thought and Language.</a> Journal of Consciousness Studies. 8 (12), 3-34 (2001).</li>
<li>Bremner, A. J., Caparos, S., Davidoff, J., de Fockert, J., Linnell, K. J., Spence, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bouba%E2%80%99%E2%80%99and+%E2%80%98%E2%80%98Kiki%E2%80%99%E2%80%99+in+Namibia%3F+A+remote+culture+make+similar+sound-shape+matches%2C+but+different+taste-shape+matches+to+Westerners%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Bouba’’and ‘‘Kiki’’ in Namibia? A remote culture make similar sound-shape matches, but different taste-shape matches to Westerners.</a> Cognition. 126 (2), 165-172 (2013).</li>
<li>Davis, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+fitness+of+names+to+drawings.+A+cross-cultural+study+in+Tanganyika%5BTitle%5D)+AND+%22British+Journal+of+Psychology%22%5BJournal%5D)">The fitness of names to drawings. A cross-cultural study in Tanganyika.</a> British Journal of Psychology. 52 (3), 259-268 (1961).</li>
<li>Maurer, D., Pathman, T., Mondloch, C. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+shape+of+boubas%3A+sound-shape+correspondences+in+toddlers+and+adults%5BTitle%5D)+AND+%22Developmental+Science%22%5BJournal%5D)">The shape of boubas: sound-shape correspondences in toddlers and adults.</a> Developmental Science. 9 (3), 316-322 (2006).</li>
<li>Ozturk, O., Krehm, M., Vouloumanos, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Sound-symbolism+in+infancy%3A+Evidence+for+sound-Shape+cross-modal+correspondences+in+4-months-olds%5BTitle%5D)+AND+%22Journal+of+Experimental+Child+Psychology%22%5BJournal%5D)">Sound-symbolism in infancy: Evidence for sound-Shape cross-modal correspondences in 4-months-olds.</a> Journal of Experimental Child Psychology. 114 (2), 173-186 (2013).</li>
<li>Bar, M., Neta, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Humans+Prefer+Curved+Visual+Objects%5BTitle%5D)+AND+%22Psychological+Science%22%5BJournal%5D)">Humans Prefer Curved Visual Objects.</a> Psychological Science. 17 (8), 645-648 (2006).</li>
<li>Bertamini, M., Palumbo, L., Gheorghes, T. N., Galatsidas, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Do+observers+like+curvature+or+do+they+dislike+angularity%3F%5BTitle%5D)+AND+%22British+Journal+of+Psychology%22%5BJournal%5D)">Do observers like curvature or do they dislike angularity?</a> British Journal of Psychology. 107 (1), 154-178 (2016).</li>
<li>Quinn, P. C., Brown, C. R., Streppa, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Perceptual+Organization+of+Complex+Visual+Configurations+by+Young+Infants%5BTitle%5D)+AND+%22Infant+Behavior+and+Development%22%5BJournal%5D)">Perceptual Organization of Complex Visual Configurations by Young Infants.</a> Infant Behavior and Development. 20 (1), 35-46 (1997).</li>
<li>Silvia, P. J., Barona, C. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Do+people+prefer+curved+objects%3F+Angularity%2C+expertise%2C+and+aesthetic+preference%5BTitle%5D)+AND+%22Empirical+Studies+of+the+Arts%22%5BJournal%5D)">Do people prefer curved objects? Angularity, expertise, and aesthetic preference.</a> Empirical Studies of the Arts. 27 (1), 25-42 (2009).</li>
<li>Nielsen, A., Rendall, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+Sound+of+Round%3A+Evaluating+the+Sound-Symbolic+Role+of+Consonants+in+the+Classic+Takete-Maluma+Phenomenon%5BTitle%5D)+AND+%22Canadian+Journal+of+Experimental+Psychology%22%5BJournal%5D)">The Sound of Round: Evaluating the Sound-Symbolic Role of Consonants in the Classic Takete-Maluma Phenomenon.</a> Canadian Journal of Experimental Psychology. 65 (2), 115-124 (2011).</li>
<li>D’Onofrio, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Phonetic+Detail+and+Dimensionality+in+Sound-shape+Correspondences%3A+Refining+the+Bouba-Kiki+Paradigm%5BTitle%5D)+AND+%22Language+and+Speech%22%5BJournal%5D)">Phonetic Detail and Dimensionality in Sound-shape Correspondences: Refining the Bouba-Kiki Paradigm.</a> Language and Speech. 57 (3), 367-393 (2014).</li>
<li>Westbury, C., Hollis, G., Sidhu, D. M., Pexman, P. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Weighing+up+the+evidence+for+sound+symbolism%3A+Distributional+properties+predict+cue+strength%5BTitle%5D)+AND+%22Journal+of+Memory+and+Language%22%5BJournal%5D)">Weighing up the evidence for sound symbolism: Distributional properties predict cue strength.</a> Journal of Memory and Language. 99, 122-150 (2018).</li>
<li>Oberman, L. M., Ramachandran, V. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Preliminary+evidence+for+deficits+in+multisensory+integration+in+autism+spectrum+disorders%3A+The+mirror+neuron+hypothesis%5BTitle%5D)+AND+%22Social+Neuroscience%22%5BJournal%5D)">Preliminary evidence for deficits in multisensory integration in autism spectrum disorders: The mirror neuron hypothesis.</a> Social Neuroscience. 3 (3-4), 348-355 (2008).</li>
<li>Köhler, W. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aK%C3%B6hler%2C+W+%22Gestalt+psychology%22">Gestalt psychology</a>. , Liveright. New York, NY. (1929).</li>
<li>Monaghan, P., Mattock, K., Walker, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+Role+of+Sound+Symbolism+in+Language+Learning%5BTitle%5D)+AND+%22Journal+of+Experimental+Psychology%3A+Learning%2C+Memory%2C+and+Cognition%22%5BJournal%5D)">The Role of Sound Symbolism in Language Learning.</a> Journal of Experimental Psychology: Learning, Memory, and Cognition. 38 (5), 1152-1164 (2012).</li>
<li>Fort, M., Martin, A., Peperkamp, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Consonants+are+More+Important+than+Vowels+in+the+Bouba-kiki+Effect%5BTitle%5D)+AND+%22Language+and+Speech%22%5BJournal%5D)">Consonants are More Important than Vowels in the Bouba-kiki Effect.</a> Language and Speech. 58 (2), 247-266 (2015).</li>
<li>Graven, T., Desebrock, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bouba+or+kiki+with+and+without+vision%3A+Shape-audio+regularities+and+mental+images%5BTitle%5D)+AND+%22Acta+Psychologica%22%5BJournal%5D)">Bouba or kiki with and without vision: Shape-audio regularities and mental images.</a> Acta Psychologica. 188, 200-212 (2018).</li>
<li>Fryer, L., Freeman, J., Pring, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Touching+words+is+not+enough%3A+How+visual+experience+influences+haptic-auditory+associations+in+the+%E2%80%9CBouba-Kiki%E2%80%9D+effect%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Touching words is not enough: How visual experience influences haptic-auditory associations in the “Bouba-Kiki” effect.</a> Cognition. 132 (2), 164-173 (2014).</li>
<li>Fontana, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Association+of+Haptic+Trajectories+to+Takete+and+Maluma%5BTitle%5D)+AND+%22Lecture+Notes+in+Computer+Science%22%5BJournal%5D)">Association of Haptic Trajectories to Takete and Maluma.</a> Lecture Notes in Computer Science. 7989, 60-68 (2013).</li>
<li>Graven, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((How+blind+individuals+discriminate+braille+characters%3A+An+identification+and+comparison+of+three+discrimination+strategies%5BTitle%5D)+AND+%22British+Journal+of+Visual+Impairment%22%5BJournal%5D)">How blind individuals discriminate braille characters: An identification and comparison of three discrimination strategies.</a> British Journal of Visual Impairment. 33 (2), 80-95 (2015).</li>
<li>Graven, T. How attention is allocated when using haptic touch: Shape feature distinction and discrimination strategy. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGraven%2C+T+%22EuroHaptics+2016%2C+Part+1%22">EuroHaptics 2016, Part 1</a>. Bello, F., Kajimoto, H., Visell, Y. , Springer International Publishing AG. Switzerland, Heidelberg. Part of the Lecture Notes in Computer Science book series (LNCS, volume 9774) 380-393 (2016).</li>
<li>WHO. ICD-10 version: 2016 (International Statistical Classification of Diseases and Related Health Problems 10th revision). Chapter VII Diseases of the eye and adnexa (H00-H59). , Available from:
 <a target="_blank" href="http://apps.who.int/classifications/icd10/browse/2016/en#/H53-H54">http://apps.who.int/classifications/icd10/browse/2016/en#/H53-H54</a> (2019).</li>
<li>Heller, M. A., Calcaterra, J. A., Burson, L. L., Tyler, L. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tactual+picture+identification+by+blind+and+sighted+people%3A+Effects+of+providing+categorical+information%5BTitle%5D)+AND+%22Perception+%26+Psychophysics%22%5BJournal%5D)">Tactual picture identification by blind and sighted people: Effects of providing categorical information.</a> Perception & Psychophysics. 58 (2), 310-323 (1996).</li>
<li>Heller, M. A., Gentaz, E. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aHeller%2C+MA+%22Psychology+of+Touch+and+Blindness%22">Psychology of Touch and Blindness</a>. , Psychology Press. New York, NY and Hove, East Sussex. (2014).</li>
<li>Pathak, K., Pring, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Tactual+picture+recognition+in+congenitally+blind+and+sighted+children%5BTitle%5D)+AND+%22Applied+Cognitive+Psychology%22%5BJournal%5D)">Tactual picture recognition in congenitally blind and sighted children.</a> Applied Cognitive Psychology. 3 (4), 337-350 (1989).</li>
</ol>

作者无任何利益冲突需要披露。

本方案适用于研究视觉表象以及形状-声音规律学习的效果、发生时机及其稳健性，适用于特定个体及个体群体。&#160;
该方案不仅适用于测试准确性，也适用于测试探索时间：即从实验者将其左手从参与者握紧的拳头（盲人组和蒙眼组）或纸板/泡沫板（视觉组）上移开，到参与者说出“是”为止的时间段。在统计分析中，每个实验组每次试验的最长探索时间将被分为四等份，并统计各实验组中“快速”、“中等”和“慢速”参与者的数量：“快速”指使用 ≤25% 的探索时间，“中等”指使用 26–75% 的时间，“慢速”指使用 ≥75% 的时间。在多次试验中，参与者的分类方式与实验2相同：即在所有试验中，若被归类为“快速”的次数 ≥66.6%，则整体归为“快速”；若被归类为“中等”的次数 ≥66.6%，则整体归为“中等”，依此类推。（对于“无定论”情况，即无法归类为“快速”、“中等”或“慢速”的参与者，参见实验3。）可根据样本量和/或正确与错误回答的数量，分别对正确答案和错误答案的探索时间进行测试。无论测试准确性、探索时间，还是两者同时测试，都有一些关键的实验步骤必须遵循：三个实验应对所有参与者按固定顺序进行，且各实验内的试验也应按固定顺序呈现。不应让参与者意识到这三个实验所使用的测试材料均包含“bouba”和“kiki”。此外，MP3播放器中的听觉信息应仅播放一次，不得口头重复给参与者（适用于所有三个实验）。在实验1和实验2中，触觉/视觉的bouba和kiki应以相同的位置和方向呈现。对于视觉组（在所有三个实验中），测试材料应放置在纸板/泡沫板后方。最后，在蒙眼组中，参与者应在完成实验3之前不得摘下眼罩。这些步骤旨在确保在所有实验组之间，关于触觉/视觉及听觉bouba和kiki的信息量和信息类型均得到严格控制。此外，在实验2中，当参与者开始探索触觉/视觉bouba/kiki时，应立即呈现听觉bouba/kiki，以确保多模态（一致或不一致）信息的同步呈现。此外，该方案也适用于测试其他人群。为纳入这些群体，可将其作为独立的实验组加入：例如，颜色感知组和形状感知组；22 突发性视力丧失组和渐进性视力丧失组；20,21 和/或具有听力障碍和/或自闭症谱系障碍的特定人群13也可被纳入。&#160;
通过本方案，可以针对特定群体在各个即时和长期效应（包括每个重复的组内测量指标和/或任务）上建立群体常模（准确性或/和探索时间）；随后将个体表现与该群体常模进行比较，以判断特定个体或整个群体是否需要进一步训练以识别形状-声音之间的规律性。针对每个即时和长期效应（包括每个重复的组内测量指标和/或任务）建立的群体常模，还有助于确定所需训练的具体类型：例如，增加触觉/视觉-听觉“bouba/kiki”效应的试验次数（实验1），和/或增加触觉/视觉形状与声音匹配与不匹配条件下的试验次数（实验2）。实际上，还可以在每项任务中增加试验次数以及重复的组内测量次数，同时调整测量之间的时间间隔，从而实现更个性化的训练与测试。&#160;
然而，如果需要测试何种类型的材料（例如，bouba 或 kiki、实心或轮廓触觉/视觉形状，和/或听觉声音或词语）最有利于形状-声音规律的学习，则该方案需要进行修改。一种可能的修改方式是将不同材料以组块形式呈现：例如，实心触觉/视觉形状与听觉声音，以及轮廓触觉/视觉形状与听觉词语（实验1）。这些组块可以以随机顺序呈现给同一实验组的所有参与者；或者 alternatively，将四个组块分别分配给不同的实验组（实验1）。如果要进一步检验视觉表征和/或习得的形状-声音规律在任务内和跨任务中的稳健性，则该方案也需要修改。修改方式可包括在组内增加重复测量，使用不同于训练阶段的触觉/视觉形状和/或音频材料；例如，在经过触觉/视觉bouba和kiki形状及听觉词语训练后，使用“maa-boo-maa”和“tuh-kee-tee”的听觉声音进行测试（实验1）1,3,4,10,11,12,13,14,15,16。另一种选择是在实验1中引入第三个既非主要弯曲也非主要尖锐的触觉/视觉形状，与bouba和kiki形状一同呈现10,11,12,13,14,15,16。可为该触觉/视觉形状创建一个听觉无意义词语和一个声音，以形成第三个形状-词语配对14,15,16，以及第三个形状-声音配对17（实验1）。该形状-声音配对随后可在实验2中作为捕获试次使用；或 alternatively 作为常规一致试次，并设置相应的不一致试次。最后，在实验3中可呈现来自实验2和实验1的声音和/或来自实验1的无意义词语。第三种选择是完全不单独进行实验2和实验3，而是将它们作为实验1中组内重复测量的一部分任务，以随机顺序纳入其中。
本方案的独特之处在于，它能够在训练和测试过程中同时控制视觉图像和感觉信息。该方案具有灵活性：可对大样本和小样本以及特定个体进行自身对照测试（参见组内测试）和/或与其他个体组进行比较测试（参见组间测试）。可以在每次实验中测试准确性和探索时间，调整试验次数以及组内重复测量的次数和间隔时间，并可更改甚至合并试验和/或实验的顺序。

全球95%的人口表现出听觉-视觉的“bouba/kiki”效应，即将视觉上圆润的形状与发音为“bouba”的词语相关联，将视觉上尖锐的形状与发音为“kiki”的词语相关联；即使个体此前从未接触过这些形状或词语，该现象依然存在1。bouba/kiki效应先于语言学习出现，且跨语言普遍存在1,2,3,4,5，不仅体现在bouba和kiki上（参见人们对视觉曲线相较于视觉角度的偏好6,7,8,9），还依赖于元音与辅音的组合方式（例如，在“bibi”和“kuku”中该效应则不出现）1,5,10,11,12。这种形状与词语的关联也适用于其他主要呈曲线形（如bouba）和主要呈尖角形（如kiki）的形状与词语组合11,13；或者只要其元音与辅音的组合方式与“bouba”和“kiki”相同即可，例如：“Baluma”与“takete”、“maluma”与“takete”、“uloomo”与“takete”、“maa-boo-maa”与“tuh-kee-tee”1,3,4,10,11,12,14。事实上，人们倾向于将圆润的视觉形状与包含延续音辅音（如/l/和/m/）以及开元音（如/ɑ:/和/ɔ:/）的词语相联系，而将尖锐的视觉形状与包含塞音辅音（如/k/和/t/）以及闭前元音（如/ε/和/I/）的词语相联系11,12,15,16。其中，辅音的影响大于元音，尤其是清辅音（如/k/和/t/）的影响更为显著11,12,15,16。实际上，决定该效应的关键因素似乎是整体形状的特征——即其曲线与角度17——以及词语发音的听觉特征——即其音调旋律17，而非形状或词语本身。
一项研究探讨了触觉形式的“bouba/kiki效应”，即使用触觉感知的bouba和kiki代替视觉形状，发现视力受损的参与者表现出的bouba/kiki效应显著较弱（约64%），而视力正常的参与者则表现出较强的效应（约90%）18。该研究认为，盲人和部分视力受损者中bouba/kiki效应较弱的原因在于缺乏视觉意象：视力正常的参与者注意到了环境中存在的规律性，而这些规律在视力受损时难以获取18。然而，该研究并未明确说明视觉意象是否为产生bouba/kiki效应所必需：在42名视力受损的参与者中，仅有六人是先天全盲18，即完全不具备视觉意象。此外，其余参与者均未蒙眼，可能在实验者说出“bouba”或“kiki”一词时观察到了其嘴唇动作——说“bouba”时嘴唇呈圆润形状，说“kiki”时嘴唇呈尖锐形状1,18，因此他们所表现出的可能是触觉-视觉-听觉联结的bouba/kiki效应，而非依赖于内在视觉意象。此外，该研究未考察参与者对触觉-听觉规律性感知的影响，例如未通过比较第一次试验与第四次试验的bouba/kiki效应，而是将四次试验的结果合并计算总体效应。再者，触觉形式的bouba和kiki在不同试验中差异较大：在第一和第二次试验中，它们分别为三维和二维形状（弯曲形 vs 尖角形）；在第三和第四次试验中，形状相同（均为圆形），但表面质地不同（光滑 vs 粗糙；光滑 vs 多刺）18。与此相关的一项研究调查了蒙眼（视力正常）个体中的动觉-听觉bouba/kiki效应，发现经过两分钟训练，手持编程为绘制bouba和kiki形状轨迹的机械触控笔后，82%的参与者表现出bouba/kiki效应19。然而，该研究并未明确说明bouba/kiki效应是否由训练阶段引起：研究未设置前测，也未设立对照组。&#160;
为此，我们研究了视觉意象在“bouba/kiki效应”中的作用，探讨了训练个体识别触觉/视觉-听觉的bouba和kiki规律是否会影响bouba/kiki效应以及对单个触觉/视觉bouba和kiki形状的识别能力，最后探究这些形状-声音规律产生了何种心理图像17。为了生成bouba/kiki形状-声音之间的规律性——而不仅仅是例如kiki形状与kiki词语之间的特定关联1——本研究包含了两种类型的触觉/视觉bouba/kiki形状（实心；轮廓线型）以及两种类型的听觉bouba/kiki刺激[声音（词语；非词语声音）]17。三组参与者分别参与了三项实验：盲人组（N = 12）、蒙眼组（N = 12）和正常视力组（N = 12）。实验在所有参与者中以固定顺序进行，且各实验之间无间断，以严格控制参与者接触bouba和kiki刺激的数量与类型。在实验1（前测-训练-后测设计，包含三次重复的组内测量）中，要求参与者从触觉/视觉形状中选出他们与听觉bouba/kiki相对应的形状；在实验2（被试内设计）中，要求参与者将某一触觉/视觉形状与某些声音（有时一致；有时不一致）命名为“bouba”或“kiki”；在实验3（仅后测设计）中，要求参与者画出他们与听觉bouba/kiki相对应的触觉/视觉形状17。总体而言，该研究提示，视觉意象的影响在不同任务间具有稳健性，但在单个任务内部并不具有长期稳定性；而学习形状-声音规律的影响在单个任务内部具有长期稳健性，却无法跨任务迁移17。本文呈现了该研究的实验方案17。该方案适用于研究视觉意象及形状-声音规律学习效应的发生时机及其稳健性，可用于特定个体或群体的研究。本方案的独特之处在于，在训练和测试过程中同时对视觉意象和感官信息进行了严格控制。&#160; &#160;

<table><tbody><tr><td>实心的 Bouba/kiki</td><td></td><td></td><td>30 mm 水平，23 mm 垂直，0.5 mm 垂直厚度，0.5 mm 线高，0.5 mm 凸起高度</td></tr><tr><td>轮廓线的 Bouba/kiki</td><td></td><td></td><td>30 mm 水平，23 mm 垂直，0.5 mm 垂直厚度，0.5 mm 线高，0.5 mm 凸起高度</td></tr><tr><td>Bouba/kiki 声音（正弦波）</td><td></td><td></td><td></td></tr><tr><td>Bouba/kiki 词语（人声）</td><td></td><td></td><td></td></tr><tr><td>覆盖 Bouba/kiki 的纸板/泡沫板（白色）</td><td>Ryman</td><td>230461860</td><td>297 mm 水平 × 210 mm 垂直</td></tr><tr><td>复印纸［白色（80 g/m²）］</td><td>Ryman</td><td>250030000</td><td>210 mm 水平 × 148 mm 垂直</td></tr><tr><td>Bouba/kiki 图片卡用泡沫板［白色（5 mm 厚）］</td><td>Ryman</td><td>230461860</td><td>50 mm 水平 × 50 mm 垂直</td></tr><tr><td>MP3 播放器（安装了 iOS 版 VLC 应用的智能手机）</td><td>Carphone Warehouse</td><td></td><td></td></tr><tr><td>塑料压凸薄膜</td><td>RNIB Shop</td><td>ZM04</td><td>210 mm 水平 × 148 mm 垂直</td></tr><tr><td>滚珠笔［黑色（1.0 mm 笔尖）］</td><td>Ryman</td><td>827134001</td><td></td></tr><tr><td>橡胶垫</td><td>RNIB Shop</td><td>LC177</td><td>230 mm 水平 × 150 mm 垂直</td></tr><tr><td>马鞍式装订</td><td>RNIB Shop</td><td>B511</td><td></td></tr><tr><td>热敏发泡纸</td><td>Zychem Ltd</td><td>Zytex2 paper</td><td>50 mm 水平 × 50 mm 垂直</td></tr></tbody></table>

探究视觉意象与学习形状-声音规律对“布巴”和“基基”效应的影响

Investigating the Effect of Visual Imagery and Learning Shape-Audio Regularities on Bouba and Kiki

本文介绍了一种研究视觉表征在“bouba/kiki效应”中作用的实验方案，探讨了训练个体识别bouba/kiki形状-声音规律是否会影响bouba/kiki效应及对单个bouba和kiki形状的识别能力，并进一步分析这些规律所引发的心理意象。为生成bouba/kiki形状-声音规律，实验中采用了两种类型的形状（实心；轮廓线）和两种类型的声音（词语；非词声音）。三组受试者参与了三项实验：盲人组、蒙眼组和有视力组。所有参与者按固定顺序连续完成三项实验，中间无休息间隔。实验1采用前测-干预-后测设计（含三次重复的组内测量），要求参与者选出其与听觉刺激“bouba”或“kiki”相关联的图形；实验2采用被试内设计，要求参与者将某一图形与某种声音（有时一致，有时不一致）共同命名为“bouba”或“kiki”；实验3仅包含后测，要求参与者画出其与听觉刺激“bouba”或“kiki”相关联的图形。结果表明，蒙眼组在解决新问题时会依赖视觉表征，但这种依赖不持久；训练识别bouba/kiki形状-声音规律会影响bouba/kiki效应及对单个bouba和kiki形状的识别，但不同实验组之间存在差异；所有实验组均会形成bouba（曲线）和kiki（角）最具特征性的形状的心理图像。事实上，视觉表征的影响在不同任务中表现稳健，但不具长期性；而学习形状-声音规律的影响具有长期稳健性，但在不同任务间表现不一致。本方案适用于研究视觉表征和学习形状-声音规律的效应，及其发生时机与稳健程度，可应用于特定个体或人群。该方案的独特之处在于，在训练和测试过程中同时控制了视觉表征和感官信息的输入。

波巴/奇奇效应
在12名先天失明的参与者中，有6人（50%）；在12名被蒙住眼睛的参与者中，有9人（75%）；在12名视力完全正常的参与者中，有10人（约83%）表现出即时的触觉/视觉-听觉“bouba/kiki”效应：也就是说，蒙眼组和有视觉组的表现均显著高于随机水平（50%）：χ2(1, N = 12) = 3.00, p = 0.08 和 χ2(1, N = 12) = 5.33, p = 0.02（实验1，试验1）17。通过Fisher精确检验，在三个实验组之间未发现显著差异（实验1，前测）17。（参见表1。）
关于长期的触觉/视听觉“bouba/kiki效应”：在第一次重复的组内测量中，12名先天盲人参与者中有9名表现出bouba/kiki效应，12名视力正常者中有9名表现出该效应，12名蒙眼者中有7名表现出该效应；盲人组与视力正常组的表现均显著高于偶然水平（50%）：χ2(1, N = 12) = 3.00, p = 0.08 和 χ2(1, N = 12) = 3.00, p = 0.08（实验1，试验4）17。在第二次重复的组内测量中，盲人组和视力正常组各有11名参与者表现出触觉/视听觉bouba/kiki效应；两个实验组的表现再次显著高于偶然水平（50%）：χ2(1, N = 12) = 8.33, p = 0.00 和 χ2(1, N = 12) = 8.33, p = 0.00；蒙眼组中有7名参与者表现出该效应（实验1，试验5）17。最后，在第三次重复的组内测量及后测中，12名先天盲人参与者中有9名（75%），12名蒙眼者中有6名（50%），以及12名视力正常者全部（100%）表现出触觉/视听觉bouba/kiki效应；盲人组和视力正常组的表现再次显著高于偶然水平（50%）：χ2(1, N = 12) = 3.00, p = 0.08 和 χ2(1, N = 12) = 12.00, p = 0.00（实验1，试验8）17。Fisher精确检验发现蒙眼组与视力正常组之间存在显著差异 [p = 0.01（实验1，后测）]17。（参见表1。）
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td rowspan="2">参与者组别</td>
			<td>即时bouba/kiki效应</td>
			<td colspan="3">长期bouba/kiki效应</td>
		</tr>
		<tr>
			<td>前测</td>
			<td>重复测量1</td>
			<td>重复测量2</td>
			<td>重复测量3/后测</td>
		</tr>
		<tr>
			<td>盲人</td>
			<td>50.0%</td>
			<td>75.0%</td>
			<td>91.7%</td>
			<td>75.0%</td>
		</tr>
		<tr>
			<td>蒙眼</td>
			<td>75.0%</td>
			<td>58.3%</td>
			<td>58.3%</td>
			<td>50.0%</td>
		</tr>
		<tr>
			<td>正常视力</td>
			<td>83.3%</td>
			<td>75.0%</td>
			<td>91.7%</td>
			<td>100.0%</td>
		</tr>
	</tbody>
</table>
表1：bouba/kiki效应的即时与长期表现
对“bouba”和“kiki”形状的识别
12名先天失明的参与者中有11名（约92%），12名被蒙住眼睛的参与者中有9名（75%），以及全部12名视力正常的参与者（100%）均立即识别出了匹配的触觉/视觉与听觉的“bouba/kiki”；这三个实验组的表现均显著高于随机水平（50%）：χ2(1, N = 12) = 8.33, p = 0.00，χ2(1, N = 12) = 3.00, p = 0.08，和χ2(1, N = 12) = 12.00, p = 0.00（实验2，试验1）17。（参见表2。）
长期来看，在蒙眼组中，有11名参与者能够识别触觉的“bouba/kiki”形状，并与一致的声音配对，10名参与者能够与不一致的声音配对：两种一致性条件下的识别率均显著高于偶然水平（50%）：χ2(1, N = 12) = 8.33，p = 0.00 和 χ2(1, N = 12) = 5.33，p = 0.02（实验2，试验1-8）17。在眼罩组中，有9名参与者能够识别触觉形状并与其一致的声音配对，8名参与者能与不一致的声音配对；换言之，一致的形状与声音识别率显著高于偶然水平（50%）：χ2(1, N = 12) = 3.00，p = 0.08（实验2，试验1-8）17。在视觉组中，所有12名参与者均能识别视觉呈现的“bouba/kiki”形状并与其一致的声音配对，6名参与者能与不一致的声音配对：一致的形状与声音识别率显著高于偶然水平（50%）：χ2(1, N = 12) = 12.00，p = 0.00（实验2，试验1-8）17。（参见表2。）
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td rowspan="2">参与者组别</td>
			<td>对bouba/kiki形状的即时识别</td>
			<td colspan="2">对bouba和kiki形状的长期识别</td>
		</tr>
		<tr>
			<td>形状与声音匹配</td>
			<td>形状与声音匹配</td>
			<td>形状与声音不匹配</td>
		</tr>
		<tr>
			<td>盲人</td>
			<td>91.7%</td>
			<td>91.7%</td>
			<td>83.3%</td>
		</tr>
		<tr>
			<td>蒙眼</td>
			<td>75.0%</td>
			<td>75.0%</td>
			<td>66.7%</td>
		</tr>
		<tr>
			<td>有视力</td>
			<td>100.0%</td>
			<td>100%</td>
			<td>50.0%</td>
		</tr>
	</tbody>
</table>
表2：对“bouba”和“kiki”形状的即时与长期识别
“bouba”和“kiki”的心理意象
在12名先天失明的参与者中，有8名[约73%（剔除1名“结果不明确”参与者的绘图后）]、在12名被蒙住眼睛的参与者中，有8名[约89%（剔除3名“结果不明确”参与者的绘图后）]，以及在12名视力完全正常的参与者中，有8名[80%（剔除2名“结果不明确”参与者的绘图后）]立即绘制出了心理图像：一种与所呈现的听觉“bouba/kiki”相对应的触觉/视觉形状（实验3，试验1）17。蒙眼组和有视觉组的表现均显著高于偶然水平（50%）：χ2(1, N = 9) = 5.44，p = 0.02，以及χ2(1, N = 10) = 3.60，p = 0.06（实验3，试验1）17。（参见表3。）
关于bouba和kiki的长期心理表征：在盲组中有11名参与者，在蒙眼组中有8名参与者，在有视觉组中有12名参与者，他们绘制出的触觉/视觉bouba/kiki形状与所呈现的听觉bouba/kiki相对应（实验3，试次1-4）17。盲组和有视觉组的表现均显著高于随机水平（50%）：χ2(1, N = 12) = 8.33，p = 0.00，以及χ2(1, N = 12) = 12.00，p = 0.00（实验3，试次1-4）17。Fisher精确检验发现蒙眼组与有视觉组之间存在显著差异[p = 0.09（实验3，试次1-4）]17。（参见表3。）
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>参与者组别</td>
			<td>对bouba/kiki的即时心理图像</td>
			<td>对bouba和kiki的长期心理图像</td>
		</tr>
		<tr>
			<td>盲人</td>
			<td>72.7%</td>
			<td>91.7%</td>
		</tr>
		<tr>
			<td>蒙眼</td>
			<td>88.9%</td>
			<td>66.7%</td>
		</tr>
		<tr>
			<td>有视力</td>
			<td>80.0%</td>
			<td>100.0%</td>
		</tr>
	</tbody>
</table>
表3：bouba与kiki的即时和长期心理意象
此外，约83%的参与者绘制的图形包含了全球“bouba”和“kiki”形状最典型的形态特征：曲线和尖角（实验3，试验1-4）17。参与者的绘图在曲线/尖角的数量上有所不同（例如，“kiki”一词对应的图形中分别有一个和五个尖角：参见图2，试验1、6和9），曲线/尖角的方向也各不相同［即水平、垂直或对角线方向：参见图2，试验2、5和8（bouba发音）］，但通常并未包含完整的全球bouba/kiki形状［实验3，试验1-4（参见图1；图2）］17。最后，在评分结果中，实验组被识别出的比例约为43%：蒙眼组有五名参与者，眼罩组三人，视觉组五人；没有任何一个实验组的识别率显著高于随机水平［33.3%（实验3，试验1-4）］17。
视觉表象与学习的效果
本方案成功探究了视觉意象在“bouba/kiki效应”中的作用，训练识别触觉/视听觉bouba与kiki规律是否影响bouba/kiki效应以及个体触觉/视觉bouba和kiki形状的识别，以及这些形状-声音规律最终产生了何种心理表征17。通过纳入一个无视觉经验的实验组（即盲人组）和两个具有视觉经验的实验组（即蒙眼组和有视力组），可以检验视觉意象的作用；而通过纳入一个无视觉经验但具有丰富触觉经验的实验组（即盲人组）和一个具有丰富视觉经验但无触觉经验的实验组（即蒙眼组），可以检验训练识别触觉-听觉规律的效果。结果明确表明，蒙眼组在解决新的触觉-听觉问题时会依赖视觉意象，但这种效应不具有长期性（实验1–3）；训练识别bouba/kiki形状-声音规律影响了触觉/视听觉bouba/kiki效应（实验1）以及个体触觉/视觉bouba和kiki形状的识别[即与一致的声音共同呈现时（实验2）]，但在各实验组中表现不同（实验1-2）；所有实验组均形成了bouba（曲线）和kiki[（角）实验3]最具特征性的触觉/视听觉形状特征的心理图像。参见表1；表2；表317。此外，通过在组内重复测量即时效应和长期效应（实验1-3），可以检验视觉意象及学习形状-声音规律效应实际发生的时间；通过设置三种不同任务（即实验1中的触觉/视听觉bouba/kiki效应，实验2中结合一致与不一致声音识别个体触觉/视觉bouba/kiki形状，以及实验3中绘制bouba/kiki声音的心理图像），可以检验这些效应的稳健性。结果明确表明，视觉意象的效应在各任务中长期来看并不稳健，尤其是在使用触压觉时[参见蒙眼组（实验1-3）]；而学习形状-声音规律的效应则具有任务内的稳健性，但不能跨任务迁移[参见盲人组和有视力组（实验1-3）。参见表1；表2；表3]17

本方案旨在研究视觉表象在“bouba/kiki效应”中的作用，训练个体识别bouba/kiki形状与声音之间的规律性是否会影响bouba/kiki效应及对单个bouba和kiki形状的识别，以及这些规律性所引发的心理表征图像。

本文介绍了一种用于研究视觉表象在“bouba/kiki效应”中作用的实验方案，以及训练个体觉察bouba/kiki……的可行性

本方案研究视觉表象在“bouba/kiki效应”中的作用。通过训练与注意，bouba/kiki形状-声音规律性会影响bouba/kiki效应以及个体bouba和kiki形状的识别，并最终影响其产生的心理图像。本方案的独特之处在于其在训练和测试过程中对视觉意象和感官信息进行了有效控制。三项实验均应在颜色中性、安静的房间内对每位参与者单独进行。要求蒙眼组的参与者在布置触觉测试材料之前戴上眼罩，并确保他们在整个实验过程中以及三项实验之间始终佩戴眼罩。将橡胶垫直接放在受试者前方。邀请受试者在放置任何触觉测试材料之前先触摸探索橡胶垫。然后，将MP3播放器直接放在受试者前方，扬声器一侧靠近受试者。说明将在橡胶垫上呈现两张图片卡片，每张卡片上绘有一种触觉图形。然后解释，MP3 播放器将播放一段音频，该音频对应其中一种触觉图形。此后，将两张图片卡片放在橡胶垫上。要求参与者双手握拳，并将拳头放在呈现的图片卡片上方，必要时给予指导。将左手放在参与者的拳头上方。当参与者拳头上方的手移开后，请其触摸并探索两个触觉形状，并在完成探索后说出“是”。准备开始时，将左手从参与者的拳头上移开。是。一旦参与者表示同意，立即盖住图片卡片，并从MP3播放器播放音频。bouba 然后，请参与者指出他们将哪个触觉形状与该音频关联起来。就是那一个。并注意所给形状，但不要对答案做出回应。解释将有一张描绘触觉形状的图片卡片呈现在橡胶垫上，同时MP3播放器将播放一段音频。然后说明，要求参与者将触觉形状和音频分别命名为“bouba”或“kiki”。将图片卡片放在橡胶垫上。要求参与者用双手握拳，并将拳头放在呈现的图片卡片上方，必要时给予指导。将左手放在受试者握紧的拳头上。准备开始时，从受试者的拳头上移开左手，并播放MP3播放器中的音频，给予受试者时间说出所触摸形状的名称以及音频内容。确保受试者仅提供一个名称。当参与者说出触觉图形和音频“kiki”后，立即盖住图片卡，并记录下参与者给出的名称，注意不要对答案做出任何回应。解释接下来会在橡胶垫上方放置一张复印纸或塑料压纹膜，并要求参与者在上面进行描画。邀请参与者尝试不同的绘图工具，并自行决定偏好哪种组合：复印纸或塑料压纹膜，以及滚珠笔或马鞍形笔？接下来，说明将通过MP3播放器播放一段音频，参与者需要绘制他们将此音频联想到的触觉图形，并在完成绘图后说出“是”以表示结束。此后，将复写纸或塑料压印膜放在橡胶垫上。要求受试者双手握持滚珠笔或马鞍形笔杆，握紧拳头，并将其拳头放在复写纸或塑料压印膜上方，必要时给予指导。将左手放在受试者的手拳上方。准备开始时，从受试者的手拳上移开左手，并播放 MP3 播放器中的音频，给予受试者足够时间描绘触觉图形。一旦参与者回答“是”，立即从橡胶垫上取下他们的画作，并在画作右下角标注正确的试验编号，注意不要对画作内容作出任何回应。最后，按照文本方案中所述，要求一组评分人员针对每幅图片在问卷中回答两个选择题。本研究中，50% 先天性失明的参与者、75% 被蒙住眼睛的参与者，以及约 83% 视力完全正常的参与者均表现出即时的“波巴/奇基”效应。在长期观察及所有三次重复的组内测量中，先天失明组和视力正常组均持续表现出“波巴/奇基”效应，而蒙眼组则未表现出该效应。例如，在第三次也是最后一次的组内测量中，75% 先天性失明的参与者、50% 被蒙住眼睛的参与者，以及 100% 视力完全正常的参与者表现出“波巴/奇基”效应。大约92%先天失明的参与者、75%被蒙眼的参与者以及100%视力完全正常的参与者，能够立即识别出与“bouba/kiki”声音相匹配的图形和音频。从长期来看，失明组无论图形是与匹配还是不匹配的音频同时呈现，都能识别出“bouba/kiki”图形；而蒙眼组和有视力组仅在图形与匹配的音频同时呈现时才能识别。大约73%的先天失明参与者、约89%被蒙住眼睛的参与者以及80%视力完全正常的参与者，立即在脑海中形成了与所呈现的听觉“bouba/kiki”相对应的图像。从长期来看，失明组和有视力组绘制出了与声音相对应的触觉-视觉形状，而蒙眼组则没有表现出这种对应关系。该方案具有灵活性。可对大样本和小样本，以及特定个体，在准确性及/或探索时间方面，进行多种组内比较的自身对照，和/或与其他个体组之间的组间比较。

investigating-effect-visual-imagery-learning-shape-audio-regularities

Research

科研

JoVE Journal

Behavior

行为

视觉影像与学习形状-音频规律对布巴和基基的影响

我们描述了如何实施一系列行为任务，以检测自闭症谱系障碍（ASD）儿童对感觉刺激的加工与整合能力。该方法的目标是表征个体对简单听觉和视觉刺激在时间加工上的差异，并将这些差异与言语知觉等更高级的知觉技能相关联。...

检测自闭症谱系障碍儿童的感觉与多感觉功能

在3至4个月大时，聆听人类和非人类灵长类动物的发声能够促进婴儿的认知发展；到6个月大时，只有人类的发声具有这种认知促进作用。我们描述了一种暴露操纵方法，揭示了经验在婴儿选择将哪些声音与认知关联、哪些声音忽略不计的过程中所起的强大塑造作用。...

经验在调节语言与认知之间联系中的关键作用：来自6至7个月大婴儿物体范畴化的证据

本文综述了一种用于语言理解研究的眼动追踪方法。为了获得可靠的数据，必须遵循该方案中的关键步骤，其中包括正确设置眼动仪（例如，确保眼图像和头像质量良好）以及精确的校准。...

在视觉情境下的语言理解过程中进行眼动追踪：揭示视觉情境效应的灵活性与局限性

视觉世界范式通过监测参与者在倾听或说出口语时其在视觉工作区中的眼动，来研究心理语言学中的多种在线加工问题，包括诸如析取语句等语义复杂的陈述。...

利用视觉世界范式中记录的眼动数据探究口语的在线加工过程

本文介绍的方法通过使用相关词汇列表诱导产生错误记忆，并评估了表象指导语对这些错误记忆的回忆与再认效果。本方案详细描述了Deese Roediger...

利用课堂环境中的德伊-罗迪格-麦克德莫特范式评估表象对错误记忆的影响

本文介绍了一种用于熟悉-测试范式的实验方案，该范式可直接检验婴儿的范畴化能力，并有助于明确语言在早期范畴学习中的作用。...

利用眼动追踪范式界定语言在婴儿物体范畴化中的作用

本文介绍了一种针对儿童设计的统计学习任务方案，旨在研究儿童在不同领域和感觉模式下对时间统计规律的学习能力。这些任务通过基于网络的平台收集行为数据，并结合基于任务的功能性磁共振成像（fMRI）数据，以考察统计学习过程中的神经活动情况。...

通过在线平台和神经影像技术测量学龄儿童跨模态与跨领域的统计学习

我们介绍了构建闭环式共适应界面的实验方案与分析方法，该界面可实时流式传输、参数化、分析并调节人体及心脏信号。该系统将来自个体周围神经系统和中枢神经系统的信号与外部感觉输入相连接，以帮助追踪生物物理变化。...

使用闭环接口实时代理控制重新参数化的外周信号

目前尚不清楚来自腹侧视觉通路的自上而下信号如何影响运动。我们建立了一种实验范式，用于检测在三维深度反转错觉条件下朝向目标的运动行为。研究发现，在错觉和真实视觉条件下，无论是有意识的目标导向运动，还是自动动作，均存在显著差异。...

探索自上而下视觉过程对运动行为影响的方法

采用事件相关脑电位（ERPs），我们研究抗精神病药物对中国台湾具有分裂型特质的健康个体中异常语义脑激活的影响。我们利用ERPs追踪脑活动的特异性变化，揭示与语义分类相关的认知过程。...

利用事件相关电位和语义分类研究抗精神病药物和分裂型特质对N400的影响

探索视觉意象在布巴/基基效应中的作用，通过触觉与听觉任务训练参与者识别形状-音频规律。该神经科学方法揭示感官经验如何影响认知加工与心理表象形成。

探究视觉意象与学习形状-声音规律对“布巴”和“基基”效应的影响

探索更多视频