Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Science Education
Sensation and Perception

A subscription to JoVE is required to view this content.

 

Overview

资料来源: 实验室的乔纳森 Flombaum — — 约翰 · 霍普金斯大学

口头的语言,一种奇异的人类成就,依赖于专门的知觉机制。语言感知机制的一个重要特点是,他们同时依靠听觉和视觉信息。这道理,因为在近代以前,一个人可以期望会在面对面的交流中听到大多数的语言。因为产生具体的言语声音需要精确的铰接,嘴里可以提供良好的视觉信息,关于有人在说什么。事实上,房近距离和通畅的人的脸,嘴里通常能够提供更好的视觉信号比语音提供听觉信号。其结果是,人类的大脑倾向于视觉输入,并使用它来消除歧义口语语言固有的含糊性。

在一篇论文中 1976 年叫听到嘴唇和看到的声音,哈利麦格克和约翰 · 麦克唐纳描述这种依赖视觉输入解释声音。1在那张纸,他们描述了录音和录像之间通过不匹配而产生的错觉。麦格克效应已成为那种错觉。此视频将说明如何产生和解释的麦格克效应。

Procedure

1.刺激

  1. 使麦格克效应刺激你将需要在智能手机上的视频摄像机种是好的。
  2. 你还需要一台电脑控制的视频,天真主题演示文稿。
  3. 你的相机指向自己,这样你的头填充显示。
  4. 让四个录音。每个应该 10 s 长。在每个四个录音,你再说一个字 10 倍,大约 1/s。这里是的话: 危害、 增益、 平移、 可以。试着在每个视频以同样的速度说。

2.诱导幻觉

  1. 要促使幻觉,可以一起拼接的声音从一个视频和图片从另一个。但这不是真的有必要。它是容易做的同时使用你的手机和一台电脑。这里是如何。
  2. 在计算机桌面上打开视频你说增益。关闭的声音,和播放视频。
  3. 在您的手机打开你说贝恩的视频。把电脑屏幕后面的电话,这样可以听到声音,但不能看到视频。播放视频。
  4. 问观察员边听边,盯着计算机屏幕,当完成视频播放,问他们他们听到的东西。
  5. 同样,pan/可以视频: 发挥你说可以的图片流,你的手机播放的音频流,从泛视频时。问参加者她所听到的东西。

语言的感知 — — 以口语的形式 — — 得益于面对面的交流,为口腔用品好的视觉信息,阐明具体的声音。

例如,在近距离和通畅情况下,个人可以看他们的朋友提到要去海滩。在这种情况下,他们使用视觉输入 — — 观察周围的嘴唇和舌头的运动 — — 清楚地理解什么说。

不过,如果朋友继续谈消失在另一个房间,他们可能会想看静音的电视,因此必须依靠的阻塞的声音,有意义的消息。

在这种情况下,什么实际上说尾巴末端、 挑、 干扰的沉默踢和被误解为刻度线。这是麦格克效应的例子 — — 声音和视觉线索之间通过不匹配而产生一个感性的幻觉。

该视频演示如何构建视听刺激,以测试由麦格克和麦克唐纳最初发现的现象。它还探讨了如何视觉与声音的制作,了解个人在很小的年纪学习语文,如何交互。

在这个实验中,参与者被要求观看无声的视频,在其中一句话像增益口,声音如贝恩同时在背景中播放。之后,他们被要求分享他们所听到的东西。

要了解结果,错觉如何产生,让我们先讨论一下如何音素 — — 语音的最小单位 — — 铰接。

例如,贝恩和增益共享相同的元素在所有的职位,除了第一,是声音差别和/g /。

虽然这些初始的音素与单词听起来类似,当们显示和发挥差别,个人预计将听到一个完全不同的第三个声音 — — / d / — — 相反。

听到人安慰和的原因,所有三个基本上产生方式相同,只是小不同的演讲者置于气流,梗阻称为关节或行动纲领 》 的要点。

例如,当一个差别的声音时,嘴唇提供阻塞,导致唇行动纲领 》,而为/g/,它谈到为腭 — — 在口腔后部。/ D/,行动纲领 》 是牙科,后果,舌尖轻触上齿。

当大脑整合的冲突视觉们和听觉/b/时,它的结论的最后的声音必须介于在波阿斯,因此听到人安慰和和报告词的丹麦人。

准备演示,获得一台电脑,目前一台摄像机上的视频和智能手机。

先定位相机,以便你的头填充显示。现在,记录四 10-s 片段,每个包含不同的单词,再做 10 次 1 字/秒的速度一定要转移增益,可以对计算机视觉播放视频。

为了进行实验,坐在电脑前的参与者。打开 word 增益的视频文件并关闭音频。

在手机上,打开视频为贝恩。所以,它的屏幕隐藏的只有声音可以听得清楚,躲在电脑后面放置它。

指示参与者观看电脑显示器和听。然后,同时播放两个视频。

当剪辑结束时,问参加者他们听到的东西。[参与者说:"丹麦人"]。重复播放视频的 word 程序可以对计算机和呈现泛在电话上的音频。再一次询问参与者他们听到的东西。[参与者说:"谭"]。

在这里,单词贝恩和泛了扮演大声参与者观看增益和可以被嘴。通常情况下,当一个期限与们音素是直观地展示和搭配声音/b/,个人会听到/d /。

同样,当开头语字与声/p/配对,个人会听到/t /。

这种听觉感知背后的原因是由于产生声音的方式。大脑试图解决冲突的信息,从眼睛看到唇的运动 — — / b/,/p / — — 虽然耳朵听到腭单位 — — / g/和/k /。因此,认为声音必须躺在中间,导致对牙科音素的看法 — — / d/和/t /。

既然您熟悉如何产生麦格克的效果,让我们看看其他一些研究人员使用这种感性的现象来探讨语言的发展和影响改变的情况。

婴儿甚至可以考麦格克效应早在五个月的年龄,当他们是前语言,使用习惯--看-时间的范式。

在此过程中,罗森布拉姆及其同事反复提出了一种婴儿与一个特定的音节,像 va 之前在测试阶段引入不匹配的音素, 音频和视觉域中。

婴儿习惯化的迹象对 va — — 减少寻找时间 — — 和去习惯,指出增加寻找,当 va 事情被感知到。因此,甚至婴儿可以讨论之前,他们作为成年人,他们依赖视觉信息用于语言歧视显示类似的结果。

然而,自闭症儿童有更大的困难,容易由于其受损的能力,以理解和参加的视觉的面部组件控件作为参展麦格克效应。这表明在视听语音,可能有助于他们有语言和沟通的障碍处理根本区别。

最后,在他们的左脑半球病变的患者 — — 通常主要为学习语言和理解的一面 — — 经常使用视觉的面部特征来帮助在言语治疗期间。有趣的是,当测试在麦格克效应,他们更经常报告说听到牙科声音对照相比。这种看法很可能是由于对视觉信息的更高关注。

你刚看了朱庇特的视频麦格克效应。现在你应该知道如何进行这种视听幻觉和涉及发声的音素。此外,你也应该有视力和听力,以及在发展和成年,如何能受他们影响的相互作用更好的理解。

谢谢观赏 !

Subscription Required. Please recommend JoVE to your librarian.

Results

记住,对你的观察者播放声音是字祸根或泛。但在附带的视频中,被阐明的歌词是增益,能分别。所以哪些词将是人们实际上可以听到的?答案往往是没有那些四。相反,最典型的结果是观察员在贝恩/增益条件下会听到这个词的丹麦人。Pan/can 条件下的观察员将听到单词谭。

要理解为什么我们需要一点点了解音素如何产生的。音素是语音的最小单位。单词贝恩和增益在所有的立场,而第一次相同的音素。在 word 祸根第一个音素是 b 声音,记为 b /。在 word 增益是声音/g /。余下的声音都相同 — — 这就是为什么字韵语。图 1分解在这些例子中的初始音素的麦格克效应。当显示差别和演奏们时,人们听到/d /。这个词的丹麦人换句话说也押韵与贝恩和增益,刚开始的一个音位区别。

Figure 1
图 1:的麦格克效应发生时铰接式视觉演示文稿中的音素之间不匹配和不同音素同时通过扬声器播放。与共享某些关节属性的音素,听到的结果可能不匹配或不匹配的刺激。不匹配会导致第三次听到的声音。具体来说,视觉与听觉的差别们导致音素人安慰和陈词。这就是为什么视觉与听觉的祸根增益结果在丹麦人陈词。同样,视觉与听觉的 /p/ 语导致声音的 /t/ 陈词。那为什么是可以/泛美生产谭在麦格克效应。

为什么矛盾的差别和们产生人安慰和特别?嗯,/b/,/g/,和人安慰和是真的不是那么不同从另一个人,尤其是在他们如何产生的。这三个基本上涉及相同的移动量空气从一个人的喉通过他们的嘴,只是不同的扬声器放置小肠梗阻的梗阻。当有人发出差别声音时,他们用他们的嘴唇阻碍空气;这就是所谓的关节唇点。们的声音点是关节的腭部 — — 它是关节的远远在口腔后部。为人安慰和声音,铰接的点被称为牙科因为人阻碍气流通过口腔通过触摸到了顶尖的牙齿舌头。图 2显示了麦格克效应中的六个音素发音的相对点。

Figure 2
图 2:人类通过移动空气通过他们的喉咙和嘴里发出的声音。这涉及到在喉部的振动。一组给定的喉中产生的振动可以由阻塞流动的空气产生多个不同的音位。阻塞放置创建特定的声音的地方叫做关节的点。三个要点的关节被称为唇,指的嘴唇;牙科,指的牙齿;和腭,指的口感或背屋顶的嘴。下图显示如何产生,并听取了在麦格克效应的音素的差异,他们点的衔接。

现在,你知道一点关于如何将这些声音产生,麦格克效应的逻辑应该更加明显。它是这样: 你的大脑知道的某些音素是到另一个实际上很相似。在麦格克效应词贝恩向观察员,指示灯熄灭的差别的声音播放。但在视频所面临的移动他们的嘴一样,使们的声音和获得这个词。大脑因此接收冲突投入从眼睛和耳朵。若要解决冲突,大脑得出结论,真理可能是某个地方之间。因为人安慰和之间差别和/g /-的生产-这是人们听到了什么声音。同样的解释适用车削之间冲突潘和能成滩。/p/ 是唇的声音,和语是颚音。牙医在这两者之间是/t /。

Subscription Required. Please recommend JoVE to your librarian.

Applications and Summary

麦格克效应一直重要的一个地方是如何非常了解婴幼儿学习口语。1997 年的一项研究是能够显示甚至 5 个月大的婴儿感知麦格克效应。2这很重要,因为它表明婴儿可能使用视觉信息来解决对学习语言解析连续的音频流到其单位的重大挑战。想想如何在其正常速度外国语言可以看起来像这样一大堆,你可能甚至不知道词的边界在哪里。嗯,如果所有语言都是外地到婴儿,然后怎么做他们猜出单词在哪里?麦格克效应表明,他们可以依靠面部表达模式。

Subscription Required. Please recommend JoVE to your librarian.

References

  1. McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264, 746-748.
  2. Rosenblum, L. D., Schmuckler, M. A., & Johnson, J. A. (1997). The McGurk effect in infants. Perception & Psychophysics, 59(3), 347-357.

Transcript

Please note that all translations are automatically generated.

Click here for the English version.

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter