Overview
ソース: ジョナサン ・ Flombaum 講座-ジョンズ ・ ホプキンス大学
話されていた言語、特異な人間の達成は、専門にされた知覚メカニズムに大きく依存します。言語認識のメカニズムの 1 つの重要な機能は同時に視覚と聴覚情報に依存しています。現代まで人は対面の相互作用のほとんどの言語を聞いたことだろうことを期待できるので、これは理にかなって。特定のスピーチ音の生産は、正確な発音を必要とするため口は誰かが言って良い視覚情報を指定できます。実際には、誰かの顔の間近と遮るもののないビューを口を音声聴覚信号を供給するよりも視覚信号よりよく提供できます。人間の脳が視覚入力を支持して話されている言語に固有のあい昧性を明確に区別するために使用されます。
この音を解釈する視覚入力への依存は、1976 年と呼ばれる唇の聴覚と声を見てで紙のハリー マガークとジョン ・ マクドナルドによって記述されていた。1紙の彼らは録音とビデオ録画との間の不一致によって生じる錯覚を説明します。その幻想がマガーク効果になっています。このビデオは、生産し、マガーク効果を解釈する方法を実演します。
Procedure
1. 刺激
- マガークにスマート フォンでビデオカメラの種類必要があります効果の刺激は結構です。
- 素朴な主題にビデオのプレゼンテーションを制御するためのコンピューターを必要があります。
- あなたの頭全体に表示、あなた自身であなたのカメラをポイントします。
- 4 つの録音をします。10 する必要があります長い s。それぞれの 4 つの録音を繰り返す単語 10 倍 1/s について。ここでは、単語: ベインは、ゲイン、パン、することができます。同じようなペースで各ビデオの言葉を言ってみてください。
2. 錯覚を誘発します。
- 錯覚を誘発するには、1 つのビデオから音と別の画像を一緒にスプライスがします。しかし、それは本当に必要ではないです。ちょうどあなたの携帯電話とコンピューターを同時に使用して行うには簡単です。ここではどのように。
- あなたが言っているビデオを開くコンピューターのデスクトップを得る。サウンドをオフにしてビデオを再生します。
- あなたの電話は、悩みの種を言っているビデオを開く。音することができますが、ビデオを見ることができないように、コンピューターのスクリーンの後ろに携帯電話を置きます。ビデオを再生します。
- コンピューターの画面を見ながら、聴いて、オブザーバーを尋ねるし、ビデオが行われるとき聞いたそれらを求める演奏します。
- 鍋のため同じ/ビデオことができます: あなたの携帯電話がパンのビデオからのオーディオ ストリームを再生中と言ってすることができますの画像ストリームを再生します。彼女が聞いたものを参加者に求めます。
言語認識-音声形式で-口供給する特定のサウンドを咬合の良い視覚情報として対面の相互作用からの利点します。
例えば、間近と遮るもののない状況で個人は彼らの友人を見ることができるビーチに行く言及。この場合、彼らは視覚入力を使用-唇と舌の前後の動きを観察すること-明確に言われたことを理解します。
しかし、見えない別の部屋で話をする友人が引き続き発生する場合彼らはテレビをミュートしたくなるかもしれません、したがってメッセージの意味をなさないに閉塞の声に頼る必要がありますのみ。
この場合、何実際に最後尾のピックアップ、サイレントのキックに干渉し、いってダニとして誤解されました。これは、マガーク効果の例-サウンドと視覚的特徴の間の不一致によって生じる錯覚。
このビデオは、もともとマガークとマクドナルドによって発見された現象をテストする視聴覚刺激を構築する方法を示します。また、ビジョンが個人が非常に若い年齢で言語を学ぶ方法を理解する健全な生産と対話する方法を調査します。
この実験では、参加者は、ゲインのような単語は口、音中など悩みの種は、バック グラウンドで同時に再生、ミュートのビデオを視聴する求められます。その後、彼らが聞いたことを共有するように求めています。
結果を理解するどのような錯覚が生成、まずについてどのように音素-音声の最小単位-明確にされます。
たとえば、悩みの種とゲインは、音/b/および g/である、最初の以外のすべてのポジションで同じ要素を共有します。
個人が完全に異なる 3 番目の音を聞くこと期待されるこれらの初期の音素の単語は、現在の/g を表示および/b/が再生されるときと同様に、聞こえるかもしれませんが、-d/— 代わりに。
/D/の聞いた理由は、明瞭度、または POA のポイントをすべての 3 つは、基本的には、スピーカーが空気の流れの閉塞を場所の差が小さいで同じ方法で作られていますという事実のために呼び出されます。
たとえば、/b/音が作られると、唇、唇 POA で g/のために、口蓋というに対し、その結果閉塞-口の奥に。/D/、POA は歯、上の歯に触れる舌の結果。
競合している現在の visual/g と聴覚/b/脳を統合し場合、は、最後の音がポアス、こうして聞いて/d/と単語デーンをレポートの途中でどこかにある必要がありますを終了します。
デモの準備で、ビデオカメラの動画とスマート フォンを提示するコンピューターを取得します。
あなたの頭全体に表示最初カメラを位置します。今、レコードの 4 つの 10 のクリップ各 1 ワード/秒のレートで 10 倍を繰り返す必要があります別の単語が含まれているを確認するゲインし、視覚の再生には、コンピューターにビデオをすることができます。
実験を行うためには、コンピューターの前に参加者を座っています。単語利得のビデオ ファイルを開くし、音声をオフします。
電話で悩みの種のためのビデオを開きます。その画面を非表示し、音だけをはっきり聞くことができるようにコンピューターの背後に配置します。
コンピューターのモニターを見ると耳を傾ける参加者に指示します。その後、両方の動画を同時に再生します。
クリップが終了すると、彼らが聞いたことを参加者に求めます。[参加者は言う:「デーン」]。コンピューターと電話でパン用のオーディオを提示ことができます単語のビデオを再生することにより手順を繰り返します。もう一度、彼らが聞いたことについて参加者に質問します。[参加者は言う:「タン」]。
ここでは、言葉の悩みの種とパン演奏された声を出して参加者を見てゲインと口することができます。通常、現在の/g 音素と用語は視覚的に示すし、サウンド/b/と共に、個人を聞く/d/。
同様に、/k/で始まる単語を音/p/と組み合わせれば、個人を聞く/t/。
このような聴覚の知覚の背後にある理由は、音が生成される方法が原因です。脳が唇の動きを見て目から情報が錯綜を解決しよう-/b/と/p/-耳聞く口蓋ユニット間-/g/そして/k/。結果として、それは歯科の音素の認識の結果として、途中で音する必要がありますうそ結論-/d/と/t/。
今、あなたは、マガーク効果を生成する方法に精通しているが、研究者がこの知覚現象を使用して言語の開発と効果が変更される場合を調査するいくつかの他の方法を見てみましょう。
幼児は、マガーク効果もテストできるとき前言語的、生後 5 カ月には早くも慣れの探して時間パラダイムを使用します。
この手順では、ローゼンブラムらテスト段階で一致しない音素を導入する前にオーディオとビジュアルの両方のドメインで、va のような特定の音節が繰り返し幼児を掲載しています。
幼児が va に慣れの兆し-削減時間を探して — と馴化、増加を探して、va 以外の何かが感知されたときは指摘しました。したがって、乳幼児は話すことができます、前にも、彼らは言語識別のための視覚情報の利用に依存している大人として同様の結果を表示します。
しかし、自閉症児はコントロール障害能力を理解し、顔のビジュアルコンポーネントに出席するために容易にマガーク効果を示す大きい難しさにあります。これは、言語とコミュニケーションの難しさに貢献するかもしれない視聴覚音声処理の根本的な違いを示します。
最後に、左半球の病変を有する患者-理解し、言語を学ぶのため通常優勢な側-しばしば視覚顔機能を使用して音声治療中に役立ちます。興味深いことに、マガーク効果をテストしたとき彼らはより多くのコントロールと比較して歯の音を聞くして報告しました。このような知覚は、視覚情報の彼らの高い焦点のため可能性があります。
マガーク効果でゼウスのビデオを見てきただけ。今この映像のイリュー ジョンを実施し、音素を発音に関連する方法を知っておくべき。さらに、視覚、聴覚、および開発と成人期の間の影響間の相互作用の理解を深める必要があります。
見てくれてありがとう!
Subscription Required. Please recommend JoVE to your librarian.
Results
覚えておいて、あなたのオブザーバーに再生されるサウンドは、言葉の悩みの種またはパン。添付のビデオで連結されて言葉利得、それぞれすることができます。だからどの単語の人々 実際に聞こえるでしょう?答えはほとんどの場合これらの 4 つのどれもです。代わりに、典型的な結果は、悩みの種/ゲイン状態オブザーバーはデーンの単語を聞くことです。Pan/can 状態でオブザーバー単語タンが聞こえます。
理解するなぜ我々 は音素を生成する方法について少し理解する必要があります。音素は音声の最小単位です。言葉の悩みの種とゲインが最初にすべてのポジションで同じ音素があります。言葉の悩みの種の最初の音素は、b 音、示さ/b/です。単語利得のそれは、サウンド/g/です。残りの音は同じ、これこそ言葉の韻。図 1は、これらの例で最初の音韻の面でマガーク効果によって分解します。/B/が表示されます現在の/g が再生されると、人々 は/d/聞きます。単語デーン他の言葉でも唄の悩みの種とゲインは、右の初め 1 つの音素の違い。
図 1:、マガーク効果が起こるときに視覚的なプレゼンテーションではっきりと発音する音素との間に不一致があるし、別の音素は、スピーカーで同時に再生します。特定の調音のプロパティを共有する音素を聞いた結果が一致しない刺激のいずれかが一致しません。不一致で聞かれるべき第 3 音が発生します。具体的には、聴覚の/b/と視覚的現在の/g 聞かれる音素/d/が発生します。だからこそ、聴覚ベインと視覚的利得の結果聞いているデーンです。同様に、聴覚この血筋を引くと visual/k/は、聞かれる音/t/をリードします。なぜすることができます/パン マガーク効果で日焼けを作り出す。
なぜか競合/b/と現在の/g を作り出す、/d/具体的には?さて、/b/g/と/d/は、本当に違いがないから、どのように生産されているの観点から特に。3 つは基本的に人のスピーカーが小さな障害物を配置する場所の違いだけで、口から喉頭から空気と同じ量の移動を含みます。誰かは、/b/を音になりますとき、大気を妨害するのに彼らの唇を使用します。これは調音の唇ポイントと呼ばれます。現在の/g 音、調音点は硬口蓋-それは、口の奥にまでです。/D/音の調音のポイント呼ばれる歯科人上の歯に舌に触れることにより口の中を通過する気流を妨害するため。図 2は、マガーク効果で六つの音素の調音の相対点を示します。
図 2:人間が彼らの喉や口の中の空気を動かすことによって音を生成します。これは喉頭の中の振動を伴います。喉頭に発生する振動の特定のセットは、空気の流れを妨害することによって複数の異なる音素を作り出すことができます。特定の音を作成する障害物が配置されている場所を調音点と呼びます。関節の 3 つの重要なポイントは唇、唇を参考として知られています。歯、歯を参照します。口蓋、口蓋、または口の後ろの屋根を参照します。図は、生産、マガーク効果で聞いた音素が調音のポイント点で異なる方法を示しています。
今、あなたは少しどのようにこれらの音について生成される知っている、マガーク効果の論理がより明らかにされる必要があります。それは、このように動作します: あなたの脳が知っているいくつかの音素が実際に互いにかなり類似です。マガーク効果で単語の悩みの種は、/b/音の led は消灯、オブザーバーに対して再生されます。しかし、ビデオで顔が現在の/g 音と単語を得るように彼らと同じように口を動かしては。したがって脳は目と耳から競合する入力を受信します。競合を解決するには、脳は、結論は、真実はおそらくどこかの間に来る。/D/が/b/と g/- 生産 - の観点から人の耳は音であるためです。同じ説明は旋回タンにできパンの間の紛争に適用されます。この血筋を引くは口唇音、/k/は口蓋音。歯科の 1 つの間、t/。
Subscription Required. Please recommend JoVE to your librarian.
Applications and Summary
マガーク効果が重要されている 1 つの場所はどのように非常に理解する上で、乳幼児は話されていた言語を学ぶ。1997 年に研究も 5 ヶ月齢の乳児がマガーク効果を感知することを表示することができた。2これはそのユニットに連続オーディオ ストリームの言語解析の学習に大きな課題を解決するために乳児における視覚情報の使用をことを示唆している重要です。あなたも、単語の境界がある知って可能性がありますいないことそのような寄せ集めのような通常の速度で話されている外国語できますようだについて考えます。まあ、すべての言語幼児、外国ではどのように行う場合、言葉がある把握?マガーク効果では、彼らは顔の調音パターンに頼ることができることを示唆しています。
Subscription Required. Please recommend JoVE to your librarian.
References
- McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264, 746-748.
- Rosenblum, L. D., Schmuckler, M. A., & Johnson, J. A. (1997). The McGurk effect in infants. Perception & Psychophysics, 59(3), 347-357.
