Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Science Education
Sensation and Perception

A subscription to JoVE is required to view this content.
You will only be able to see the first 20 seconds.

 

Overview

출처: 조나단 플롬바움 연구소 -존스 홉킨스 대학

인간의 단수 적인 성취인 말하는 언어는 전문적인 지각 메커니즘에 크게 의존합니다. 언어 지각 메커니즘의 한 가지 중요한 특징은 청각 및 시각적 정보에 동시에 의존한다는 것입니다. 현대까지, 사람이 대부분의 언어가 대면 상호 작용에서 들릴 것이라고 기대할 수 있기 때문에 이것은 의미가 있습니다. 그리고 특정 음성 소리를 생성하려면 정확한 관절이 필요하기 때문에 입은 누군가가 말하는 것에 대한 좋은 시각적 정보를 제공 할 수 있습니다. 사실, 누군가의 얼굴을 가까이서 방해받지 않는 시야를 가진 입은 종종 음성공급보다 더 나은 시각적 신호를 제공 할 수 있습니다 청각 신호. 그 결과 인간의 뇌는 시각적 입력을 선호하고, 음성 언어로 내재된 모호성을 모호하게 하는 데 사용합니다.

사운드를 해석하기 위한 시각적 입력에 대한 이러한 의존은 해리 맥거크와 존 맥도널드가 1976년 입술을 듣고 목소리를 보는논문에서 설명되었습니다. 1 이 논문에서 그들은 음원과 비디오 녹화 사이의 불일치를 통해 발생하는 환상을 설명했다. 그 환상은 맥거크 효과로 알려지게되었다. 이 비디오는 McGurk 효과를 제작하고 해석하는 방법을 보여줍니다.

Procedure

or Start trial to access full content. Learn more about your institution’s access to JoVE content here

1화 자극

  1. McGurk 효과 자극을 만들기 위해 당신은 비디오 카메라가 필요합니다 - 스마트 폰에 종류는 괜찮습니다.
  2. 또한 순진한 주제에 대한 비디오 프레젠테이션을 제어하려면 컴퓨터가 필요합니다.
  3. 머리가 디스플레이를 채울 수 있도록 카메라를 직접 가리킵니다.
  4. 네 개의 녹음을 합니다. 각각 10s 길이여야 합니다. 네 개의 레코딩 각각에서 1/s 정도의 단어를 10번 반복합니다. 베인, 게인, 팬, 캔 : 여기에 단어가 있습니다. 각 동영상의 단어를 비슷한 속도로 말하려고 합니다.

2. 환상을 유도

  1. 환상을 유도하기 위해, 당신은 한 비디오에서 소리와 다른 사진에서 함께 스플라이스 수 있습니다. 그러나 그것은 정말로 필요하지 않습니다. 휴대 전화와 컴퓨터를 동시에 사용하여 수행하는 것이 더 쉽습니다. 방법은 다음과 같습니다.
  2. 컴퓨터 데스크톱에서 게인을 말하는 비디오를 엽니다. 사운드를 끄고 비디오를 재생합니다.
  3. 휴대 전화에 당신이 베인을 말하는 비디오를 엽니 다. 소리가 들릴 수 있도록 컴퓨터 화면 뒤에 전화를 넣어,하지만 비디오를 볼 수 없습니다. 비디오를 재생합니다.
  4. 관찰자에게 청취 하는 동안 컴퓨터 화면을 보고, 비디오 재생이 완료되면, 그들이 들었던 것을 물어보십시오.
  5. 팬 / 캔 비디오에 대해 동일한 작업을 수행 : 휴대 전화가 팬 비디오에서 오디오 스트림을 재생하는 동안 할 수 말하는 당신의 사진 스트림을 재생합니다. 참가자에게 그녀가 들은 것을 물어본다.

언어 지각은 입이 특정 소리를 표현하기 위한 좋은 시각적 정보를 제공하므로 대면 상호 작용의 이점을 누릴 수 있습니다.

예를 들어, 가까이 서 있고 방해받지 않는 상황에서 개인은 친구가 해변에 가는 것을 볼 수 있습니다. 이 경우, 그들은 시각적 입력을 사용하여 입술과 혀 주위의 움직임을 관찰하여 말한 것을 명확하게 이해합니다.

그러나 친구가 다른 방에서 계속 보이지 않는 대화를 계속한다면 음소거 된 텔레비전을 보고 싶은 유혹을 받을 수 있으므로 메시지를 이해하기 위해 방해된 목소리에만 의존해야합니다.

이 경우, 실제로 꼬리 끝에서 말한, 선택, 침묵 킥을 방해하고 진드기로 잘못 해석되었다. 이것은 맥거크 효과의 예입니다 - 소리와 시각적 단서 사이의 불일치를 통해 발생하는 지각 환상.

이 비디오는 맥거크와 맥도날드가 원래 발견한 현상을 테스트하기 위해 시청각 자극을 구성하는 방법을 보여줍니다. 또한 시력이 사운드 프로덕션과 상호 작용하는 방법을 조사하여 개인이 아주 어린 나이에 언어를 배우는 방법을 이해합니다.

이 실험에서 참가자들은 게인과 같은 단어가 입에 입에 있는 음소거 된 비디오를 시청하도록 요청받고 베인과 같은 소리가 백그라운드에서 동시에 재생됩니다. 그 후, 그들은 그들이 들은 것을 공유하도록 요청받습니다.

결과를 이해하려면 환상이 어떻게 생성되는지 먼저 최소한의 음성 소리 인 전화 음표가 어떻게 표현되는지 에 대해 설명해 봅시다.

예를 들어, 베인과 게인은 소리 /b/ 및 /g/를 제외한 모든 위치에서 동일한 요소를 공유합니다.

이러한 초기 전화음이 있는 단어는 비슷하게 들릴 수 있지만/ g/가 표시되고 /b/가 재생되면 개인은 완전히 다른 세 번째 사운드(/d/)를 들을 것으로 예상됩니다.

/d/hear되는 이유는 스피커가 관절점 또는 POA라고 하는 공기 흐름에 장애물을 배치하는 위치에 있는 작은 차이만으로, 세 가지 모두 기본적으로 동일한 방식으로 생산되기 때문입니다.

예를 들어/ b/소리가 만들어지면 입술이 방해를 제공하여 음순 POA를 제공하지만 /g/는 입 뒤쪽에서 성술이라고 합니다. /d/, POA는 치아, 혀가 상부 치아를 만지는 결과입니다.

뇌가 충돌하는 시각적 /g / 및 청각 /b / 를 통합할 때 최종 사운드가 POA 의 중간에 어딘가에 놓여있어야한다고 결론을 내립니다.

데모를 준비하기 위해 비디오를 표시하는 컴퓨터와 비디오 카메라가있는 스마트 폰을 얻습니다.

먼저 카메라를 배치하여 머리가 디스플레이를 채우게 합니다. 이제 1개의 10s 클립 4개를 기록하고, 각 클립에는 1단어/s의 속도로 10번 반복되어야 하는 다른 단어가 들어 있습니다. 게인을 전송하고 시각적 재생을 위해 컴퓨터로 비디오를 전송할 수 있는지 확인합니다.

실험을 수행하려면 컴퓨터 앞에 참가자를 앉습니다. 단어 게인에 대한 비디오 파일을 열고 오디오를 끕니다.

전화로, 베인에 대한 비디오를 엽니 다. 화면이 숨겨져 있고 소리만 명확하게 들을 수 있도록 컴퓨터 뒤에 놓습니다.

참가자에게 컴퓨터 모니터를 보고 듣도록 지시합니다. 그런 다음 두 비디오를 동시에 재생합니다.

클립이 끝나면 참가자에게 들었던 것을 물어보십시오. [참가자는 말한다: "데인"]. 컴퓨터에서 할 수 있는 단어의 비디오를 재생하고 휴대폰에서 팬용 오디오를 표시하여 절차를 반복합니다. 다시 한번, 참가자에게 그들이 들은 것에 대해 질문하십시오. [참가자는 말한다: "황갈색"].

여기서, 베인과 팬이라는 단어는 참가자가 이득을 보면서 큰 소리로 재생되었고 입을 다할 수 있습니다. 일반적으로/g/phoneme을 가진 용어가 시각적으로 표시되고 사운드/b/와 페어링되면 개인은 /d/를 들을 수 있습니다.

마찬가지로/k/로 시작하는 단어가 소리/p/와 페어링되면 개인은 /t/를 들을 수 있습니다.

이러한 청각 인식 뒤에 이유는 소리가 생성되는 방식에 기인한다. 뇌는 눈의 충돌하는 정보를 해결하려고 시도합니다 - / b / 및 /p /--귀가 성병 단위를 듣는 동안 /g / 및 /k /. 그 결과, 소리가 중간에 놓여있어야 하며, 그 결과 치과 전화음-/d/및/t/..

이제 McGurk 효과를 생성하는 방법에 익숙해지면 연구원이 이 지각 현상을 사용하여 언어 개발 및 효과가 변경된 사례를 조사하는 다른 방법을 살펴보겠습니다.

유아는 심지어 5 개월 의 나이에 맥거크 효과에 테스트 할 수 있습니다, 그들은 사전 언어, 보이는 시간 패러다임을 사용하여.

이 절차에서 Rosenblum과 동료들은 테스트 단계에서 일치하지 않는 전화음매를 도입하기 전에 오디오 및 시각적 도메인 모두에서 va와 같은 특정 음절을 유아에게 반복적으로 제시했습니다.

유아는 va 이외에 무언가가 인식될 때 증가된 보기로 지적된, 감소된 찾고 시간 및 거주를 감소하는 va-를 습관의 표시를 보여주었습니다. 따라서 유아가 말을 하기 전에도 언어 차별을 위한 시각적 정보의 사용에 의존하는 성인과 유사한 결과를 표시합니다.

그러나, 자폐증을 가진 아이들은 시각 안면 분대를 이해하고 참석하는 그들의 손상한 기능 때문에 통제로 쉽게 McGurk 효력을 전시하는 더 중대한 어려움이 있습니다. 이는 언어 및 의사 소통에 어려움을 겪을 수 있는 시청각 음성 처리의 근본적인 차이를 나타냅니다.

마지막으로, 왼쪽 반구에 병변을 가진 환자 - 일반적으로 언어를 이해하고 배우는 데 우세한 측면은 종종 음성 치료 중에 도움이되는 시각적 얼굴 특징을 사용합니다. 흥미롭게도, McGurk 효과에 테스트 할 때, 그들은 더 자주 제어에 비해 청력 치과 소리를보고했다. 이러한 인식은 시각적 정보에 더 높은 초점 때문일 수 있습니다.

당신은 맥거크 효과에 조브의 비디오를 보았다. 지금 당신은이 시청각 환상을 수행하는 방법을 알고 사운드 생산에 전화와 관련이 있어야합니다. 또한 시력과 청각 간의 상호 작용과 개발 및 성인기 동안 어떻게 영향을 받을 수 있는지를 더 잘 이해해야 합니다.

시청해 주셔서 감사합니다!

Subscription Required. Please recommend JoVE to your librarian.

Results

or Start trial to access full content. Learn more about your institution’s access to JoVE content here

관찰자에게 재생된 소리는 베인이나 팬이라는 단어입니다. 그러나 첨부 된 비디오에서, 관절되는 단어는 이득과 각각 할 수 있습니다. 그렇다면 사람들은 실제로 어떤 단어를 들을 수 있을까요? 대답은 가장 자주 그 네 가지 중 하나입니다. 대신, 일반적인 결과는 베인 / 게인 조건의 관찰자가 데인이라는 단어를들을 수 있다는 것입니다. 그리고 팬 /캔 조건의 관찰자는 황갈색이라는 단어를 들을 수 있습니다.

우리가 전화 음이 생성되는 방법에 대해 조금 이해해야하는 이유를 이해하기 위해. 전화음은 최소한의 음성 사운드 단위입니다. 베인과 게인이라는 단어는 첫 번째 를 제외한 모든 위치에서 동일한 전화음이 있습니다. 단어 베인에서 첫 번째 전화는 b 소리, 표시 / b /입니다. 단어 게인에서 그것은 소리 / g /입니다. 나머지 소리는 같은 소리입니다 -이 단어 운율 이유입니다. 그림 1은 이러한 예제의 초기 음무면에서 McGurk 효과를 분해합니다. /b/가 표시되고 /g/가 재생되면 사람들은 /d/를 듣습니다. 다른 말로데인이라는 단어는 처음부터 한 개의 음로메 차이로 베인과 게인으로 운율을 내린다.

Figure 1
그림 1: McGurk 효과는 시각적 프레젠테이션에서 표현되고 다른 전화음이 스피커를 통해 동시에 재생되는 전화음 사이에 불일치가 있을 때 발생합니다. 특정 관절 특성을 공유하는 음극을 사용하면 결과와 일치하지 않는 자극과 일치하지 않을 수 있습니다. 불일치로 인해 세 번째 소리가 들립니다. 특히 청각 /b /가있는 시각적 / g /는 전화 /d / 듣기를 유발합니다. 이것이 청각 베인으로 시각적으로 이득을 얻는 것이 데인의 말을 듣는 이유입니다. 마찬가지로 청각 /p /가있는 시각적 / k /는 소리가 /t / 들리도록 이끕다. 그렇기 때문에 McGurk 효과에서 캔/팬이 황갈색을 생성합니다.

충돌 /b / 및 /g / 특별히 / d / 생성합니까? 음, /b/, /g/, 및/d/는 특히 생산 방식면에서 서로 다르지 않습니다. 세 가지는 기본적으로 사람의 후두에서 입을 통해 공기의 동일한 금액을 이동 포함, 스피커가 작은 장애물을 배치하는 곳의 단지 차이와 함께. 누군가가 /b / 소리를 만들 때, 그들은 공기를 방해하기 위해 자신의 입술을 사용합니다. 이것은 관절의 labial 점으로 알려져 있습니다. /g/sound의 경우, 관절의 포인트는 목-그것은 입의 뒤쪽에 멀리 있다. 그리고 /d/ 사운드의 경우, 사람들이 혀를 위니에 만져 입을 통해 공기 흐름을 방해하기 때문에 관절의 지점은 치과로 알려져 있습니다. 도 2는 McGurk 효과의 6개의 음에 대한 관절의 상대적인 점을 나타낸다.

Figure 2
그림 2: 인간은 목과 입을 통해 공기를 이동하여 소리를 냅니다. 이것은 후두에 있는 진동을 관련시킵니다. 후두에서 발생하는 특정 진동 세트는 공기의 흐름을 방해하여 여러 개의 다른 전화미를 생성할 수 있습니다. 특정 사운드를 만들기 위해 방해가 배치되는 장소를 관절의 지점이라고 합니다. 관절의 세 가지 중요한 점은 입술을 참조, labial로 알려져있다; 치과, 치아를 참조; 그리고 구태, 또는 입의 뒤쪽 지붕을 참조. 이 그림은 맥거크 효과에서 생성되고 들었던 전화음이 관절의 포인트면에서 어떻게 다른지 보여줍니다.

이제 이러한 소리가 어떻게 생성되는지에 대해 조금 알고 있으므로 McGurk 효과의 논리가 더 분명해져야합니다. 그것은 이처럼 작동 : 당신의 두뇌는 일부 전화는 실제로 서로 매우 유사하다는 것을 알고있다. McGurk 효과에서 베인이라는 단어는 관찰자에게 재생되며 / b / 사운드로 이끈다. 그러나 비디오의 얼굴은 /g / 사운드를 만들기 위해 입을 움직이고 있으며 단어 게인입니다. 따라서 뇌는 눈과 귀에서 상충되는 입력을 받습니다. 갈등을 해결하기 위해 뇌는 진실이 아마도 그 사이에 있을 것이라는 결론에 도달합니다. /d/는 /b/와/g/-in 생산 의 관점에서 소리가 기 때문에 사람들이 듣는 것입니다. 팬과 캔 사이의 충돌을 황갈색으로 바꾸는 것과 동일한 설명이 적용됩니다. /p/는 음순 소리이고/k/는 성악소리입니다. 그 사이에 치과 는 /t/입니다.

Subscription Required. Please recommend JoVE to your librarian.

Applications and Summary

or Start trial to access full content. Learn more about your institution’s access to JoVE content here

McGurk 효과가 중요한 한 곳은 아주 어린 유아가 말하는 언어를 배우는 방법을 이해하는 것입니다. 1997년의 한 연구에서는 5개월 된 유아조차도 맥거크 효과를 인식하는 것을 보여줄 수 있었습니다. 2 이는 영유아가 언어 구문 분석에 대한 주요 과제를 해결하기 위해 시각적 정보를 사용할 수 있음을 시사하기 때문에 중요하다. 외국어가 정상 속도로 사용되는 것은 경계라는 단어가 어디에 있는지조차 알지 못하는 그런 뒤섞여 있는 것처럼 보일 수 있는 방법에 대해 생각해 보십시오. 모든 언어가 유아에게 외국인 경우 단어가 어디에 있는지 어떻게 알아내는가? McGurk 효과는 안면 관절 패턴에 의존 할 수 있음을 시사합니다.

Subscription Required. Please recommend JoVE to your librarian.

References

  1. McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264, 746-748.
  2. Rosenblum, L. D., Schmuckler, M. A., & Johnson, J. A. (1997). The McGurk effect in infants. Perception & Psychophysics, 59(3), 347-357.

Transcript

Please note that all translations are automatically generated.

Click here for the English version.

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter