6.12: 맥거크 효과

1화 자극

1. McGurk 효과 자극을 만들기 위해 당신은 비디오 카메라가 필요합니다 - 스마트 폰에 종류는 괜찮습니다.
2. 또한 순진한 주제에 대한 비디오 프레젠테이션을 제어하려면 컴퓨터가 필요합니다.
3. 머리가 디스플레이를 채울 수 있도록 카메라를 직접 가리킵니다.
4. 네 개의 녹음을 합니다. 각각 10s 길이여야 합니다. 네 개의 레코딩 각각에서 1/s 정도의 단어를 10번 반복합니다. 베인, 게인, 팬, 캔 : 여기에 단어가 있습니다. 각 동영상의 단어를 비슷한 속도로 말하려고 합니다.

2. 환상을 유도

1. 환상을 유도하기 위해, 당신은 한 비디오에서 소리와 다른 사진에서 함께 스플라이스 수 있습니다. 그러나 그것은 정말로 필요하지 않습니다. 휴대 전화와 컴퓨터를 동시에 사용하여 수행하는 것이 더 쉽습니다. 방법은 다음과 같습니다.
2. 컴퓨터 데스크톱에서 게인을 말하는 비디오를 엽니다. 사운드를 끄고 비디오를 재생합니다.
3. 휴대 전화에 당신이 베인을 말하는 비디오를 엽니 다. 소리가 들릴 수 있도록 컴퓨터 화면 뒤에 전화를 넣어,하지만 비디오를 볼 수 없습니다. 비디오를 재생합니다.
4. 관찰자에게 청취 하는 동안 컴퓨터 화면을 보고, 비디오 재생이 완료되면, 그들이 들었던 것을 물어보십시오.
5. 팬 / 캔 비디오에 대해 동일한 작업을 수행 : 휴대 전화가 팬 비디오에서 오디오 스트림을 재생하는 동안 할 수 말하는 당신의 사진 스트림을 재생합니다. 참가자에게 그녀가 들은 것을 물어본다.

언어 인식은 입이 특정 소리를 표현하는 데 좋은 시각적 정보를 제공하기 때문에 대면 상호 작용의 이점을 얻습니다.

예를 들어, 가까이서 방해받지 않는 상황에서 개인은 친구가 해변에 간다고 언급하는 것을 볼 수 있습니다. 이 경우, 그들은 말한 내용을 명확하게 이해하기 위해 입술과 혀 주위의 움직임을 관찰하는 시각적 입력을 사용합니다.

하지만 그 친구가 다른 방에서 보이지 않는 곳에서 계속 이야기한다면, 음소거된 텔레비전을 보고 싶은 유혹을 받을 수 있으며, 따라서 메시지를 이해하기 위해서는 방해받는 목소리에만 의존해야 합니다.

이 경우, 실제로 테일 엔드에서 말한 것, pick, 조용한 킥을 방해하여 틱으로 잘못 해석되었습니다. 이것은 맥거크 효과(McGurk Effect)의 한 예로, 소리와 시각적 단서의 불일치를 통해 발생하는 지각적 착시입니다.

이 비디오는 McGurk와 Macdonald가 처음 발견한 현상을 테스트하기 위해 시청각 자극을 구성하는 방법을 보여줍니다. 또한 개인이 아주 어린 나이에 언어를 배우는 방법을 이해하기 위해 시각이 소리 생성과 어떻게 상호 작용하는지 조사합니다.

이 실험에서 참가자들은 gain과 같은 단어를 입으로 내뱉는 동시에 bane과 같은 소리가 배경에서 재생되는 음소거 비디오를 시청하도록 요청받습니다. 그 후, 그들은 들은 것을 나눠 달라는 요청을 받습니다.

결과를 이해하기 위해, 환상이 어떻게 생성되는지를 이해하기 위해, 먼저 말소리의 최소 단위인 음소가 어떻게 표현되는지에 대해 논의해 보겠습니다.

예를 들어, bane과 gain은 첫 번째 소리인 /b/와 /g/를 제외한 모든 위치에서 동일한 요소를 공유합니다.

이러한 초기 음소를 가진 단어는 비슷하게 들릴 수 있지만 /g/가 표시되고 /b/가 재생될 때 개인은 대신 완전히 다른 세 번째 소리?/d/?를 들을 것으로 예상됩니다.

/d/가 들리는 이유는 세 가지 모두 기본적으로 동일한 방식으로 생성되기 때문이며, 화자가 관절 지점 또는 POA라고 하는 공기 흐름에 장애물을 배치하는 위치에만 약간의 차이만 있습니다.

예를 들어, /b/ 소리가 나면 입술이 방해물을 제공하여 순순 POA가 발생하는 반면, /g/의 경우 입 뒤쪽에서 구개라고 합니다. /d/의 경우, POA는 혀가 윗니에 닿은 결과인 치열입니다.

뇌가 상충되는 시각 /g/와 청각 /b/를 통합하면 최종 소리가 POA의 중간 어딘가에 있어야 한다는 결론을 내리고, 따라서 /d/를 듣고 Dane이라는 단어를 보고합니다.

시연을 준비하기 위해 비디오를 발표할 컴퓨터와 비디오 카메라가 있는 스마트폰을 구하십시오.

먼저 머리가 디스플레이를 채우도록 카메라를 배치합니다. 이제 10초짜리 클립 4개를 기록하고, 각 클립에는 1초의 속도로 10번 반복해야 하는 다른 단어가 포함되어 있습니다. 시각적 재생을 위해 게인 및 캔 비디오를 컴퓨터로 전송해야 합니다.

실험을 수행하려면 참가자를 컴퓨터 앞에 앉힙니다. 단어 게인에 대한 비디오 파일을 열고 오디오를 끕니다.

전화에서 bane에 대한 비디오를 엽니다. 화면이 숨겨지고 소리만 선명하게 들리도록 컴퓨터 뒤에 놓습니다.

참가자에게 컴퓨터 모니터를 보고 듣도록 지시합니다. 그런 다음 두 비디오를 동시에 재생합니다.

영상이 끝나면 참가자에게 무엇을 들었는지 물어봅니다. [참가자가 말한다: "데인"]. 컴퓨터에서 단어 can의 비디오를 재생하고 전화기에서 pan용 오디오를 제공하여 절차를 반복합니다. 다시 한 번, 참가자에게 무엇을 들었는지 질문합니다. [참가자가 말한다: "황갈색"].

여기에서 bane과 pan이라는 단어는 참가자가 gain과 can이 입으로 나오는 것을 지켜보면서 큰 소리로 연주되었습니다. 일반적으로 /g/ 음소가 있는 용어가 시각적으로 표시되고 /b/ 소리와 쌍을 이루면 개인은 /d/를 듣게 됩니다.

마찬가지로, /k/로 시작하는 단어가 /p/ 소리와 짝을 이루면 개인은 /t/를 듣게 됩니다.

이러한 청각적 지각의 이면에는 소리가 생성되는 방식 때문입니다. 뇌는 순음의 움직임을 보는 눈의 상충되는 정보를 해결하려고 시도하는 반면, 귀는 구개 단위(/g/와 /k/)를 듣습니다. 결과적으로, 소리가 중간에 있어야 한다는 결론을 내리고, 그 결과 치과 음소?/d/ 및 /t/를 인식할 수 있습니다.

이제 맥거크 효과를 생성하는 방법에 대해 알아보았으니, 연구자들이 이 지각 현상을 사용하여 언어 발달과 효과가 변경되는 사례를 조사하는 몇 가지 다른 방법을 살펴보겠습니다.

심지어 유아는 생후 5개월이 되면 맥거크 효과(McGurk effect)를 시험해 볼 수 있는데, 이 시기는 언어가 발달하기 전(pre-linguistic)이기 때문이며, 이를 통해 시각적인 습관화 패러다임(habituation-of-looking-time) 패러다임을 사용할 수 있다.

이 절차에서 Rosenblum과 동료들은 테스트 단계에서 일치하지 않는 음소를 도입하기 전에 시청각 영역 모두에서 va와 같은 특정 음절을 유아에게 반복적으로 제시했습니다.

유아는 va가 아닌 다른 것이 인식될 때 va?looking의 감소와 habituation의 징후를 보였으며, 이는 looking의 증가로 주목되었다. 따라서 유아가 말을 하기 전에도 성인과 유사한 결과를 보이며, 언어 차별을 위해 시각적 정보의 사용에 의존합니다.

그러나 자폐증이 있는 아동은 시각적 얼굴 구성 요소를 이해하고 주의를 기울이는 능력이 손상되어 대조군만큼 쉽게 McGurk 효과를 나타내는 데 더 큰 어려움을 겪습니다. 이는 시청각 언어 처리에 근본적인 차이가 있음을 나타내며, 이는 언어 및 의사 소통에 어려움을 겪는 원인이 될 수 있습니다.

마지막으로, 좌반구에 병변이 있는 환자는 일반적으로 언어를 이해하고 배우는 데 우세한 쪽으로, 언어 치료 중에 도움이 되는 시각적 얼굴 특징을 사용하는 경우가 많습니다. 흥미롭게도, 맥거크 효과에 대해 테스트했을 때, 그들은 대조군에 비해 치아 소리를 더 자주 들었다고 보고했습니다. 이러한 인식은 시각적 정보에 대한 집중도가 높기 때문일 수 있습니다.

당신은 방금 McGurk Effect에 대한 JoVE의 비디오를 보았습니다. 이제 이 시청각 착시를 수행하고 음소를 사운드 제작과 관련시키는 방법을 알아야 합니다. 또한 시각과 청력 간의 상호 작용과 발달 및 성인기에 어떤 영향을 미칠 수 있는지 더 잘 이해해야 합니다.

시청해 주셔서 감사합니다!