6.12: O Efeito McGurk

1. Estímulos

1. Para fazer estímulos de efeito McGurk você vai precisar de uma câmera de vídeo - do tipo em um smartphone é bom.
2. Você também precisará de um computador para controlar a apresentação dos vídeos para um assunto ingênuo.
3. Aponte sua câmera para si mesmo, para que sua cabeça encha o display.
4. Faça quatro gravações. Cada um deve ter 10 anos. Em cada uma das quatro gravações, você repetirá uma palavra 10 vezes, cerca de 1/s. Aqui estão as palavras: bane, gain, pan, can. Tente dizer as palavras em cada vídeo em um ritmo semelhante.

2. Induzir a Ilusão

1. Para induzir a ilusão, você poderia unir o som de um vídeo e a imagem de outro. Mas isso não é realmente necessário. É mais fácil apenas fazê-lo usando seu telefone e um computador simultaneamente. Aqui está como.
2. Na área de trabalho do seu computador abra o vídeo em que você está dizendo ganho. Desligue o som e reprodugue o vídeo.
3. No seu telefone abra o vídeo em que você está dizendo bane. Coloque o telefone atrás da tela do computador para que o som possa ser ouvido, mas o vídeo não pode ser visto. Reprodução do vídeo.
4. Peça a um observador para assistir a tela do computador enquanto escuta, e quando o vídeo terminar de ser reproduzido, pergunte-lhes o que ouviram.
5. Faça o mesmo para os vídeos pan/can: Reproduza o fluxo de imagens de você dizendo pode enquanto seu telefone reproduz o fluxo de áudio do vídeo da panela. Pergunte à participante o que ela ouviu.

A percepção da linguagem - na forma falada - se beneficia das interações face a face, pois a boca fornece boas informações visuais para articular sons específicos.

Por exemplo, em uma situação próxima e desobstruída, um indivíduo pode ver seu amigo mencionar ir à praia. Nesse caso, eles usam a entrada visual - observando o movimento ao redor dos lábios e da língua - para compreender claramente o que foi dito.

No entanto, se o amigo continuar a falar fora da vista em outra sala, ele pode ficar tentado a assistir à televisão silenciada e, portanto, deve confiar apenas na voz obstruída para entender a mensagem.

Nesse caso, o que foi realmente dito no final da cauda, palheta, interferiu no chute silencioso e foi mal interpretado como carrapato. Este é um exemplo do Efeito McGurk - uma ilusão perceptiva que surge por meio de uma incompatibilidade entre pistas sonoras e visuais.

Este vídeo demonstra como construir os estímulos audiovisuais para testar o fenômeno originalmente descoberto por McGurk e Macdonald. Também investiga como a visão interage com a produção sonora para entender como os indivíduos aprendem a linguagem em uma idade muito jovem.

Neste experimento, os participantes são convidados a assistir a vídeos silenciados, nos quais uma palavra como ganho é pronunciada, enquanto um som como maldição é reproduzido simultaneamente em segundo plano. Depois, eles são convidados a compartilhar o que ouviram.

Para entender o resultado, como a ilusão é produzida, vamos primeiro discutir como os fonemas - as unidades mínimas dos sons da fala - são articulados.

Por exemplo, bane e gain compartilham os mesmos elementos em todas as posições, exceto na primeira, que são os sons /b/ e /g/.

Embora palavras com esses fonemas iniciais possam soar semelhantes, quando /g/ é mostrado e /b/ é tocado, espera-se que os indivíduos ouçam um terceiro som completamente diferente?/d/?em vez disso.

A razão pela qual /d/ é ouvido é devido ao fato de que todos os três são basicamente produzidos da mesma maneira, com apenas uma pequena diferença em onde o falante coloca uma obstrução no fluxo de ar, chamada de pontos de articulação, ou POA.

Por exemplo, quando um som de /b/ é emitido, os lábios fornecem a obstrução, resultando em um POA labial, enquanto para /g/, é chamado de palatal na parte de trás da boca. Quanto ao /d/, o POA é odontológico, consequência da língua tocar os dentes superiores.

Quando o cérebro integra o /g/ visual conflitante e o /b/ auditivo, ele conclui que o som final deve estar em algum lugar no meio dos POAs, ouvindo assim /d/ e relatando a palavra dinamarquês.

Em preparação para a demonstração, obtenha um computador para apresentar vídeos e um smartphone com câmera de vídeo.

Primeiro posicione a câmera de forma que sua cabeça preencha a tela. Agora, grave quatro clipes de 10 segundos, cada um contendo palavras diferentes que devem ser repetidas 10 vezes a uma taxa de 1 palavra/s. Certifique-se de transferir o ganho e os vídeos de lata para o computador para reprodução visual.

Para realizar o experimento, sente-se um participante na frente do computador. Abra o arquivo de vídeo para a palavra ganho e desligue o áudio.

No telefone, abra o vídeo para bane. Coloque-o atrás do computador para que sua tela fique oculta e apenas o som possa ser ouvido com clareza.

Instrua o participante a observar o monitor do computador e ouvir. Em seguida, reproduza os dois vídeos simultaneamente.

Quando os clipes terminarem, pergunte ao participante o que ele ouviu. [O participante diz: "Dane"]. Repita o procedimento reproduzindo o vídeo da palavra lata no computador e apresentando o áudio para pan no telefone. Mais uma vez, questione o participante sobre o que ele ouviu. [O participante diz: "bronzeado"].

Aqui, as palavras bane e pan foram tocadas em voz alta enquanto o participante observava o ganho e a lata sendo pronunciada. Normalmente, quando um termo com o fonema /g/ é mostrado visualmente e emparelhado com o som /b/, os indivíduos ouvirão /d/.

Da mesma forma, quando uma palavra que começa com /k/ é emparelhada com o som /p/, os indivíduos ouvirão /t/.

A razão por trás dessa percepção auditiva é devido à maneira como os sons são produzidos. O cérebro tenta resolver informações conflitantes dos olhos que veem movimentos labiais?/b/ e /p/?enquanto os ouvidos ouvem unidades palatinas?/g/ e /k/. Como resultado, conclui-se que os sons devem estar no meio, resultando na percepção dos fonemas dentários?/d/ e /t/.

Agora que você está familiarizado com a forma de produzir o efeito McGurk, vejamos algumas outras maneiras pelas quais os pesquisadores usam esse fenômeno perceptivo para investigar o desenvolvimento da linguagem e os casos em que o efeito é alterado.

Os bebês podem até ser testados no efeito McGurk a partir dos cinco meses de idade, quando são pré-linguísticos, usando um paradigma de habituação do tempo de olhar.

Nesse procedimento, Rosenblum e colegas apresentaram repetidamente aos bebês uma sílaba específica, como va, nos domínios áudio e visual antes de introduzir fonemas incompatíveis em uma fase de teste.

Os bebês mostraram sinais de habituação a tempos de olhar reduzidos e deshabituação, observada como aumento da aparência, quando algo diferente de va foi percebido. Assim, mesmo antes que os bebês possam falar, eles exibem resultados semelhantes aos dos adultos, nos quais contam com o uso de informações visuais para discriminação de linguagem.

No entanto, crianças com autismo têm maior dificuldade em exibir o efeito McGurk tão prontamente quanto os controles devido à sua capacidade prejudicada de entender e atender aos componentes visuais faciais. Isso indica diferenças fundamentais no processamento da fala audiovisual, o que pode contribuir para sua dificuldade com a linguagem e a comunicação.

Por fim, pacientes com lesões no hemisfério esquerdo - o lado tipicamente predominante para compreensão e aprendizagem da linguagem - costumam usar características faciais visuais para ajudar durante a terapia fonoaudiológica. Curiosamente, quando testados no efeito McGurk, eles relataram com mais frequência ouvir sons dentários em comparação com os controles. Tais percepções são provavelmente devido ao seu maior foco na informação visual.

Você acabou de assistir ao vídeo de JoVE sobre o Efeito McGurk. Agora você deve saber como conduzir essa ilusão audiovisual e relacionar os fonemas à produção sonora. Além disso, você também deve ter uma melhor compreensão das interações entre visão e audição e como elas podem ser afetadas durante o desenvolvimento e a idade adulta.

Obrigado por assistir!