L'effetto McGurk

La percezione del linguaggio, in una forma parlata, beneficia delle interazioni faccia a faccia, poiché la bocca fornisce buone informazioni visive per articolare suoni specifici.

Ad esempio, in una situazione ravvicinata e senza ostacoli, un individuo può guardare il proprio amico menzionare di andare in spiaggia. In questo caso, usano l’input visivo– osservando il movimento intorno alle labbra e alla lingua – per comprendere chiaramente ciò che è stato detto.

Tuttavia, se l’amico continua a parlare fuori dalla vista in un’altra stanza, potrebbe essere tentato di guardare la televisione in sordina e quindi deve fare affidamento esclusivamente sulla voce ostruita per dare un senso al messaggio.

In questo caso, ciò che è stato effettivamente detto all’estremità della coda, pick, ha interferito con il calcio silenzioso ed è stato interpretato erroneamente come tick. Questo è un esempio dell’effetto McGurk, un’illusione percettiva che sorge attraverso una mancata corrispondenza tra segnali sonori e visivi.

Questo video dimostra come costruire gli stimoli audiovisivi per testare il fenomeno originariamente scoperto da McGurk e Macdonald. Studia anche come la visione interagisce con la produzione del suono per capire come gli individui imparano la lingua in età molto giovane.

In questo esperimento, ai partecipanti viene chiesto di guardare video muti, in cui una parola come guadagno viene pronunciata, mentre un suono come bane viene riprodotto contemporaneamente in sottofondo. Successivamente, viene chiesto loro di condividere ciò che hanno sentito.

Per capire il risultato, come viene prodotta l’illusione, discutiamo prima di come i fonemi – le unità minime dei suoni vocali – sono articolati.

Ad esempio, bane e gain condividono gli stessi elementi in tutte le posizioni ad eccezione della prima, che sono i suoni /b/ e /g/.

Sebbene le parole con questi fonemi iniziali possano sembrare simili, quando viene mostrato /g/ e viene riprodotto /b/, ci si aspetta che gli individui sentano un terzo suono completamente diverso.

Il motivo per cui /d/ viene ascoltato è dovuto al fatto che tutti e tre sono fondamentalmente prodotti nello stesso modo, con solo una piccola differenza in cui l’altoparlante pone un’ostruzione nel flusso d’aria, chiamata punti di articolazione o POA.

Ad esempio, quando viene prodotto un suono /b/, le labbra forniscono l’ostruzione, risultando in un POA labiale, mentre per /g/, è indicato come palatale, nella parte posteriore della bocca. Per quanto riguarda /d/, il POA è dentale, una conseguenza della lingua che tocca i denti superiori.

Quando il cervello integra il conflitto visivo /g/ e uditivo /b/, conclude che il suono finale deve trovarsi da qualche parte nel mezzo dei POA, sentendo così /d/ e riportando la parola danese.

In preparazione alla dimostrazione, procuratevi un computer per presentare i video e uno smartphone con una videocamera.

Per prima cosa posiziona la fotocamera in modo che la tua testa riempia il display. Ora, registra quattro clip da 10 s, ognuna contenente parole diverse che dovrebbero essere ripetute 10 volte ad una velocità di 1 parola / s. Assicurati di trasferire i video di guadagno e lattina al computer per la riproduzione visiva.

Per condurre l’esperimento, siediti un partecipante davanti al computer. Apri il file video per il guadagno della parola e disattiva l’audio.

Al telefono, apri il video per la rovina. Posizionalo dietro il computer in modo che il suo schermo sia nascosto e solo il suono possa essere sentito chiaramente.

Istruire il partecipante a guardare il monitor del computer e ascoltare. Quindi, riproduci entrambi i video contemporaneamente.

Quando le clip terminano, chiedi al partecipante cosa ha sentito. [Il partecipante dice: “Dane”]. Ripeti la procedura riproducendo il video della parola può sul computer e presentando l’audio per la panoramica sul telefono. Ancora una volta, interroga il partecipante su ciò che ha sentito. [Il partecipante dice: “abbronzatura”].

Qui, le parole bane e pan sono state suonate ad alta voce mentre il partecipante guardava guadagnare e può essere boccata. In genere, quando un termine con il fonema /g/ viene mostrato visivamente e abbinato al suono /b/, gli individui sentiranno /d/.

Allo stesso modo, quando una parola che inizia con /k/ è abbinata al suono /p/, gli individui sentiranno /t/.

La ragione alla base di tale percezione uditiva è dovuta al modo in cui i suoni vengono prodotti. Il cervello cerca di risolvere le informazioni contrastanti dagli occhi che vedono movimenti labiali – / b / e / p / – mentre le orecchie sentono unità palatali – / g / e / k /. Di conseguenza, conclude che i suoni devono trovarsi nel mezzo, con conseguente percezione dei fonemi dentali —/d/ e /t/.

Ora che hai familiarità con come produrre l’effetto McGurk, diamo un’occhiata ad alcuni altri modi in cui i ricercatori usano questo fenomeno percettivo per indagare sullo sviluppo del linguaggio e sui casi in cui l’effetto è alterato.

I neonati possono anche essere testati sull’effetto McGurk già a cinque mesi di età, quando sono pre-linguistici, usando un paradigma di assuefazione del tempo.

In questa procedura, Rosenblum e colleghi hanno ripetutamente presentato ai bambini una particolare sillaba, come va, sia nel dominio audio che in quello visivo prima di introdurre fonemi non corrispondenti in una fase di test.

I neonati mostravano segni di assuefazione a va – tempi di ricerca ridotti – e disassuefazione, notata come aumento dell’aspetto, quando veniva percepito qualcosa di diverso da va. Pertanto, anche prima che i bambini possano parlare, mostrano risultati simili a quelli degli adulti, in cui si basano sull’uso di informazioni visive per la discriminazione linguistica.

Tuttavia, i bambini con autismo hanno maggiori difficoltà a mostrare l’effetto McGurk con la dovuta facilità dei controlli a causa della loro ridotta capacità di comprendere e occuparsi dei componenti visivi del viso. Ciò indica differenze fondamentali nell’elaborazione del parlato audiovisivo, che possono contribuire alla loro difficoltà con il linguaggio e la comunicazione.

Infine, i pazienti con lesioni nel loro emisfero sinistro – il lato tipicamente predominante per la comprensione e l’apprendimento del linguaggio – spesso usano caratteristiche facciali visive per aiutare durante la logopedia. È interessante notare che, quando testati sull’effetto McGurk, hanno riferito più spesso di sentire suoni dentali rispetto ai controlli. Tali percezioni sono probabilmente dovute alla loro maggiore attenzione alle informazioni visive.

Hai appena visto il video di JoVE sull’effetto McGurk. Ora dovresti sapere come condurre questa illusione audiovisiva e mettere in relazione i fonemi con la produzione del suono. Inoltre, dovresti anche avere una migliore comprensione delle interazioni tra visione e udito e di come possono essere influenzate durante lo sviluppo e l’età adulta.

Grazie per l’attenzione!