6: L'effetto McGurk

1. Stimoli

1. Per rendere gli stimoli dell'effetto McGurk avrai bisogno di una videocamera, del tipo su uno smartphone va bene.
2. Avrai anche bisogno di un computer per controllare la presentazione dei video a un soggetto ingenuo.
3. Punta la fotocamera verso te stesso, in modo che la testa riempia il display.
4. Fai quattro registrazioni. Ognuno dovrebbe essere lungo 10 s. In ciascuna delle quattro registrazioni, ripeterai una parola 10 volte, circa 1/s. Ecco le parole: bane, gain, pan, can. Prova a pronunciare le parole in ogni video a un ritmo simile.

2. Indurre l'illusione

1. Per indurre l'illusione, potresti unire insieme il suono di un video e l'immagine di un altro. Ma non è davvero necessario. È più facile farlo semplicemente usando il telefono e un computer contemporaneamente. Ecco come.
2. Sul desktop del tuo computer apri il video in cui stai dicendo guadagno. Disattiva l'audio e riproduci il video.
3. Sul tuo telefono apri il video in cui stai dicendo bane. Metti il telefono dietro lo schermo del computer in modo che il suono possa essere ascoltato, ma il video non può essere visto. Riproduci il video.
4. Chiedi a un osservatore di guardare lo schermo del computer durante l'ascolto e, quando il video ha finito di riprodurlo, chiedi loro cosa hanno sentito.
5. Fai lo stesso per i video pan/can: riproduci il flusso di immagini di te che dici di puoi mentre il tuo telefono riproduce il flusso audio dal video pan. Chiedi al partecipante cosa ha sentito.

La percezione del linguaggio, in forma parlata, beneficia delle interazioni faccia a faccia, poiché la bocca fornisce buone informazioni visive per articolare suoni specifici.

Ad esempio, in una situazione ravvicinata e senza ostacoli, un individuo può guardare il proprio amico menzionare di andare in spiaggia. In questo caso, usano l'input visivo – osservando il movimento intorno alle labbra e alla lingua – per comprendere chiaramente ciò che è stato detto.

Tuttavia, se l'amico continua a parlare in un'altra stanza, potrebbe essere tentato di guardare la televisione disattivata e quindi deve fare affidamento esclusivamente sulla voce ostruita per dare un senso al messaggio.

In questo caso, ciò che è stato effettivamente detto alla fine, plettro, ha interferito con il calcio silenzioso ed è stato erroneamente interpretato come tick. Questo è un esempio dell'effetto McGurk, un'illusione percettiva che nasce da una discrepanza tra segnali sonori e visivi.

Questo video mostra come costruire gli stimoli audiovisivi per testare il fenomeno originariamente scoperto da McGurk e Macdonald. Studia anche come la vista interagisce con la produzione del suono per capire come gli individui imparano il linguaggio in tenera età.

In questo esperimento, ai partecipanti viene chiesto di guardare video in modalità silenziosa, in cui viene pronunciata una parola come guadagno, mentre un suono come bane viene riprodotto contemporaneamente in sottofondo. Successivamente, viene chiesto loro di condividere ciò che hanno sentito.

Per capire il risultato, come viene prodotta l'illusione, discutiamo prima di come sono articolati i fonemi, le unità minime dei suoni del linguaggio.

Ad esempio, bane e gain condividono gli stessi elementi in tutte le posizioni tranne la prima, che sono i suoni /b/ e /g/.

Sebbene le parole con questi fonemi iniziali possano suonare simili, quando viene mostrata /g/ e viene suonata /b/, ci si aspetta che gli individui sentano invece un terzo suono completamente diverso?/d/?.

Il motivo per cui si sente /d/ è dovuto al fatto che tutti e tre sono fondamentalmente prodotti nello stesso modo, con solo una piccola differenza nel punto in cui il parlante pone un'ostruzione nel flusso d'aria, chiamati punti di articolazione, o POA.

Ad esempio, quando viene emesso un suono /b/, le labbra forniscono l'ostruzione, risultando in un POA labiale, mentre per /g/, è indicato come palatale? nella parte posteriore della bocca. Per quanto riguarda /d/, la POA è dentale, una conseguenza del fatto che la lingua tocca i denti superiori.

Quando il cervello integra la /g/ visiva e la /b/ uditiva in conflitto, conclude che il suono finale deve trovarsi da qualche parte nel mezzo delle POA, quindi sente /d/ e riporta la parola Dane.

In preparazione per la dimostrazione, procurati un computer su cui presentare i video e uno smartphone con videocamera.

Per prima cosa posiziona la fotocamera in modo che la tua testa riempia il display. Ora, registra quattro clip di 10 secondi, ognuna contenente parole diverse che dovrebbero essere ripetute 10 volte a una velocità di 1 parola/s. Assicurati di trasferire il guadagno e i video can sul computer per la riproduzione visiva.

Per condurre l'esperimento, fai sedere un partecipante davanti al computer. Apri il file video per il guadagno di parole e disattiva l'audio.

Sul telefono, apri il video per bane. Posizionalo dietro il computer in modo che lo schermo sia nascosto e solo il suono possa essere ascoltato chiaramente.

Chiedi al partecipante di guardare il monitor del computer e ascoltare. Quindi, riproduci entrambi i video contemporaneamente.

Al termine delle clip, chiedi al partecipante cosa ha sentito. [Il partecipante dice: "Dane"]. Ripetere la procedura riproducendo il video della parola can sul computer e presentando l'audio per la panoramica sul telefono. Ancora una volta, interroga il partecipante su ciò che ha sentito. [Il partecipante dice: "abbronzatura"].

Qui, le parole bane e pan sono state suonate ad alta voce mentre il partecipante guardava guadagnare e lattina essere pronunciato. Tipicamente, quando un termine con il fonema /g/ viene mostrato visivamente e abbinato al suono /b/, gli individui sentiranno /d/.

Allo stesso modo, quando una parola che inizia con /k/ è abbinata al suono /p/, gli individui sentiranno /t/.

La ragione di tale percezione uditiva è dovuta al modo in cui vengono prodotti i suoni. Il cervello cerca di risolvere le informazioni contrastanti provenienti dagli occhi che vedono i movimenti labiali?/b/ e /p/?mentre le orecchie sentono le unità palatali?/g/ e /k/. Di conseguenza, si conclude che i suoni devono trovarsi nel mezzo, con conseguente percezione dei fonemi dentali?/d/ e /t/.

Ora che hai familiarità con come produrre l'effetto McGurk, diamo un'occhiata ad alcuni altri modi in cui i ricercatori utilizzano questo fenomeno percettivo per studiare lo sviluppo del linguaggio e i casi in cui l'effetto è alterato.

I neonati possono anche essere testati sull'effetto McGurk già a cinque mesi di età, quando sono pre-linguistici, utilizzando un paradigma di assuefazione del tempo di osservazione.

In questa procedura, Rosenblum e colleghi hanno ripetutamente presentato ai bambini una sillaba particolare, come va, sia nel dominio audio che in quello visivo prima di introdurre fonemi non corrispondenti in una fase di test.

I neonati hanno mostrato segni di assuefazione a va (tempi di sguardo ridotti) e disassuefazione, nota come aumento dello sguardo, quando è stato percepito qualcosa di diverso da va. Pertanto, anche prima che i neonati possano parlare, mostrano risultati simili a quelli degli adulti, in cui si affidano all'uso di informazioni visive per la discriminazione linguistica.

Tuttavia, i bambini con autismo hanno maggiori difficoltà a mostrare l'effetto McGurk con la stessa facilità dei controlli a causa della loro ridotta capacità di comprendere e prestare attenzione alle componenti visive del viso. Ciò indica differenze fondamentali nell'elaborazione del parlato audiovisivo, che possono contribuire alla loro difficoltà con il linguaggio e la comunicazione.

Infine, i pazienti con lesioni nell'emisfero sinistro – il lato tipicamente predominante per la comprensione e l'apprendimento del linguaggio – spesso usano le caratteristiche visive del viso per aiutare durante la logopedia. È interessante notare che, quando sono stati testati sull'effetto McGurk, hanno riferito più spesso di sentire suoni dentali rispetto ai controlli. Tali percezioni sono probabilmente dovute alla loro maggiore attenzione alle informazioni visive.

Hai appena visto il video di JoVE sull'effetto McGurk. Ora dovresti sapere come condurre questa illusione audiovisiva e mettere in relazione i fonemi con la produzione del suono. Inoltre, dovresti anche avere una migliore comprensione delle interazioni tra vista e udito e di come possono essere influenzate durante lo sviluppo e l'età adulta.

Grazie per l'attenzione!