Please note that some of the translations on this page are AI generated. Click here for the English version.
Źródło: Laboratorium Jonathana Flombauma – Uniwersytet Johnsa Hopkinsa
Język mówiony, wyjątkowe osiągnięcie człowieka, opiera się w dużej mierze na wyspecjalizowanych mechanizmach percepcyjnych. Jedną z ważnych cech mechanizmów percepcji języka jest to, że jednocześnie opierają się one na informacjach słuchowych i wizualnych. Ma to sens, ponieważ do czasów współczesnych człowiek mógł oczekiwać, że większość języka będzie słyszana w interakcjach twarzą w twarz. A ponieważ wytwarzanie określonych dźwięków mowy wymaga precyzyjnej artykulacji, usta mogą dostarczać dobrych informacji wizualnych o tym, co ktoś mówi. W rzeczywistości, przy bliskim i niezakłóconym widoku czyjejś twarzy, usta mogą często dostarczać lepszych sygnałów wizualnych niż mowa dostarcza sygnałów słuchowych. W rezultacie ludzki mózg faworyzuje bodźce wizualne i wykorzystuje je do ujednoznacznienia wrodzonej niejednoznaczności w języku mówionym.
To poleganie na wizualnych danych wejściowych do interpretacji dźwięku zostało opisane przez Harry'ego McGurka i Johna Macdonalda w artykule z 1976 roku zatytułowanym Słyszenie ust i widzenie głosów. 1 W tym artykule opisali iluzję, która powstaje w wyniku niezgodności między nagraniem dźwiękowym a nagraniem wideo. To złudzenie stało się znane jako efekt McGurka. Ten film pokaże, jak uzyskać i zinterpretować efekt McGurka.
1. Bodźce
2. Wywoływanie iluzji
Percepcja języka - w formie mówionej - czerpie korzyści z interakcji twarzą w twarz, ponieważ usta dostarczają dobrych informacji wizualnych do artykulacji określonych dźwięków.
Na przykład w sytuacji z bliska i bez przeszkód osoba może obserwować, jak jej przyjaciel wspomina, że idzie na plażę. W tym przypadku używają bodźców wzrokowych – obserwując ruch wokół ust i języka – aby wyraźnie zrozumieć, co zostało powiedziane.
Jeśli jednak przyjaciel nadal będzie mówił poza zasięgiem wzroku w innym pokoju, może ulec pokusie oglądania wyciszonego telewizora i dlatego musi polegać wyłącznie na zakłóconym głosie, aby zrozumieć wiadomość.
W tym przypadku to, co faktycznie zostało powiedziane na końcu, kilof, kolidowało z cichym kopnięciem i zostało błędnie zinterpretowane jako tik. Jest to przykład efektu McGurka – iluzji percepcyjnej, która powstaje w wyniku niedopasowania między sygnałami dźwiękowymi i wizualnymi.
Ten film pokazuje, jak konstruować bodźce audiowizualne, aby przetestować zjawisko pierwotnie odkryte przez McGurka i Macdonalda. Bada również, w jaki sposób wzrok oddziałuje na produkcję dźwięku, aby zrozumieć, w jaki sposób ludzie uczą się języka w bardzo młodym wieku.
W tym eksperymencie uczestnicy są proszeni o oglądanie wyciszonych filmów, w których wypowiadane jest słowo takie jak wzmocnienie, podczas gdy dźwięk, taki jak bane, jest odtwarzany jednocześnie w tle. Następnie są proszeni o podzielenie się tym, co usłyszeli.
Aby zrozumieć wynik, w jaki sposób powstaje iluzja, omówmy najpierw, w jaki sposób fonemy – minimalne jednostki dźwięków mowy – są artykułowane.
Na przykład bane i gain mają te same elementy we wszystkich pozycjach, z wyjątkiem pierwszej, którą są dźwięki /b/ i /g/.
Chociaż słowa z tymi początkowymi fonemami mogą brzmieć podobnie, gdy pokazane jest /g/ i grane jest /b/, oczekuje się, że osoby usłyszą zamiast tego zupełnie inny trzeci dźwięk - /d/.
Powodem, dla którego słychać /d/, jest fakt, że wszystkie trzy są zasadniczo wytwarzane w ten sam sposób, z niewielką różnicą w miejscu, w którym mówca umieszcza przeszkodę w przepływie powietrza, zwaną punktami artykulacji lub POA.
Na przykład, gdy wydawany jest dźwięk /b/, wargi stanowią przeszkodę, co skutkuje wargowym POA, podczas gdy w przypadku /g/ jest to określane jako podniebienne - w tylnej części jamy ustnej. Jeśli chodzi o /d/, POA jest zębowe, co jest konsekwencją dotykania przez język górnych zębów.
Kiedy mózg integruje sprzeczne wzrokowe /g/ i słuchowe /b/, dochodzi do wniosku, że końcowy dźwięk musi leżeć gdzieś pośrodku POA, słysząc w ten sposób /d/ i zgłaszając słowo Dane.
Przygotowując się do demonstracji, zaopatrz się w komputer do prezentowania filmów oraz smartfon z kamerą wideo.
Najpierw ustaw kamerę tak, aby głowa wypełniała wyświetlacz. Teraz nagraj cztery klipy 10-sekundowe, z których każdy zawiera inne słowa, które należy powtórzyć 10 razy w tempie 1 słowa / s. Upewnij się, że przesyłasz filmy z wzmocnieniem i puszką do komputera w celu odtwarzania wizualnego.
Aby przeprowadzić eksperyment, posadź uczestnika przed komputerem. Otwórz plik wideo dla wzmocnienia słowa i wyłącz dźwięk.
Na telefonie otwórz wideo dla bane. Umieść go za komputerem tak, aby jego ekran był ukryty i wyraźnie słychać tylko dźwięk.
Poinstruuj uczestnika, aby patrzył na monitor komputera i słuchał. Następnie odtwórz oba filmy jednocześnie.
Kiedy klipy się skończą, zapytaj uczestnika, co usłyszał. [Uczestnik mówi: "Duńczyk"]. Powtórz procedurę, odtwarzając wideo ze słowem może na komputerze i prezentując dźwięk do panoramowania w telefonie. Jeszcze raz zapytaj uczestnika, co usłyszał. [Uczestnik mówi: "opalenizna"].
Tutaj słowa bane i pan były odtwarzane na głos, gdy uczestnik obserwował, jak gain i can są ustami. Zazwyczaj, gdy termin z fonemem /g/ jest pokazany wizualnie i sparowany z dźwiękiem /b/, osoby usłyszą /d/.
Podobnie, gdy słowo zaczynające się na /k/ jest sparowane z dźwiękiem /p/, ludzie usłyszą /t/.
Powodem takiej percepcji słuchowej jest sposób, w jaki wytwarzane są dźwięki. Mózg próbuje rozwiązać sprzeczne informacje z oczu, widząc ruchy warg sromowych – /b/ i /p/ – podczas gdy uszy słyszą jednostki podniebienne – /g/ i /k/. W rezultacie dochodzi do wniosku, że dźwięki muszą leżeć pośrodku, co skutkuje percepcją fonemów dentystycznych - /d/ i /t/.
Teraz, gdy wiesz już, jak wywołać efekt McGurka, przyjrzyjmy się innym sposobom, w jakie naukowcy wykorzystują to zjawisko percepcyjne do badania rozwoju języka i przypadków, w których efekt jest zmieniony.
Niemowlęta mogą być nawet testowane pod kątem efektu McGurka już w wieku pięciu miesięcy, kiedy są w stanie przedjęzykowym, stosując paradygmat przyzwyczajenia do patrzenia na czas.
W tej procedurze Rosenblum i współpracownicy wielokrotnie prezentowali niemowlętom określoną sylabę, taką jak va, zarówno w sferze dźwiękowej, jak i wizualnej, zanim wprowadzili niedopasowane fonemy w fazie testów.
Niemowlęta wykazywały oznaki przyzwyczajenia do va – skrócony czas patrzenia – i przyzwyczajenie, odnotowane jako zwiększone patrzenie, gdy postrzegano coś innego niż va. Tak więc, nawet zanim niemowlęta nauczą się mówić, wykazują podobne wyniki jak dorośli, w których polegają na wykorzystaniu informacji wizualnych do dyskryminacji językowej.
Jednak dzieci z autyzmem mają większe trudności z wykazywaniem efektu McGurka tak łatwo jak grupa kontrolna ze względu na ich upośledzoną zdolność rozumienia i zwracania uwagi na wizualne elementy twarzy. Wskazuje to na zasadnicze różnice w przetwarzaniu mowy audiowizualnej, co może przyczyniać się do ich trudności z językiem i komunikacją.
Wreszcie, pacjenci ze zmianami w lewej półkuli - stronie zwykle dominującej dla rozumienia i uczenia się języka - często używają wizualnych rysów twarzy, aby pomóc podczas terapii mowy. Co ciekawe, podczas testów z efektem McGurka, częściej zgłaszali słyszenie dźwięków dentystycznych w porównaniu z grupą kontrolną. Takie postrzeganie jest prawdopodobnie spowodowane większym naciskiem na informacje wizualne.
Właśnie obejrzałeś film JoVE na temat efektu McGurka. Teraz powinieneś wiedzieć, jak przeprowadzić tę audiowizualną iluzję i powiązać fonemy z produkcją dźwięku. Ponadto powinieneś również lepiej rozumieć interakcje między wzrokiem a słuchem oraz to, jak można na nie wpływać podczas rozwoju i dorosłości.
Dzięki za oglądanie!
Percepcja języka – w formie mówionej – czerpie korzyści z interakcji twarzą w twarz, ponieważ usta dostarczają dobrych informacji wizualnych do artykulacji określonych dźwięków.
Na przykład w sytuacji z bliska i bez przeszkód osoba może obserwować, jak jej przyjaciel wspomina, że idzie na plażę. W tym przypadku używają bodźców wzrokowych – obserwując ruch wokół ust i języka – aby jasno zrozumieć, co zostało powiedziane.
Jeśli jednak przyjaciel nadal będzie mówił poza zasięgiem wzroku w innym pokoju, może ulec pokusie oglądania wyciszonego telewizora i dlatego musi polegać wyłącznie na zakłóconym głosie, aby zrozumieć wiadomość.
W tym przypadku to, co faktycznie zostało powiedziane na końcu, kilof, kolidowało z cichym kopnięciem i zostało błędnie zinterpretowane jako tik. Jest to przykład efektu McGurka – iluzji percepcyjnej, która powstaje w wyniku niedopasowania między sygnałami dźwiękowymi i wizualnymi.
Ten film pokazuje, jak konstruować bodźce audiowizualne, aby przetestować zjawisko pierwotnie odkryte przez McGurka i Macdonalda. Bada również, w jaki sposób wzrok oddziałuje na produkcję dźwięku, aby zrozumieć, w jaki sposób ludzie uczą się języka w bardzo młodym wieku.
W tym eksperymencie uczestnicy są proszeni o oglądanie wyciszonych filmów, w których wypowiadane jest słowo takie jak wzmocnienie, podczas gdy dźwięk, taki jak bane, jest odtwarzany jednocześnie w tle. Następnie są proszeni o podzielenie się tym, co usłyszeli.
Aby zrozumieć wynik, w jaki sposób powstaje iluzja, omówmy najpierw, w jaki sposób fonemy – minimalne jednostki dźwięków mowy – są artykułowane.
Na przykład bane i gain mają te same elementy we wszystkich pozycjach, z wyjątkiem pierwszej, którą są dźwięki /b/ i /g/.
Chociaż słowa z tymi początkowymi fonemami mogą brzmieć podobnie, gdy pokazane jest /g/ i grane jest /b/, oczekuje się, że osoby usłyszą zupełnie inny trzeci dźwięk?/d/?zamiast.
Powodem, dla którego słychać /d/, jest fakt, że wszystkie trzy są zasadniczo wytwarzane w ten sam sposób, z niewielką różnicą w miejscu, w którym mówca umieszcza przeszkodę w przepływie powietrza, zwaną punktami artykulacji lub POA.
Na przykład, gdy wydawany jest dźwięk /b/, wargi stanowią przeszkodę, co skutkuje wargowym POA, podczas gdy w przypadku /g/ jest to określane jako podniebienne w tylnej części jamy ustnej. Jeśli chodzi o /d/, POA jest zębowe, co jest konsekwencją dotykania przez język górnych zębów.
Kiedy mózg integruje sprzeczne wzrokowe /g/ i słuchowe /b/, dochodzi do wniosku, że końcowy dźwięk musi leżeć gdzieś pośrodku POA, słysząc w ten sposób /d/ i zgłaszając słowo Dane.
Przygotowując się do demonstracji, zaopatrz się w komputer do prezentowania filmów oraz smartfon z kamerą wideo.
Najpierw ustaw kamerę tak, aby głowa wypełniała wyświetlacz. Teraz nagraj cztery klipy 10-sekundowe, z których każdy zawiera inne słowa, które należy powtórzyć 10 razy w tempie 1 słowa / s. Upewnij się, że przesyłasz filmy z wzmocnieniem i puszką do komputera w celu odtwarzania wizualnego.
Aby przeprowadzić eksperyment, posadź uczestnika przed komputerem. Otwórz plik wideo dla wzmocnienia słowa i wyłącz dźwięk.
Na telefonie otwórz wideo dla bane. Umieść go za komputerem tak, aby jego ekran był ukryty i wyraźnie słychać tylko dźwięk.
Poinstruuj uczestnika, aby patrzył na monitor komputera i słuchał. Następnie odtwórz oba filmy jednocześnie.
Kiedy klipy się skończą, zapytaj uczestnika, co usłyszał. [Uczestnik mówi: "Duńczyk"]. Powtórz procedurę, odtwarzając wideo ze słowem może na komputerze i prezentując dźwięk do panoramowania w telefonie. Jeszcze raz zapytaj uczestnika, co usłyszał. [Uczestnik mówi: "opalenizna"].
Tutaj słowa bane i pan były odtwarzane na głos, gdy uczestnik obserwował, jak gain i can są ustami. Zazwyczaj, gdy termin z fonemem /g/ jest pokazany wizualnie i sparowany z dźwiękiem /b/, osoby usłyszą /d/.
Podobnie, gdy słowo zaczynające się na /k/ jest sparowane z dźwiękiem /p/, ludzie usłyszą /t/.
Powodem takiej percepcji słuchowej jest sposób, w jaki wytwarzane są dźwięki. Mózg próbuje rozwiązać sprzeczne informacje z oczu, widząc ruchy warg sromowych?/b/ i /p/?podczas gdy uszy słyszą jednostki podniebienne?/g/ i /k/. W rezultacie wnioskuje, że dźwięki muszą leżeć pośrodku, co skutkuje percepcją fonemów dentystycznych?/d/ i /t/.
Teraz, gdy wiesz już, jak wywołać efekt McGurka, przyjrzyjmy się innym sposobom, w jakie naukowcy wykorzystują to zjawisko percepcyjne do badania rozwoju języka i przypadków, w których efekt ten ulega zmianie.
Niemowlęta mogą być nawet testowane pod kątem efektu McGurka już w wieku pięciu miesięcy, kiedy są w stanie przedjęzykowym, stosując paradygmat przyzwyczajenia do patrzenia na czas.
W tej procedurze Rosenblum i współpracownicy wielokrotnie prezentowali niemowlętom określoną sylabę, taką jak va, zarówno w sferze dźwiękowej, jak i wizualnej, zanim wprowadzili niedopasowane fonemy w fazie testów.
Niemowlęta wykazywały oznaki przyzwyczajenia do skróconego czasu patrzenia i przyzwyczajenia, które odnotowywano jako zwiększone patrzenie, gdy postrzegano coś innego niż va. Tak więc, nawet zanim niemowlęta nauczą się mówić, wykazują podobne wyniki jak dorośli, w których polegają na wykorzystaniu informacji wizualnych do dyskryminacji językowej.
Jednak dzieci z autyzmem mają większe trudności z wykazywaniem efektu McGurka tak łatwo jak grupa kontrolna ze względu na ich upośledzoną zdolność rozumienia i zwracania uwagi na wizualne elementy twarzy. Wskazuje to na zasadnicze różnice w przetwarzaniu mowy audiowizualnej, co może przyczyniać się do ich trudności z językiem i komunikacją.
Wreszcie, pacjenci ze zmianami w lewej półkuli - stronie zwykle dominującej dla rozumienia i uczenia się języka - często używają wizualnych rysów twarzy, aby pomóc podczas terapii mowy. Co ciekawe, podczas testów z efektem McGurka, częściej zgłaszali słyszenie dźwięków dentystycznych w porównaniu z grupą kontrolną. Takie postrzeganie jest prawdopodobnie spowodowane większym naciskiem na informacje wizualne.
Właśnie obejrzałeś film JoVE na temat efektu McGurka. Teraz powinieneś wiedzieć, jak przeprowadzić tę audiowizualną iluzję i powiązać fonemy z produkcją dźwięku. Ponadto powinieneś również lepiej rozumieć interakcje między wzrokiem a słuchem oraz to, jak można na nie wpływać podczas rozwoju i dorosłości.
Dzięki za oglądanie!
Sensation and Perception
12.3K Wyświetlenia
Sensation and Perception
18.9K Wyświetlenia
Sensation and Perception
14.3K Wyświetlenia
Sensation and Perception
7.9K Wyświetlenia
Sensation and Perception
20.6K Wyświetlenia
Sensation and Perception
18.9K Wyświetlenia
Sensation and Perception
15.0K Wyświetlenia
Sensation and Perception
16.8K Wyświetlenia
Sensation and Perception
17.5K Wyświetlenia
Sensation and Perception
6.4K Wyświetlenia
Sensation and Perception
16.5K Wyświetlenia
Sensation and Perception
16.1K Wyświetlenia
Sensation and Perception
25.4K Wyświetlenia
Sensation and Perception
7.2K Wyświetlenia
