6.12: McGurk Etkisi

1. Uyaranlar

1. McGurk etkisi uyaranları yapmak için bir video kameraya ihtiyacınız olacak - bir akıllı telefondaki tür iyi.
2. Videoların naif bir konuya sunumunu kontrol etmek için bir bilgisayara da ihtiyacınız olacak.
3. Kameranızı kendinize doğrultun, böylece başınız ekranı doldurur.
4. Dört kayıt yapın. Her biri 10 s uzunluğunda olmalıdır. Dört kaydın her birinde, bir kelimeyi 10 kez, yaklaşık 1/s tekrar edeceksiniz. İşte kelimeler: bane, kazanç, pan, can. Her videodaki kelimeleri benzer bir hızda söylemeye çalışın.

2. İllüzyonu Tetiklemek

1. İllüzyonu tetiklemek için, bir videodaki sesi ve diğerindeki resmi bir araya getirebilirsiniz. Ama bu gerçekten gerekli değil. Telefonunuzu ve bilgisayarınızı aynı anda kullanarak bunu yapmak daha kolaydır. İşte nasıl.
2. Bilgisayarınızın masaüstünde kazanç dediğiniz videoyu açın. Sesi kapatın ve videoyu oynatın.
3. Telefonunuzda bane dediğiniz videoyu açın. Sesin duyulabilmesi, ancak videonun görülememesi için telefonu bilgisayar ekranının arkasına koyun. Videoyu oynatın.
4. Bir gözlemciden dinlerken bilgisayar ekranını izlemesini isteyin ve video oynatıldığında onlara ne duyduklarını sorun.
5. Pan / can videoları için de aynısını yapın: Telefonunuz pan videosundan ses akışını oynatırken, can dediğiniz resim akışını oynatın. Katılımcıya ne duyduğunu sorun.

Dil algısı - konuşulan bir biçimde - yüz yüze etkileşimlerden yararlanır, çünkü ağız belirli sesleri ifade etmek için iyi görsel bilgi sağlar.

Örneğin, yakın ve engelsiz bir durumda, bir kişi arkadaşının plaja gitmekten bahsetmesini izleyebilir. Bu durumda, söylenenleri net bir şekilde anlamak için dudakların ve dilin etrafındaki hareketi gözlemleyen görsel girdi kullanırlar.

Bununla birlikte, arkadaş başka bir odada gözden uzak bir şekilde konuşmaya devam ederse, sesi kapatılmış televizyonu izlemek isteyebilir ve bu nedenle mesajı anlamlandırmak için yalnızca engellenen sese güvenmek zorunda kalabilir.

Bu durumda, aslında kuyruk ucunda söylenen şey, pena, sessiz tekme ile müdahale etti ve kene olarak yanlış yorumlandı. Bu, McGurk Etkisi'nin bir örneğidir – ses ve görsel ipuçları arasındaki uyumsuzluktan kaynaklanan algısal bir yanılsama.

Bu video, orijinal olarak McGurk ve Macdonald tarafından keşfedilen fenomeni test etmek için görsel-işitsel uyaranların nasıl oluşturulacağını göstermektedir. Ayrıca, bireylerin çok genç yaşta dili nasıl öğrendiklerini anlamak için görmenin ses üretimi ile nasıl etkileşime girdiğini araştırır.

Bu deneyde, katılımcılardan arka planda aynı anda bane gibi bir sesin çalınırken, gain gibi bir kelimenin ağızdan alındığı sessiz videoları izlemeleri isteniyor. Daha sonra duyduklarını paylaşmaları istenir.

Sonucu, yanılsamanın nasıl üretildiğini anlamak için, önce fonemlerin (konuşma seslerinin minimal birimleri) nasıl ifade edildiğini tartışalım.

Örneğin, bane ve gain, /b/ ve /g/ sesleri olan ilki dışındaki tüm pozisyonlarda aynı öğeleri paylaşır.

Bu başlangıç fonemlerine sahip kelimeler benzer ses çıkarabilse de, /g/ gösterildiğinde ve /b/ çalındığında, bireylerin bunun yerine tamamen farklı bir üçüncü ses duymaları beklenir?/d/?.

/d/'nin duyulmasının nedeni, üçünün de temelde aynı şekilde üretilmesidir, hoparlörün hava akışında artikülasyon noktaları veya POA adı verilen bir engel oluşturduğu yerlerde yalnızca küçük bir fark vardır.

Örneğin, bir /b/ sesi çıkarıldığında, dudaklar tıkanıklığı sağlayarak labial POA ile sonuçlanırken, /g/ için ağzın arkasında damak olarak adlandırılır. /d/'ye gelince, POA dişseldir, dilin üst dişlere temas etmesinin bir sonucudur.

Beyin, çatışan görsel /g/ ve işitsel /b/'yi bütünleştirdiğinde, son sesin POA'ların ortasında bir yerde olması gerektiği sonucuna varır, böylece /d/'yi duyar ve Dane kelimesini bildirir.

Gösteriye hazırlanırken, videoları sunmak için bir bilgisayar ve video kameralı bir akıllı telefon edinin.

Önce kamerayı, başınız ekranı dolduracak şekilde konumlandırın. Şimdi, her biri 10 kelime/sn hızında 10 kez tekrarlanması gereken farklı kelimeler içeren dört adet 1 saniyelik klip kaydedin. Görsel oynatma için kazancı ve kutu videolarını bilgisayara aktardığınızdan emin olun.

Deneyi yapmak için bir katılımcıyı bilgisayarın önüne oturtun. Kelime kazancı için video dosyasını açın ve sesi kapatın.

Telefonda, bane için videoyu açın. Ekranı gizlenecek ve yalnızca ses net bir şekilde duyulacak şekilde bilgisayarın arkasına yerleştirin.

Katılımcıya bilgisayar monitörünü izlemesini ve dinlemesini söyleyin. Ardından, her iki videoyu da aynı anda oynatın.

Klipler sona erdiğinde, katılımcıya ne duyduğunu sorun. [Katılımcı diyor ki: "Danimarkalı"]. Bilgisayarda kutu kelimesinin videosunu oynatarak ve sesi telefonda pan için sunarak işlemi tekrarlayın. Bir kez daha, katılımcıya ne duyduklarını sorgulayın. [Katılımcı diyor ki: "tan"].

Burada, bane ve pan kelimeleri yüksek sesle çalınırken, katılımcı gain ve teneke kutunun ağzının açılmasını izledi. Tipik olarak, /g/ fonem içeren bir terim görsel olarak gösterildiğinde ve /b/ sesiyle eşleştirildiğinde, bireyler /d/ sesini duyacaktır.

Benzer şekilde, /k/ ile başlayan bir kelime /p/ sesiyle eşleştirildiğinde, bireyler /t/ duyacaktır.

Bu tür işitsel algının arkasındaki sebep, seslerin üretilme şeklinden kaynaklanmaktadır. Beyin, labial hareketleri gören gözlerden gelen çelişkili bilgileri çözmeye çalışır?/b/ ve /p/?kulaklar damak birimleri?/g/ ve /k/. Sonuç olarak, seslerin ortada olması gerektiği sonucuna varır ve bu da diş fonemlerinin ?/d/ ve /t/ algılanmasına neden olur.

Artık McGurk etkisinin nasıl üretileceğini bildiğinize göre, araştırmacıların bu algısal fenomeni dil gelişimini ve etkinin değiştiği durumları araştırmak için kullandıkları diğer bazı yollara bakalım.

Bebekler, McGurk etkisi üzerinde, beş aylıkken, dil öncesi olduklarında, bakma alışkanlığı paradigması kullanılarak bile test edilebilir.

Bu prosedürde, Rosenblum ve meslektaşları, bir test aşamasında uyumsuz fonemleri tanıtmadan önce, hem işitsel hem de görsel alanlarda bebeklere va gibi belirli bir heceyi tekrar tekrar sundular.

Bebekler, va'dan başka bir şey algılandığında, artan bakma olarak not edilen va'ya alışma ve azalma belirtileri gösterdi. Bu nedenle, bebekler konuşmadan önce bile, dil ayrımcılığı için görsel bilgilerin kullanımına güvendikleri yetişkinlerle benzer sonuçlar gösterirler.

Bununla birlikte, otizmi olan çocuklar, görsel yüz bileşenlerini anlama ve bunlara katılma yeteneklerinin bozulması nedeniyle McGurk etkisini kontroller kadar kolay sergilemekte daha fazla zorluk çekerler. Bu, görsel-işitsel konuşmanın işlenmesinde, dil ve iletişimle ilgili zorluklarına katkıda bulunabilecek temel farklılıkları gösterir.

Son olarak, sol hemisferlerinde lezyonları olan hastalar - tipik olarak dili anlamak ve öğrenmek için baskın olan taraf - genellikle konuşma terapisi sırasında yardımcı olmak için görsel yüz özelliklerini kullanırlar. İlginç bir şekilde, McGurk etkisi üzerinde test edildiğinde, kontrollere kıyasla daha sık diş sesleri duyduklarını bildirdiler. Bu tür algılar muhtemelen görsel bilgiye daha fazla odaklanmalarından kaynaklanmaktadır.

Az önce JoVE'nin McGurk Effect ile ilgili videosunu izlediniz. Artık bu görsel-işitsel illüzyonu nasıl yürüteceğinizi ve fonemleri ses üretimiyle nasıl ilişkilendireceğinizi bilmelisiniz. Ek olarak, görme ve işitme arasındaki etkileşimleri ve bunların gelişim ve yetişkinlik döneminde nasıl etkilenebileceğini daha iyi anlamalısınız.

İzlediğiniz için teşekkürler!