Name: Ses dizilişlerinde yabancı aksan ve adli konuşmacı tanımlama: prozodiye dayalı akustik özelliklerin etkisi (Video) | JoVE Journal
Uploaded: 2024-09-27T12:35:00.000+00:00
Duration: 9 min 9 s
Description: Keşfedin yabancı aksanın ses dizilişlerinde konuşmacı tanımlamayı nasıl etkilediğini ve prozodik özelliklerin dinleyici yargılarını nasıl şekillendirdiğini. Bu yöntem adli konuşmacı karşılaştırma çalışmalarına katkı sağlar.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Bu çalışma, Ulusal Bilimsel ve Teknolojik Kalkınma Konseyi - CNPq tarafından desteklenmiştir, ilk yazar için hibe no. 307010/2022-8 ve ikinci yazar için hibe no. 302194/2019-3. Yazarlar, bu araştırmanın katılımcılarına cömert işbirlikleri ve paha biçilmez katkıları için içten teşekkürlerini sunarlar.

Prosodic-Acoustic Features and L2 Speech Production for Forensic Applications

Yazarların beyan edecekleri herhangi bir çıkar çatışması yoktur.

Mevcut protokol (adli) fonetik alanında bir yenilik sunmaktadır. İki aşamaya ayrılır: biri üretime dayalı (akustik analiz) ve diğeri algıya dayalı (yargı analizi). Üretim analizi aşaması, istatistiklerin yanı sıra Veri hazırlama ve Zorlamalı hizalama, Yeniden Hizalama ve Prozodik-akustik özelliklerin otomatik olarak çıkarılmasını içerir. Bu protokol, veri toplama aşamasını, ağırlıklı olarak manuel segmentasyona dayalı geleneksel protokollerden daha hızlı ve daha verimli bir şekilde veri analizine bağlar.
Ancak, 1.3.6 ila 1.3.6.9 arasındaki protokol adımlarında gösterilen yeniden hizalama işlemi, temel olarak 1.3.1 ila 1.3.4 arasındaki protokol adımlarında oluşturulan telefon ve kelime birimlerinde çalışır. Yeniden hizalama işleminin yeniliği, üç yeni metin katmanı içeren yeni bir TextGrid oluşturmasıdır: bir hece katmanı, kelimelere göre otomatik veya manuel olarak oluşturulabilen bir konuşma öbeği katmanı ve f0 ölçülerini hesaplamak için oldukça yararlı olabilecek bir ton katmanı. Bu protokol için önerilen yeniden düzenleme kılavuzları daha önce L2 konuşma ritmi 21,69,70 çalışmalarında, makine öğrenimi teknikleri22 kullanılarak yabancı aksan derecesinin tespitine yönelik çalışmalarda ve adli tıp alanındaki çalışmalarda 9 kullanılmıştır.
1.3.7 ila 1.3.7.10 protokol adımlarında sunulan prozodik özelliklerin otomatik olarak çıkarılması, mevcut araştırmada kanıtlanabileceği gibi çok boyutlu bir prozodik-akustik özellikler matrisi oluşturur. Bu özellikler arasında melodik, süresel ve spektral (ses kalitesi ve yoğunluğu) konuşma özellikleri71 bulunur. Bu akustik özelliklerin önemli bir kısmı, sonunda adli tıpta veya diğer senaryolarda toplanan gürültülü ses kayıtlarına karşı daha az hassas ve biraz sağlamdır72. Ayrıca, çok boyutlu matris, çeşitli AI teknikleri (devam eden çalışma) aracılığıyla konuşma tanıma sistemlerine uygulanabilir. L2 telaffuz sınıfları21'de (devam eden çalışma) prozodik yönlerin öğretiminde hala oldukça yararlı olabilir.
Protokolün bu bölümünün istatistiksel analizi, belirli bir akustik özellik ile birden fazla dil faktörü konuşmacısı arasındaki karmaşık bir ilişkiyi ele aldığımız için GAM yönteminin kullanımını temsil eder. Örneğin, belirli bir akustik özelliği modellemek için, konuşma üretimi sırasında neler olduğunu daha doğru bir şekilde tanımlayabilmemiz için matristeki diğer akustik özelliklerin (yumuşak terimler) nasıl performans göstereceğini kontrol etmek gerekiyordu.
Algı analizi ile ilgili olarak, mevcut protokol, ses dizilişlerinin hazırlanması ve uygulanması, istatistiksel analiz ve akustik benzerlik analizi ile oluşturulmuştur. Dizilişleri hazırlamak için, 2.2 ila 2.2.1.9 protokol adımlarında açıklandığı gibi rastgele sıralanmış folyolar ve hedef ses içeren her diziliş için otomatik olarak bir ses dosyası oluşturan Praat için CreateLineup komut dosyasını kullandık.
Bu protokolün istatistiksel analizi için, verilerimiz Varyans Analizi (ANOVA) varsayımlarını karşılamadığı için Kruskal-Wallis parametrik olmayan testini çalıştırdık. Dinleyiciler tarafından değerlendirilen ve hedef ses ile folyolar için kontrol edilen yargı puanları arasında bir ilişki kurduktan sonra, doğrusal model istatistiklerini kullanmayı seçtik.
Akustik benzerlik analizi için Python için AcousticSmilarity_cosine_euclidean betiğini kullandık. Program, bilgisayarın dizin ağacını açar ve kullanıcıdan folyoların prozodik-akustik özelliklerini içeren dosyayı ve analizde diziyi oluşturan hedef sesi seçmesini ister. Bir düğmeye tıklandığında, komut dosyası üç benzerlik matrisi oluşturur: hem '.txt' (sekmeyle ayrılmış) hem de '.csv' dosyalarında bir Kosinüs, bir Öklid ve dönüştürülmüş (sıfırdan bire) bir Öklid. Yine de her veri kümesinin (folyoların ve hedefin prozodik-akustik özelliklerini içeren '.txt' dosyası) dizinin orijinal klasöründe olması gerektiğini ve her diziliş klasörünün AcousticSmilarity_cosine_euclidean komut dosyasının bir kopyasına sahip olması gerektiğini aklımızda tutmalıyız.
Özetle, mevcut protokol (adli) fonetik araştırmalarında ilerlemektedir. Üretim ve algı analizlerinin yanı sıra akustik benzerlik gibi farklı aşamalardan oluşan bu program, veri toplama ile çok boyutlu akustik özellik analizi arasındaki boşluğu dolduruyor. Araştırmacılar hem üretim hem de algı yönlerini keşfederek bütünsel bir bakış açısından yararlanabilirler. Ayrıca, bu protokol araştırmanın tekrarlanabilirliğini sağlayarak başkalarının bu çalışmanın yönergelerini geliştirmesine olanak tanır.
Sınırlamalar ve gelecekteki yönler Veri hazırlamanın 1.3.1 ila 1.3.4 protokol adımlarında önerilen yönergeleri takip etmesi durumunda her şeyin başarılı bir şekilde sonuçlanacağını yine de aklımızda tutmalıyız. Ayrıca, zorlamalı hizalama işlemlerinde, mevcut çalışmada kullanılan harici bir önceden eğitilmiş zorlamalı plak benzeri MAUS'un, özellikle önceden eğitilmemiş yabancı aksanlı verilerde ve hatta önceden eğitilmiş plaklarda, sesin iyi kalitede olmaması veya hizalayıcının ses dilini içermemesi fark etmeksizin segmentasyon hatalarına açık olduğunun farkında olmalıyız (bu durum uzmanın işini daha zor ve zaman alıcı hale getirecektir). Adli transkripsiyon, özellikle daha uzun ses dosyaları, sözlü kayıtların doğru ve güvenilir temsili konusunda zorluklarla karşılaşmaktadır72.
Daha uzun ses dosyalarının yazıya geçirilmesi ve hizalanmasında da çeşitli zorluklar vardır. Hizalayıcı performansı, konuşma stili ve fonetik ortamın yanı sıra lehçeye özgü faktörlerden etkilenir. Hizalayıcıya özgü farklılıklar olmasına rağmen, genel olarak performansları benzerdir ve genel olarak manuel hizalama ile iyi bir şekilde karşılaştırılan segmentasyonlar oluşturur73. Ayrıca, MAUS'ta yabancı konuşma modellerinin bulunmaması nedeniyle L1 ve L2 İngilizce prodüksiyonu, Amerikan İngilizcesinin önceden eğitilmiş akustik modeliyle yürütülmüştür. Ayrıca, MAUS'ta BP için önceden eğitilmiş akustik modeller yoktur. BP verileri için, önceden var olan İtalyanca akustik modeller kullanıldı (bkz. NOT, protokol adımı 1.3.5.7).
Gelecekteki çalışmalarda (devam ediyor), protokolün bir parçası olarak Montreal Zorlamalı Hizalayıcıyı (MFA)74 kullanacağız. MFA'nın büyük bir avantajı, çok çeşitli diller (BP dahil) için önceden eğitilmiş akustik modellerin ve grafemden foneme modellerin mevcudiyetinin yanı sıra herhangi bir yeni veri kümesine (yani, yabancı aksanlı konuşma külliyatımız) yeni akustik ve grafemden foneme modelleri eğitme yeteneğidir75.

Aksan, hem ana dilde (L1) hem de yabancı dilde (L2) iletişim ve akıcılığın göze çarpan ve dinamik bir yönüdür1. Yabancı aksan, bir hedef dilin L2 fonetik özelliklerini temsil eder ve diğer değişkenlerin yanı sıra konuşmacının L2 deneyimine, konuşma tarzına, giriş kalitesine, anlatımına yanıt olarak (zamanla) değişebilir. Yabancı bir aksan, yabancı bir konuşmacı tarafından üretilen L2 konuşması ile hedef dilin yerel veya referans aksanı arasındaki (skaler) fark derecesi olarak ölçülebilir2,3,4,5.
Bu araştırma, yabancı aksanlı İngilizce ve yabancı aksanlı Brezilya Portekizcesi'nin (BP) hem prozodik-akustik özelliklerini hem de algısal bağıntılarını incelemenin yanı sıra, konuşmacıların yabancı ve yerli aksan üretimlerinin dinleyicilerin algısıyla ne ölçüde ilişkili olduğunu kontrol etmeyi amaçlamaktadır. Adli tıp alanında daha önce yapılan araştırmalar, yabancı aksan tanımlamasında ünlülerin ve ünsüzlerin sağlamlığının, bir bireyin uzun vadeli analizi için istikrarlı olduğunu (The Lo Case6) veya bir konuşmacının yüksek kimlik doğruluğuna atıfta bulunduğunu (The Lindbergh Case7) göstermiştir. Bununla birlikte, süreye, temel frekansa (f0, yani perdenin akustik korelasyonu), yoğunluğa ve ses kalitesine (VQ) dayalı prozodik-akustik özelliklerin keşfi, artan bir ilgi kazanmıştır8,9. Bu nedenle, bu çalışmada prozodik-akustik özellikler seçimi, adli fonetik alanında umut verici bir yolu temsil etmektedir8,10,11,12,13.
Bu araştırma, adli vakalarda bir ses kılık değiştirme biçimi olarak yabancı aksanlara adanmış çalışmalarla desteklenmektedir14,15 ve ayrıca konuşmacı tanıma için ses dizilerinin hazırlanması16,17. Örneğin, konuşma hızı, Almanca, İtalyanca, Japonca ve Brezilya dillerinde İngilizce konuşanların tanımlanmasında önemli bir rol oynamıştır18,19,20,21,22. Konuşma hızının yanı sıra, uzun vadeli spektral ve f0 özellikleri, L2 yetkin konuşmacıları hedef dile aşinalık konusunda zorlar çünkü beyin ve bilişsel temeller hafıza, dikkat ve duyguda bir eksiklik yaşar ve uzun konuşma dönüşleri sırasında konuşmacının fonetik performansına yansır23. Adli tıp alanındaki yabancı aksanlara bakış, kulağa gerçekten yabancı aksan gibi gelen şeyin tanımının, yabancı aksanlı konuşmanın hiç veya aşırı derecede olmamasına değil, dinleyicinin yabancılığına büyük ölçüde bağlı olduğu yönündedir24.
Algısal alanda, 1990'ların ortalarından beri suçluların tanınması için kullanılan yaygın bir adli araç, bir suç mahallindeki bir faili tanımlamak için kullanılan görsel tanımaya benzer olan Voice Lineup'tır (işitsel tanıma)16<,sup class="xref">25. Bir ses dizisinde, şüphelinin sesi, bir kulak tanığı tarafından kimlik tespiti için yaş, cinsiyet, coğrafi konum, lehçe ve kültürel durum gibi sosyolinguistik yönlerden benzer folyo seslerle birlikte sunulur. Bir ses diziliminin başarısı veya başarısızlığı, ses örneklerinin sayısına ve örnek sürelerine bağlı olacaktır25,26. Ayrıca, gerçek dünyadaki örnekler için, ses kalitesinin ses tanımanın doğruluğunu sürekli olarak etkilediği düşünülmektedir. Düşük ses kalitesi, bir voice27'nin benzersiz özelliklerini bozabilir. Ses benzerliği söz konusu olduğunda, f0'a dayalı ince fonetik ayrıntı, ses tanıma sırasında dinleyicinin kafasını karıştırabilir28,29. Bu tür akustik özellikler f0'ın ötesine uzanır ve süre unsurlarını ve yoğunluk ve VQ30'un spektral özelliklerini kapsar. Birden çok prozodik özelliğin bu görünümü, doğru konuşmacı tanımlamasını sağlamak için adli ses karşılaştırması bağlamında çok önemlidir9,14,15,29,31.
Özetle, adli fonetik çalışmaları, son on yılda yabancı aksan tanımlamasına ilişkin bazı farklılıklar göstermiştir. Bir yandan, yabancı bir aksan, bir konuşmacıyı tanımlama sürecini etkilemiyor gibi görünmektedir32,33 (özellikle konuşmacı hedef yabancı aksana aşina değilse34). Öte yandan ters yönde bulgular var12,34,35.

<table><tbody><tr><td>CreateLineup</td><td>Kişisel koleksiyon</td><td>#</td><td>Ses dizilimleri hazırlığı için praat için komut dosyası</td></tr><tr><td>Dell I3 (katı hal sürücülü - SSD)&nbsp;</td><td>Dell</td> <td>#</td> <td>Dizüstü bilgisayar</td></tr><tr><td>Praat</td><td>Paul Boersma & David Weenink</td><td>#</td><td>Fonetik analiz yazılımı</td></tr><tr><td>Python 3</td><td>Python Yazılım Vakfı</td><td>#</td><td>Yorumlanmış, üst düzey, genel amaçlı programlama dili&nbsp;</td></tr><tr><td>R</td><td>: İstatistiksel Hesaplama için R Projesi</td><td>#</td><td>İstatistiksel hesaplama için programlama dili</td>,</tr><tr><td>Shure, Beta, SM7B</td>, <td>Shure</td><td>#</td><td>Microphone</td></tr><tr><td>SpeechRhythmExtractor</td><td>Kişisel koleksiyon</td><td>#</td><td>Praat için komut dosyası, akustik özelliklerin otomatik olarak çıkarılması için</td></tr>, <tr><td>SurveyMonkey, SurveyMonkey</td>, <td>Inc.</td><td>#</td><td>Ücretsiz özelleştirilebilir anketlerin yanı sıra veri analizi, örnek seçimi, önyargısızlaştırma ve veri temsilini içeren bir dizi arka uç programı bir araya getirin.</td></tr><tr><td>Tascam DR-100 MKII</td><td>Tascam</td><td>#</td><td>Dijital ses kayıt cihazı</td></tr><tr><td>Münih Otomatik Segmentasyon Sistemi MAUS</td><td>Münih Üniversitesi</td><td>#</td><td>Ses (.wav) ve dilsel bilgi (.txt) dosyalarının zorla hizalayıcı</td></tr><tr><td>VVUnitAligner</td><td>Kişisel koleksiyon</td><td>#</td><td>Fonetik birimlerin otomatik olarak yeniden hizalanması ve sonradan işlenmesi için praat için komut dosyası</td></tr></tbody></table>

ses dizilişlerinde yabancı aksan ve adli konuşmacı tanımlama: prozodiye dayalı akustik özelliklerin etkisi

Foreign Accent and Forensic Speaker Identification in Voice Lineups: The Influence of Acoustic Features Based on Prosody

Bu araştırma, yabancı aksanlı İngilizce ve yabancı aksanlı Brezilya Portekizcesi'nin hem prozodik-akustik özelliklerini hem de algısal bağıntılarını incelemeyi ve konuşmacıların yabancı ve yerli aksan üretimlerinin dinleyicilerin algısıyla nasıl ilişkili olduğunu kontrol etmeyi amaçlamaktadır. Metodolojide, L2 Brezilya Portekizcesi konuşan bir grup Amerikalı ve L2 İngilizce konuşan bir grup Brezilyalı ile bir konuşma üretim prosedürü ve her iki dil için ses dizilimi gerçekleştirdiğimiz bir konuşma algılama prosedürü gerçekleştirdik. Konuşma üretimi istatistiksel analizi için, dil gruplarının, karşı sınıfın ortak değişken(ler)inin yumuşatma etkisi için kontrol edilen özelliklerin her bir sınıfı (metrik veya prozodik-akustik) üzerindeki etkisini değerlendirmek için Genelleştirilmiş Katkı Modelleri çalıştırdık. Konuşma algısı istatistiksel analizi için, kadroların seslerinin dinleyiciler tarafından değerlendirilen puanlar üzerindeki etkisini değerlendirmek için bir Kruskal-Wallis testi ve bir post-hoc Dunn testi yaptık. Yine de Kosinüs ve Öklid mesafelerine dayalı akustik (ses) benzerlik testleri yaptık. Sonuçlar, dil grupları arasında f0'ın değişkenliği, süresi ve ses kalitesi açısından önemli akustik farklılıklar göstermiştir. Dizilişler için sonuçlar, f0, yoğunluk ve ses kalitesinin prozodik özelliklerinin dinleyicilerin algılanan yargılarıyla ilişkili olduğunu gösterdi.

Konuşma üretimi sonuçları 
Bu bölümde, istatistiksel olarak anlamlı prosodik-akustik özelliklerin ve ritim metriklerinin performansını tanımladık. Bu prosodik özellikler; süre ile ilişkili olan konuşma, artikülasyon ve duraklama hızları ile ses kalitesi ile ilişkili olan shimmer'dır. Ritim metrikleri ise hece süresinin standart sapması (SD), konsonantın SD'si, vokalik veya konsonantal sürenin SD'si ve hece süresinin varyasyon katsayısıdır (bkz. Ek Tablo S1).
The Konuşma hızı (Şekil 6A) L1-L2 İngilizce için L1-L2 BP'ye göre daha hızlı azalmaktadır, ancak her iki L2 için de hız daha düşüktür. The Konuşma hızı üç metrikle ilgilidir - hece süresinin standart sapması (SD-S), ünlülerin standart sapması (SD-V), ve hece varyasyon katsayısı (Varco-S). Ayrıca hem AmE-S hem de Bra-S grubunun ikinci dillerinde (L2) yetkin olduklarının akılda tutulması önemlidir. Görünüşe göre bu hız, L1-L2 BP tarafından üretilen daha yüksek hece süresi değerleri ve daha düşük değişkenlikten etkilenerek eğimlerin daha az dik olmasına neden olmaktadır.
Eklemleme hızı (Şekil 6D), SD-S ve Varco-S'nin yanı sıra Hece Ritmi Oranı (RR-S) ile ilişkilidir; bu sonuncusu, kısa ve uzun heceler arasındaki oranı temsil eder. Bu tür metriklerin, cümle uzunluğu ve süredeki değişkenliğin daha yüksek L2 konuşma planlamasına ve L2 bilişsel yüküne yol açması nedeniyle etkilenen Konuşma hızı gibi, Eklemleme hızını da etkilediği görülmektedir9,23,54. Cümle uzunluğu alanında, prozodik-akustik parametrelerin etkileneceği şekilde daha yüksek bir bilişsel-dilbilimsel yük gerekebilir55.
Konuşma ve Eklemleme hızlarının prozodik-akustik özelliklerine ilişkin bulgularımız, bir konuşmacı hece (ve ünlü) sürelerini ne kadar çok değiştirirse, bu hızların o kadar düşük olduğunu göstermektedir. Hem L1 hem de L2 BP konuşma algısının L1 ve L2-İngilizceden biraz daha yavaş olduğu ve L1-İngilizcenin diğer tüm dil seviyelerinden daha hızlı duyulduğu hipotezini kurmaktayız. Bu durum, konuşma ritmiyle ve L1-L2 BP'nin ritim sürekliliğinin hece zamanlamalı kutbuna yönelirken, L1-L2 İngilizcenin vurgu zamanlamalı kutbuna doğru hareket ettiği hipoteziyle bağlantılı olabilir21,22.
Şekil 6B'deki Yerel parıltı (Local shimmer), SD-S ve Varco-S'den etkilenmektedir. Yerel parıltı için Bra-S, L1-BP ve L2-English üretimlerinin her ikisi de, hece süresi değişkenliği arttıkça (SD ve Varco, bkz. Ek Tablo S1) oldukça monotonik bir seyir izlemektedir. 8,5 ile 9 dB arasında değişen düşük varyasyon nedeniyle, Bra-S üretimleri dinlendiğinde vokal çaba algısı belirgin olabilir. Bra-S konuşması, vokal yükten etkilenmektedir. L1-BP, hece süresindeki yüksek varyasyonlara karşı daha az hassas olması nedeniyle cümle uzunluğundan yüksek düzeyde etkilenmektedir (BP ritmik paterni daha az hece varyasyonu gösterir22,56).
Duraksama oranı (Şekil&#160;6C), L2-İngilizce konuşurlarının, L1-İngilizce, L1-BP ve L2-BP konuşurlarına göre daha uzun duraksamalar (200 ms ile 375 ms arasında) yaptığını göstermektedir (L1-İngilizce için ortalama 30 ms, L1-BP için 50 ms ve L2-BP için 100 ms). Bu durumda konuşma planlaması, artan beyin aktivitesi nedeniyle L2-İngilizce üretimini etkilemiş olabilir54,57. Daha yüksek dil yeterliliğinin daha yüksek okuma hızı ve kapsamı ile sonuçlanması beklenir54; buna rağmen, L2 yetkin konuşurlar için bile okuma görevleri, yabancı konuşmanın üst düzey bilişsel yönlerinde ve dil işlemede daha fazla çaba gerektirmiştir54,57. Bulgularımız, en azından öncül bir düzeyde, her iki dilin ritmik kalıplarındaki farklılıklar nedeniyle L2-BP konuşurlarının duraksamalardan L2-İngilizce konuşurlarına göre daha az etkilenebileceğini göstermektedir.
<img alt="Şekil 6" class="xfigimg" src="/files/ftp_upload/66313/66313fig06.jpg" /> 
Şekil 6Prosodik-akustik özellikler için Genelleştirilmiş Toplamsal Modeller. Y ekseninde bağımlı değişken (modellenecek akustik özellikler); X ekseninde ise eğrilerin şeklini ve gidişatını belirleyecek olan tahmin değişkenleri (yani düzleştirme etkileri: 'Dil + kovaryatlar' şeklinde olan 'Dil' faktörü ve eklemeli modellerdeki kovaryatlar) ve bağımlı değişkenin daha doğru bir projeksiyonunu sağlayacak olan 'Dil' ile bir metrik özelliğin çarpımı (yani faktör-düzleştirme etkileşimleri: 'kovaryat:Dil') yer alır. Kısaltma: GAMs = Genelleştirilmiş Eklemeli Modeller. <a href="https://www.jove.com/files/ftp_upload/66313/66313fig06large.jpg" target="_blank">Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.</a>
Ritim metrikleriyle ilgili olarak, SD-S için (Şekil 7A), bulgularımız bir konuşmacının f0 eğrisini ne kadar çok değiştirip konuşma hızını ne kadar artırırsa, tüm dil seviyeleri için SD-S değerinin o kadar azaldığını ortaya koymaktadır (Şekil 6A'nın aynadaki yansıması olan bir etki). Ünsüzler için SD (SD-C, Şekil 7C) durumunda L1-BP, L1 İngilizce'nin aksine, Konuşma hızı veya Duraksama süresi arttıkça düşük varyasyon sergiler. Bu tür bir SD yönelimi öngörülebilir durumdadır, çünkü L1-İngilizce'de hece süresi değişkenliği L1-BP'den (istatistiksel olarak) anlamlı derecede daha yüksektir44,58. Varco-S (Şekil 7B ve Ek Tablo S1), aynı dil grubunun L1 ve L2'si ile bir ölçüde ilişkili görünmektedir. f0 değişkenliği ve Konuşma hızı arttıkça, Varco-S değeri L1-BP için azalmakta, L2-BP için ise azalıyor ve sönümleniyor görünmektedir. İngilizce üretimler için, f0 değişkenliği ve Konuşma hızı artarken, Varco-S hem L1-İngilizce hem de L2-İngilizce için artmakta ve sönümlenmektedir.
Ünlüler veya ünsüzler için SD (SD-V_C, Şekil 7D ve Ek Tablo S1) ile ilgili olarak, sonuçlarımız Varco-S performansı ile bazı benzerlikler göstermektedir (Şekil 7B). Örneğin, daha yüksek Konuşma hızı, Duraksama süresi ve f0 değişkenliği, L1-BP ve L2-BP için SD-V_C'nin düşüş-yükseliş yörüngesini desteklemektedir. İngilizce üretimlerde, bu tür prozodik özellikler daha yüksekken, SD-V_C hafifçe azalmakta; L1-İngilizce için sönümlenmekte, L2-İngilizce için ise hafifçe artmakta ve ardından sönümlenmektedir. Varco-S ve SD-V_C'nin aynı dil gruplarının L1-L2'si ile olan korelasyonu, kısmen arka plan gürültüsü nedeniyle konuşmadaki akustik parametrelerin değişmesini ifade eden Lombard Etkisi ile açıklanabilir59.
Yabancı dil konuşmalarında, görevin karmaşıklığına bağlı olarak (örneğin, okunan konuşma), konuşmacıların hem L1 hem de L2'de benzer akustik stratejiler kullandıkları görülmüştür59,60. Bir yandan Marcoux ve Ernestus, L2 Lombard konuşmasındaki f0 ölçümlerinin (aralık ve medyan), L2 İngilizce konuşmacılarının L1 Felemenkçelerinden etkilendiklerini gösterdiğini bulmuşlardır61,62. Öte yandan, daha güncel bulgular, L2 ile konuşurken oluşan daha yüksek bilişsel yük nedeniyle L2 Lombard konuşmasının L1 Lombard konuşmasından farklı olması beklense de, L2 İngilizce konuşmacılarının L1 İngilizce konuşmacılarıyla aynı yönde Lombard konuşma ürettiklerini öne sürmektedir63. Bulgularımızın Marcoux ve Ernestus63 ile ne ölçüde uyumlu olduğu ve Waaning59, Villegas ve ark.60 ile Marcoux ve Ernestus'tan61,62 ne ölçüde ayrıldığına dair daha fazla araştırma yapılması gerekmektedir.
<img alt="Şekil 7" class="xfigimg" src="/files/ftp_upload/66313/66313fig07.jpg" /> 
Şekil 7: Metrik özellikler için Genelleştirilmiş Aditif Modeller. Y ekseninde yanıt değişkeni (modellenecek metrik özellikler); X ekseninde ise tahmin edici değişkenler (eğrilerin şeklini ve yörüngelerini sağlayacak olan aditif modellerdeki 'Language' faktörü ve kovaryantlar (yani düzeltme etkileri: 'Language + kovaryantlar') ve yanıt değişkeninin daha doğru bir projeksiyonunu sağlayacak olan 'Language' ile bir metrik özelliğin çarpımı (yani faktör-düzeltme etkileşimleri: 'kovaryant:Language')). Kısaltma: GAMs = Genelleştirilmiş Aditif Modeller. <a href="https://www.jove.com/files/ftp_upload/66313/66313fig07large.jpg" target="_blank">Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.</a>
Konuşma algısı sonuçları 
BP ses dizilimleriyle ilgili olarak, 1 numaralı dizilimde (Şekil 8A), 3 numaralı çeldirici ses hedef ses olarak değerlendirilmiştir. Aslında hedef ses 4 numaralı sesti. Sonuçlar, 3 numaralı çeldirici (%83) ile 4 numaralı hedef ses (%71) arasında istatistiksel olarak anlamlı bir fark olmadığını göstermektedir (bkz. Ek Tablo S1). 2 numaralı dizilimde (Şekil 8B), 3 numaralı hedef ses (%40) ile 4 numaralı çeldirici (%20) arasındaki karşılaştırma da İngilizce ses dizilimleri için istatistiksel olarak anlamlı bir fark göstermemiştir (bkz. Ek Tablo S1). 1 numaralı dizilimde (Şekil 9A), 2 numaralı çeldirici (%26) ile 4 numaralı hedef ses (%54) arasında anlamlı bir fark görülmemiştir (bkz. Ek Tablo S1).
Ses benzerliği analizinde, hem Kosinüs benzerliği (CoSim) hem de Öklid mesafesi (EucDist, [EucDist&#160; dönüştürülmüş]54), BP dizilimi #1 için 3 numaralı çeldirici ile hedef arasında tutarlı bir korelasyon göstermiştir (CoSim = 0.99; EucDist = 77.4, [0.93]). 4 numaralı çeldirici ile hedef arasındaki korelasyon, BP dizilimi #2'de benzer şekilde güçlüydü (CoSim = 0.99, EucDist = 76.3, [0.93]). İngilizce dizilimi #1'de korelasyon, CoSim için tutarlı (0.83) ancak EucDist için zayıf-yeterli düzeydeydi (213.0, [0.47]. Genel olarak, hem CoSim hem de EucDist ses benzerliğinin belirlenmesinde yeterli tekniklerdi. Ek olarak, Gahman ve Elangovan tarafından52 ele alındığı üzere, CoSim biraz daha etkili performans göstermiştir (bkz. Ek Tablo S1)).
Benzerlik açısından, yanlış alarmlarda artışa ne yol açmış olabilir? Prozodik-akustik özellikler, Şekil&#160;8A,B ve Şekil&#160;9A'da sunulan dizilimler hariç olmak üzere, çeldiriciler ve hedef seslerin (istatistiksel olarak) anlamlı derecede farklı performans göstermesine rağmen, dinleyicilerin tercihlerinin diğer dizilimlerde farklı çeldiriciler boyunca bir miktar çeşitlendiğini göstermiştir (Şekil&#160;8C,D ve Şekil&#160;9B-D). Bu tür bir yargının, genel bir prozodik-akustik özellikler sınıfından ziyade, konuşmacıların paylaştığı bir (veya belki daha fazla) spesifik akustik özelliğe daha fazla bağlı olduğu görülmektedir. Örneğin, çalışmamız üretimler arasında (ortak) varyasyon gösteren birkaç özellik sunmuştur; buna rağmen, algısal sonuçlar yargıların hedef sese uyması için spesifik bir çeldiriciye olan tercihlerini göstermektedir8,35,64,65. Gelecekteki çalışmalarda daha ayrıntılı analizlere ihtiyaç vardır.
Akustik benzerlik için bu çalışmada sunulan çok boyutlu parametrik matris seçeneğinin değerlendirilmesi dikkat çekicidir66. Bulgularımız, f0, VQ ve yoğunluğa dayalı akustik özelliklerin kullanıldığı önceki çalışmalarla uyumludur9,35. Bu tür özelliklerin, adli alandaki konuşmacı karşılaştırma görevleri için özellikle önerildiği bilinmektedir9,66. Bununla birlikte, yabancı aksanlı konuşmacı tanıma için ses dizilimlerinin hazırlanmasında McFarlane kılavuzlarının bir varyantını kullanmış olmamıza rağmen16,17, mevcut araştırmada hiçbir yanıltıcı sesin hedef sese benzer olduğunun öngörülmediğini vurgulamak önemlidir. Ayrıca, ses dizilimi prosedürümüzün; uyaran uzunluğu, ses sayısı, yanıltıcıların seçimi (burada randomize edilmiştir) ve konuşma tarzı dahil olmak üzere McFarlane kılavuzlarından önemli farklılıklar içerdiğini belirtmeliyiz.
f0, ses kalitesi ve yoğunluğun prozodik-akustik özelliklerinin dinleyicilerin algısıyla ne ölçüde ilişkili olduğu, araştırmada kullanılan konuşma tarzına yüksek derecede bağlı olacaktır. Burada, okuma pasajları kullandık. İşitme tanıklığı çalışmalarının çoğunluğu, güncel işitme tanıklığı araştırmalarında yaygın olarak kullanılan DyVis korpusu6728,68 gibi dengeli bir çözüm olarak (yarı) kendiliğinden gelişen uyaranları tercih etmektedir. Okuma görevlerini seçmemize yol açan neden, bu taslağın hazırlandığı sırada korpusumuzun yalnızca okuma görevlerinden elde edilen verilerden oluşuyor olmasıdır. Bununla birlikte, (yarı) kendiliğinden gelişen bir korpus derleme sürecinin halihazırda devam ettiğini belirtmek önemlidir. Ayrıca, bir hikayeyi okuma eylemi, hem konuşmacı içi hem de konuşmacılar arası düzeyde güvenilir bir tekdüzelik ve varyasyon düzeyi oluşturabilir. Bu durum, ses karşılaştırmayı içeren durumlarda prozodik veya fonetik özelliklerin -bireysel veya lehçesel- vurgulanmasını kolaylaştırır. Bu durum, yetkin konuşmacılar arasında bile yabancı bir aksanın üretimi sırasındaki vokal yüklenme örneklerinde özellikle belirgin hale gelir 8,9,23,54.
<img alt="Şekil 8" class="xfigimg" src="/files/ftp_upload/66313/66313fig08.jpg" /> 
Şekil 8: Brezilyalı dinleyiciler tarafından gerçekleştirilen dört dizilişin sonuçlarını içeren sütun grafikleri.(A,B) Hedef ses (mavi) ile bir çeldirici (açık mavi) arasında anlamlı olmayan fark. (C,D) Çeldiricilere ve hedef sese göre anlamlı farklar. Kısaltma: NS = anlamlı değil. <a href="https://www.jove.com/files/ftp_upload/66313/66313fig08large.jpg" target="_blank">Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.</a>
<img alt="Şekil 9" class="xfigimg" src="/files/ftp_upload/66313/66313fig09.jpg" /> 
Şekil 9: Amerikalı dinleyiciler tarafından gerçekleştirilen dört dizilimin sonuçlarını içeren sütun grafikleri. (A) Hedef ses (kırmızı) ile bir çeldirici (pembe) arasında anlamlı olmayan fark. (B,C,D) Çeldiriciler ve hedef ses ile olan anlamlı farklar. Kısaltma: NS = anlamlı değil. <a href="https://www.jove.com/files/ftp_upload/66313/66313fig09large.jpg" target="_blank">Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.</a>
Ek Tablo S1: Konuşma üretimi istatistikleri - Genelleştirilmiş Katkılı Modeller (GAM'lar): Her Dil seviyesi için istatistiksel olarak anlamlı olan her bir prozodik-akustik özelliğin (Şekil 6) ve ritim metriğinin (Şekil 7) F-istatistikleri (serbestlik dereceleri), düzeltilmiş R2 değerleri ve her bir düzleştirme teriminin (kovaryantlar) bireysel değerleri. Konuşma algısı istatistikleri: Kruskall-Wallis χ2 istatistikleri (serbestlik dereceleri), p-değerleri ve düzeltilmiş η2 değerleri ile hedef-yanıltıcı ses çiftleri (Şekil 8A,B ve Şekil&#160;9A) arasındaki istatistiksel olarak anlamlı olmayan her bir fark için ikili karşılaştırma amacıyla yapılan post-hoc Dunn testi (Şekil 8 ve Şekil 9). Her bir dizilim için Kosinüs ve Öklid mesafesine ait akustik benzerlik matrisleri. <a href="https://www.jove.com/files/ftp_upload/66313/66313_JoVE_Supplemental_Table_S1 (2).xlsx" target="_blank">Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.</a>

Bu araştırma, L1-L2-İngilizce ve L1-L2 Portekizce arasında bir karşılaştırma yapmayı, yabancı bir aksanın etkisinin hem metrikleri hem de prozodik-akustik parametreleri ne kadar açıkladığını kontrol etmeyi ve ayrıca bir ses diziliminde hedef sesin seçimini kontrol etmeyi amaçladı.

Ses dizilişlerinde yabancı aksan ve adli konuşmacı tanımlama: prozodiye dayalı akustik özelliklerin etkisi

This research aims to examine both the prosodic-acoustic features and the perceptual correlates of foreign-accented English and foreign-accented Brazilian ...

foreign-accent-forensic-speaker-identification-voice-lineups

Research

JoVE Journal

Behavior

Davranış

Çalışma, kendinden emin ve şüpheli prozodik senaryolarda olayla ilgili potansiyellerin eski/yeni etkilerini araştırmak için bir eğitim-test paradigması sunmaktadır. Veriler, Pz ve diğer elektrotlarda 400-850 ms arasında gelişmiş bir geç pozitif bileşen ortaya koymaktadır. Bu boru hattı, konuşma prozodisinin ötesindeki faktörleri ve bunların işaret bağlayıcı hedef belirleme üzerindeki etkilerini keşfedebilir.

Olayla İlgili Potansiyeller Analizi Kullanılarak İfade Edici Konuşmada Sağlam Vokal Kimlik Tanıma için Ezberlemeye Dayalı Eğitim ve Test Paradigması

Gıda kısıtlı sıçanlarda arayan ilacın sağlam bir yükselişin bir gösteri sağlayan bir prosedür açıklanmıştır. Eroin öz-yönetim eğitimi takiben, fareler hafif kısıtlı yiyecek vardır sırasında, bir ilaç içermeyen bir ortamda, bir yoksunluk dönemi geçmesi. İlaç arayan sonra ilaç ile ilişkili olarak test edilir.

Eroin kanaatkâr Sıçanlarda Aradığınız üzerinde uzun süreli Gıda Kısıtlanması Etkisi Eğitim Bir Prosedürü

Bu ventral görsel akışından yukarıdan aşağıya sinyaller hareketini nasıl etkilediğini belirsizdir. Biz 3D derinlik inversiyon illüzyonun bir hedefe doğru motor davranışlarını test etmek için bir paradigma geliştirdi. Önemli farklılıklar hayali ve veridical izleme koşullarında kasıtlı, amaca yönelik hareketler ve otomatik eylemler hem de bildirilmiştir.

Motor Davranış Top-down Görsel Süreçlerin Etkisi keşfedin Yöntemleri

Çeldirici-yanıt bağlama paradigması açıklanmıştır. Bir yanıt için hedeflerle rekabet eden ilgisiz uyaranların insan eylemi üzerindeki etkisine ışık tutmak için kullanılabilir. Hem yanıt geri alma etkileri hem de çeldirici inhibisyon etkileri paradigma içinde analiz edilebilir.

Alakasız Uyarılar ve Eylem Kontrolü: Distraktör-Tepki Paradigma Cilt yoluyla Sayılan uyaranların Etkisi Analizi

Bu protokol, hızlı bir şekilde su kısıtlaması veya yanıt başlatmak için solmaya sakarin / sukroz gerektirmeyen standart yöntemlere aksine, sıçanlarda etanol yanıt işlerlik başlatmak için yeni ve etkili bir yöntem tarif eder.

Su Yoksunluk, Sakarin Fading veya Genişletilmiş Erişim Eğitim olmadan Sıçanlarda Etanol Güçlendirme Özelliklerinin Değerlendirilmesi Bir Yöntem

Burada, simüle edilmiş bir sürüş ortamı araca aşağıdaki sırada sürüş davranışları değerlendirmek için bir protokol mevcut. Sunulan Protokolü davranışları sürüş farklı işitsel arka planlar etkisini karşılaştırmak için kullanılır.

Etkisi altında sürüş: müzik dinleme davranışları sürüş etkilemesi

Biz gerçek zamanlı cümle anlama otistik çocuklar tarafından sırasında morfolojik ipuçları kullanımını incelemek için bir protokol mevcut.

Cümle anlama Mandarin konuşan çocuklarda otizm eğitim için görsel dünya paradigması kullanarak

Zebra balığı'nın kişilikleri onların yanıt-e doğru su akıntıları ve zayıf manyetik alan etkisi nasıl değerlendirmek için tasarlanmış bir davranış protokol açıklar. Aynı kişilikleri balıklarla yönler davranışlarını göre ayrılır. Sonra rheotactic yönlendirme davranışlarını bir yüzme tünelde bir düşük Debi ile ve farklı manyetik koşullar altında görülmektedir.

Zebra balığı manyetik alanlara hassasiyeti kişiliği olan etkisinin değerlendirilmesi

Katılımcı beklentisini anormal cümleler için geliştirmek üzere birden çok tekrarlar uygulayarak, bütünleştirici zorluk ve yerine sokulan anormallik faktörlerini birbirine bağlayan bir protokol sunuyoruz. Ayrışma dil çalışmaları N400 gibi olay ile ilgili potansiyeller (ERP) etkilerinin büyük katkı araştırmak için yardımcı olur.

Olay ile ilgili potansiyel çalışmalarda anormal cümleler içinde ıkamet eden beklentiler ve Integratif zorluk, şok edici etkilerin dağılma

Bu makalede, beş dakikalık konuşma örneği prosedürü kullanılarak ebeveynlerin çocukları ve ilişkileri ile ilgili kısa anlatımlarının tutarlılığını değerlendirmek için bir yöntem tanıtıştır.

Beş Dakikalık Konuşma Örnek Prosedürü Kullanarak Ebeveynlerin ÇocuklarıYla İlgili Kısa Anlatımlarının Tutarlılığının Değerlendirilmesi

Keşfedin yabancı aksanın ses dizilişlerinde konuşmacı tanımlamayı nasıl etkilediğini ve prozodik özelliklerin dinleyici yargılarını nasıl şekillendirdiğini. Bu yöntem adli konuşmacı karşılaştırma çalışmalarına katkı sağlar.

Ses dizilişlerinde yabancı aksan ve adli konuşmacı tanımlama: prozodiye dayalı akustik özelliklerin etkisi

Daha fazla video keşfet