Yöntem makalesi

Ses dizilişlerinde yabancı aksan ve adli konuşmacı tanımlama: prozodiye dayalı akustik özelliklerin etkisi

DOI:

10.3791/66313

⸱

27 Eylül 2024

 , 
1Center of Humanities, Department of Modern Languages, State University of Paraíba (Universidade Estadual da Paraíba), 2Institute of Language Studies, Department of Linguistics, University of Campinas (Universidade de Campinas)

Bu makalede

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu araştırma, L1-L2-İngilizce ve L1-L2 Portekizce arasında bir karşılaştırma yapmayı, yabancı bir aksanın etkisinin hem metrikleri hem de prozodik-akustik parametreleri ne kadar açıkladığını kontrol etmeyi ve ayrıca bir ses diziliminde hedef sesin seçimini kontrol etmeyi amaçladı.

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu araştırma, yabancı aksanlı İngilizce ve yabancı aksanlı Brezilya Portekizcesi'nin hem prozodik-akustik özelliklerini hem de algısal bağıntılarını incelemeyi ve konuşmacıların yabancı ve yerli aksan üretimlerinin dinleyicilerin algısıyla nasıl ilişkili olduğunu kontrol etmeyi amaçlamaktadır. Metodolojide, L2 Brezilya Portekizcesi konuşan bir grup Amerikalı ve L2 İngilizce konuşan bir grup Brezilyalı ile bir konuşma üretim prosedürü ve her iki dil için ses dizilimi gerçekleştirdiğimiz bir konuşma algılama prosedürü gerçekleştirdik. Konuşma üretimi istatistiksel analizi için, dil gruplarının, karşı sınıfın ortak değişken(ler)inin yumuşatma etkisi için kontrol edilen özelliklerin her bir sınıfı (metrik veya prozodik-akustik) üzerindeki etkisini değerlendirmek için Genelleştirilmiş Katkı Modelleri çalıştırdık. Konuşma algısı istatistiksel analizi için, kadroların seslerinin dinleyiciler tarafından değerlendirilen puanlar üzerindeki etkisini değerlendirmek için bir Kruskal-Wallis testi ve bir post-hoc Dunn testi yaptık. Yine de Kosinüs ve Öklid mesafelerine dayalı akustik (ses) benzerlik testleri yaptık. Sonuçlar, dil grupları arasında f0'ın değişkenliği, süresi ve ses kalitesi açısından önemli akustik farklılıklar göstermiştir. Dizilişler için sonuçlar, f0, yoğunluk ve ses kalitesinin prozodik özelliklerinin dinleyicilerin algılanan yargılarıyla ilişkili olduğunu gösterdi.

Giriş

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Aksan, hem ana dilde (L1) hem de yabancı dilde (L2) iletişim ve akıcılığın göze çarpan ve dinamik bir yönüdür1. Yabancı aksan, bir hedef dilin L2 fonetik özelliklerini temsil eder ve diğer değişkenlerin yanı sıra konuşmacının L2 deneyimine, konuşma tarzına, giriş kalitesine, anlatımına yanıt olarak (zamanla) değişebilir. Yabancı bir aksan, yabancı bir konuşmacı tarafından üretilen L2 konuşması ile hedef dilin yerel veya referans aksanı arasındaki (skaler) fark derecesi olarak ölçülebilir2,3,4,5.

Bu araştırma, yabancı aksanlı İngilizce ve yabancı aksanlı Brezilya Portekizcesi'nin (BP) hem prozodik-akustik özelliklerini hem de algısal bağıntılarını incelemenin yanı sıra, konuşmacıların yabancı ve yerli aksan üretimlerinin dinleyicilerin algısıyla ne ölçüde ilişkili olduğunu kontrol etmeyi amaçlamaktadır. Adli tıp alanında daha önce yapılan araştırmalar, yabancı aksan tanımlamasında ünlülerin ve ünsüzlerin sağlamlığının, bir bireyin uzun vadeli analizi için istikrarlı olduğunu (The Lo Case6) veya bir konuşmacının yüksek kimlik doğruluğuna atıfta bulunduğunu (The Lindbergh Case7) göstermiştir. Bununla birlikte, süreye, temel frekansa (f0, yani perdenin akustik korelasyonu), yoğunluğa ve ses kalitesine (VQ) dayalı prozodik-akustik özelliklerin keşfi, artan bir ilgi kazanmıştır8,9. Bu nedenle, bu çalışmada prozodik-akustik özellikler seçimi, adli fonetik alanında umut verici bir yolu temsil etmektedir8,10,11,12,13.

Bu araştırma, adli vakalarda bir ses kılık değiştirme biçimi olarak yabancı aksanlara adanmış çalışmalarla desteklenmektedir14,15 ve ayrıca konuşmacı tanıma için ses dizilerinin hazırlanması16,17. Örneğin, konuşma hızı, Almanca, İtalyanca, Japonca ve Brezilya dillerinde İngilizce konuşanların tanımlanmasında önemli bir rol oynamıştır18,19,20,21,22. Konuşma hızının yanı sıra, uzun vadeli spektral ve f0 özellikleri, L2 yetkin konuşmacıları hedef dile aşinalık konusunda zorlar çünkü beyin ve bilişsel temeller hafıza, dikkat ve duyguda bir eksiklik yaşar ve uzun konuşma dönüşleri sırasında konuşmacının fonetik performansına yansır23. Adli tıp alanındaki yabancı aksanlara bakış, kulağa gerçekten yabancı aksan gibi gelen şeyin tanımının, yabancı aksanlı konuşmanın hiç veya aşırı derecede olmamasına değil, dinleyicinin yabancılığına büyük ölçüde bağlı olduğu yönündedir24.

Algısal alanda, 1990'ların ortalarından beri suçluların tanınması için kullanılan yaygın bir adli araç, bir suç mahallindeki bir faili tanımlamak için kullanılan görsel tanımaya benzer olan Voice Lineup'tır (işitsel tanıma)16<,sup class="xref">25. Bir ses dizisinde, şüphelinin sesi, bir kulak tanığı tarafından kimlik tespiti için yaş, cinsiyet, coğrafi konum, lehçe ve kültürel durum gibi sosyolinguistik yönlerden benzer folyo seslerle birlikte sunulur. Bir ses diziliminin başarısı veya başarısızlığı, ses örneklerinin sayısına ve örnek sürelerine bağlı olacaktır25,26. Ayrıca, gerçek dünyadaki örnekler için, ses kalitesinin ses tanımanın doğruluğunu sürekli olarak etkilediği düşünülmektedir. Düşük ses kalitesi, bir voice27'nin benzersiz özelliklerini bozabilir. Ses benzerliği söz konusu olduğunda, f0'a dayalı ince fonetik ayrıntı, ses tanıma sırasında dinleyicinin kafasını karıştırabilir28,29. Bu tür akustik özellikler f0'ın ötesine uzanır ve süre unsurlarını ve yoğunluk ve VQ30'un spektral özelliklerini kapsar. Birden çok prozodik özelliğin bu görünümü, doğru konuşmacı tanımlamasını sağlamak için adli ses karşılaştırması bağlamında çok önemlidir9,14,15,29,31.

Özetle, adli fonetik çalışmaları, son on yılda yabancı aksan tanımlamasına ilişkin bazı farklılıklar göstermiştir. Bir yandan, yabancı bir aksan, bir konuşmacıyı tanımlama sürecini etkilemiyor gibi görünmektedir32,33 (özellikle konuşmacı hedef yabancı aksana aşina değilse34). Öte yandan ters yönde bulgular var12,34,35.

Protokol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışma, bir insan araştırması etik komitesinden onay almıştır. Ayrıca, bu çalışmaya dahil olan tüm katılımcılardan verilerini kullanmak ve yayınlamak için bilgilendirilmiş onam alınmıştır.

1. Konuşma üretimi

NOT: Hem Grup 1 tarafından üretilen 'L1 İngilizce-L2 BP': The erican English (ABD'den) Speakers (AmE-S) hem de Grup 2 tarafından üretilen 'L1 BP-L2 English': The Brazilian Speakers (Bra-S) üzerindeki bir okuma görevinden konuşma topladık. Konuşma üretimi için bir akış şeması için Şekil 1'e bakın.

figure-protocol-1
Şekil 1: Konuşma üretimi için şematik akış şeması. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

  1. Katılımcı
    1. Katılımcı sayısını, dili belirleyin (L1 İngilizce, L2 BP; L1 BP, L2 İngilizce), cinsiyet (kadın veya erkek), yaş (ortalama, standart sapma), grup özellikleri (profesyoneller veya lisans öğrencileri) ve her grup için L2 yeterlilik seviyesi (ileri veya ileri düzey).
      NOT: Bu araştırma için, hem AmE-S hem de Bra-S, L2 yeterliliğine sahip olarak kabul edildi (her iki grup da B2-C136 olarak nitelendirildi). AmE-S, prosedürlerin yürütüldüğü sırada Brezilya'da iki yıl yaşamıştı. Bra-S, prosedürlerin gerçekleştirildiği sırada ABD'de iki yıldan fazla yaşamıştı. Yurtdışında yaşarken, her iki grup da haftada en az 6 gün, günde ~ 4-5 saat boyunca L2'lerini eğitim ve çalışma amacıyla konuşurdu.
    2. Katılımcıları rahat ve sessiz bir odaya ayırın ve her grup için okuma materyalini sunun.
  2. Veri toplama
    NOT: Konuşma verileri aşağıdaki dillerdeki bir okuma görevinden toplanmalıdır: L1-İngilizce ve L2-BP; L1-BP ve L2-İngilizce. Gerekirse katılımcıların metinleri önceden okumalarına izin verin.
    1. Kayıt prosedürleri
      1. Konuşma verilerini uygun akustik koşullara sahip sessiz bir yerde kaydedin.
      2. Dijital bir ses kayıt cihazı (Malzeme Tablosuna bakın)37 ve tek yönlü elektromanyetik izole edilmiş bir kardioid mikrofon (Malzeme Tablosuna bakın)38 kullanın.
      3. Ses verilerini '.wav' biçiminde kaydedin.
      4. Örnekleme hızını 48 kHz'de ve niceleme hızını 16 bitte ayarlayın.
        NOT: Adım 1.2.1.3 ve 1.2.1.4'te açıklanan örnekleme ve niceleme oranları için ses formatı ve yapılandırma, daha sonraki akustik analizler için kullanılan spektral özellikleri korumak için yüksek kalite ve gürültü azaltma sağlamak için uygulanır.
  3. Akustik analiz
    NOT: Akustik analiz prosedürlerini üç adıma ayırın: zorla hizalama, yeniden hizalama ve akustik özellik çıkarma.
    1. Dilsel transkripsiyonu yazın (bir ' ile.txt' dosyası) her ses dosyası için.
    2. '.txt'/'.wav' dosya çiftini aynı adla etiketleyin (ör. 'my_file.wav'/ 'my_file. txt').
      NOT: Bölüm 1.3.7'de özetlenen prosedürün performansını artırmak için, '.txt/.wav' dosya etiketlerinin ilk üç karakterinin Dil, Lehçe veya Aksanı temsil etmesi, dördüncü ila altıncı karakterlerin ise Cinsiyeti ifade etmesi önemle tavsiye edilir (örneğin, E nglish L1 Fem için EL1FEM bira). Yedinci karakterden itibaren, kullanıcı hoparlör numarasını belirtmelidir (örneğin, ilk hoparlör için 001). Sonuç olarak, ilk '.txt/.wav' çifti EL1FEM001'dir.
    3. Her L1-L2 dili için bir klasör oluşturun.
      NOT: L1-L2 İngilizce için bir klasör ve L1-L2 BP için bir klasör.
    4. Aynı dildeki tüm dosya çiftlerinin aynı klasörde olduğunu onaylayın.
    5. Zorunlu hizalamayı gerçekleştirin.
      1. Münih Otomatik Segmentasyon (MAUS) zorlamalı hizalayıcı (webMAUS)39 web arayüzüne https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/Pipeline erişin.
      2. Her bir çifti sürükleyip bırakın. wav / . txt dosyalarını klasörden Dosyalar'daki kesikli dikdörtgene taşıyın (veya dikdörtgenin içini tıklatın, Şekil 2A).
      3. Dosyaları hizalayıcıya yüklemek için Karşıya Yükle düğmesine tıklayın (Şekil 2A'daki kırmızı oka bakın).
      4. Hizmet seçenekleri menüsünde aşağıdaki seçenekleri belirleyin (Şekil 2B): İşlem hattı adı için G2P-MAUS-PHO2SYL; İngilizce (ABD) (Dil için) L1-L2 ise İngilizce veri; İtalyanca (IT) (Dil için) if L1-L2 BP data.
        NOT: BP verileri için 'İtalyanca'yı seçtik çünkü webMAUS, BP zorlamalı hizalama için önceden eğitilmiş akustik modeller sağlamaz. Fonetik literatür, İtalyan fonolojisinin, tıpkı BP40 gibi, biraz karşılaştırılabilir simetrik yedi sesli harf envanterine ve ünsüz akustik benzerliklere sahip olduğunu ortaya koymaktadır41,42.
      5. 'Çıktı formatı' ve 'Her şeyi sakla' için varsayılan seçenekleri koruyun.
      6. Kullanım koşullarını kabul etmek için Çalıştır seçenek kutusunu işaretleyin (Şekil 2C'deki yeşil oka bakın).
      7. Aligner.
        içinde karşıya yüklenen dosyaları çalıştırmak için Web Hizmetini Çalıştır düğmesine tıklayın. NOT: MAUS zorlamalı hizalayıcı, her ses dosyası için bir Praat TextGrid nesnesi döndürür (adım 1.3.1'de açıklanan '.txt' dosyasından çıkarılan dilsel transkripsiyona dayalı olarak kelimelerin, fonolojik hecelerin ve telefonların ek açıklamasını içeren Praat önceden biçimlendirilmiş bir '.txt' dosyası).
      8. TextGrid dosyalarını sıkıştırılmış bir dosya olarak indirmek için ZIP Dosyası Olarak İndir düğmesine tıklayın (Figure 2C).
        NOT: Sıkıştırılmış TextGrid dosyalarının ses dosyalarıyla aynı klasöre indirildiğinden emin olun.
      9. Fonetik analiz yazılımında daha sonra yeniden hizalama için TextGrid dosyalarını ayıklayın43.
    6. Yeniden hizalamayı gerçekleştirin.
      1. https://github.com/leonidasjr/VVunitAlignerCode_webMAUS/blob/main/VVunitAligner.praat'dan Praat VVUnitAligner44 komut dosyasına erişin ve indirin.
      2. Aynı dilin ve VVUnitAligner betiğinin tüm dosya çiftlerinin aynı klasörde olduğunu onaylayın.
        NOT: L1-L2 İngilizce dosyaları ve VVunitAligner için bir klasör ve L1-L2 BP dosyaları ve VVunitAligner için bir klasör.
      3. Fonetik analiz yazılımını açın.
      4. Praat |'e tıklayın Komut dosyasını nesne penceresinden çağırmak için Praat komut dosyası... öğesini açın.
      5. Çalıştır düğmesine bir kez tıklayın.
        NOT: Ekranda komut dosyasını kullanma ayarlarını içeren Fonetik hece hizalama adlı bir form belirecektir (Şekil 3A).
      6. 'İngilizce (ABD)', 'Portekizce (BR)', 'Fransızca (FR)' veya 'İspanyolca (ES)' dilleri arasından seçim yapmak için Dil düğmesini tıklayın.
      7. 'Otomatik', 'Zorunlu (manuel)' veya 'Yok' segmentasyon prosedürü arasından seçim yapmak için Yığın segmentasyon düğmesini tıklayın.
      8. Yeni TextGrid dosyalarını otomatik olarak kaydetmek için TextGrid dosyalarını kaydet seçeneğini işaretleyin.
      9. Tamam'a tıklayın | Adım 1.3.5.7'den itibaren fonetik birimlerin yeniden hizalanması için düğmeleri çalıştırın .
        NOT: Her ses dosyası için VVUnitAligner, bölüm 1.3.7 için yeni bir TextGrid dosyası oluşturacaktır (Şekil 3B).
    7. Akustik özelliklerin otomatik olarak çıkarılmasını gerçekleştirin.
      1. Prozodik-akustik özelliklerin otomatik olarak çıkarılması için https://github.com/leonidasjr/SpeechRhythmCode/blob/main/SpeechRhythmExtractor.praat'dan SpeechRhythmExtractor45 betiğine erişin ve indirin.
      2. Yeni bir klasör oluşturun ve SpeechRhythmExtractor'ı tüm dillerin tüm ses/TextGrid dosya çiftleriyle birlikte yerleştirin.
      3. Fonetik analiz yazılımını açın.
      4. Praat |'e tıklayın Komut dosyasını nesne penceresinden çağırmak için Praat komut dosyası... öğesini açın.
      5. Çalıştır düğmesine yalnızca bir kez tıklayın.
        NOT: Ekranda komut dosyası ayarlarını içeren bir form açılacaktır. Çıktı '.txt' dosya adlarının kutularında, dosyaları uygun şekilde yeniden adlandırın veya varsayılan adları bırakın.
      6. Ses kalitesi için VQ çıktı dosyasını kaydetmek için ses kalitesi parametreleri seçeneğini işaretleyin (Şekil 3C).
        NOT: Bu ikinci çıktı dosyası (Çıktı dosyası VQ), 1. ve 2. harmonikler (H1-H2) ile Cepstral Belirginlik Zirvesi (CPP)9 arasındaki farkın parametrelerini içerir.
      7. 'Dil', 'Lehçe' veya 'Aksan' etiketlerinden seçim yapmak için Dilsel hedef seçeneğini işaretleyin (Şekil 3C).
      8. f0 özelliklerini Hz veya Yarım Ton olarak seçmek için Birim seçeneğini işaretleyin (Şekil 3C).
      9. F0 eşiği değerlerinde, minimum ve maksimum f0 eşiklerinde ayarlayın (Şekil 3C).
        NOT: Araştırmanın belirli amaçları yoksa veya belirli ses özellikleri önceden ayarlanmamışsa, adım 1.3.7.9'daki parametrelerin varsayılan değerlerde bırakılması önemle tavsiye edilir.
      10. Tamam'a tıklayın | Akustik özelliklerin otomatik olarak çıkarılması için çalıştırın .
        NOT: SpeechRhythmExtractor betiği, hoparlörlerden çıkarılan akustik özellikleri içeren sekmeyle ayrılmış bir '.txt' dosyası (Çıktı dosyası/ Çıktı dosyası VQ) döndürür.
  4. İstatistiksel analiz
    1. Akustik özellikleri içeren elektronik tabloyu R46 ortamına (veya tercih ettiğiniz herhangi bir istatistiksel yazılıma/ortama) yükleyin.
    2. Genelleştirilmiş Katkı Modelleri (GAM'ler) parametrik olmayan istatistikler gerçekleştirin.
      1. R'de GAM'ler gerçekleştirin.
      2. Aşağıdaki komutları yazın ve Enter tuşuna basın.
        kütüphane(mgcv)
        model = gam(analizdeki metrik/prozodik-akustik özellik ~ Dil + s(seçilen metrik özellik, by = Dil) + diğer metrik/prozodik-akustik özellikler, veri = veri çerçevesi)
        NOT: Akademik topluluktaki fonetikçiler (ve dilbilimciler) arasında artan popülaritesi nedeniyle protokolün test istatistiklerini R programlama dilinde gerçekleştirmeye karar verdik. R, fonetik saha çalışması araştırmasında büyük ölçüde kullanılmıştır47. Adım 1.4.2.2'nin sahte bir kod içerdiğini unutmayın. Kodu araştırma değişkenlerine göre yazın.

figure-protocol-2
Şekil 2: MAUS zorlamalı hizalayıcı kullanılarak fonetik hizalamadan ekran görüntüsü. (A) Kesikli dikdörtgen, 'my_file.wav'/' my_file.txt' dosyalarını sürükleyip bırakmak veya bu tür dosyaları klasörden aramak için içine tıklamak içindir; Karşıya Yükle düğmesi kırmızı okla gösterilir. (B) Panel A'dan yüklenen dosyalar (mavi oka bakın), kullanılacak boru hattı, dosya çiftlerinin dili, döndürülecek dosya formatı ve tüm dosyaları tutmak için bir 'doğru/yanlış' düğmesi. (C) Onay kutusu Kullanım koşulları (yeşil oka bakın), Web Hizmetlerini Çalıştır düğmesi ve Sonuçlar (indirilecek TextGrid dosyaları). Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-protocol-3
Şekil 3: Yeniden hizalama prosedürünün ekran görüntüsü. (A) Yeniden hizalama prosedürü için giriş ayarları formu. (B) Kısmi dalga biçimi, f0 (mavi) konturlu geniş bant spektrogramı ve katman 1 olarak bölümlere ayrılmış (ve etiketlenmiş) altı katman: sesli harf başlangıcından sonraki ünlü başlangıcına kadar olan birimler (V_to_V); ünlü başlangıcı (V_to_V); katman 2: ünlü (V), ünsüz (C) ve duraklama (#) birimleri; Aşama 3: V_to_V fonik temsiller; Aşama 4: metinden bazı kelimeler; katman 5: metinden bazı konuşma parçaları (CH); katman 6: bir dişi AmE-S tarafından üretilen her konuşma parçasının en yüksek (H) ve en düşük (L) tonunu içeren ton katmanı. (C) Akustik özelliklerin otomatik olarak çıkarılması için giriş ayarları. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

2. Konuşma algısı

NOT: Amerikalı dinleyicilerle İngilizce olarak dört ses dizisi ve Brezilyalı dinleyicilerle BP'de dört ses dizisi gerçekleştirdik. Konuşma algısı için bir akış şeması için Şekil 4'e bakın.

figure-protocol-4
Şekil 4: Konuşma algısı için şematik akış şeması. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

  1. Katılımcı
    1. Konuşma prodüksiyon protokolüne katılanlardan her grup için farklı katılımcılar seçin.
      NOT: Protokolün bu kısmı için iki grup katılımcı seçilmiştir: Grup 1: erican English (ABD'den) Listenerleri (AmE-L) ve Grup 2: Brazilian Listenerleri (Bra-L). Bu araştırma için, hem AmE-L hem de Bra-L, L2 yeterliliğine sahip olarak kabul edildi (her iki grup da B2-C136 AmE-L, prosedürlerin gerçekleştirildiği sırada Brezilya'da iki yıl yaşamıştı. Bra-L, prosedürlerin gerçekleştirildiği sırada ABD'de iki yıldan fazla yaşamıştı. Yurtdışında yaşarken, her iki grup da L2'lerini eğitim ve çalışma amacıyla (haftada en az altı gün, günde yaklaşık 4 ila 5 saat) konuşurdu.
    2. Katılımcı sayısını, dili belirleyin (L1 İngilizce, L2 BP; L1 BP, L2 İngilizce), cinsiyet (kadın veya erkek), yaş (ortalama, standart sapma), grup özellikleri (profesyoneller veya lisans öğrencileri) ve her grup için L2 yeterlilik seviyesi.
  2. Ses kadroları
    NOT: Ses dizilimlerinin prosedürlerini iki farklı adıma ayırın: ses dizilerini hazırlama ve çalıştırma.
    1. İngilizce için dört, BP için dört ses dizisi hazırlayın.
      1. Bölüm 1: Konuşma prodüksiyonu hoparlörlerinden ses dosyalarını alın.
      2. Her dil faktörünün ses dosyalarının ayrı klasörlerde olduğunu onaylayın.
      3. L1 İngilizce veya L1 BP'de rastgele altı ses parçası seçin.
        NOT: Dizilişteki altı ses, bir hedef sesi ve beş folyoyu temsil eder.
      4. Adım 2.2.1.3.
        'de yer alan hoparlörlerden birinden L2 İngilizce veya L2 BP dilinde bir ses parçası seçin NOT: Adım 2.2.1.4'teki ses öbeği referans sestir. Parçalar yaklaşık 20 s uzunluğunda olmalıdır.8.
      5. https://github.com/pabarbosa/prosody-scripts-CreateLineUp'dan Praat CreateLineup48 komut dosyasına erişin ve indirin.
      6. CreateLineup komut dosyasını çalıştırmadan önce L2 başvuru sesinin, L1 folyolarının ve L1 hedef sesinin aynı klasörde olduğunu onaylayın (Şekil 5).
      7. Fonetik analiz yazılımını açın.
      8. Nesne penceresinden Praat | Komut dosyasını çağırmak için Praat komut dosyasını açın...
      9. Çalıştır'a tıklayın | Run.
        NOT: Komut dosyası, aşağıdaki sırayla bir dosya döndürür: (L2 referans sesi) + (L1 hedef sesi ve rastgele dağıtılan folyolar) (Şekil 5).
    2. Ses dizilişlerini çalıştırma
      1. Ürün listelerini tercih ettiğiniz herhangi bir platformda (ör. SurveyMonkey) barındırmak için çevrimiçi bir alan oluşturun. Malzeme Tablosuna bakın) ses dizilişlerini uzaktan yürütmek için.
      2. Çevrimiçi alan bağlantısına erişin.
      3. CreateLineup betiğinden döndürülen dosyaları platforma yükleyin.
      4. Her adımı test etmek için prosedürü katılımcılardan önce çalıştırın.
        NOT: Her şeyin normal şekilde çalışıp çalışmadığını kontrol etmek için bağlantıya önceden erişmeniz ve dizilişleri çalıştırmanız önerilir.
  3. İstatistiksel analiz
    1. Dinleyicilerin kararlarının puanlarını içeren elektronik tabloyu R ortamına (veya tercih ettiğiniz herhangi bir istatistiksel yazılıma/ortama) yükleyin.
      1. R'de Kruskal-Wallis testini gerçekleştirin.
      2. Aşağıdaki komutları yazın ve Enter tuşuna basın.
        model = kruskal.test(kararlar ~ her ses dizisi, veri = veri çerçevesi)
    2. Post-hoc bir Dunn testi gerçekleştirin.
      1. Dunn'ın testini R'de gerçekleştirin.
      2. Aşağıdaki komutları yazın ve Enter tuşuna basın.
        kütüphane(FSA)
        model = dunnTest(kararlar ~ her ses dizisi, veri = veri, yöntem = "bonferroni")
        NOT: Adım 2.3.1.2 ve 2.3.2.2'deki kodlar sözde kodlardır (bkz. NOT 1.4.2.2).
  4. Akustik benzerlik analizi
    1. Hedef ile folyolardan herhangi biri arasında önemli olmayan farklılıklar sunan dizilişleri seçin (bkz. adım 2.2.1.3'teki NOT).
    2. 1.3.1 ile 1.3.7.5 arasındaki adımların ve 1.3.7.8 ile 1.3.7.10 arasındaki adımların prosedürlerini tekrarlayın.
    3. https://github.com/leonidasjr/AcousticSimilarity/blob/main/AcousticSmilarity_cosine_euclidean.py.
      adresinden Python49, AcousticSimilarity_cosine_euclidean50 betiğine erişin ve indirin NOT: Komut dosyası üç matris döndürür ('.txt' ve '.csv' içinde): biri Kosinüs benzerliği51,52, biri Öklid mesafesi52,53 ve biri Dönüştürülmüş Öklid mesafe değerleri için ve ayrıca hedef ses ile her folyo arasında ikili bir karşılaştırma.
    4. Betiğin dizilim veri kümesinin aynı klasörüne indirildiğini onaylayın.
    5. Komut dosyasını çağırmak için Dosyayı aç... düğmesine tıklayın.
    6. Çalıştır'a tıklayın | Hata Ayıklama Düğmeleri Olmadan Çalıştırın.
      NOT: İkinci Çalıştır düğmesi, Çalıştır veya Hata Ayıklama Olmadan Çalıştır veya Komut Dosyasını Çalıştır olarak etiketlenebilir. Hepsi aynı komutları yürütür. Bu sadece kullanılan Python ortamına bağlıdır.
    7. Akustik özelliklere dayalı ses benzerliği testleri gerçekleştirin.
      NOT: Kosinüs benzerliği (veya kosinüs mesafesi), Yapay Zekada (AI), özellikle otomatik konuşma tanıma (ASR) sistemlerinde makine öğreniminde uygulanan bir tekniktir. Sıfır ile bir arasındaki benzerliğin bir ölçüsüdür. Bire yakın bir kosinüs benzerliği, iki sesin benzer olma olasılığının oldukça yüksek olduğu anlamına gelir. Sıfıra yakın bir kosinüs benzerliği, seslerin farklı olma olasılığının oldukça yüksek olduğu anlamına gelir52. Genellikle Öklid benzerliği olarak adlandırılan Öklid mesafesi, yapay zeka, makine öğrenimi ve ASR'de de yaygın olarak kullanılmaktadır. Öklid uzayı53'teki iki nokta arasındaki düz çizgi mesafesini temsil eder, yani noktalar ne kadar yakınsa (daha kısa uzaklık değerleri), sesler o kadar benzerdir. Her iki tekniğin de rapor edilen sonuçlarının daha net bir şekilde anlaşılması için, Öklid mesafesi ham puanlarının sıfırdan (daha az ses benzerliği) bire (daha fazla ses benzerliği) değerlere dönüşümünü gerçekleştirdik54.

figure-protocol-5
Şekil 5: Konuşma algısı için dizin kurulumu. Dizilim klasörleri. Her klasörde Altı L1 sesi, L2 hedef sesi, "CreateLineup" komut dosyası ve ses dizilimi ses dosyası (komut dosyası çalıştırıldıktan sonra döndürülür) bulunur. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Sonuçlar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Konuşma üretimi için sonuçlar
Bu bölümde, istatistiksel olarak anlamlı prozodik-akustik özelliklerin ve ritim metriklerinin performansını açıkladık. Bu tür prozodik özellikler, süre ile ilgili konuşma, artikülasyon ve duraklama oranları ve ses kalitesiyle ilgili olan ışıltıydı. Ritim metrikleri, hece süresinin standart sapması (SD), ünsüzün SD'si, vokal veya ünsüz süresinin SD'si ve hece süresinin varyasyon katsayısıydı (Ek Tablo S1'e bakınız).

Konuşma hızı (Şekil 6A), her iki L2 için de oran daha düşük olmasına rağmen, L1-L2 İngilizce için L1-L2 BP'ye göre daha hızlı azalır. Konuşma hızı üç metrikle ilgilidir - hece süresinin SD'si (SD-S), ünlülerin SD'si (SD-V) ve hece varyasyon katsayısı (Varco-S). Hem AmE-S hem de Bra-S grubunun L2'lerinde yetkin olduğunu akılda tutmak da önemlidir. Görünüşe göre bu oran, hece süresinin daha yüksek değerlerinden ve L1-L2 BP tarafından üretilen daha düşük değişkenlikten etkileniyor ve daha az dik eğimlere neden oluyor.

Artikülasyon oranı (Şekil 6D) SD-S, Varco-S ve Hece Ritim Oranı (RR-S) ile ilgilidir; ikincisi, daha kısa ve daha uzun heceler arasındaki oranı temsil eder. Bu tür metrikler, daha yüksek L2 konuşma planlamasına yol açan cümle uzunluğu ve süredeki değişiklik nedeniyle etkilenen Konuşma hızı gibi Artikülasyon oranını etkiliyor gibi görünmektedir ve L2 bilişsel yük9,23,54. Cümle uzunluğu alanında, prozodik-akustik parametrelerin etkileneceği şekilde daha yüksek bir bilişsel-dilsel yük gerekebilir55.

Konuşma ve Artikülasyon oranlarının prozodik-akustik özellikleri ile ilgili olarak, bulgularımız, bir konuşmacının hecelerin (ve ünlülerin) süresini ne kadar çok değiştirirse, bu oranların o kadar düşük olduğunu göstermektedir. Hem L1 hem de L2 BP'nin konuşma algısının L1 ve L2-İngilizce'den biraz daha yavaş ses çıkardığını ve L1-İngilizce'nin diğer tüm dil seviyelerinden daha hızlı ses çıkardığını varsayıyoruz. Bu gerçek, konuşma ritmi ve L1-L2 BP'nin ritim sürekliliğinin hece zamanlı kutbuna doğru eğilirken, L1-L2 İngilizcesinin vurgu zamanlı kutup21,22'ye doğru hareket ettiği hipotezi ile bağlantılı olabilir.

Yerel ışıltı, Şekil 6B, SD-S ve Varco-S'den etkilenir. Yerel ışıltı için, Bra-S, L1-BP ve L2-English'in her iki üretimi, hece süresinin değişkenliği arttıkça biraz monoton bir yörünge sunar (SD ve Varco, bkz. Ek Tablo S1). 8.5 ile 9 dB arasında değişen düşük bir varyasyon nedeniyle Bra-S'nin yapımlarını dinlerken vokal çaba algısı belirgin olabilir. Bra-S konuşması ses yükünden etkilenir. L1-BP, cümle uzunluğunun hece süresinin yüksek varyasyonlarına daha az duyarlı olmasından oldukça etkilenir (BP ritmik örüntü daha az hece varyasyonu gösterir22,56).

Duraklama oranı (Şekil 6C), L2-İngilizce konuşanların L1-İngilizce, L1-BP ve L2-BP olanlardan (L1-İngilizce için ortalama 30 ms, L1-BP için 50 ms ve L2-BP için 100 ms) daha uzun duraklamalar (200 ms'den 375 ms'ye) ürettiğini gösterir. Bu durumda konuşma planlaması, artan beyin aktivitesi nedeniyle L2-İngilizce üretimini etkilemiş olabilir54,57. Daha yüksek dil yeterliliğinin daha yüksek bir okuma hızı ve span54 ile sonuçlanması beklenmektedir; bununla birlikte, L2 yeterliliğine sahip konuşmacılar için bile, okuma görevleri, yabancı konuşmanın üst düzey bilişsel yönlerinde ve dil işlemede daha fazla çaba gösterdi54,57. Bulgularımız, en azından ön temelde, L2-BP konuşmacılarının, her iki dilin ritmik modelindeki farklılıklar nedeniyle L2-İngilizce'ye göre duraklamalardan daha az etkilenebileceğini göstermektedir.

figure-results-1
Şekil 6: Prozodik-akustik özellikler için Genelleştirilmiş Katkı Modelleri. Y ekseninde, yanıt değişkeni (modellenecek akustik özellikler); X ekseninde, tahmin değişkenleri ('Dil' faktörü ve eğrilerin şeklini ve yörüngelerini sağlayacak eklemeli modellerdeki ortak değişkenler (yani, yumuşatma efektleri: 'Dil + ortak değişkenler') ve 'Dil'in çarpımı ve yanıt değişkeninin daha doğru bir projeksiyonunu sağlayacak bir metrik özellik (örn. faktör-pürüzsüz etkileşimler: 'covariate:Language'). Kısaltma: GAM'ler = Genelleştirilmiş Katkı Modelleri. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Ritim metrikleriyle ilişkili olarak, SD-S (Şekil 7A) için, bulgularımız, bir konuşmacı f0 eğrisini ne kadar çok değiştirir ve konuşma hızını ne kadar artırırsa, tüm dil seviyeleri için SD-S'nin o kadar fazla azaldığını ortaya koymaktadır (Şekil 6A). Ünsüzler için SD durumunda (SD-C, Şekil 7C), L1-BP, L1 İngilizce'nin aksine, Konuşma hızı veya Duraklama süresi arttıkça düşük varyasyon gerçekleştirir. Hece süresinin L1-İngilizce değişkenliği (istatistiksel olarak) L1-BP44,58'den anlamlı derecede yüksek olduğundan, bu tür bir SD yönü tahmin edilmektedir. Varco-S (Şekil 7B ve Ek Tablo S1) aynı dil grubunun L1 ve L2'si ile bir şekilde ilişkili görünmektedir. f0 değişkenliği ve Konuşma hızı arttıkça, L1-BP için Varco-S azalır ve L2-BP için azalıyor ve zayıflıyor gibi görünmektedir. İngilizce yapımlar için f0 değişkenliği ve Konuşma hızı artarken, L1-İngilizce ve L2-İngilizce için Varco-S artar ve azalır.

Ünlüler veya ünsüzler için SD ile ilgili olarak (SD-V_C, Şekil 7D ve Ek Tablo S1), sonuçlarımız Varco-S performansıyla bazı benzerlikler göstermektedir (Şekil 7B). Örneğin, daha yüksek Konuşma hızı, Duraklatma süresi ve f0 değişkenliği, L1-BP ve L2-BP için SD-V_C'nin düşüş-yükseliş yörüngesini destekler. İngilizce yapımlarda, bu tür prozodik özellikler daha yüksek iken, SD-V_C L1-İngilizce için hafifçe azalır, zayıflar, hafifçe artar ve sonra L2-İngilizce için zayıflar. Aynı dil gruplarının L1-L2'si ile Varco-S ve SD-V_C korelasyonu, arka plan gürültüsü nedeniyle konuşmadaki akustik parametrelerin değişmesine atıfta bulunan Lombard Etkisi ile kısmen açıklanabilir59.

Yabancı konuşmada, görevin karmaşıklığına bağlı olarak (örneğin, konuşma okuma), konuşmacılar hem L1 hem de L2'de benzer akustik stratejiler kullanmışlardır59,60. Bir yandan, Marcoux ve Ernestus, L2 Lombard konuşmasındaki f0 ölçülerinin (aralık ve medyan), L2 İngilizce konuşanların L1 Felemenkçe61,62'den etkilendiğini buldular. Öte yandan, daha yeni bulgular, L2 Lombard konuşmasının, L2 konuşurken daha yüksek bilişsel yük nedeniyle L1 Lombard konuşmasından farklı olması beklenmesine rağmen, L2 İngilizce konuşanların, L1 İngilizce konuşanların L1 İngilizce konuşanlarla aynı yönde Lombard konuşması ürettiğini göstermektedir63. Bulgularımızın Marcoux ve Ernestus63 ile ne ölçüde uyumlu olduğu ve Waaning59, Villegas et al.60 ve Marcoux ve Ernestus61,62'den ne ölçüde ayrıldığı daha fazla araştırmaya ihtiyaç duyuyor.

figure-results-2
Şekil 7: Metrik özellikler için Genelleştirilmiş Katkı Modelleri. Y ekseninde, yanıt değişkeni (modellenecek metrik özellikler); X ekseninde, tahmin değişkenleri ('Dil' faktörü ve eğrilerin şeklini ve yörüngelerini sağlayacak eklemeli modellerdeki ortak değişkenler (yani, yumuşatma efektleri: 'Dil + ortak değişkenler') ve 'Dil'in çarpımı ve yanıt değişkeninin daha doğru bir projeksiyonunu sağlayacak bir metrik özellik (örn. faktör-pürüzsüz etkileşimler: 'covariate:Language'). Kısaltma: GAM'ler = Genelleştirilmiş Katkı Modelleri. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Konuşma algısı için sonuçlar
BP ses dizilişleriyle ilgili olarak, diziliş #1'de (Şekil 8A&

figure-results-3

figure-results-4

Tartışma

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Mevcut protokol (adli) fonetik alanında bir yenilik sunmaktadır. İki aşamaya ayrılır: biri üretime dayalı (akustik analiz) ve diğeri algıya dayalı (yargı analizi). Üretim analizi aşaması, istatistiklerin yanı sıra Veri hazırlama ve Zorlamalı hizalama, Yeniden Hizalama ve Prozodik-akustik özelliklerin otomatik olarak çıkarılmasını içerir. Bu protokol, veri toplama aşamasını, ağırlıklı olarak manuel segmentasyona dayalı geleneksel protokollerden daha hızlı ve daha verimli bir şekilde veri analizine bağlar.

Ancak, 1.3.6 ila 1.3.6.9 arasındaki protokol adımlarında gösterilen yeniden hizalama işlemi, temel olarak 1.3.1 ila 1.3.4 arasındaki protokol adımlarında oluşturulan telefon ve kelime birimlerinde çalışır. Yeniden hizalama işleminin yeniliği, üç yeni metin katmanı içeren yeni bir TextGrid oluşturmasıdır: bir hece katmanı, kelimelere göre otomatik veya manuel olarak oluşturulabilen bir konuşma öbeği katmanı ve f0 ölçülerini hesaplamak için oldukça yararlı olabilecek bir ton katmanı. Bu protokol için önerilen yeniden düzenleme kılavuzları daha önce L2 konuşma ritmi 21,69,70 çalışmalarında, makine öğrenimi teknikleri22 kullanılarak yabancı aksan derecesinin tespitine yönelik çalışmalarda ve adli tıp alanındaki çalışmalarda 9 kullanılmıştır.

1.3.7 ila 1.3.7.10 protokol adımlarında sunulan prozodik özelliklerin otomatik olarak çıkarılması, mevcut araştırmada kanıtlanabileceği gibi çok boyutlu bir prozodik-akustik özellikler matrisi oluşturur. Bu özellikler arasında melodik, süresel ve spektral (ses kalitesi ve yoğunluğu) konuşma özellikleri71 bulunur. Bu akustik özelliklerin önemli bir kısmı, sonunda adli tıpta veya diğer senaryolarda toplanan gürültülü ses kayıtlarına karşı daha az hassas ve biraz sağlamdır72. Ayrıca, çok boyutlu matris, çeşitli AI teknikleri (devam eden çalışma) aracılığıyla konuşma tanıma sistemlerine uygulanabilir. L2 telaffuz sınıfları21'de (devam eden çalışma) prozodik yönlerin öğretiminde hala oldukça yararlı olabilir.

Protokolün bu bölümünün istatistiksel analizi, belirli bir akustik özellik ile birden fazla dil faktörü konuşmacısı arasındaki karmaşık bir ilişkiyi ele aldığımız için GAM yönteminin kullanımını temsil eder. Örneğin, belirli bir akustik özelliği modellemek için, konuşma üretimi sırasında neler olduğunu daha doğru bir şekilde tanımlayabilmemiz için matristeki diğer akustik özelliklerin (yumuşak terimler) nasıl performans göstereceğini kontrol etmek gerekiyordu.

Algı analizi ile ilgili olarak, mevcut protokol, ses dizilişlerinin hazırlanması ve uygulanması, istatistiksel analiz ve akustik benzerlik analizi ile oluşturulmuştur. Dizilişleri hazırlamak için, 2.2 ila 2.2.1.9 protokol adımlarında açıklandığı gibi rastgele sıralanmış folyolar ve hedef ses içeren her diziliş için otomatik olarak bir ses dosyası oluşturan Praat için CreateLineup komut dosyasını kullandık.

Bu protokolün istatistiksel analizi için, verilerimiz Varyans Analizi (ANOVA) varsayımlarını karşılamadığı için Kruskal-Wallis parametrik olmayan testini çalıştırdık. Dinleyiciler tarafından değerlendirilen ve hedef ses ile folyolar için kontrol edilen yargı puanları arasında bir ilişki kurduktan sonra, doğrusal model istatistiklerini kullanmayı seçtik.

Akustik benzerlik analizi için Python için AcousticSmilarity_cosine_euclidean betiğini kullandık. Program, bilgisayarın dizin ağacını açar ve kullanıcıdan folyoların prozodik-akustik özelliklerini içeren dosyayı ve analizde diziyi oluşturan hedef sesi seçmesini ister. Bir düğmeye tıklandığında, komut dosyası üç benzerlik matrisi oluşturur: hem '.txt' (sekmeyle ayrılmış) hem de '.csv' dosyalarında bir Kosinüs, bir Öklid ve dönüştürülmüş (sıfırdan bire) bir Öklid. Yine de her veri kümesinin (folyoların ve hedefin prozodik-akustik özelliklerini içeren '.txt' dosyası) dizinin orijinal klasöründe olması gerektiğini ve her diziliş klasörünün AcousticSmilarity_cosine_euclidean komut dosyasının bir kopyasına sahip olması gerektiğini aklımızda tutmalıyız.

Özetle, mevcut protokol (adli) fonetik araştırmalarında ilerlemektedir. Üretim ve algı analizlerinin yanı sıra akustik benzerlik gibi farklı aşamalardan oluşan bu program, veri toplama ile çok boyutlu akustik özellik analizi arasındaki boşluğu dolduruyor. Araştırmacılar hem üretim hem de algı yönlerini keşfederek bütünsel bir bakış açısından yararlanabilirler. Ayrıca, bu protokol araştırmanın tekrarlanabilirliğini sağlayarak başkalarının bu çalışmanın yönergelerini geliştirmesine olanak tanır.

Sınırlamalar ve gelecekteki yönler
Veri hazırlamanın 1.3.1 ila 1.3.4 protokol adımlarında önerilen yönergeleri takip etmesi durumunda her şeyin başarılı bir şekilde sonuçlanacağını yine de aklımızda tutmalıyız. Ayrıca, zorlamalı hizalama işlemlerinde, mevcut çalışmada kullanılan harici bir önceden eğitilmiş zorlamalı plak benzeri MAUS'un, özellikle önceden eğitilmemiş yabancı aksanlı verilerde ve hatta önceden eğitilmiş plaklarda, sesin iyi kalitede olmaması veya hizalayıcının ses dilini içermemesi fark etmeksizin segmentasyon hatalarına açık olduğunun farkında olmalıyız (bu durum uzmanın işini daha zor ve zaman alıcı hale getirecektir). Adli transkripsiyon, özellikle daha uzun ses dosyaları, sözlü kayıtların doğru ve güvenilir temsili konusunda zorluklarla karşılaşmaktadır72.

Daha uzun ses dosyalarının yazıya geçirilmesi ve hizalanmasında da çeşitli zorluklar vardır. Hizalayıcı performansı, konuşma stili ve fonetik ortamın yanı sıra lehçeye özgü faktörlerden etkilenir. Hizalayıcıya özgü farklılıklar olmasına rağmen, genel olarak performansları benzerdir ve genel olarak manuel hizalama ile iyi bir şekilde karşılaştırılan segmentasyonlar oluşturur73. Ayrıca, MAUS'ta yabancı konuşma modellerinin bulunmaması nedeniyle L1 ve L2 İngilizce prodüksiyonu, Amerikan İngilizcesinin önceden eğitilmiş akustik modeliyle yürütülmüştür. Ayrıca, MAUS'ta BP için önceden eğitilmiş akustik modeller yoktur. BP verileri için, önceden var olan İtalyanca akustik modeller kullanıldı (bkz. NOT, protokol adımı 1.3.5.7).

Gelecekteki çalışmalarda (devam ediyor), protokolün bir parçası olarak Montreal Zorlamalı Hizalayıcıyı (MFA)74 kullanacağız. MFA'nın büyük bir avantajı, çok çeşitli diller (BP dahil) için önceden eğitilmiş akustik modellerin ve grafemden foneme modellerin mevcudiyetinin yanı sıra herhangi bir yeni veri kümesine (yani, yabancı aksanlı konuşma külliyatımız) yeni akustik ve grafemden foneme modelleri eğitme yeteneğidir75.

Açıklamalar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarların beyan edecekleri herhangi bir çıkar çatışması yoktur.

Teşekkürler

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışma, Ulusal Bilimsel ve Teknolojik Kalkınma Konseyi - CNPq tarafından desteklenmiştir, ilk yazar için hibe no. 307010/2022-8 ve ikinci yazar için hibe no. 302194/2019-3. Yazarlar, bu araştırmanın katılımcılarına cömert işbirlikleri ve paha biçilmez katkıları için içten teşekkürlerini sunarlar.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
CreateLineupKişisel koleksiyon#Ses dizilimleri hazırlığı için praat için komut dosyası
Dell I3 (katı hal sürücülü - SSD) Dell#Dizüstü bilgisayar
PraatPaul Boersma & David Weenink#Fonetik analiz yazılımı
Python 3Python Yazılım Vakfı#Yorumlanmış, üst düzey, genel amaçlı programlama dili 
R: İstatistiksel Hesaplama için R Projesi#İstatistiksel hesaplama için programlama dili
Shure, Beta, SM7BShure#Microphone
SpeechRhythmExtractorKişisel koleksiyon#Praat için komut dosyası, akustik özelliklerin otomatik olarak çıkarılması için
SurveyMonkey, SurveyMonkeyInc.#Ücretsiz özelleştirilebilir anketlerin yanı sıra veri analizi, örnek seçimi, önyargısızlaştırma ve veri temsilini içeren bir dizi arka uç programı bir araya getirin.
Tascam DR-100 MKIITascam#Dijital ses kayıt cihazı
Münih Otomatik Segmentasyon Sistemi MAUSMünih Üniversitesi#Ses (.wav) ve dilsel bilgi (.txt) dosyalarının zorla hizalayıcı
VVUnitAlignerKişisel koleksiyon#Fonetik birimlerin otomatik olarak yeniden hizalanması ve sonradan işlenmesi için praat için komut dosyası
,, , ,

Kaynaklar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Moyer, A. Foreign Accent: The Phenomenon of Non-native Speech. , Cambridge University Press. (2013).
  2. Munro, M., Derwing, T. Foreign accent, comprehensibility and intelligibility, redux. J Second Lang Pronunciation. 6 (3), 283-309 (2020).
  3. Levis, J. Intelligibility, Oral Communication, and the Teaching of Pronunciation. , Cambridge University Press. (2018).
  4. Munro, M. Applying Phonetics: Speech Science in Everyday Life. , Wiley-Blackwell. (2022).
  5. Gut, U. Speaker Classification. Muller, C. , Springer-Verlag. 75-87 (2007).
  6. Rogers, H. Foreign accent in voice discrimination: a case study. Forensic Linguistics. 5 (2), 203-208 (1998).
  7. Solan, L., Tiersma, P. Hearing Voices: Speaker Identification in Court. Hastings Law Journal. 54, 373-436 (2003).
  8. Alcaraz, J. The long-term average spectrum in forensic phonetics: From collation to discrimination of speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 87-110 (2023).
  9. Silva, L. Jr, Barbosa, P. A. Voice disguise and foreign accent: Prosodic aspects of English produced by Brazilian Portuguese speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 195-226 (2023).
  10. Munro, M., Derwing, T. Modeling perceptions of the accentedness and comprehensibility of L2 speech. Studies in Second Language Acquisition. 23 (4), 451-468 (2001).
  11. Keating, P., Esposito, C. Linguistic Voice Quality. Working Papers in Phonetics. , 85-91 (2007).
  12. Niebuhr, O., Skarnitzl, R., Tylečková, L. The acoustic fingerprint of a charismatic voice -Initial evidence from correlations between long-term spectral features and listener ratings. Proceedings of Speech Prosody. , 359-363 (2018).
  13. Segundo San, E. International survey on voice quality: Forensic practitioners versus voice therapists. Estudios de Fonética Experimental. 29, 8-34 (2021).
  14. Farrús, M. Fusing prosodic and acoustic information for speaker recognition. International Journal of Speech, Language and the Law. 16 (1), 169(2009).
  15. Farrús, M. Voice disguise in automatic speaker recognition. ACM Computing Surveys. 51 (4), 1-2 (2018).
  16. Nolan, F. A recent voice parade. The International Journal of Speech, Language and the Law. 10 (2), 277-291 (2003).
  17. McDougall, K. Ear-catching versus eye-catching? Some developments and current challenges in earwitness identification evidence. Speaker Individuality in Phonetics and Speech Sciences. Bernardasci, C., Dipino, D., Garassino, D., Negrinelli, S., Pellegrino, E., Schmid, S. , Officinaventuno. 33-56 (2021).
  18. Gut, U. Rhythm in L2 speech. Speech and Language Technology. 14 (15), 83-94 (2012).
  19. Urbani, M. Pitch Range in L1/L2 English. An Analysis of F0 using LTD and Linguistic Measures. Coop. , Libraria Editrice Università di Padova. (2012).
  20. Gonzales, A., Ishihara, S., Tsurutani, C. Perception modeling of native and foreign-accented Japanese speech based on prosodic features of pitch accent. J Acoust Soc Am. 133 (5), 3572(2013).
  21. Silva, L. Jr, Barbosa, P. A. Speech rhythm of English as L2: an investigation of prosodic variables on the production of Brazilian Portuguese speakers. J Speech Sci. 8 (2), 37-57 (2019).
  22. Foreign accent and L2 speech rhythm of English a pilot study based on metric and prosodic parameters. Silva, L. Jr, Barbosa, P. A. Proceedings of the II Brazilian Conference on Prosody (Anais II Congresso Brasileiro de Prosódia), 1, 41-50 (2023).
  23. Costa, A. El cerebro bilingüe: La neurociencia del lenguaje. , Penguin Randon House. (2017).
  24. Eriksson, A. Tutorial on forensic speech science: Part I. Forensic Phonetics. , (2005).
  25. Harvey, M., Giroux, M., Price, H. Lineup size influences voice identification accuracy. Applied Cognitive Psychology. 37 (5), 42-89 (2023).
  26. Pautz, N., et al. Identifying unfamiliar voices: Examining the system variables of sample duration and parade size. Q J Exp Psychol (Hove). 76 (12), 2804-2822 (2023).
  27. McDougall, K., Nolan, F., Hudson, T. Telephone transmission and earwitnesses: Performance on voice parades controlled for voice similarity. Phonetica. 72 (4), 257-272 (2015).
  28. Nolan, F., McDougall, K., Hudson, T. Some acoustic correlates of perceived (dis) similarity between same-accent voices. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2011). , 1506-1509 (2011).
  29. Sheoran, S., Mahna, D. Voice identification and speech recognition: an arena of voice acoustics. Eur Chem Bull. 12 (5), 50-60 (2023).
  30. Hudson, T., McDougall, K., Hughes, V. Forensic phonetics. The Cambridge Handbook of Phonetics. Knight, R. -A., Setter, J. , Cambridge University Press. 631-656 (2021).
  31. Eriksson, A. The disguised voice: Imitating accents or speech styles and impersonating individuals. Language and identities. Llamas, C., Watt, D. , Edinburgh University Press. 86-96 (2010).
  32. Köster, O., Schiller, N. Different influences of the native language of a listener on speaker recognition. Forensic Linguistics. 4 (1), 18-27 (1997).
  33. The influence of native-language background on speaker recognition. Köster, O., Schiller, N., Künzel, H. Proceedings of the International Congress of Phonetic Sciences (ICPhS 1995), , 306-309 (1995).
  34. Thompson, C. P. A language effect in voice identification. Applied Cognitive Psychology. 1, 121-131 (1987).
  35. San Segundo, E., Univaso, P., Gurlekian, J. Sistema multiparamétrico para la comparación forense de hablantes. Estudios de Fonética Experimental. 28, 13-45 (2019).
  36. Council of Europe. Common European Framework of Reference for Languages: Learning, Teaching, Assessment. , Press Syndicate of the University of Cambridge. (2001).
  37. How to use Tascam DR-100 MKII: Getting started. , https://www.youtube.com/watch?v=O2E72uV9fWc (2018).
  38. Getting the most from your Shure SM58 microphone. , https://www.youtube.com/watch?v=wweNufW7EXA (2020).
  39. Kisler, T., Reichel, U. D., Schiel, F. Multilingual processing of speech via web services. Computer Speech & Language. 45, https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/WebMAUSBasic 326-347 (2017).
  40. Escudero, P., Boersma, P., Rauber, A., Bion, R. A cross-dialect acoustic description of vowels: Brazilian and European Portuguese. J Acoust Soc Am. 126 (3), 1379-1393 (2009).
  41. Post-aspiration in standard Italian: some first cross-regional acoustic evidence. Stevens, M., Hajek, J. Proceedings 11th Conference of the International Speech Communication Association (INTERSPEECH 2010), , 1557-1560 (2011).
  42. Barbosa, P., Madureira, S. Manual de Fonética Acústica Experimental: aplicações a dados do português. , Cortez. (2015).
  43. Boersma, P., Weenink, D. Praat: Doing phonetics by computer. (Version 6.1.38) [Computer program]. , https://www.praat.org/ (1992-2021).
  44. Silva, L. Jr VVUnitAligner. [Computer program]. , https://github.com/leonidasjr/VVunitAlignerCode_webMAUS (2022).
  45. Silva, L. Jr, Barbosa, P. A. SpeechRhythmExtractor [Computer program]. , https://github.com/leonidasjr/VowelCode (2019-2023).
  46. R Core Team. A language and environment for statistical computing. R Foundation for Statistical Computing. , https://www.R-project.org/ (2023).
  47. Pigoli, D., Hadjipantelis, P. Z., Coleman, J. Z., Aston, J. The statistical analysis of acoustic phonetic data. Journal of the Royal Statistical Society. 67 (5), 1103-1145 (2018).
  48. Barbosa, P. A. CreateLineup [Computer program]. , https://github.com/pabarbosa/prosody-scripts-CreateLineUp (2021).
  49. Van Rossum, G., Drake, F. L. Python 3 Reference Manual. , CreateSpace. (2009).
  50. Silva, L. Jr AcousticSimilarity_cosine_euclidean. [Computer program]. , https://github.com/leonidasjr/AcousticSimilarity/blob/main/AcousticSmilarity_cosine_euclidean.py (2024).
  51. Automatic assessment of voice similarity within and across speaker groups with different accents. Gerlach, L., McDougall, K., Kelly, F., Alexander, A. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023), , 3785-3789 (2023).
  52. Gahman, N., Elangovan, V. A comparison of document similarity algorithms. International Journal of Artificial Intelligence and Applications. 14 (2), 41-50 (2023).
  53. San Segundo, E., Tsanas, A., Gómez-Vilda, P. Euclidean distances as measures of speaker similarity including identical twin pairs: A forensic investigation using source and Filter voice characteristics. Forensic Science International. 270, 25-38 (2017).
  54. Speaker's voice characteristics and similarity measurement using Euclidean distances. Singh, M. K., Singh, N., Singh, A. K. Proceedings of the International Conference on Signal Processing and Communication (ICSC 2019), , 317-322 (2019).
  55. Darling-White, M., Banks, W. Speech rate varies with sentence length in typically developing children. J Speech Lang Hear Res. 64 (6), 2385-2391 (2021).
  56. Barbosa, P. A. Incursões em torno do ritmo da Fala. , Pontes Editores. (2006).
  57. Golestani, N., Pallier, C. Anatomical correlates of foreign speech sound production. Cereb Cortex. 17 (4), 929-934 (2007).
  58. Trouvain, J., Fauth, C., Möbius, B. Breath and non-breath pauses in fluent and disfluent phases of German and French L1 and L2 read speech. Proceedings of Speech Prosody. , 31-35 (2016).
  59. Waaning, J. The Lombard effect: the effects of noise exposure and being instructed to speak clearly on speech acoustic parameters. [Master's thesis]. , Radboud University. (2021).
  60. Villegas, J., Perkins, J., Wilson, I. Effects of task and language nativeness on the Lombard effect and on its onset and offset timing. J Acoust Soc Am. 149 (3), 1855(2021).
  61. Differences between native and non-native Lombard speech in terms of pitch range. Proceedings of the 23rd International Congress on Acoustics(ICA 2019). Marcoux, K., Ernestus, M. , 5713-5720 (2019).
  62. Marcoux, K., Ernestus, M. Pitch in native and non-native Lombard speech. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2019). , 2605-2609 (2019).
  63. Marcoux, K., Ernestus, M. Acoustic characteristics of non-native Lombard speech in the DELNN corpus. Journal of Phonetics. 102, 1-25 (2024).
  64. Gil, J., San Segundo, E. La cualidad de voz en fonética judicial [Voice quality in judicial phonetics]. Lingüística Forense: la Lingüística en el ámbito legal y policial. Garayzábal, M., Jiménez, M., Reigosa, M. , Euphonía Ediciones. 154-199 (2014).
  65. Gil, J., San Segundo, E. El disimulo de la cualidad de voz en fonética judicial: Estudio perceptivo de la hiponasalidad [Voice quality disguise in judicial phonetics: A perceptual study of hyponasality. Panorama de la fonética española actual. Penas-báñez, M. A. , Arco Libros. 321-366 (2013).
  66. Passeti, R., Madureira, S., Barbosa, P. What can voice line-ups tell us about voice similarity. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 3765-3769 (2023).
  67. Nolan, F. The DyViS database: Style-controlled recordings of 100 homogeneous speakers for forensic phonetic research. International Journal of Speech Language and the Law. 16 (1), 31-57 (2009).
  68. Caroll, D. Psychology of Language. , Wadsworth. (1994).
  69. Ortega-Llebaria, M., Silva, L. Jr, Nagao, J. Macro- and micro-rhythm in L2 English: Exploration and Refinement of Measures. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 1582-1586 (2023).
  70. Fernández-Trinidad, M. Hacia la aplicabilidad de la cualidad de la voz en fonética judicial. Loquens. 9 (1-2), 1-11 (2022).
  71. Brouwer, S. The role of foreign accent and short-term exposure in speech-in-speech recognition. Atten Percep Psychophys. 81, 2053-2062 (2019).
  72. Love, R., Wright, D. Specifying challenges in transcribing covert recordings: Implications for forensic transcription. Front Commun. 6, 1-14 (2021).
  73. Meer, P. Automatic alignment for New Englishes: Applying state-of-the-art aligners to Trinidadian English. J Acoust Soc Am. 147 (4), 2283-2294 (2020).
  74. Montreal Forced Aligner: trainable text-speech alignment using Kaldi. McAuliffe, M., Socolof, M., Mihuc, S., Wagner, M., Sonderegger, M. Proceedings 18th Conference of the International Speech Communication Association (INTERSPEECH 2017), , 498-502 (2017).
  75. Chodroff, E. Montreal Forced Aligner: MFA Tutorial. , https://zenodo.org/records/7591607 (2023).

Yeniden basım ve izinler

Bu JoVE makalesinin metnini veya şekillerini yeniden kullanmak için izin iste

İzin iste

Etiketler

Prozodik zelliklerKonu ma Alg sSes KalitesiTemel FrekansKonu mac Tan maAkustik Benzerlik

İlgili makaleler