Ses dizilişlerinde yabancı aksan ve adli konuşmacı tanımlama: prozodiye dayalı akustik özelliklerin etkisi
27 Eylül 2024
Bu araştırma, L1-L2-İngilizce ve L1-L2 Portekizce arasında bir karşılaştırma yapmayı, yabancı bir aksanın etkisinin hem metrikleri hem de prozodik-akustik parametreleri ne kadar açıkladığını kontrol etmeyi ve ayrıca bir ses diziliminde hedef sesin seçimini kontrol etmeyi amaçladı.
Araştırmamız, yabancı bir aksanın konuşmacı kimliğini nasıl etkilediğini incelemektedir. Ses perdesi, süresi ve ses kalitesi olan temel frekansa dayalı prozodik özelliklere odaklanıyoruz. Amacımız, bu özelliklerin ses dizilerinde dinleyicilerin yargılarını nasıl etkilediğini anlamaktır.
Adli konuşmacı karşılaştırmasının iş akışına otomasyon uygulayan otomatik konuşmacı tanımanın performansına yönelik artan bir odaklanma ve araştırma var. Bununla birlikte, bilgiler adli bilim adamlarının polise, hakimlere ve jüri üyelerine rapor vermeleri için bir kara kutu gibidir. GMM, UBM modelleri ve canlı aktörler gibi klasik tekniklere dayalı otomatik konuşmacı tanıma sistemleri.
Yapay zekaya dayalı sinirsel araştırmalar da var. Otomatik konuşma tanıma sistemleri tarafından gözden kaçırılan dilsel bilgileri koruyan otomatik bir akış öneriyoruz. Protokolümüz, bilimin geliştirildiği ülkeleri belirlerken adli konuşma karşılaştırması için birleşik bir işitsel ve akustik yaklaşım kullanır, ancak çok çeşitli akustik özellikleri çıkarmak ve akustik benzerlik prosedürlerini yürütmek için otomatik araçlar kullanır.
Başlamak için, her ses dosyası için dilsel transkripsiyonu bir TXT dosya biçiminde yazın. TXT ve WAV dosya çiftini aynı adla etiketleyin. Her L1, L2 dili için bir klasör oluşturun.
Aynı dildeki tüm dosya çiftlerinin aynı klasörde olduğundan emin olun. Münih Otomatik Segmentasyon zorunlu hizalayıcının web arayüzüne erişin, her bir WAV ve TXT dosya çiftini klasörden dosyalardaki kesikli dikdörtgene sürükleyip bırakın. Dosyaları hizalayıcıya yüklemek için yükle düğmesine tıklayın.
Hizmet seçenekleri menüsünde, L1 L2 İngilizce verileri için, işlem hattı adı için grapheme'den fonem'e, fareden telefona, hece'ye ve dil için İngilizce-ABD'yi seçin. Çıktı formatı için varsayılan seçenekleri koruyun ve her şeyi saklayın. Kullanım koşullarını kabul etmek için çalıştır seçeneği kutusunu işaretleyin.
Yüklenen dosyaları hizalayıcıda çalıştırmak için web hizmetini çalıştır düğmesine tıklayın. Dosyalar işlendikten sonra, metin ızgarası dosyalarını indirmek için zip dosyası olarak indir düğmesine tıklayın. Fonetik analiz yazılımında daha sonra yeniden hizalama için metin ızgarası dosyalarını çıkarın.
PRAAT VVUnitAligner için komut dosyasına erişin ve indirin. Aynı dilin ve VVUnitAligner komut dosyasının tüm dosya çiftlerinin aynı klasörde olduğundan emin olun. Fonetik analiz yazılımını açın.
Nesne penceresinden Praat'a tıklayın ve komut dosyasını yüklemek için Praat komut dosyasını açın. Çalıştır düğmesine tıklayın, ardından dili İngilizce-ABD olarak seçin. Şimdi, yığın segmentasyon düğmesinden otomatik'i seçin.
Yeni oluşturulan metin ızgara dosyalarını otomatik olarak kaydetmek için metin ızgara dosyalarını kaydet seçeneğini işaretleyin. Fonetik birimlerin yeniden hizalanması için tamam ve çalıştır düğmelerine tıklayın. Verilen siteden, prozodik akustik özelliklerin otomatik olarak çıkarılması için konuşma ritmi çıkarıcı komut dosyasını indirin.
Yeni bir klasör oluşturun ve konuşma ritmi çıkarıcı komut dosyasını tüm dillerin tüm ses metni ızgara dosyalarıyla birlikte ekleyin. Fonetik analiz yazılımını açın. Nesne penceresinden Praat'a tıklayın ve komut dosyasını yüklemek için Praat komut dosyasını açın.
Ardından çalıştır düğmesine bir kez tıklayın. Ses kalitesi için VQ çıktı dosyasını kaydetmek için ses kalitesi parametreleri seçeneğini kontrol edin. Şimdi dili seçmek için dilsel hedef seçeneğini işaretleyin.
Ardından, F0 özelliklerini yarım tonlarda seçmek için birim seçeneğini işaretleyin. En düşük ve en yüksek eşikler de dahil olmak üzere F0 eşiği değerlerini ayarlayın. Tamam'ı tıklayın, ardından akustik özelliklerin otomatik olarak çıkarılması için çalıştırın.
Genelleştirilmiş katkı modelleri, parametrik olmayan istatistiksel analiz gerçekleştirmek için belirtilen komutu yazın ve çıkarılan akustik özellikleri içeren elektronik tabloyu R ortamına yükleyin. Son olarak, yürütmek için enter tuşuna basın. Konuşma hızı, daha yüksek hece süresi ve daha düşük değişkenlik nedeniyle daha az dik eğimlere sahip olan L1 L2 BP'ye kıyasla L1 L2 İngilizce için daha hızlı azaldı.
Yerel ışıltı, artan hece süresi değişkenliğine rağmen, Brezilya konuşmacıları, L1 BP ve L2 İngilizcesi için nispeten sabit kaldı. Duraklama oranı L2 BP konuşanlar için daha yüksekti ve L1 İngilizce, L1 BP ve L2 İngilizce konuşanlara kıyasla daha uzun duraklamalar oldu. Artikülasyon oranı, daha yüksek bilişsel dilsel yük ve hece varyasyonu ile ilişkili daha düşük oranlara sahip konuşma hızıyla benzer şekilde etkilenmiştir.
Hece süresinin standart sapması, tüm dil seviyelerinde konuşma hızı arttıkça azalmıştır. F0 değişkenliği ve konuşma hızı arttıkça L1 BP ve L2 BP için hece varkosu azalırken, L1 İngilizce ve L2 İngilizce için artmıştır. Ünsüzlerin standart sapması, konuşma hızı veya duraklama süresi L1 İngilizce'ye göre arttıkça L1 BP'de daha düşük değişkenlik göstermiştir.
Ünlüler ve ünsüzler için standart sapma, L1 BP ve L2 BP için artan prozodik özelliklerle birlikte bir düşüş yükseliş modeli izlerken, L1 İngilizce ve L2 İngilizce için azaldı ve ardından zayıfladı. Her biri İngilizce ve BP için dört ses dizisi hazırladıktan sonra, seçilen konuşmacılardan ses dosyalarını alın ve bunları dile özel klasörler halinde düzenleyin. L1 İngilizce veya L1 BP'de rastgele altı ses parçası seçin. Ardından, altı ses parçasından birinden L2 İngilizce veya L2 BP dillerinde bir ses parçası seçin.
Praat Create Lineup için komut dosyasına erişin ve indirin. Komut dosyasını çalıştırmadan önce, L2 referans sesinin, L1 folyolarının ve L1 hedef sesinin aynı klasöre yerleştirildiğinden emin olun. Fonetik analiz yazılımını açın.
Nesne penceresinden Praat'a tıklayın ve komut dosyasını yüklemek için Praat komut dosyasını açın. Ardından, diziliş oluşturma komut dosyasını yürütmek için çalıştır'a tıklayın. R ortamında, Kruskal-Wallace testini gerçekleştirmek için belirtilen komutu yazın.
Ardından, dinleyicilerin kararlarının puanlarını içeren elektronik tabloyu yükleyin ve enter tuşuna basın. Ardından post-hoc Dunn'ın testi için aşağıdaki komutu yazın ve enter tuşuna basın. Python betiği, Akustik Benzerlik Kosinüs Öklidyen dosyasına erişin ve indirin.
İndirilen komut dosyasının ses dizilimi veri kümesiyle aynı klasöre kaydedildiğinden emin olun. Komut dosyasını çağırmak için dosya aç düğmesine tıklayın, ardından çalıştır'a tıklayın ve komut dosyasını yürütmek için hata ayıklama düğmeleri olmadan çalıştırın. Son olarak, akustik özelliklere dayalı ses benzerliği testleri yapın.
BP ses dizisi birde, folyo ses üç, hedef ses olarak değerlendirildi ve folyo üç ile hedef ses dört arasında önemli bir fark yoktu. BP ses dizisi ikide, hedef ses üç ile folyo dört arasında anlamlı bir fark bulunmadı. Hem kosinüs benzerliği hem de Öklid mesafesi, folyo üç ile BP dizisi bir'deki hedef ses arasında güçlü bir korelasyon gösterdi.
BP dizisi ikide, her iki benzerlik metriği de dördüncü folyo ile hedef arasında güçlü bir şekilde korelasyon gösterdi.
Genel Bakış
Bu araştırma, ses perdesi, süre ve kalite gibi prozodik özelliklere odaklanarak, yabancı bir aksanın konuşmacı tanımlama üzerindeki etkisini incelemektedir. Çalışma, bu özelliklerin ses dizilişlerindeki dinleyici yargılarını nasıl etkilediğini anlamayı amaçlamaktadır.
Çalışmanın Temel Bileşenleri
Bilim Alanı
- Sinirbilim
- Psikoloji
- Adli Bilimler
Arka Plan
- Otomatik konuşmacı tanıma üzerine yapılan araştırmalar artmaktadır.
- Prosodik özellikler, konuşmacı tanımlamasında kritik bir rol oynamaktadır.
- Adli bilimciler, otomatik tanıma sistemlerini yorumlarken sıklıkla zorluklarla karşılaşmaktadır.
- Dinleyici değerlendirmelerinin anlaşılması, adli uygulamaları geliştirebilir.
Çalışmanın Amacı
- Yabancı aksanların konuşmacı tanımlama üzerindeki etkilerini karşılaştırmak.
- Ses dizilimlerindeki prosodik-akustik parametreleri analiz etmek.
- Adli bağlamlardaki dinleyici değerlendirmelerine ilişkin anlayışı geliştirmek.
Kullanılan Yöntemler
- Temel frekans ve ses perdesinin analizi.
- Süre ve ses kalitesi metriklerinin incelenmesi.
- L1-L2-İngilizce ve L1-L2-Portekizce arasında karşılaştırmalı çalışma.
- Ses dizilimlerinde dinleyici yanıtlarının değerlendirilmesi.
Ana Sonuçlar
- Yabancı aksanlar, konuşmacı tanımlamasını önemli ölçüde etkiler.
- Prozodik özellikler, dinleyici değerlendirmelerini etkilemektedir.
- İngilizce ve Portekizce konuşanlar arasında farklılıklar kaydedilmiştir.
- Bulgular, adli konuşmacı karşılaştırmasının anlaşılmasına katkıda bulunmaktadır.
Sonuçlar
- Aksan, sesle yapılan teşhis sıralamalarında dinleyicinin algısını etkiler.
- Prosodik özellikler, konuşmacı tanıma görevlerinde kritiktir.
- Adli metodolojileri geliştirmek için daha fazla araştırmaya ihtiyaç vardır.
Sıkça Sorulan Sorular
Yönetici Endüstriyel Uygunluğu
Yabancı aksanlı konuşmalardaki prozodik-akustik özelliklerin nicel analizi, konuşmacı kimliğinin objektif değerlendirmesine olanak tanıyarak adli tıp ve güvenlik odaklı Ar-Ge süreçlerini destekler. İstatistiksel modelleme ve akustik benzerlik metriklerinin entegrasyonu, ses tabanlı tanımlamadaki öngörü güvenini artırarak kritik karar noktalarındaki belirsizliği azaltır. Bu yetkinlikler, sağlam ve tekrarlanabilir konuşmacı karşılaştırmalarının riskle uyumlu portföy kararlarını bilgilendirdiği kurumsal iş akışları için kritik öneme sahiptir.
Biyofarma Ar-Ge'sinde Stratejik Uygulamalar
Erken Keşif ve Hedef Doğrulama
- Prozodik özelliklerin konuşmacı ayırt etme üzerindeki etkisinin titiz bir şekilde hipotez testine tabi tutulmasını sağlar.
- f0, süre ve ses kalitesindeki değişkenliği nicelleştirerek mekanistik risk azaltımını destekler.
- Kimlik doğrulamasıyla ilgili akustik belirteçlerin fonksiyonel doğrulamasını kolaylaştırır.
Tarama ve Analiz Geliştirme
- Sürdürülebilir aşağı akış analizleri için akustik özelliklerin çıkarımını standartlaştırır.
- Adli bağlamlarda ses örneklerinin ölçeklenebilir taraması için doğrulanmış veri setleri hazırlar.
- Güvenilir değerlendirme protokollerini destekleyerek, ses dizilimlerinin kantitatif karşılaştırılmasına olanak tanır.
Translasyonal ve Preklinik Araştırmalar
- Akustik özellik analizini, adli tıp ve güvenlik uygulamalarındaki translasyonel ihtiyaçlarla uyumlu hale getirir.
- Prozodik belirteçlerin keşfinden, tanımlama sistemlerinin preklinik doğrulamasına kadar olan sürecin sürekliliğini sağlar.
- Ses tabanlı biyobelirteç stratejilerinin riskten arındırılmış şekilde geliştirilmesini destekler.
Boru Hattı ve İş Akışı Entegrasyonu
Bu protokol, akustik belirteçlerin erken keşfinden istatistiksel doğrulama ve taramaya kadar olan süreci entegre ederek, hipotez testinden preklinik sistem değerlendirmesine kadar olan iş akışlarını destekler.
- Keşif Biyolojisi: Konuşmacı tanımlamanın altında yatan mekanizmaları açıklığa kavuşturmak için prozodik-akustik özellikleri nicelleştirir.
- Tarama: Teşhis dizilimi değerlendirmesi için standardize edilmiş, tekrarlanabilir özellik çıkarımı sağlar.
- Analitik: Güçlü koşul karşılaştırmaları için istatistiksel çıktılar (GAM'lar, Kruskal-Wallis, Dunn testi) ve benzerlik metrikleri sunar.
- Translasyonel Araştırma: Akustik belirteçlerin keşfi ile operasyonel adli uygulamalar arasında köprü kurar.
- Kurumsal Yeniden Kullanım: Ses tabanlı tanımlama çalışmaları için yeniden kullanılabilir bir analitik iş akışı oluşturur.
Operasyonel ve Kurumsal Etki
- Bilimsel Değer: Konuşmacı tanımlamasında öngörü güvenini artırır ve mekanistik belirsizliği azaltır.
- Operasyonel Değer: Standartlaştırılmış, ölçeklenebilir ve tekrarlanabilir akustik analiz iş akışları sunar.
- Stratejik Değer: Devam/tamam kararlarına veri sağlar ve adli R&D portföylerinde sermaye verimliliğini artırır.
- Portföy Etkisi: Ses tabanlı tanımlama teknolojilerinin riskle uyumlu önceliklendirmesini destekler.
Uygulama Hususları
- Akustik analiz, istatistiksel modelleme ve fonetik yazılımlar konusunda uzmanlık gerektirir.
- Özelleşmiş enstrümantasyona ve analitik altyapıya (örneğin PRAAT, R, Python betikleri) erişime bağlıdır.
- Veri formatlarının ve özellik çıkarma protokollerinin ekipler arası standardizasyonunu gerektirir.
- Dile özgü ve aksana özgü model sistemlerine uyarlanmalıdır.
- Pratik kısıtlamalar arasında dinleyici algısındaki değişkenlik ve dil grubu farklılıkları yer almaktadır.
