Bu çalışmada, doğrudan katılımcı katılımı olmaksızın halka açık BVC Challenging Voice Set ve Mozilla Common Voice veri kümeleri kullanılmıştır. Bu nedenle, kurumsal etik onay ve ek bilgilendirilmiş onam gerekmemiştir. Yalnızca cinsiyet ve yaş sınıflandırması için gerekli olan veriler işlenmiş ve bireysel konuşmacıların kimliklerini belirleme girişimi yapılmamıştır. Önerilen çerçevenin eksiksiz iş akışı metodolojisi Şekil 1'de paylaşılmıştır.
Veri toplama
Önerilen yaklaşımda kullanılan veri seti, Biometrics Vision and Computing (BVC) grubu tarafından geliştirilen ve GitHub'da barındırılan, kamuya açık bir ses veri seti olan BVC Challenging Voice Set'ten elde edilen .wav ses dosyalarından oluşmaktadır32. Veri seti, 36 erkek ve 190 kadın konuşmacı dahil olmak üzere 526 bireyden alınan ses kayıtlarını içermektedir. Her konuşmacıdan alınan tek ve çok cümleli kayıtlar dahil olmak üzere toplamda yaklaşık 3.964 kayıttan meydana gelmiştir. Tablo 2, önerilen VoiceNet-RAI çerçevesindeki konuşma veri setleri için kullanılan demografik özellikleri, dil kapsamını, kayıt özelliklerini, veri bölme stratejisini ve ön işleme ayarlarını özetlemektedir.
Öznitelik çıkarımı
Temel özelliklerin çıkarılması için ses dosyaları işlenmiş ve bu özellikler daha sonra bir CSV dosyasında saklanmıştır. Yaş, cinsiyet ve konuşmacı telaffuzu dahil olmak üzere üst veriler, ilgili README dosyalarından çıkarılmıştır. WAV dosyalarını işlemek ve ilgili özellikleri çıkarmak için Python ve SciPy paketi kullanılmıştır. Ses sinyallerini zaman domeninden frekans domenine dönüştürmek için NumPy’nin Hızlı Fourier Dönüşümü (FFT) ve frekans fonksiyonları kullanılmıştır. WAV dosyaları genliği zamanın bir fonksiyonu olarak temsil etmekteydi; ancak sınıflandırma görevi için erkek ve kadın seslerini ayırt edebilecek frekansla ilgili özellikler daha büyük önem taşımaktaydı3.
Ses sinyallerini frekans alanı temsillerine dönüştürmek için, FFT algoritması kullanılarak Ayrık Fourier Dönüşümü (DFT) uygulandı. Fourier dönüşümü, bir zaman alanı sinyalini frekans spektrumuna dönüştürür. Bu spektrum zamansal bilgiyi korumadığı için, ses sinyali örtüşen segmentlere ayrıldı ve her bir segmente Kısa Süreli Fourier Dönüşümü (STFT) yaklaşımı kullanılarak Fourier dönüşümü uygulandı. np.fft.fft fonksiyonu karmaşık frekans spektrumunu oluştururken, np.fft.fftfreq karşılık gelen örnekleme frekanslarını sağladı. Örnek dizinde, tek bir konuşmacı için 10 ses dosyası mevcuttu. Baskın frekansları çıkarmak için her bir WAV dosyası 20 ms'lik kayan pencereler kullanılarak işlendi. Örneğin, 4 saniyelik bir ses kaydı 20 frekans değerinden oluşan bir liste üretti. 10 kayıt içeren bir dizin için, her biri 20 frekans değeri içeren 10 karşılık gelen liste, listelerin bir listesi şeklinde birleştirildi. Frekanslar, 20 Hz ile 280 Hz arasındaki değerleri korumak için filtrelenirken, 50 Hz civarındaki potansiyel gürültüler hariç tutuldu.
Hibrit MFCC ve wav2vec 2.0 öznitelik temsili
Hem üst düzey bağlamsal konuşma temsillerini hem de alt düzey akustik özellikleri yakalamak için bu çalışmada, MFCC özelliklerini Transformer tabanlı wav2vec 2.0 gömmeleriyle entegre eden hibrit bir özellik çıkarma stratejisi uygulanmıştır.
MFCC öznitelik çıkarımı
Mel-Frekans Cepstral Katsayıları (MFCC'ler), özellikle konuşma tanıma ve konuşmacı kimliklendirme gibi uygulamalar için konuşma ve ses sinyali işlemede yaygın olarak kullanılan özelliklerdir34,35. Bu çalışmada MFCC çıkarımı, ses sinyallerini konuşmanın algısal olarak ilgili özelliklerini temsil eden özellik vektörlerine dönüştürmüştür. İşlem, yüksek frekanslı bileşenleri geliştirmek için ön-vurgulama ile başlamış, ardından sinyali kısa ve örtüşen çerçevelere bölmek için çerçeveleme ve pencereleme işlemleri uygulanmıştır. Her bir ses örneği önce 16 kHz değerine yeniden örneklendirilmiş ve 10-ms örtüşmeli 25-ms'lik çerçevelere bölünmüştür. Daha sonra, sinyali zaman düzleminden frekans düzlemine dönüştürmek için her bir çerçeveye Hızlı Fourier Dönüşümü uygulanmıştır.
Elde edilen frekans spektrumu, insan işitsel algısının doğrusal olmayan frekans yanıtını taklit eden bir dizi Mel filtre bankasından geçirilmiştir. Bu filtre bankaları, daha az bilgi içeren frekansların katkısını azaltırken algısal olarak daha ilgili frekansları vurgulamıştır. Ardından, insan işitmesinin ses şiddetine karşı logaritmik duyarlılığını taklit etmek amacıyla her bir filtre bankası çıktısının logaritması hesaplanmıştır. Katsayıları dekorele etmek ve ses sinyalinin kompakt bir temsilini oluşturmak için logaritmik filtre bankası enerjilerine Ayrık Kosinüs Dönüşümü (DCT) uygulanmıştır. MFCC'ler olarak bilinen sonuç katsayılar, konuşmanın önemli spektral özelliklerini yakalamıştır. MFCC'ler, sesleri bu özelliklere göre ayıran akustik karakteristikleri yakaladıkları için cinsiyet ve yaş sınıflandırması için kullanılmıştır.
wav2vec 2.0 gömme çıkarma
wav2vec 2.0 Base modeli, büyük ölçekli etiketlenmemiş konuşma korpusları üzerinde önceden eğitilmiştir. Model, ham dalga formu girdilerini işleyen ve bağlamsallaştırılmış konuşma gömmeleri (embeddings) üreten çok katmanlı bir Transformer kodlayıcısından oluşmaktadır36.
Girdi dalga formu x ∈ RT verildiğinde, wav2vec 2.0 modeli bir dizi gizli temsil üretmiştir:
Z = {z1,z1,....,zn},zi ∈ R768 (1)
burada her bir gömme vektörü 768 boyutluluğa sahipti. Sınıflandırma için uygun, sabit uzunlukta bir temsil elde etmek amacıyla, tüm zaman adımları boyunca zamansal ortalama havuzlama işlemi uygulandı.
(2)
Öznitelik füzyon mekanizması
MFCC ve wav2vec 2.0 özellikleri, özellik düzeyinde birleştirme (concatenation) yoluyla harmanlanmıştır. Özellikle MFCC özellikleri, sabit uzunlukta bir vektör oluşturmak için öncelikle zamansal ortalama kullanılarak toplanmıştır.
m ∈ R40 (3)
Nihai hibrit özellik vektörü şu şekilde elde edilmiştir:
h = [m || zpooled] ∈ R808 (4)
burada || birleştirmeyi ifade eder. Bu füzyon, derin bağlamsal gömmeleri el yapımı spektral özelliklerle birleştirerek modelin hem üst düzey semantik bilgileri hem de ince taneli akustik örüntüleri yakalamasına olanak tanımıştır.
Tüm ses örnekleri önce 16 kHz değerine yeniden örneklendi. MFCC özellikleri çerçeve bazlı olarak hesaplandı ve sabit 40 boyutlu bir vektör üretmek için zamansal olarak ortalamaları alındı; wav2vec 2.0 gömmeleri ise 768 boyutlu bir temsil oluşturmak için zaman boyunca ortalama havuzlama (mean-pooling) işlemine tabi tutuldu. Her iki özellik seti de füzyondan önce sabit uzunluktaki vektörlere dönüştürüldüğü için çerçeve düzeyinde zamansal hizalamaya gerek duyulmadı. Elde edilen MFCC ve wav2vec temsilleri, sınıflandırma modeline aktarılmadan önce 808 boyutlu hibrit bir özellik vektörü şeklinde birleştirildi.
EfficientNet-Lite ile Entegrasyon
Birleştirilmiş öznitelik vektörü, h, öznitelik öğrenimine uygun bir formata yeniden şekillendirilmiş ve eğitim için EfficientNet-Lite modeline girdi olarak sağlanmıştır. Tam bağlı bir projeksiyon katmanı, önce 808 boyutlu vektörü daha yüksek boyutlu bir gizli uzaya eşlemiş, ardından EfficientNet-Lite blokları hiyerarşik öznitelikleri rafine etmiştir. Aşırı öğrenmeyi azaltmak ve model genellemesini iyileştirmek için toplu normalizasyon (batch normalization) ve dropout katmanları kullanılmıştır. Cinsiyet ve yaş sınıfları için nihai tahmin olasılıklarını üretmek amacıyla SoftMax aktivasyon fonksiyonu kullanılmıştır. Birleştirilmiş temsil, h ∈ R808, başlangıçta tek boyutlu bir öznitelik vektörü olarak ele alınmış ve onu 4.096 boyuta eşleyen tam bağlı bir projeksiyon katmanından geçirilmiştir. Projekte edilen temsil, EfficientNet-Lite mimarisine sunulmadan önce 1 × 64 × 64 boyutunda bir tensöre yeniden şekillendirilmiştir.
Geleneksel üç kanallı görüntü girişi yerine tek kanallı konuşma özelliği temsilcisine uyum sağlamak amacıyla, orijinal EfficientNet-Lite giriş evrişimli katmanı üç giriş kanalından bir giriş kanalına değiştirilmiştir. Geri kalan EfficientNet-Lite özellik çıkarma blokları, büyük mimari değişiklikler yapılmadan korunmuştur. Sabit uzunlukta bir temsil üretmek için son özellik haritalarına adaptif bir küresel ortalama havuzlama katmanı uygulanmıştır. Orijinal sınıflandırma başlığı, cinsiyet sınıflandırması için iki çıkış birimi ve önceden tanımlanmış yaş grupları için ilgili sayıda çıkış birimi içeren göreve özgü tam bağlantılı bir katmanla değiştirilmiştir. Son olarak, sınıf olasılıklarını oluşturmak için SoftMax aktivasyon fonksiyonu uygulanmıştır. Önerilen hibrit temsil, modern öz-denetimli konuşma gömmelerini geleneksel sinyal işleme özellikleriyle birleştirmiştir. wav2vec 2.0 gömmeleri bağlamsal bilgileri ve uzun menzilli bağımlılıkları yakalarken, MFCC özellikleri tamamlayıcı düşük seviyeli akustik bilgiler sağlamıştır. Bu temsillerin entegrasyonu, özellikle gürültülü ve çok dilli konuşma koşulları altında sınıflandırma performansını artırmıştır.
ML Sınıflandırıcı
Bu araştırmada, ses tabanlı cinsiyet ve yaş grubu sınıflandırması için birden fazla ML algoritmasının performansı analiz edilmiştir.
Rastgele Orman (Random Forest)
Tahmin doğruluğunu artırmak ve aşırı öğrenmeyi (overfitting) azaltmak için birden fazla Karar Ağacını (DT) birleştiren Random Forest (RF), güçlü bir Makine Öğrenmesi (ML) sınıflandırıcısı olarak kullanılmıştır. RF, nihai tahmini oluşturmak için birden fazla ağaçtan gelen tahminlerin toplandığı bir topluluk öğrenme (ensemble-learning) prosedürü aracılığıyla çalışmıştır37,38. Bu yaklaşım, RF'nin verilerdeki çeşitli örüntüleri yakalamasını sağlarken, tekil DT'lerle yaygın olarak ilişkilendirilen aşırı öğrenmeyi azaltmıştır. Ağaç kurulumu sırasında getirilen rastgelelik modelin genellenebilirliğini artırarak RF'yi ses verilerinden cinsiyet ve yaş sınıflandırması gibi sınıflandırma görevleri için uygun hale getirmiştir.
Lojistik Regresyon
Sınıflandırma için istatistiksel bir ML modeli olarak Lojistik Regresyon (LR) kullanılmıştır39. İkili sınıflandırmada LR, lojistik (sigmoid) fonksiyonunu kullanarak girdi özelliklerine dayalı bir sonucun olasılığını tahmin eder ve elde edilen olasılıklar sınıf tahminleri oluşturmak için kullanılır. LR ayrıca ikiden fazla sınıf içeren çok sınıflı sınıflandırma problemleri için de uygulanabilir durumdadır. Çok sınıflı sınıflandırma için LR, sınıflandırma ortamına bağlı olarak one-vs-rest veya SoftMax regresyonu gibi yaklaşımlar kullanmıştır.
Ekstra Ağaç Sınıflandırıcı
Tahminler oluşturmak için birden fazla DT'yi birleştiren bir topluluk öğrenme algoritması olarak Extra Trees Classifier (ETC) kullanılmıştır40,41. RF'den farklı olarak ETC, ağaç oluşturma sırasında aday özellikleri ve bölme eşiklerini rastgele seçerek ek bir rastgelelik getirir. Bu prosedür, birbiriyle daha az ilişkili ağaçlar oluşturmuş ve modelin bireysel özelliklere olan hassasiyetini azaltarak gürültüye karşı dayanıklılığı artırmıştır. Özellik önemini değerlendirmek ve verileri bölümlere ayırmak için bölme kriteri olarak Gini indeksi kullanılmıştır.
Destek Vektör Makinesi
Yüksek boyutlu bir özellik uzayında optimal bir karar sınırı belirlemek için bir ML sınıflandırıcısı olarak Destek Vektör Makinesi (SVM) kullanılmıştır42. Amaç, sınıflar arasındaki marjı maksimize eden bir hiper düzlem belirlemekti. Karar sınırı ile en yakın veri noktaları arasındaki daha geniş bir marj, genellikle daha iyi sınıf ayrımı ve genelleme sağlar. SVM; sınıflandırma, regresyon ve özellik tabanlı veri analizi dahil olmak üzere çeşitli ML görevlerinde uygulanabilir durumdadır.
Evrişimli Sinir Ağları
Görüntü ve ses verilerinin yapılandırılmış temsillerini içeren sınıflandırma görevleri için Derin Öğrenme (DL) modelleri olarak Evrişimli Sinir Ağları (CNN'ler) kullanılmıştır. Tek boyutlu CNN'ler (1D-CNN'ler) ayrıca sıralı ve metinsel verilere de yaygın olarak uygulanmıştır. CNN mimarileri, girdi verilerinden ayırt edici özellikler çıkarmak için evrişimli filtreler ve havuzlama işlemleri kullanmıştır43,4. Ses verilerinden cinsiyet ve yaş sınıflandırması yapmak için CNN'ler, perde, frekans, ton ve cinsiyet ile yaş gruplarını ayırt etmede ilgili diğer vokal özelliklerle ilişkili kalıpları öğrenmek amacıyla konuşmadan türetilen temsilere uygulanmıştır.
VGG19
Derin, nispeten tekdüze bir hiyerarşik özellik çıkarma yapısıyla karakterize edilen bir DL mimarisi olarak VGG19 kullanılmıştır45. Mimarisi, 19 katman boyunca küçük 3 × 3 konvolüsyonel filtreler kullanarak ayırt edici özelliklerin aşamalı olarak çıkarılmasını sağlamıştır. Konuşma kaynaklı temsillere uygulandığında VGG19, hem perde ve frekans varyasyonları gibi düşük seviyeli akustik örüntüleri hem de daha yüksek seviyeli ayırt edici özellikleri yakalamıştır. Derin mimarisi, cinsiyet ve yaşla ilişkili vokal özelliklerin modellenmesi için aşamalı özellik soyutlamasına olanak tanımıştır.
EfficientNet-Lite
Hesapsal olarak verimli bir DL mimarisi olarak EfficientNet-Lite kullanılmıştır46,47. Model, daha ağır DL mimarilerine kıyasla daha az hesaplama kaynağı gerektirirken güçlü bir sınıflandırma performansı elde etmek için dengeli bir ölçeklendirme stratejisi uygulamıştır. Bileşik ölçeklendirme yaklaşımı, verimli özellik çıkarımı sağlamak amacıyla model derinliğini, genişliğini ve giriş çözünürlüğünü birlikte değerlendirmiştir.
Hafif mimarisi, sınıflandırma performansı ve model karmaşıklığı arasındaki uygun dengesi nedeniyle, önerilen VoiceNet-RAI çerçevesi için EfficientNet-Lite seçilmiştir. Daha ağır mimarilerle karşılaştırıldığında, daha az parametre ve daha düşük hesaplama gereksinimleriyle etkili özellik öğrenimi gerçekleştirmek için verimli konvolüsyonel bloklar ve bileşik ölçeklendirme kullanmıştır. Bu özellikler, EfficientNet-Lite'ı önerilen konuşma sınıflandırma çerçevesi için uygun hale getirmiş ve kaynak kısıtlı ortamlarda dağıtım potansiyeli sağlamıştır.
MobileNet
MobileNet, mobil ve uç hesaplama ortamları dahil olmak üzere sınırlı hesaplama kaynaklarına sahip uygulamalar için hafif bir DL mimarisi olarak kullanılmıştır48. Hesaplama verimliliği, temel olarak, geleneksel evrişimli mimarilere kıyasla parametre sayısını ve hesaplama işlemlerini azaltan derinlemesine ayrıştırılabilir evrişimler (depthwise separable convolutions) aracılığıyla sağlanmıştır. Bu özellikler, MobileNet'i nispeten düşük hesaplama gereksinimlerini korurken ses verilerinden cinsiyet ve yaş sınıflandırmasını değerlendirmek için uygun hale getirmiştir.
InceptionV3
Konuşma kaynaklı temsillerden hiyerarşik özellikler çıkarmak için derin bir mimari olarak InceptionV3 kullanılmıştır49. Mimari, farklı soyutlama seviyelerinde özellikler çıkarmak için evrişimli, havuzlama ve karma işlemleri içermiştir. Ses verilerinden cinsiyet ve yaş sınıflandırması için InceptionV3, vokal özelliklerdeki varyasyonlarla ilişkili karmaşık akustik örüntüleri ve hiyerarşik temsilleri öğrenmek amacıyla kullanılmıştır.
Değerlendirme parametreleri
Doğruluk, sınıflandırma görevleri için en sık kullanılan değerlendirme metriklerinden biriydi50. Doğruluk, genel sınıflandırma performansı için yararlı bir ölçüm sağlasa da, özellikle dengesiz veri kümeleri için her zaman kapsamlı bir değerlendirme sunmuyordu. Bu nedenle, model performansını değerlendirmek için kesinlik, duyarlılık ve F1-skoru dahil olmak üzere ek metrikler kullanıldı. Bu metrikler, her sınıf için doğru ve yanlış tahminleri dikkate alarak daha kapsamlı bir değerlendirme sağladı.
Doğruluk, doğru sınıflandırılan gözlemlerin toplam gözlem sayısına oranı olarak tanımlanmıştır. Doğruluk, özellikle dengeli veri setleri için bilgilendirici olsa da, bu çalışmada kullanılan veri seti dengesizdir. Bu nedenle, sınıflandırma metrikleri hesaplanırken ve yorumlanırken Doğru Pozitifler (TP), Yanlış Pozitifler (FP), Doğru Negatifler (TN) ve Yanlış Negatifler (FN) dikkate alınmıştır. Aşağıdaki denklem, doğruluğun standart tanımını temsil etmektedir:
Doğruluk = (TP+TN)/(TP+TN+FP+FN)×10 (5)
Hassasiyet (precision), sınıflandırıcıların yalnızca ilgili örnekleri döndürme yeteneğini değerlendir:
Hassasiyet= TP/(TP+FP) ×10 (6)
Hassasiyet olarak da bilinen geri çağırma (recall), sınıflandırıcının ilgili tüm örnekleri tanımlama yeteneğini ölçer:
Duyarlılık (Recall)= TP/(FN+TP) × 10 (7)
F1-skoru, kesinlik (precision) ve duyarlılığı (recall) tek bir ölçüde birleştirir ve özellikle dengesiz veri setlerinde sınıflandırma performansını değerlendirmek için kullanışlıdır:
F1-Skoru =2 ×(PPV ×TPR)/(TPR+PPV) × 10 (8)