Öksürük Ses Sinyallerinden COVID-19 Taraması için Üretken Yapay Zeka Tabanlı Bir Çerçeve

Özet

Bu çalışma, öksürük ses sinyallerinden COVID-19'u tespit etmek için GAN'ları, VAE'leri ve dikkat temelli derin konvolüsyon ağları entegre eden üretken yapay zeka tabanlı bir çerçeve öneriyor; bu çerçeve dayanıklılığı, veri dengesini ve ölçeklenebilir, invaziv olmayan tarama için çapraz veri seti genellemesini artırıyor.

Özet

Öksürük ses analizi, COVID-19 hastalık taramasını desteklemek için otomatik araçlar geliştirmek için pratik bir yol sunar. Artan ilgiye rağmen, mevcut yaklaşımların çoğu gürültü, sınıf dengesizliği ve veri seti değişkenliğine karşı hassas olmaya devam ediyor ve bu da tekrarlanabilirliklerini sınırlıyor. Bu çalışma, öksürük ses kayıtları kullanılarak COVID-19 tespiti için yapılandırılmış, üretken yapay zeka odaklı bir metodoloji sunmaktadır. Deneyler, her ikisi de etiketlenmiş öksürük örneklerinden oluşan iki kamuya açık veri seti olan COUGHVID ve Virufy kullanılarak gerçekleştirilmektedir. Önerilen protokol, öksürük segmentasyonu, ses yalıtımı ve sinyal normalizasyonu gibi ardışık ön işleme aşamalarından oluşmaktadır. Akustik özellikler daha sonra Mel-Frekans Cepstral Katsayıları, kroma tanımlayıcıları ve spektral kontrast özellikleri aracılığıyla yakalanır. Temsil öğrenimini geliştirmek ve veri dengesizliğini azaltmak için, Varyasyonel Otomatik Kodlayıcılar ve Üretken Karşı Ağları entegre eden hibrit bir üretken çerçeve kullanılarak özellik düzeyinde örnekler sentezlenir. Sınıflandırma daha sonra Derin Konvolüsyon Sinir Ağları ve Dikkat Tabanlı DCNN modelleri kullanılarak gerçekleştirilir. Performans değerlendirmesi, üretken artırmanın dahil edilmesinin üretken olmayan temel seviyelere göre tutarlı olarak geliştiğini, değerlendirilen veri setlerinde %97,2 zirve sınıflandırma doğruluğu ve 0,953 AUROC elde ettiğini göstermektedir. Bu sonuçlar, öksürük tabanlı COVID-19 tespitini artırmada üretken modellemenin etkinliğini göstermekte ve akustik sağlık izleme alanında gelecekteki araştırmalar için tekrarlanabilir analitik bir hattı oluşturmaktadır.

Giriş

Solunum akustikleri, özellikle enfeksiyon ve akciğer hastalıkları bağlamında, sağlık değerlendirmesi için invaziv olmayan bir bilgi kaynağı olarak giderek daha fazla araştırılmaktadır. Sinyal işleme ve yapay zekadaki (YZ) gelişmeler, öksürük ve nefes seslerinin otomatik analizini mümkün kılmış ve bunların dijital biyobelirteç olarak kullanımını desteklemiştir. Son çalışmalar, akıllı telefonlara, giyilebilir cihazlara veya klinik sensörlere gömülü mikrofonlarla yakalanan solunum seslerinin, COVID-19 enfeksiyonunu tespit etmek için derin öğrenme modelleri kullanılarak etkili şekilde analiz^{edilebileceğini göstermektedir 1,5}. Bu gelişmeler, ses tabanlı taramanın geleneksel tanı prosedürlerine hızlı, temassız ve ölçeklenebilir bir tamamlayıcı olarak potansiyelini vurgulamaktadır. SARS-CoV-2 virüsü tarafından neden olan Koronavirüs Hastalığı 2019 (COVID-19), öncelikle solunum sistemini etkiler ve hava akışı dinamiklerinde, akciğer fonksiyonunda ve ses yolu davranışında ölçülebilir değişikliklere yol açar. Ters transkripsiyon–polimeraz zincir reaksiyonu (RT-PCR) testi tanı için referans standart olarak kalsa da, lojistik kısıtlamaları ve gecikmeli teslim süresi, büyük ölçekli veya sürekli taramaya uygunluğunu sınırlamaktadır ve solunum sesi analizine dayalı alternatif yaklaşımların araştırılmasını teşvik etmektedir.

Artan bir literatür, öksürük, nefes ve konuşma sinyalleri kullanılarak yapay zeka tabanlı COVID-19 tespitini araştırmıştır. Tablo 1'de özetlendiği üzere, önceki çalışmalar çeşitli veri setlerini, akustik özellik temsillerini (örneğin, MFCC, STFT, spektrogram tabanlı özellikler) ve klasik makine öğrenimi modellerinden derin konvolüsyone, tekrarlayan, dikkat tabanlı ve transformator mimarilerine kadar uzanan öğrenme paradigmalarını^{incelemiştir} 8,9,10,11,12,13,14,15 ^,16,17,18,19,20,21,22,23,24,25,26,27˒43,44,45. Birçok çalışma, kitlesel kaynaklı ve klinik olarak toplanan solunum sesi kullanılarak umut vadeden bir tarama performansı göstermiştir. Buna karşılık, diğerleri aktarım öğrenmesi, veri artırma ve açıklanabilir yapay zekanın sağlamlık ve güvenilirliği artırmak için önemini vurguladı. Detaylı bir çalışma çalışması tartışmayı tekrarlamak yerine, Tablo 1 bu temsil yaklaşımların konsolide karşılaştırmalı bir genel bakış sunar ve veri setlerinin, metodolojilerin ve raporlanan sonuçların doğrudan karşılaştırılmasına olanak tanır.

Bu gelişmelere rağmen, mevcut yaklaşımların sağlamlığını ve gerçek dünyada uygulanabilirliğini engelleyen bazı sınırlamalar vardır. Solunum ses veri setleri sıklıkla heterojen kayıt koşullarında toplanır ve cihazlar, akustik ortamlar ve konu popülasyonları arasında önemli^{değişkenliklere yol açar 2,3,4}. Birçok kamuya açık veri seti kendi bildirilen COVID-19 durumuna dayanır ve bu da etiket güvenilirliğinde belirsizlik^{yaratır 7}. Ayrıca, belirgin sınıf dengesizliği ve klinik olarak doğrulanmış örneklerin sınırlı erişilebilirliği, yalnızca gözlemlenen verilere dayalı ayırıcı modellerin genelleştirme kapasitesini^{kısıtlar. 4,5}. Sonuç olarak, kontrol edilen deneysel ortamlarda raporlanan model performansı, çeşitli gerçek dünya senaryolarında güvenilir bir dağıtıma tutarlı şekilde dönüşmemektedir.

Bu sınırlamalar bir arada ele alındığında, kritik bir araştırma açığını ortaya koyuyor: veri kıtlığı, sınıf dengesizliği ve heterojen veri setleri arasında sağlam genellemeyi aynı anda ele alan birleşik bir çerçevenin olmaması. Üretken Karşıt Ağlar (GAN'lar) ve Varyasyonel Otokodlayıcılar (VAE) gibi üretken modeller gizli temsilleri öğrenmek ve gerçekçi biyomedikal sinyalleri sentezlemek için^{araştırılmış olsa da,} mevcut çalışmalar genellikle bu modelleri bağımsız olarak kullanır ve tek bir veri seti içinde değerlendirir. Ayrıca, dikkatle güçlendirilmiş konvolüsyon mimarilerle entegrasyonları ve çapraz veri seti koşullarında değerlendirmeleri yeterince araştırılmamıştır.

Bu açığı gidermek için, mevcut çalışma, öksürük seslerinden COVID-19 tespiti için üretken yapay zeka destekli bir çerçeve önermektedir; bu çerçeve, akustik özellik çıkarımı hibrit GAN–VAE modeli ve dikkat temelli derin konvolüsyon sinir ağları (DCNN) ile bütünleştirir. Üretken bileşen, yapılandırılmış gizli temsil öğrenimi ve sentetik veri üretimi yoluyla sınıf dengesizliğini ve sınırlı örneklem kullanılabilirliğini azaltırken, ayırt edici modeller heterojen veri setleri arasında sınıflandırma dayanıklılığını artırır. Önceki çalışmaların çoğunlukla veri kümesi içi doğrulamaya dayanmasının aksine, önerilen çerçeve bağımsız bir veri seti üzerinde çapraz veri seti testleriyle değerlendirilir ve bu da genelleştirme performansının daha titiz bir şekilde değerlendirilmesini sağlar. Çerçeve, bağımsız bir tanı aracı değil, tarama odaklı bir yaklaşım olarak tasarlanmıştır ve tasarımı, tekrarlanabilir ve güvenilir dağıtımı desteklemek için kayıt değişkenliği ve etiket belirsizliğini açıkça hesaba katmaktadır.

Bu bağlamda, bu çalışmanın yenilikçi katkıları üç unsurdur. İlk olarak, birleşik bir GAN–VAE hibrit üretken çerçevesi, öksürük tabanlı COVID-19 taramasında sınıf dengesizliği, sınırlı veri kullanılabilirliği ve sağlam özellik temsili öğrenmesini birlikte ele almak için dikkat odaklı DCNN sınıflandırıcılarıyla entegre edilmiştir. İkinci olarak, önerilen yaklaşım, çapraz veri seti doğrulaması kullanılarak sistematik olarak değerlendirilir ve geleneksel veri seti içi testlere kıyasla model genellemesi açısından daha gerçekçi bir değerlendirme sağlar. Üçüncü olarak, çalışma, üretken artırmanın heterojen kayıt koşullarında etkisinin ayrıntılı bir analizini sunar ve böylece çerçeveyi ölçeklenebilir, pratik COVID-19 taraması için tekrarlanabilir bir kavram kanıtı olarak konumlandırır.

Yazar(lar) & Yıl	Veri kümesi(ler)	Kullanılan Teknikler / Özellikler	Model / Sınıflandırıcı	Doğruluk / Metrikler	Sınırlamalar / Notlar
Imran ve ark., 20208	Kitlesel kaynaklı öksürük veri seti (AI4COVID-19)	MFCC, transfer öğrenme, alan bağımlısı özellikler	Risk-averse multi-classifier (DL + ML ensemble)	Doğruluk: %92,6	Öksürük kalitesine bağlıdır; sınırlı klinik doğrulama
Brown ve ark., 20209	Kitlesel kaynaklı solunum sesleri (>7.000 kullanıcı)	El yapımı ses özellikleri, VGGvari gömülemeler	Sığ ML modelleri	AUC > %80	Kitlesel kaynaklı verilerde etiket gürültüsü
Laguarta ve ark., 202010	MIT Open Voice veri seti (5.320 denek)	MFCC, akustik biyobelirteçler	CNN (ResNet50, transfer öğrenme)	Hassasiyet: %98,5, Spesifiklik: %94,2	Büyük ön eğitim veri seti gerektirir
Quartieri ve ark., 202011	Konuşma mülakatları (5 konu, COVID öncesi/sonrası)	Solunum yoğunluğu, F0, CPP, formantlar	İstatistiksel etki-boyut analizi	Tüm görevlerde %80'in üzerinde bir AUC elde edin	Çok küçük örneklem büyüklüğü
Hassan ve ark., 202012	Solunum sesleri	Zamansal konuşma özellikleri	RNN	Öksürük:%97, nefes:98,2%, ses:%88,2	Detaylı veri seti istatistiklerinin eksikliği
Khamparia ve ark., 201913	ESC-10, ESC-50	Spektrogram görüntü tabanlı özellikler	CNN, TDSN	CNN: %77 (ESC-10), %49 (ESC-50); TDSN: %56 (ESC-10)	Sadece çevresel sesler; Karmaşık veri setlerinde daha düşük performans
Aykanat ve ark., 201714	1.630 denekten 17.930 akciğer sesi (elektronik stetoskop)	MFCC özellikleri, spektrogram görüntüleri	SVM, CNN	CNN/SVM: %86 (sağlıklı vs patolojik), %76/%75 (rale–rhonchus–normal), %80/%80 (tek tip), %62/%62 (tüm tipler)	Özel donanım gerektirir; Hastalığa özgü değildir
Ponomarchuk ve ark., 202215	Coswara, Virufy	MFCC, mel-spektrogram, dalga siği özellikleri	CNN, RNN, topluluk modelleri	AUC: 0.93 (iç), 0.79 (hariç)	Veri kümeleri arasında genelleme yapmak hâlâ zordur
Feng ve ark., 202116	Coswara, Virufy	STFT, MFCC	SVM (RBF), CNN	Doğruluk %81,25 (AUC 0,79)	Veri setine bağlı performans
Islam ve ark., 202217	Klinik öksürük kayıtları	Spektral ve zaman-frekans özellikleri	Derin sinir ağları	Doğruluk: %89,2	Sınırlı veri seti
Manshouri, 202218	Virufy	Spektral analiz özellikleri	Klasik ML sınıflandırıcıları	Doğruluk:%95,86	Küçük ölçekli deneysel çalışma
Huang ve ark., 202019	10 COVID-19 hastasının akciğer sesleri	Zaman-frekans solunum sesi analizi	Klinik uzman analizi	Niteliksel doğrulama	Küçük veri seti; makine öğrenimi modeli yok
W. D. Puja ve ark., 202420	Coswara, Virufy (öksürük sesi veri setleri)	STFT, Mel spektrogramı, MFCC, RMS enerjisi, spektral bant genişliği, spektral merkez, spektral roll-off, ZCR; CNN tabanlı derin özellik çıkarımı	1D CNN (özellik çıkarıcı) + Rastgele Orman	Doğruluk: %93	Performans, öksürük kalitesine bağlıdır; klinik tanı yerine tarama için tasarlanmıştı; Kitlesel veri değişkenliği
Chadaga ve ark., 202321	Kitlesel kaynaklı öksürük ses kayıtları	Mel-spektrogram ve zaman-frekans akustik özellikleri	Konvolüsyon Sinir Ağı (CNN)	Doğruluk: %84, Hassasiyet: %85, Hatırlama: %84, F1 puanı: %84	Performans, veri dengesizliği, kendi bildirimleri etiketleri ve kayıt koşullarına duyarlılık nedeniyle sınırlıdır
Chadaga ve ark., 202322	Hafif-orta COVID-19 ve diğer solunum yolu hastalıkları klinik belirteçleri	Özellik seçimi (Pearson, PSO); Ana işaretleyiciler: Eozinofil, Albümin, T. Bilirubin, ALP, ALT, AST, HbA1c, TWBC	Üst üste yığılmış topluluk; 1D CNN, LSTM, DNN, Kalıntı MLP	Doğruluk: %89	Ağır vakalar hariç; RT-PCR'ye alternatif olarak; açıklanabilir yapay zeka uygulandı
Dar ve ark. 202423	COVID-19 Veri Seti	SJHBO optimizasyonu (Jaya+HBO+SO), birçok spektral özellik	Derin Q Ağı (DQN)	Doğruluk: %95,11, Hassasiyet: %95,06, Spesifiklik: %94,69	Yüksek karmaşıklık; Akort hibrit optimizer ile geliştiriliyor
Jing Quian ve diğerleri 202024	COVID-19 hastalarından alınan konuşma kayıtları	Akustik özellik setleri; Hastalık şiddeti, uyku kalitesi, yorgunluk, kaygı analizi	Destek Vektör Makineleri (SVM)	0.69 (hastalık şiddeti)	Sadece ses özellikleriyle sınırlı; orta doğruluk; veri seti boyutu belirtilmemiştir; Sadece dört sağlık yönü ele alındı
Sharma, J. ve ark. 202025	UrbanSound8K, ESC-10, ESC-50	Çok özellikli kanallar: MFCC, GFCC, CQT, Kromagram; Karıştırılmış veri artırma	Mekansal olarak ayrılabilir konvolüsyonlar ve dikkat modülleri içeren derin CNN	UrbanSound8K: %97,52, ESC-10: %94,75, ESC-50: %87,45	Kıyaslama dışı veya gerçek dünya veri setlerinde test edilmemiştir; Daha derin CNN ve dikkat modülleri nedeniyle hesaplamalı karmaşıklık
Lella KK ve ark. 202126	Solunum sesleri; COVID-19, astım, sağlıklı)	veri artırma; MFCC yerine Data De-noising Auto Encoder (DDAE) kullanılarak derin özellikler	1D Konvolüsyon Sinir Ağı (1D CNN)	~%90	Sınırlı veri seti detayları; MFCC'ye göre ~%4 iyileşme; Genellenebilirlik test edilmedi
Orlandic ve ark., 202127	COUGHVID (25k+ öksürük)	MFCC'ler, PSD, spektral ve zaman özellikleri	XGBoost	AUC %96,5, Precision %95,5	Kendi kendine bildiren COVID; alt kümedeki uzman etiketleri
Zhang ve ark., 202343	COVID-19 aşısı sonrası yayımlanmış HLH vaka raporları (literatür veritabanları)	Sistematik inceleme; klinik özellik toplayıcısı; Moleküler kenetlenme analizi	Geçerli değil (klinik inceleme)	Betimleyici istatistik; Klinik sonuçlar	Nadir olay analizi; küçük örneklem büyüklüğü; Bildirilen vakalara güvenmek raporlama yanlılığına yol açabilir
Xu ve ark., 202344	Literatürden aşı ile ilişkili VKH hastalığı vakaları bildirilmiştir	Geriye dönük dava incelemesi; Klinik ve görüntüleme özellik analizi	Uygulanmaz (klinik gözlemsel çalışma)	Tedavi yanıtı ve klinik iyileşme sonuçları	Sınırlı sayıda vaka; kontrol grubunun eksikliği; nedensel ilişki kesin olarak kurulamaz
Hu ve ark., 202545	Çin'deki SRDI tıbbi cihaz şirketlerinin firma düzeyindeki ana-yan kuruluş verileri (Qixinbao veritabanı)	Sosyal ağ analizi; uzaysal ağ metrikleri; Coğrafi dedektör analizi	Uygulanmaz (ağ ve politika analizi)	Ağ yoğunluğu, merkezilik, yayılma endeksleri	Kesitsel tasarım; firmaların eşit ağırlıkları; Doğrudan performans veya klinik sonuç ölçütü yok

Tablo 1: Mevcut COVID-19 ses tabanlı tespit çalışmalarının özeti. Önceki öksürük/ses taraması yaklaşımlarının karşılaştırmalı genel bakışı; veri setleri, yöntemler ve bildirilen performans dahil. Bu tabloyu indirmek için lütfen buraya tıklayın.

Protokol

Önerilen Metodoloji

Bu çalışma, öksürük sinyallerinden COVID-19'u tespit etmek için üretken yapay zeka tabanlı bir çerçeve önermektedir. Çerçeve, üretken modelleri ayırt edici sınıflandırıcılarla entegre eder; eğitim ve değerlendirme verileri tamamen ayrı tutulur. Şekil 1, önerilen GAN–VAE–ADCNN çerçevesinin ayrıntılı mimarisini göstermekte; ses ön işleme ve özellik çıkarımından Varyasyonel Otomatik Kodlayıcı (VAE) aracılığıyla gizli temsil öğrenimi, Generatif Karşı Ağ (GAN) kullanılarak sentetik özellik üretimi ve Derin Konvolüsyon Sinir Ağları (DCNN) ile Dikkat Tabanlı DCNN (ADCNN) ile nihai sınıflandırma akışını gösterir. Şekil, üretken bileşenlerin yalnızca eğitim sırasında kullanıldığını, sınıflandırmanın ise ayırt edici modellerle yapıldığını göstermektedir.

Şekil 1: GAN–VAE–ADCNN mimarisi genel bakış. Önerilen hibrit boru hattının şeması; öksürükten türetilen akustik özellikler VAE kullanılarak kodlanıyor, GAN tabanlı sentetik örnek üretimiyle güçlendirilip DCNN ve dikkat tabanlı DCNN (ADCNN) modelleriyle sınıflandırılıyor. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Model Mimarisi ve Uygulaması

Bu çerçevede kullanılan üretken ve ayırt edici modeller, sabit ve tekrarlanabilir mimarilerle uygulanmıştır. GAN, ReLU aktivasyonunu kullanan üç tam bağlantılı katmandan (128, 256 ve 512 birim) oluşan bir jeneratör ve LeakyReLU aktivasyonu ile sigmoid çıkışı kullanan üç tam bağlı katmanlı (512, 256 ve 128 birim) bir ayrımcıdan oluşur.

VAE kodlayıcısı, 256 ve 128 birimli iki tam bağlı katmandan oluşur; ardından 64 numaralı gizli ortalama ve varyans tahmini gelir. Kodlayıcı bu yapıyı yansıtır ve yeniden yapılandırma kaybı ile Kullback–Leibler ayrımının birleşimiyle eğitilerek yapılandırılmış ve olasılıksal bir gizli uzay öğrenilir.

DCNN sınıflandırıcısı, sırasıyla 3x3 çekirdekli dört konvolüsyon bloğu ve 32, 64, 128 ve 256 filtreli blokları içerir. Her bloktan sonra toplu normalizasyon, ReLU aktivasyonu ve 2x2 maksimum havuzlama yapılır. ADCNN, son konvolüsyon bloktan sonra kanal bazında dikkat mekanizması ekleyerek DCNN'yi genişletir. Tüm modeller, Adam optimizatörü kullanılarak optimize edildi; öğrenme oranı 0.0001 ve parti boyutu 32 oldu. Şekil 1'de gösterildiği gibi, VAE ve GAN yalnızca eğitim sırasında çalışırken, DCNN ve ADCNN sınıflandırma için kullanılır. Tam eğitim ve değerlendirme prosedürü Algoritma 1'de özetlenmiştir.

Algoritma 1: GAN–VAE Tabanlı COVID-19 Tespit Çerçevesi

Giriş: Önceden işlenmiş öksürük ses kayıtları

Çıktı: İkili sınıflandırma etiketi (COVID-19 pozitif/negatif)

Eğitim ve değerlendirme prosedürleri sabit, tekrarlanabilir bir hattı takip etti. Tüm öksürük ses kayıtları 16 kHz'e yeniden örneklendi, gürültü azaltmaya tabi tutuldu ve genlik normalleştirildi. Kayıtlar, sabit uzunluklu segmentlere ayrılmış, bunlardan MFCC, kroma ve spektral özellikler çıkarılmıştır. Her ses segmentinden toplam 40 Mel-Frekans Cepstral Katsayısı (MFCC) çıkarıldı. Buna ek olarak, 12 kroma özelliği hesaplandı. Ortaya çıkan temsil, her öksürük segmenti için 52 boyutlu bir özellik vektörü oluşturur. Veri eğitim, doğrulama ve test setlerine bölünmek için konu düzeyinde bölünme yapıldı. VAE, olasılıksal gizli temsilleri öğrenmek üzere eğitildi ve ortaya çıkan gizli vektörler, GAN'ı sentetik özellik üretimi için eğitmek için kullanıldı. Eğitim veri seti GAN–VAE tarafından oluşturulan örneklerle genişletildi, sentetik veriler doğrulama ve testten dışlandı. DCNN ve ADCNN sınıflandırıcıları artırılmış eğitim verileri üzerine eğitildi ve nihai değerlendirme standart performans metrikleri kullanılarak yapılan test setinde gerçekleştirildi.

Eğitim Kurulumu, Veri Bölmesi ve Sızıntı Önleme

Tüm deneyler sabit, tekrarlanabilir bir eğitim konfigürasyonu ile gerçekleştirildi. Veri sızıntısını önlemek için ses segmentasyonundan önce konu düzeyinde veri bölmesi yapıldı. Veri seti, 80:10:10 oranında eğitim, doğrulama ve test setlerine ayrılmış, böylece aynı kaydın tüm bölümleri tek bir alt kümeye atanmıştır. Eğitim seti, model öğrenimi ve üretken veri artırma için, doğrulama seti hiperparametre ayarlama ve erken durdurma için kullanıldı ve test seti nihai performans değerlendirmesi için sunuldu. GAN–VAE çerçevesi tarafından oluşturulan sentetik örnekler yalnızca eğitim sırasında kullanıldı ve adil değerlendirme için doğrulama ve testlerden kesin olarak çıkarıldı.

Modeller maksimum 100 dönem için eğitilmiş, doğrulama kaybına dayalı erken durma ve 10 dönemlik sabırla destekleniyordu. Optimizasyon, Adam optimizatörü kullanılarak 0.0001 öğrenme oranı ve 32 parti büyüklüğüyle gerçekleştirildi. Sınıflandırma için ikili çapraz entropi kaybı uygulanırken, VAE ve GAN bileşenlerinin eğitimi için yeniden yapılandırma ve rakip kayıplar kullanıldı. Bu birleşik eğitim ve değerlendirme protokolü, tekrarlanabilirliği sağlar, veri sızıntısını önler ve eğitim ile değerlendirme aşamaları arasında sıkı ayrım sağlar.

Veri Seti Tanımı

İki kamuya açık öksürük ses veri seti — COUGHVID ve Virufy — büyük ölçekli akustik çeşitliliği klinik referanslı etiketlerle dengelemek için kullanıldı ve eğitim ile değerlendirmede roller açıkça ayrıldı.

COUGHVID, kısmi uzman notları ve kendi rapor edilen meta verilerle birlikte oluşan öksürük kayıtlarından oluşan kitlesel kaynaklı bir koleksiyondur. Veri kalitesini sağlamak için, minimum sinyal süresi, yeterli sinyal-gürültü oranı, bozuk veya belirsiz örneklerin çıkarılması ve belirti meta verileriyle tanımlanabilir öksürük olaylarının varlığı gibi önceden tanımlanmış kalite kontrol kriterleri uygulanarak 428 kayıt seçildi. Ön işleme ve segmentasyondan sonra, bu kayıtlar 1.719 öksürük segmenti elde etti; bu segmentler 16 kHz örnekleme hızında WAV formatına standartlaştırıldı. COUGHVID, hem üretken modelleri hem de ayırt edici sınıflandırıcıları eğitmek için kullanıldı.

Virufy, doktor gözetiminde yapılan öksürük kayıtlarından oluşur ve COVID-19 için RT-PCR pozitif veya negatif olarak etiketlenir. Tüm 16 mevcut kayıt dahil edildi ve bu da segmentasyondan sonra 234 öksürük segmenti elde edildi ve bunlar da 16 kHz'ye standartlaştırıldı. Virufy, genelleme performansını değerlendirmek için yalnızca harici çapraz veri seti değerlendirmesi için kullanıldı ve eğitim, ince ayar veya üretken artırma için kullanılmadı.

Bu nedenle, önerilen çerçeve, klinik olarak doğrulanmış bir tanı sistemi olarak değil, kontrollü deneysel koşullar altında değerlendirilen bir kavram kanıtı tarama yaklaşımı olarak yorumlanmalıdır.

Veri Ön İşleme ve Segmentasyon

Tüm kayıtlar 16 kHz'e yeniden örneklendi, monoya dönüştürüldü ve sessizlik çıkarma, spektral gürültü azaltma ve genlik normalizasyonuna tabi tutuldu. Veri sızıntısını önlemek için konu düzeyinde bölünmeden sonra segmentasyon yapıldı. Her kayıt, üst üste binen 2–4 saniyelik segmentlere bölünür ve düşük enerjili veya sessiz bölümler atılır.

Dış Doğrulama Protokolü

Dış doğrulama, çapraz veri seti değerlendirmesi yoluyla gerçekleştirildi. COUGHVID üzerinde eğitilen modeller, dış doğrulama için Virufy üzerinde değerlendirildi. Bu protokol, farklı koşullar altında toplanan veri setleri arasında genellemeyi değerlendirir, prospektif klinik doğrulama yerine geçerlidir. Şekil 2, veri seti kullanımı, ön işleme, özellik çıkarma, sınıflandırıcı eğitimi ve değerlendirme senaryolarını gösteren protokol düzeyinde bir iş akışını sunmaktadır. Şekil 1 iç model mimarisine odaklanırken, Şekil 2 eğitim ve test aşamaları arasında deneysel tasarım ve veri akışını vurgular.

Şekil 2: Önerilen COVID-19 öksürük tarama çerçevesinin iş akışı. Ön işleme, özellik çıkarımı (MFCC, kroma, spektral özellikler), GAN–VAE tabanlı temsil öğrenme ve artırma (sadece eğitim) ve konu düzeyinde bölünme ve çapraz veri seti değerlendirmesi kapsamında nihai sınıflandırma dahil olmak üzere tam işleme boru hattının illüstrasyonu. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Sonuçlar

Veri Seti Kompozisyonu ve Sınıf Dağılımı Analizi

Ön işleme ve segmentasyondan sonra, COUGHVID ve Virufy veri setleri hem veri seti ölçeği hem de segment yoğunluğu açısından önemli farklılıklar göstermiştir. COUGHVID, 444 kaydın 428'ini (%96,4) ve çıkarılan 1.953 öksürük segmentinin 1.719'unu (%88,0) sağladı; bu da model eğitimi ve üretken artırma için birincil veri seti rolünü doğruladı (Şekil 3). Buna karşılık, V...

Tartışma

Sonuçlar, önerilen üretken yapay zeka tabanlı çerçevenin heterojen veri setlerinde öksürük sinyallerinden COVID-19'u tespit edebildiğini göstermektedir. Tablo 4 ve Tablo 6'da gösterildiği gibi, GAN–VAE hibrit modeli en iyi performansı elde etti; %97,2 doğruluk ve 0,953 AUROC'la, ayrıca yüksek hassasiyet, geri çağırma, F1 puanı ve özgüllük ile dengeli sınıflandırma performansını gösterdi.

Üretken modeller ayırt edici sınıflandı...

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
COUGHVID Veri Seti	& Eacute; cole Polytechnique Fé dé Rale de Lausanne (EPFL)	Kamuya açık yayın (2021)	Kendi rapor edilen meta veriler ve kısmi doktor notasyonlarıyla kitlesel kaynaklı öksürük ses veri seti; esas olarak eğitim ve veri artırma için kullanılır.
CUDA Araç Seti	NVIDIA	11.3	GPU hızlandırma çerçevesi, model eğitimi ve çıkarımı hızlandırmak için kullanılır.
LibROSA	Açık Kaynak	0.9	Yeniden örnekleme, segmentasyon, MFCC çıkarımı ve spektral özellik hesaplaması için kullanılan ses analiz kütüphanesi.
Linux İşletim Sistemi	Kanonik	Ubuntu 20.04 LTS	Tüm deneyler ve model eğitimi için kullanılan işletim sistemi.
Matplotlib	Açık Kaynak	3.5	Veri seti dağılımlarını ve değerlendirme sonuçlarını çizmek için kullanılan görselleştirme kütüphanesi.
NumPy	Açık Kaynak	1.21	Dizi işleme ve sinyal işleme işlemleri için kullanılan sayısal hesaplama kütüphanesi.
NVIDIA GPU	NVIDIA	Tesla / RTX sınıfı	Derin ve üretken modelleri eğitmek için kullanılan grafik işlem birimi.
Python Programlama Dili	Python Yazılım Vakfı	3.8	Veri ön işleme, özellik çıkarma, model geliştirme ve değerlendirme için kullanılan temel programlama ortamı.
PyTorch	Meta (Facebook AI Araştırması)	1.12	GAN, VAE, DCNN ve dikkat temelli DCNN modellerini uygulamak için kullanılan derin öğrenme çerçevesi.
Scikit-learn	Açık Kaynak	1	Veri bölme, sınıf ağırlıklandırma ve performans metrik hesaplaması için kullanılan makine öğrenimi kütüphanesi.
SciPy	Açık Kaynak	1.7	Ses ön işleme ve sinyal dönüşümleri için kullanılan bilimsel hesaplama kütüphanesi.
Virufy Dataset	Virufy	Kamuya açık yayın (2021)	Klinik olarak RT-PCR&ndash ile toplanmış öksürük kayıtları; doğrulanmış COVID-19 etiketleri; yalnızca dış doğrulama ve çapraz veri seti değerlendirmesi için kullanılır.