Generatywne ramy oparte na AI do przesiewowego testowania COVID-19 na podstawie sygnałów audio kaszlu

Podsumowanie

Niniejsze badanie proponuje generatywne ramy oparte na AI, które integrują GAN, VAE oraz głębokie sieci konwolucyjne oparte na uwadze, aby wykrywać COVID-19 na podstawie sygnałów dźwiękowych kaszlu, poprawiając odporność, równowagę danych oraz uogólnianie między zbiorami danych dla skalowalnego, nieinwazyjnego przesiewania.

Streszczenie

Analiza dźwięku kaszlu stanowi praktyczną ścieżkę do opracowania zautomatyzowanych narzędzi wspierających badania przesiewowe w kierunku COVID-19. Pomimo rosnącego zainteresowania, wiele istniejących podejść pozostaje wrażliwych na szum, nierównowagę klas i zmienność zbiorów danych, co ogranicza ich powtarzalność. Praca ta przedstawia uporządkowaną, generatywną metodologię wykrywania COVID-19 opartą na generatywnej sztucznej inteligencii, wykorzystującą nagrania dźwiękowe kaszlu. Eksperymenty prowadzone są na dwóch publicznie dostępnych zbiorach danych, COUGHVID i Virufy, które oba zawierają oznakowane próbki kaszlu. Proponowany protokół składa się z sekwencyjnych etapów wstępnego przetwarzania, w tym segmentacji kaszlu, usuwania dźwięków oraz normalizacji sygnału. Charakterystyki akustyczne są następnie rejestrowane za pomocą współczynników cepstralnych o częstotliwości Mel, deskryptorów chrominanin oraz cech kontrastu widmowego. Aby poprawić uczenie się reprezentacji i złagodzić nierównowagę danych, stosuje się hybrydowy framework generatywny integrujący Autoenkodery Wariacyjne i Generatywne Sieci Przeciwstawne do syntezy próbek na poziomie cech. Następnie klasyfikacja jest przeprowadzana za pomocą głębokich sieci neuronowych splotowych oraz modeli DCNN opartych na uwadze. Ocena wydajności wskazuje, że włączenie augmentacji generatywnej konsekwentnie poprawia się względem wartości wyjściowych niegeneratywnych, osiągając maksymalną dokładność klasyfikacji na poziomie 97,2% oraz AUROC na poziomie 0,953 w ocenianych zbiorach danych. Wyniki te pokazują skuteczność modelowania generatywnego w poprawie wykrywania COVID-19 opartego na kaszlu oraz tworzą powtarzalny tok analityczny dla przyszłych badań nad akustycznym monitorowaniem zdrowia.

Wprowadzenie

Akustyka oddechowa jest coraz częściej badana jako nieinwazyjne źródło informacji do oceny zdrowia, szczególnie w kontekście chorób zakaźnych i płucnych. Postępy w przetwarzaniu sygnałów i sztucznej inteligencji (AI) umożliwiły automatyczną analizę kaszlu i odgłosów oddechowych, wspierając ich wykorzystanie jako cyfrowych biomarkerów. Najnowsze badania pokazują, że dźwięki oddechowe rejestrowane za pomocą mikrofonów wbudowanych w smartfony, urządzenia noszone lub sensory kliniczne mogą być skutecznie analizowane za pomocą modeli głębokiego uczenia do wykrywania zakażenia COVID-19 ^1,5. Te osiągnięcia podkreślają potencjał przesiewów opartych na dźwięku jako szybkiego, bezkontaktowego i skalowalnego uzupełnienia konwencjonalnych procedur diagnostycznych. Choroba koronawirusowa 2019 (COVID-19), wywołana przez wirusa SARS-CoV-2, dotyczy głównie układu oddechowego i wywołuje mierzalne zmiany w dynamice przepływu powietrza, funkcji płuc oraz zachowaniu dróg głosowych. Chociaż testy reakcji łańcuchowej odwrotnej transkrypcji i polimerazy (RT-PCR) pozostają standardem referencyjnym do diagnozy, ograniczenia logistyczne i opóźniony czas realizacji ograniczają przydatność do badań przesiewowych na dużą skalę lub ciągłych, co motywuje do poszukiwania alternatywnych metod opartych na analizie dźwięku oddechowego.

Coraz więcej literatury bada wykrywanie COVID-19 za pomocą sztucznej inteligencji za pomocą kaszlu, oddechu i sygnałów mowy. Jak podsumowano w Tabeli 1, wcześniejsze badania obejmowały różnorodne zbiory danych, reprezentacje cech akustycznych (np. MFCC, STFT, cechy oparte na spektrogramach) oraz paradygmaty uczenia sięgającego od klasycznych modeli uczenia maszynowego po głębokie architektury konwolucyjne, rekurencyjne, oparte na uwadze i transformatory 8,9,10,11,12,13,14,15 ^,16,17,18,19,20,21,22,23,24,25,26,27˒43,44,45. Kilka prac wykazało obiecujące wyniki przesiewowe, wykorzystując crowdsourcingowe i klinicznie zbierane dźwięki oddechowe. Dla kontrastu, inni podkreślali znaczenie uczenia transferowego, uzupełniania danych oraz wyjaśnialnej sztucznej inteligencji dla poprawy odporności i wiarygodności. Zamiast powtarzać szczegółową analizę poszczególnych badań, Tabela 1 przedstawia skonsolidowany przegląd porównawczy tych reprezentatywnych podejść, umożliwiając bezpośrednie porównanie zbiorów danych, metodologii i raportowanych wyników.

Pomimo tych postępów, kilka ograniczeń utrudnia odporność i praktyczną zastosowanie istniejących podejść. Zbiory danych audio oddechowego są często zbierane w heterogenicznych warunkach rejestracji, co prowadzi do znacznej zmienności między urządzeniami, środowiskiem akustycznym i populacjami badanych ^2,3,4. Wiele publicznie dostępnych zbiorów danych opiera się na samoraportowanym statusie COVID-19, co wprowadza niepewność co do wiarygodności etykiet⁷. Ponadto wyraźna nierównowaga klasowa oraz ograniczona dostępność klinicznie zweryfikowanych próbek ograniczają zdolność uogólniania modeli dyskryminacyjnych trenowanych wyłącznie na obserwowanych danych ^4,5. W konsekwencji wydajność modelu raportowana w kontrolowanych warunkach eksperymentalnych nie przekłada się konsekwentnie na niezawodne wdrożenie w różnych rzeczywistych scenariuszach.

Razem te ograniczenia podkreślają istotną lukę badawczą: brak jednolitego ram, które jednocześnie zajmowałyby się niedoborem danych, nierównowagą klasową oraz solidną generalizacją pomiędzy heterogenicznymi zbiorami danych. Chociaż modele generatywne, takie jak generatywne sieci adwersaryczne (GAN) i wariacyjne autoenkodery (VAE), były badane w celu nauki utajonych reprezentacji i syntezy realistycznych sygnałów biomedycznych ^6,7, istniejące badania zazwyczaj wykorzystują te modele niezależnie i oceniają je w ramach jednego zbioru danych. Co więcej, ich integracja z architekturami konwolucyjnymi zwiększanymi uwagą i ocena w warunkach międzyzbiorowych danych pozostają niewystarczająco zbadane.

Aby wypełnić tę lukę, niniejsze badanie proponuje generatywne ramy wspomagane AI do wykrywania COVID-19 na podstawie dźwięków kaszlu, które integrują ekstrakcję cech akustycznych z hybrydowym modelem GAN–VAE oraz głębokimi sieciami neuronowymi opartymi na koncentracji uwagi (DCNN). Komponent generatywny łagodzi nierównowagę klasową i ograniczoną dostępność prób poprzez ustrukturyzowane uczenie się reprezentacji utajonej oraz syntetyczne generowanie danych, podczas gdy modele dyskryminacyjne zwiększają odporność klasyfikacji na różnych zbiorach danych. W przeciwieństwie do wcześniejszych prac, które opierały się głównie na walidacji wewnątrzzbioru danych, proponowany framework jest oceniany za pomocą testów międzyzbiorowych na niezależnym zbiorze danych, co umożliwia bardziej rygorystyczną ocenę wydajności uogólnienia. Ramy te mają być podejściem zorientowanym na przesiewanie, a nie samodzielnym narzędziem diagnostycznym, a jego projekt wyraźnie uwzględnia rejestrowanie zmienności i niepewności etykiet, aby wspierać powtarzalne i niezawodne wdrożenie.

W tym kontekście nowatorskie osiągnięcia niniejszego badania są trzystronne. Po pierwsze, zintegrowany hybrydowy framework generatywny GAN–VAE jest zintegrowany z klasyfikatorami DCNN opartymi na uwagi, aby wspólnie rozwiązać nierównowagę klasową, ograniczoną dostępność danych oraz solidne uczenie się reprezentacji cech w przesiewowym testach COVID-19 opartych na kaszlu. Po drugie, proponowane podejście jest systematycznie oceniane za pomocą walidacji między zbiorami danych, co zapewnia bardziej realistyczną ocenę uogólnienia modelu w porównaniu z konwencjonalnym testowaniem wewnątrzzbioru danych. Po trzecie, badanie przedstawia szczegółową analizę wpływu augmentacji generatywnej w warunkach heterogenicznego rejestrowania, co pozycjonuje ramy jako powtarzalny dowód koncepcji dla skalowalnego, praktycznego badania przesiewowego COVID-19.

Autor(i) i rok	Zestaw danych	Techniki / Stosowane cechy	Model / Klasyfikator	Dokładność / Metryki	Ograniczenia / Uwagi
Imran i in., 20208	Crowdsourcingowy zbiór danych o kaszlu (AI4COVID-19)	MFCC, transfer learning, funkcje świadome dziedziny	Ryzyko-awersyjny multi-klasyfikator (DL + zespół ML)	Celność: 92,6%	Zależy od jakości kaszlu; Ograniczona walidacja kliniczna
Brown i in., 20209	Dźwięki oddechowe zebrane przez tłum (>7 000 użytkowników)	Ręcznie tworzone funkcje audio, osadzenia w stylu VGG	Płytkie modele ML	AUC > 80%	Szum wytwórni w danych crowdsourcingowych
Laguarta i in., 202010	Zbiór danych MIT Open Voice (5 320 uczestników)	MFCC, akustyczne biomarkery	CNN (ResNet50, transfer learning)	Czułość: 98,5%, Specyficzność: 94,2%	Wymaga dużego zbioru danych przed trenowaniem
Quartieri i in., 202011	Rozmowy mówcze (5 osób, przed/po COVID)	Intensywność oddechowa, F0, CPP, formanty	Analiza statystycznej wielkości efektu	osiągnij AUC powyżej 80% we wszystkich zadaniach	Bardzo mała próbka
Hassan i in., 202012	Dźwięki oddechowe	Cechy mowy temporalnej	RNN	Kaszel: 97%, oddech: 98,2%, głos: 88,2%	Brak szczegółowych statystyk zbioru danych
Khamparia i in., 201913	ESC-10, ESC-50	Cechy oparte na obrazach spektrogramów	CNN, TDSN	CNN: 77% (ESC-10), 49% (ESC-50); TDSN: 56% (ESC-10)	Tylko dźwięki środowiskowe; Niższa wydajność na złożonych zbiorach danych
Aykanat i in., 2017,14	17 930 dźwięków płucnych od 1 630 osób (stetoskop elektroniczny)	Cechy MFCC, obrazy spektrogramowe	SVM, CNN	CNN/SVM: 86% (zdrowe vs patologiczne), 76%/75% (rale–rhonchus – normalne), 80%/80% (pojedynczy typ), 62%/62% (wszystkie typy)	Wymaga specjalistycznego sprzętu; Nie specyficzna dla choroby
Ponomarchuk i in., 202215	Coswara, Virufy	MFCC, spektrogram mela, cechy falkowe	CNN, RNN, modele zespołowe	AUC: 0,93 (wewnętrzne), 0,79 (zewnętrzne)	Uogólnienie między zbiorami danych pozostaje wyzwaniem
Feng i in., 202116	Coswara, Virufy	STFT, MFCC	SVM (RBF), CNN	Dokładność 81,25% (AUC 0,79)	Wydajność zależna od zbioru danych
Islam i in., 202217	Kliniczne zapisy kaszlu	Cechy spektralne i czasowo-częstotliwościowe	Głębokie sieci neuronowe	Dokładność: 89,2%	Ograniczony zbiór danych
Manshouri,2022 18	Virufy	Cechy analizy spektralnej	Klasyczne klasyfikatory ML	Celność: 95,86%	Badania eksperymentalne na małą skalę
Huang i in., 202019	Dźwięki płucne od 10 pacjentów z COVID-19	Analiza dźwięków oddechowych w czasie i częstotliwości	Analiza ekspertów klinicznych	Walidacja jakościowa	Mały zbiór danych; brak modelu ML
W. D. Puja i in., 202420	Coswara, Virufy (zestawy danych dźwięków kaszlu)	STFT, spektrogram Mela, MFCC, energia RMS, szerokość pasma widmowego, centroid spektralny, roll-off spektralny, ZCR; Głęboka ekstrakcja cech oparta na CNN	1D CNN (ekstraktor cech) + Losowy Las	Dokładność: 93%	Wydajność zależy od jakości kaszlu; zaprojektowany do badań przesiewowych, a nie diagnostycznych klinicznych; Zmienność danych opartych na crowdsourcingu
Chadaga i in., 202321	Nagrania kaszlu tworzone przez tłum	Spektrogram Mel i cechy akustyczne czasowo-częstotliwościowe	Konwolucyjne Sieci Neuronowe (CNN)	Celność: 84%, Precyzja: 85%, Przywołanie: 84%, Wynik F1: 84%	Wydajność jest ograniczona przez nierównowagę danych, samoraportowane etykiety, wrażliwość na warunki nagrywania
Chadaga i in., 202322	Łagodne do umiarkowane markery COVID-19 i innych chorób układu oddechowego	Wybór filmów fabularnych (Pearson, PSO); Kluczowe wskaźniki: eozynofil, albumina, T. bilirubina, ALP, ALT, AST, HbA1c, TWBC	Stacked ensemble; 1D CNN, LSTM, DNN, Pozostałe MLP	Celność: 89%	Z wyłączeniem ciężkich przypadków; alternatywa dla RT-PCR; Wyjaśnialna AI zastosowana
Dar i in. 202423	Zbiór danych o COVID-19	Optymalizacja SJHBO (Jaya+HBO+SO), wiele cech widmowych	Sieć Deep Q (DQN)	Dokładność: 95,11%, Czułość: 95,06%, Sworytość: 94,69%	Wysoka złożoność; Strojenie jest ulepszane za pomocą optymalizatora hybrydowego
Jing Quian i in. 202024	Nagrania mowy pacjentów z COVID-19	Zestawy akustyczne; Analiza nasilenia choroby, jakości snu, zmęczenia, lęku	Maszyny wektorowe wsparcia (SVM)	0,69 (ciężkość choroby)	Ograniczone do funkcji audio; umiarkowana celność; rozmiar zbioru danych nie określony; Uwzględniono tylko cztery aspekty zdrowotne
Sharma, J. i in. 202025	UrbanSound8K, ESC-10, ESC-50	Kanały wielofunkcyjne: MFCC, GFCC, CQT, Chromagram; Mieszanie danych	Głębokie CNN z przestrzennie separowalnymi splotami i modułami uwagi	UrbanSound8K: 97,52%, ESC-10: 94,75%, ESC-50: 87,45%	Nie testowane na zbiorach danych niebędących benchmarkiem lub rzeczywistymi; złożoność obliczeniowa wynikająca z głębszych modułów CNN i uwagi
Lella KK i in. 2021,26	Dźwięki oddechowe; COVID-19, astma, zdrowie)	Augmentacja danych; głębokie funkcje wykorzystujące Data De-noising Auto Encoder (DDAE) zamiast MFCC	1D konwolucyjne sieci neuronowe (1D CNN)	~90%	Ograniczone szczegóły zbioru danych; ~4% poprawa w porównaniu do MFCC; Uogólnialność nie została przetestowana
Orlandic i in., 202127	COUGHVID (25k+ kaszlu)	MFCC, PSD, cechy spektralne i czasowe	XGBoost	AUC 96,5%, Dokładność 95,5%	Samodzielnie zgłaszany COVID; Eksperckie etykiety na podzbiorze
Zhang i in., 202343	Opublikowane opisy przypadków HLH po szczepieniu przeciw COVID-19 (bazy literatury)	przegląd systematyczny; agregację cech klinicznych; Analiza dokowania molekularnego	Nie ma zastosowania (przegląd kliniczny)	Statystyka opisowa; Wyniki kliniczne	Analiza rzadkich zdarzeń; mała próba; Poleganie na zgłaszanych przypadkach może wprowadzać błąd raportowy
Xu i in., 202344	Zgłaszane przypadki choroby VKH związanej ze szczepionką w literaturze	Retrospektywna ocena sprawy; Analiza cech klinicznych i obrazowych	Nie ma zastosowania (badanie obserwacyjne kliniczne)	Odpowiedź na leczenie i kliniczne wyniki powrotu do zdrowia	Ograniczona liczba przypadków; brak grupy kontrolnej; Związek przyczynowy nie może być jednoznacznie ustalony
Hu i in., 202545	Dane na poziomie firm-spółka-spółka spółek spółki spółki z wyrobami medycznymi SRDI w Chinach (baza danych Qixinbao)	analiza sieci społecznych; metryki sieci przestrzennej; Analiza detektorów geograficznych	Nie ma zastosowania (analiza sieci i polityk)	Gęstość sieci, centralność, indeksy dyfuzji	Projektowanie przekrojowe; równe wagi firm; brak bezpośrednich wskaźników wydajności czy wyników klinicznych

Tabela 1: Podsumowanie istniejących badań wykrywania COVID-19 opartych na dźwięku. Porównawczy przegląd wcześniejszych podejść do kaszlowych/przesiewowych testów audio, w tym zbiory danych, metody i raportowane wyniki. Prosimy kliknąć tutaj, aby pobrać tę tabelę.

Protokół

Proponowana metodologia

Niniejsze badanie proponuje generatywne ramy oparte na sztucznej inteligencji do wykrywania COVID-19 na podstawie sygnałów kaszlu. Ramy integrują modele generatywne z klasyfikatorami dyskryminacyjnymi, przy czym dane treningowe i ewaluacyjne są ściśle oddzielone. Rysunek 1 ilustruje szczegółową architekturę proponowanego ramowego systemu GAN–VAE–ADCNN, ukazując przepływ od wstępnego przetwarzania audio i ekstrakcji cech, przez uczenie reprezentacji utajonych za pomocą Autoenkodera Wariacyjnego (VAE), syntetyczne generowanie cech za pomocą Generatywnej Sieci Adwersarialnej (GAN) oraz ostateczną klasyfikację za pomocą Deep Convolucional Neural Networks (DCNN) i Attention-based DCNN (ADCNN). Rysunek pokazuje, że komponenty generatywne są używane tylko podczas treningu, podczas gdy klasyfikacja przeprowadza się za pomocą modeli dyskryminacyjnych.

Rysunek 1: Przegląd architektury GAN–VAE–ADCNN. Schemat proponowanego hybrydowego pipeline'u, w którym cechy akustyczne pochodzące z kaszlu są kodowane za pomocą VAE, wzbogacone przez generowanie próbek syntetycznych opartych na GAN i klasyfikowane za pomocą modeli DCNN (DCNN opartych na uwadze) (ADCNN). Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Architektura modelu i implementacja

Modele generatywne i dyskryminacyjne stosowane w tym systemie zostały zaimplementowane za pomocą stałych i powtarzalnych architektur. GAN składa się z generatora z trzema w pełni połączonymi warstwami (128, 256 i 512 jednostek) wykorzystujących aktywację ReLU oraz dyskryminatora z trzema w pełni połączonymi warstwami (512, 256 i 128 jednostek) wykorzystującym aktywację LeakyReLU, po czym następuje wyjście sigmoidalne.

Koder VAE składa się z dwóch w pełni połączonych warstw o liczbie 256 i 128 jednostek, po których następuje średnia utajona i wariancja estymacja o wymiarowości utajonej 64. Dekoder odzwierciedla tę strukturę i jest trenowany przy użyciu kombinacji strat rekonstrukcyjnych oraz dywergencji Kullbacka–Leiblera, aby nauczyć się ustrukturyzowanej i probabilistycznej przestrzeni utajonej.

Klasyfikator DCNN zawiera cztery bloki splotowe z jądrami 3x3 oraz odpowiednio 32, 64, 128 i 256 filtrów. Po każdym bloku następuje normalizacja wsadowa, aktywacja ReLU oraz pula 2x2 maksymalna. ADCNN rozszerza DCNN, wprowadzając mechanizm uwagi kanałowej po ostatnim bloku splotowym. Wszystkie modele były optymalizowane za pomocą optymalizatora Adama z częstotliwością uczenia 0,0001 i wielkością partii 32. Jak pokazano na Rysunku 1, VAE i GAN działają wyłącznie podczas szkolenia, natomiast DCNN i ADCNN są używane do klasyfikacji. Pełna procedura treningu i oceny została podsumowana w Algorytmie 1.

Algorytm 1: Oparty na GAN–VAE ramy wykrywania COVID-19

Input: Wstępnie przetworzone nagrania audio kaszlu

Efekt: Binarna etykieta klasyfikacji (COVID-19 pozytywny/negatywny)

Procedury szkoleniowe i ewaluacyjne przebiegały według stałego, powtarzalnego procesu. Wszystkie nagrania kaszlu były ponownie próbkowane do 16 kHz, poddawane redukcji szumów i normalizowano amplitudę. Nagrania zostały podzielone na segmenty o stałej długości, z których wyodrębniano cechy MFCC, chrominanin i spektralne. Z każdego segmentu audio wyodrębniono łącznie 40 współczynników cepstralnych o częstotliwości mel (MFCC). Dodatkowo obliczono 12 cech chrominancyjnych. Uzyskana reprezentacja tworzy 52-wymiarowy wektor cech dla każdego segmentu kaszlu. Przeprowadzono podział na poziomie podmiotu, aby podzielić dane na zestawy treningowe, walidacyjne i testowe. VAE był trenowany do nauki probabilistycznych reprezentacji utajonych, a powstałe wektory utajone zostały wykorzystane do trenowania GAN do generowania syntetycznych cech. Zbiór danych treningowych został rozszerzony o próbki generowane przez GAN–VAE, natomiast dane syntetyczne zostały wykluczone z walidacji i testów. Klasyfikatory DCNN i ADCNN były trenowane na rozszerzonych danych treningowych, a ostateczna ocena przeprowadzono na zestawie testowym przeprowadzonym według standardowych metryk wydajności.

Trening setup, podział danych i zapobieganie wyciekom

Wszystkie eksperymenty prowadzono w ustalonym, powtarzalnym układzie treningowym. Rozdzielanie danych wykonywano na poziomie podmiotu przed segmentacją audio, aby zapobiec wyciekom danych. Zbiór danych podzielono na zestawy treningowe, walidacyjne i testowe w stosunku 80:10:10, co zapewnia, że wszystkie segmenty z tego samego nagrania zostały przypisane do jednego podzbioru. Zestaw treningowy służył do uczenia się modeli i rozszerzania danych generatywnych, zestaw walidacyjny do strojenia hiperparametrów i wczesnego zatrzymywania parametrów, a zestaw testowy był przechowywany do ostatecznej oceny wydajności. Próbki syntetyczne generowane przez ramy GAN–VAE były wykorzystywane wyłącznie podczas treningu i zostały ściśle wyłączone z walidacji oraz testów, aby zapewnić uczciwą ocenę.

Modele były trenowane maksymalnie przez 100 epok, z wczesnym zatrzymaniem na podstawie utraty walidacyjnej i cierpliwości 10 epok. Optymalizacja była przeprowadzona za pomocą optymalizatora Adama z częstotliwością uczenia 0,0001 i wielkością partii 32. Do klasyfikacji zastosowano straty entropii krzyżowej binarnej, natomiast do trenowania komponentów VAE i GAN stosowano straty rekonstrukcyjne i przeciwstawne. Ten jednolity protokół szkolenia i oceny zapewnia powtarzalność, zapobiega wyciekom danych oraz utrzymuje ścisłe rozdzielenie etapów szkolenia i ewaluacji.

Opis zbioru danych

Dwa publicznie dostępne zestawy danych audio o kaszlu — COUGHVID i Virufy — zostały użyte do zrównoważenia dużej różnorodności akustycznej z klinicznie referencjonowanymi etykietami, z wyraźnie oddzielonymi rolami w szkoleniu i ocenie.

COUGHVID to zbiory nagrań kaszlu oparte na społecznościach z częściowymi adnotacjami eksperckimi oraz metadanymi zgłaszanymi przez użytkowników. Aby zapewnić jakość danych, wybrano 428 nagrań po zastosowaniu wcześniej określonych kryteriów kontroli jakości, w tym minimalnego czasu trwania sygnału, odpowiedniego stosunku sygnału do szumu, usunięcia uszkodzonych lub niejednoznacznych próbek oraz obecności identyfikowalnych zdarzeń kaszlu z metadanymi objawowymi. Po wstępnym przetworzeniu i segmentacji nagrania te dały 1 719 segmentów kaszlowych, standaryzowanych do formatu WAV z częstotliwością próbkowania 16 kHz. COUGHVID był używany do trenowania zarówno modeli generatywnych, jak i klasyfikatorów dyskryminacyjnych.

Virufy polega na nagraniach kaszlu nadzorowanych przez lekarza, oznaczonych jako RT-PCR pozytywny lub ujemny na COVID-19. Wszystkie dostępne nagrania zostały uwzględnione, co dało 234 segmenty kaszlu po segmentacji, również standaryzowane do 16 kHz. Virufy był używany wyłącznie do zewnętrznej oceny między zbiorami danych w celu oceny wydajności uogólnień i nie był stosowany do treningu, dopracowywania ani generatywnego uzupełniania.

Proponowane ramy powinny być zatem interpretowane jako podejście przesiewowe proof-of-concept oceniane w kontrolowanych warunkach eksperymentalnych, a nie jako klinicznie zwalidowany system diagnostyczny.

Wstępne przetwarzanie i segmentacja danych

Wszystkie nagrania były ponownie próbkowane do 16 kHz, konwertowane na mono i poddawane usuwaniu ciszy, redukcji szumów spektralnych oraz normalizacji amplitudy. Segmentacja została przeprowadzona po podziale na poziomie podmiotu, aby zapobiec wyciekom danych. Każde nagranie dzielono na nakładające się segmenty 2–4 s, a segmenty o niskiej energii lub ciche były odrzucane.

Zewnętrzny protokół walidacji

Zewnętrzna walidacja przeprowadzono poprzez ewaluację między zbiorami danych. Modele wytrenowane na COUGHVID zostały ocenione na Virufy w celu uzyskania zewnętrznej weryfikacji. Protokół ten ocenia uogólnienie między zbiorami danych zebranymi w różnych warunkach, a nie prospektywną walidację kliniczną. Rysunek 2 przedstawia przegląd tego przepływu na poziomie protokołu, ilustrując wykorzystanie zbioru danych, wstępne przetwarzanie, ekstrakcję cech, trenowanie klasyfikatorów oraz scenariusze ewaluacji. Podczas gdy Rysunek 1 koncentruje się na wewnętrznej architekturze modelu, Rysunek 2 kładzie nacisk na projektowanie eksperymentów i przepływ danych na etapach treningu i testowania.

Rysunek 2: Przepływ pracy proponowanych ram przesiewowych na kaszel COVID-19. Ilustracja całego procesu przetwarzania, w tym wstępnego przetwarzania, ekstrakcjonowania cech (MFCC, chroma, cechy spektralne), uczenia i uzupełniania reprezentacji opartej na GAN–VAE (tylko trening) oraz ostatecznej klasyfikacji w ramach podziału na poziomie obiektu i oceny między zbiorami danych. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Wyniki

Składanie zbioru danych i analiza rozkładu klas

Po wstępnym przetworzeniu i segmentacji, zbiory danych COUGHVID i Virufy wykazały znaczące różnice zarówno w skali zbioru, jak i gęstości segmentów. COUGHVID dołączył do 428 z 444 nagrań (96,4%) oraz 1 719 z 1 953 wyodrębnionych segmentów kaszlu (88,0%), potwierdzając swoją rolę jako podstawowego zbioru danych do trenowania modeli i generatywnej augmentacji (Rysunek 3). Dla porównania, Virufy dostarc...

Dyskusja

Wyniki pokazują, że proponowane ramy oparte na generatywnej AI mogą wykrywać COVID-19 na podstawie sygnałów kaszlu w różnych zbiorach danych. Jak pokazano w Tabeli 4 i Tabeli 6, model hybrydowy GAN–VAE osiągnął najlepsze osiągi, z dokładnością 97,2% i AUROC 0,953, a także wysoką precyzją, przypomnieniami, wynikiem F1 i specyficznością, co wskazuje na zrównoważone wyniki klasyfikacji.

Wydajność poprawiała się konsekwentnie, gdy modele generatywne łączyły się z ...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Zbiór danych COUGHVID	É cole Polytechnique Fé dé rale de Lausanne (EPFL)	Publiczna premiera (2021)	Crowdsourcowany zbiór audio o kaszlu z metadanymi zgłaszanymi przez siebie i częściowymi adnotacjami lekarza; Wykorzystywane głównie do treningu i uzupełniania danych.
Zestaw narzędzi CUDA	NVIDIA	11.3	Framework akceleracji GPU używany do przyspieszenia trenowania modeli i wnioskowania.
LibROSA	Open Source	0.9	Biblioteka analizy dźwięku wykorzystywana do ponownego próbkowania, segmentacji, ekstrakcji MFCC oraz obliczeń cech widmowych.
System operacyjny Linux	Kanoniczne	Ubuntu 20.04 LTS	System operacyjny używany do wszystkich eksperymentów i trenowania modeli.
Matplotlib	Open Source	3.5	Biblioteka wizualizacji używana do wykresów rozkładów zbiorów danych i wyników ewaluacji.
NumPy	Open Source	1.21	Biblioteka obliczeń numerycznych używana do manipulacji tablicami i operacji przetwarzania sygnałów.
Karta graficzna NVIDIA	NVIDIA	Klasa Tesla / RTX	Jednostka przetwarzania grafiki używana do trenowania modeli głębokich i generatywnych.
Język programowania Python	Python Software Foundation	3.8	Podstawowe środowisko programistyczne wykorzystywane do wstępnego przetwarzania danych, ekstrakcji cech, tworzenia modeli i oceny.
PyTorch	Meta (Facebook AI Research)	1.12	Ramy głębokiego uczenia używane do implementacji modeli DCNN opartych na GAN, VAE, DCNN oraz uwagi.
Scikit-learn	Open Source	1	Biblioteka uczenia maszynowego wykorzystywana do dzielenia danych, ważenia klas oraz obliczania metryk wydajności.
SciPy	Open Source	1.7	Biblioteka obliczeń naukowych wykorzystywana do wstępnego przetwarzania dźwięku i transformacji sygnałów.
Virufy Dataset	Virufy	Publiczna premiera (2021)	Klinicznie zebrane nagrania kaszlu z użyciem RT-PCR– zweryfikowane etykiety COVID-19; wykorzystywane wyłącznie do walidacji zewnętrznej oraz oceny między zbiorami danych.