Obliczeniowo wydajne hybrydowe podejście do przewidywania arytmii za pomocą elektrokardiogramu

Podsumowanie

Model w tym badaniu został opracowany tak, aby klasyfikować wczesne arytmie w zbiorach danych elektrokardiogramu (EKG) z kilku baz danych na pięć głównych typów bicia serca. W porównaniu z innymi modelami, ten model osiąga lepsze wyniki pod względem dokładności, czułości, precyzji i przywołania.

Streszczenie

Choroby sercowo-naczyniowe, zwłaszcza arytmie, są główną przyczyną zgonów na całym świecie. To podkreśla potrzebę zautomatyzowanych systemów, które potrafią wcześnie wykrywać i diagnozować te schorzenia. Badania te wprowadzają model głębokiego uczenia, który identyfikuje arytmie za pomocą sygnałów elektrokardiogramu (EKG). Model koncentruje się na pięciu głównych typach uderzeń serca: normalnym (N), bloku gałąź lewego pęczka (L), bloku odgałęzienia prawego pęczka (R), przedsionkowym przedsionkowym przedsionku (A) oraz przedwczesnym skurczeniu komory (V). System wykorzystuje sygnały Lead I z kilku baz danych, w tym MIT-BIH Arrhythmia, Supraventricular, INCART 12-lead oraz Sudden Cardiac Death Holter. Zapewnia to ponad 3,9 miliona segmentów szkoleniowych oraz 112 575 segmentów testowych.

Dane są wstępnie przetwarzane przez podział na stałe okna po 180 próbek, skalowanie za pomocą normalizacji Min-Max oraz balansowanie klas za pomocą Synthetic Minority Over-sampling Technique. Model łączy jednowymiarowe konwolucyjne sieci neuronowe do wyodrębniania cech przestrzennych oraz warstwy transformatorów do uchwycenia wzorców opartych na czasie. Wykorzystuje optymalizację Adama i zawiera dropout oraz normalizację wsadową w celu poprawy wydajności. System osiąga 99,99% dokładności, precyzji i wyniku F1 we wszystkich klasach, co jest lepsze niż model TN4 i inne najlepiej działające modele. Wykorzystanie splotowych sieci neuronowych oraz głębokich architektur hybrydowych zwiększa odporność funkcji. Model ten wykazuje duży potencjał skalowalnego i w czasie rzeczywistym wykrywania arytmii oraz przyczynia się do rozwoju cyfrowej opieki zdrowotnej opartej na AI, spersonalizowanej jakości zdrowia.

Wprowadzenie

Choroby sercowo-naczyniowe są najważniejszą przyczyną problemów zdrowotnych ludzi, z ponad 17 milionami zgonów rocznie. Prawie trzy czwarte wszystkich przypadków chorób sercowo-naczyniowych (CVD) żyje w krajach o niskich dochodach na świecie, według Światowej Federacji Serca. Elektrokardiogram (EKG) rejestruje aktywność elektryczną wywołaną przez depolaryzację serca. Sygnały elektryczne rozchodzą się na skórę. Sygnały EKG przekazują co najmniej dwie istotne informacje. Jednym z nich jest biomedycyna związana ze zdrowiem. Drugim są dane związane z osobą lub biometrią. Ze względu na swoją prostotę rozważano różne metody klasyfikacji sygnałów EKG, w tym domowe metody i metody uczenia maszynowego. Metoda manualna jest czasochłonna i nieefektywna. Wymaga sygnałów w czasie rzeczywistym, takich jak EKG, oraz znacznej infrastruktury komputerowej. Podejścia oparte na uczeniu maszynowym prawdopodobnie dają niższą dokładność nawiasową niż metoda manualna, ale potrzebny jest odpowiedni algorytm, aby zmniejszyć ryzyko niewykrytej arytmii¹.

Najczęstszą chorobą sercowo-naczyniową jest arytmia, czyli schorzenie, w którym wzorzec bicia serca jest nieprawidłowy. Te nieprawidłowe wzorce muszą być klasyfikowane, ponieważ tego typu informacje mogą wpływać na leczenie. EKG jest szeroko stosowane do wykrywania nieprawidłowych wzorców serca i przewidywania chorób serca, umożliwiając wczesne wykrycie. Diagnoza arytmii w dużej mierze opiera się na EKG, ważnym urządzeniu medycznym używanym do rejestrowania pobudliwości serca, przesyłania sygnałów oraz monitorowania rekonwalescencji. EKG jest niezbędne i niezawodne we współczesnej medycynie. Automatyzacja interpretacji sygnału EKG znacznie poprawia praktykę kliniczną i zwiększa bezpieczeństwo pacjentów. Arytmie to nieprawidłowe rytmy i wzorce serca. Sztuczna inteligencja, szczególnie uczenie maszynowe, jest doskonałym narzędziem do przewidywania chorób i analizy opinii, zwłaszcza w przypadku chorób sercowo-naczyniowych².

Różne dane medyczne, takie jak dokumentacja pacjentów, są zazwyczaj wykorzystywane w szpitalach do celów klinicznych. Dane medyczne mogą być również generowane w odpowiednim czasie, aby wspierać optymalizację algorytmów uczenia maszynowego. Maszyna jest trenowana na zbiorze danych, który ostatecznie się z niego uczy. Po wytrenowaniu może zidentyfikować i sklasyfikować, czy przypadek jest zdrowy, czy na podstawie różnych cech ich dokumentacji ^3,4. Maszyny potrafią także wykrywać wzorce w danych danych, które mogą być trudne do zauważenia przez ludzi z powodu braku czasu lub ograniczonych zasobów. Do klasyfikacji sygnałów EKG zastosowano kilka metod, w tym K-najbliższych sąsiadów (KNN), maszyny wektorów wspierających (SVM), sieci neuronowe (NN), drzewa decyzyjne, liniową analizę dyskryminacyjną (LDA) oraz klasyfikatory bayesowskie. SVM jest uważane za jeden z najskuteczniejszych algorytmów uczenia nadzorowanego do klasyfikacji sygnałów EKG w celu wykrywania arytmii ^5,6.

Dobrze działający model nawiasów z wykorzystaniem NN i wielowarstwowego perceptronu (MLP) jest lepszy niż inne konwencjonalne metody. Algorytmy głębokiego uczenia, takie jak sztuczne sieci neuronowe (ANN), zostały z powodzeniem wykorzystane w zadaniach takich jak wyszukiwanie informacji, rozpoznawanie obrazów, wykrywanie obiektów oraz przetwarzanie języka. CNN były szeroko wykorzystywane w badaniach do wydobywania cech stylistycznych z fal EKG i ich analizowania w różnych celach, takich jak odkrycie kompleksu QRS oraz segmentu ST lub fal P ^7,8. 1D CNN uczy się wykrywać najistotniejsze cechy sygnałów EKG i klasyfikować je na pięć typów arytmii. Zastosowano filtr z zakresem wahania się linii bazowej i usuwania szumów wysokich częstotliwości, aby poprawić jakość sygnału. Klasyfikował on arytmie w pięciu kategoriach^{: 9,10}.

Jak pokazano na Rysunku 1, fala P, kompleks QRS i fala T są ważnymi elementami EKG. Fala P reprezentuje depolaryzację przedsionków, czyli aktywność elektryczną powodującą kurcz przedsionków. Kompleks QRS odzwierciedla depolaryzację komory; to impuls elektryczny wywołuje skurcz komór. Fal T wskazuje na repolaryzację komór, czyli fazę regeneracji komór po skurczu. Razem te fale tworzą jeden pełny cykl serca. Są one kluczowe dla zrozumienia działania serca i diagnozowania problemów z sercem¹¹.

Wszystkie te fale reprezentują jeden cykl serca. Są one niezwykle ważne dla zrozumienia działania serca oraz diagnozowania chorób serca. Modele uczenia głębokiego odnotowały ostatnio znaczące postępy w komputerowo wspomaganej interpretacji sygnałów medycznych, w tym sygnałów EKG. Tradycyjne, ręcznie tworzone modele uczenia maszynowego oparte na funkcjach borykają się z problemami ze skalowalnością i adaptacją w różnych grupach pacjentów. Aby sprostać tym wyzwaniom, powstały głębokie modele, takie jak CNN i hybrydowe modele łączące CNN z modelami rekurencyjnymi, takimi jak LSTM, które automatycznie uczą się istotnych cech z surowych sygnałów EKG. To znacznie poprawiło dokładność klasyfikacji¹².

Niniejsze badanie proponuje ramy głębokiego uczenia do klasyfikacji sygnałów EKG w pięć kategorii uderzeń serca: normalne (N), Blok Lewego Wiązka Bocznego (L), Blok Prawego Wiązka Przedsionkowego (R), Przedwczesne Uderzenie Przedsionkowe (A) oraz Przedwczesne Skurczenie Komory (V). Do trenowania modelu korzystamy z publicznie dostępnych zbiorów danych EKG, takich jak MIT-BIH Arrhythmia Database oraz Supraventricular Database. Te zbiory danych są wstępnie przetwarzane i dzielone na segmenty o stałej długości do analizy. Ponieważ nierównowaga klas jest częstym problemem w danych o arytmiach, stosujemy Technikę Syntetycznego Nadpróbkowania Mniejszości (SMOTE), aby zrównoważyć dane treningowe. Dzięki temu model może skutecznie uczyć się ze wszystkich klas i poprawia dokładność klasyfikacji różnych typów uderzeń serca.

Inspirując się ostatnimi postępami w klasyfikacji EKG, w tym modelami wykorzystującymi ciągłe transformacje falkowe (CWT) oraz architekturami CNN, proponowane podejście wykorzystuje zarówno standardowy model CNN, jak i hybrydowy model z warstwami transformatorów. Łącząc CNN do ekstrakcji cech przestrzennych oraz transformator do rejestrowania zależności czasowych, system ten osiąga wysoką dokładność, z F1 i precyzją bliską 100% we wszystkich klasach^13,14.

"Cechy przestrzenne" odnoszą się do cech związanych z położeniem lub lokalizacją czegoś, takich jak odległość, kierunek i kształt. Z drugiej strony, "cechy czasowe" opisują elementy związane z czasem, takie jak moment zdarzenia, jego czas trwania czy sekwencja zdarzeń. W zasadzie "przestrzenny" oznacza "przestrzeń", a "czasowy" oznacza "czas".

Głównymi celami tych badań było opracowanie dokładnego, skalowalnego modelu wykrywania arytmii w czasie rzeczywistym oraz wsparcie rozwijającej się dziedziny diagnostyki opartej na AI w opiece zdrowotnej. System ten wykazuje obiecujące możliwości monitorowania w czasie rzeczywistym, umożliwiając wczesne wykrywanie i interwencję u pacjentów zagrożonych zdarzeniami sercowymi.

Cele tych badań są wieloaspektowe. Po pierwsze, ta proponowana technika ma na celu podzielić arytmiczne uderzenia na pięć kategorii: normalne (N), blok lewego pęczka (L), blok prawego pęczka (R), przedsionkowe przedsionkowe uderzenie (A) oraz przedwczesne skurcze komorowe (V). Po drugie, celem tych badań jest skonstruowanie hybrydowego modelu CNN i transformatora, który może uczyć się zarówno informacji morfologicznych, jak i czasowych z sygnałów EKG bez wcześniejszego przetwarzania¹⁵. Po trzecie, proponowana technika ma na celu dostarczenie rozwiązania zorientowanego na wydajność, które można wdrażać w czasie rzeczywistym. Po czwarte, badania te mają na celu wykazanie poprawy dokładności i czułości proponowanego modelu w porównaniu z najnowocześniejszymi modelami^16,17.

Dodatkowo wprowadzono sieci grafowe (GCN), które modelują interakcje między czynnikami fizjologicznymi w ramach strukturyzowanego grafu, do zadań predykcyjnych biomedycznych i mogą odegrać rolę w przyszłych modelach klasyfikacji arytmii uwzględniających zależności międzyleadowe.

Protokół

Oświadczenie etyczne
Badanie opierało się całkowicie na publicznych, zanonimizowanych danych EKG pobranych z PhysioNet. Wszystkie zbiory danych użyte w tym badaniu zostały pierwotnie zebrane za zgodą uczestników oraz z etyczną aprobatą odpowiednich właścicieli danych. Badania te nie wymagały zbierania danych, badań eksperymentalnych z ludźmi czy zwierzętami ani danych dotyczących tożsamości pacjentów. W związku z tym nie proszono o dodatkową ocenę etyczną.

Metodologia
Rysunek 2 ilustruje workflow proponowanej architektury.

Zbieranie danych
Dane EKG są zbierane z bazy PhysioNet Database, popularnego repozytorium sygnałów fizjologicznych. Z bazy danych pobieranych jest wiele zbiorów danych. Te zbiory danych są łączone w jeden główny zbiór danych, który obejmuje różne klasy sygnałów EKG.

Używane zbiory danych
W tym badaniu wykorzystano kilka publicznie dostępnych zbiorów danych EKG do opracowania i oceny modelu głębokiego uczenia do klasyfikacji arytmii. Wybór tych zbiorów danych był przeprowadzony z dużą starannością, uwzględniając ich różnorodność pod względem demografii pacjentów oraz różnorodności typów arytmii, aby zapewnić, że proponowany model dobrze sprawdza się w różnych scenariuszach⁹. W tym badaniu połączono jedynie dane Lead-I z bazy danych MIT-BIH Arrhythmia Database, MIT-BIH Supraventricular Arrhythmia Database, St. Petersburg INCART 12-lead Arrhythmia Database oraz Sudden Cardiac Death Holter Database. Te zbiory danych są znane z wysokiej jakości, anotowanych nagrań EKG, obejmujących szerokie spektrum klas arytmii.

Powyższe zbiory danych obejmują dane demograficzne pacjentów, urządzenia rejestrujące, częstotliwości próbkowania oraz ustawienia. Wspomniana zmienność modelu poprawia jego uogólnienie, wystawiając go na szeroki zakres morfologii EKG, szumu i rytmów.

Opis zbioru danych
Baza danych arytmii MIT-BIH
Zestaw danych arytmii MIT-BIH zawiera 48 półgodzinnych nagrań EKG, ponumerowanych od 100 do 234. Każdy zapis zawiera dwukanałowe sygnały EKG cyfrowe z prędkością 360 próbek na sekundę. Dane są przechowywane w formatach .dat, .hea i .atr.

Baza danych arytmii supraventrikularnych MIT-BIH
Jest to specyficzny podzbiór baz danych MIT-BIH. Baza danych arytmii supraventrikularnej MIT-BIH zawiera 78 pełnometrażowych nagrań EKG, trwających od 30 minut do kilku godzin, numerowanych od 801 do 811. Każdy zapis zawiera dwukanałowe sygnały EKG, przekształcone w formę cyfrową z prędkością 128 próbek na sekundę.

Baza danych 12-odprowadzeniowych arytmii INCART w Petersburgu
Ta baza danych zawiera 75 nagrań z adnotacjami pobranych z 32 monitorów Holtera. Każde nagranie trwa 30 minut i zawiera 12 standardowych leadów, z których każdy jest próbkowany z częstotliwością 257 Hz. Siła sygnału waha się od 250 do 1100 jednostek przetworników analogowo-cyfrowych na milivolt.

Baza danych Holtera o nieprzewidzianych śmierciach serca
Ten zbiór danych jest jednym z wielu otwartych nagrań Holtera, które rejestrują faktyczne występy tachykardii komorowej (VT) oraz migotania komór (VF). Oba te procesy mogą prowadzić do nieprzewidzianej śmierci serca. Każdy zapis trwa 24 godziny i jest próbkowany z częstotliwością 250 Hz.

Wstępne przetwarzanie danych
W tym badaniu wykorzystano cztery publiczne bazy danych EKG o różnych częstotliwościach próbkowania: MIT-BIH Arrhythmia (360 Hz), MIT-BIH Supraventricular Arrhythmia (128 Hz), St. Petersburg INCART 12-lead (257 Hz) oraz Sudden Cardiac Death Holter (250 Hz). Aby zapewnić spójność wszystkich danych i możliwość łączenia podczas treningu modelu, wszystkie sygnały EKG były próbkowane z częstotliwością 360 Hz, co odpowiada bazie danych arytmii MIT-BIH i jest powszechnie stosowane jako standard w badaniach EKG. Resampling wykonywano za pomocą interpolacji ograniczonej pasmowo; początkowo sygnały EKG były filtrowane dolnoprzepustowo, aby zapobiec aliasingowi, a następnie zastosowano jądro rekonstrukcyjne oparte na sinc do interpolacji, a następnie końcowe próbkowanie z częstotliwością 360 Hz. Po ponownym próbkowaniu każdy sygnał był dzielony na okna po 180 próbek, co odpowiadało mniej więcej 0,5 s danych, zapewniając, że wszystkie zbiory danych mają tę samą rozdzielczość czasową. Ta standaryzacja umożliwiła łączenie sygnałów z różnych baz danych do treningu i testowania, pomagając modelowi nauczyć się spójnych wzorców w czasie.

Wstępne przetwarzanie obejmowało kilka ważnych kroków, aby zapewnić jakość danych wejściowych:
Segmentacja danych:
Po ponownym próbkowaniu każdy sygnał EKG dzielił się na okna o stałej długości po 180 próbek. Odpowiada to około 0,5 s długości sygnału przy częstotliwości próbkowania 360 Hz. W tych badaniach zastosowano stałe, nienakładające się okno przesuwne do segmentacji. Każde okno pobierało ciągłą sekwencję próbek EKG. Badanie wybrało okno 180 próbek, ponieważ interwał 0,5 s wystarcza, aby uchwycić pełny cykl serca lub jego główne części: falę P, kompleks QRS i falę T, dla typowych tętn dorosłych. Do każdego segmentu przypisywano etykietę klasy na podstawie adnotacji znajdującej się w centrum segmentu. W ten sposób etykieta segmentu odpowiadała głównemu kształtowi serca w tym oknie. metoda okna przesuwnego zastosowała tę funkcję segmentacji:

gdzie s_i jest próbką EKG w czasie i.

Normalizacja:
Znormalizowano segmentowane dane EKG skalowaniem Min-Max, aby upewnić się, że wszystkie cechy mają wartości od 0 do 1¹⁰.

Ten krok pomaga przyspieszyć zbieżność modelu podczas treningu.

Balans klas z SMOTE
Normalne (N) liczby uderzeń znacznie przewyższały nieprawidłowe klasy serca w zbiorze danych EKG, co wykazało istotną nierównowagę klasową. Po segmentacji, normalizacji i podziale testów treningowych, zbiór danych treningowych został poddany Technice Syntetycznego Nadpróbkowania Mniejszości (SMOTE), aby rozwiązać ten problem.

Do reprezentacji każdego segmentu EKG użyto 180-wymiarowej przestrzeni cech, składającej się ze 180 znormalizowanych próbek. SMOTE wykorzystał odległość euklidesową do określenia k najbliższych sąsiadów każdej próbki mniejszościowej (k = 5) w jej własnej klasie. SMOTE był stosowany wyłącznie do danych treningowych, które podzielono na 70% zestawów treningowych i 30% testowych z wykorzystaniem próbkowania warstwowego. W ten sposób do zestawu testowego nie dodawano sztucznych próbek, co zapewnia, że wyniki testu nie były wpływane przez proces nadmiernego próbkowania. Dane testowe pozostały niezmienione, zachowując pierwotny rozkład klas, i były wykorzystywane jedynie do uczciwej oceny modelu. W rezultacie wyniki wysokich wyników tego badania pokazują prawdziwą zdolność modelu do uogólniania, a nie z powodu nadmiernego dopasowania czy zawyżonych wyników wynikających z dodania dodatkowych próbek.

Podział pociągu i testu:
Po wstępnym przetworzeniu i filtrowaniu klas zbiór danych został podzielony na podzbiory treningowe i testowe z podziałem 70%–30% za pomocą stratyfikowanego losowego próbkowania. Ta stratyfikacja opiera się na etykietach klas, aby zapewnić zachowanie względnych proporcji każdej klasy bicia serca w zestawach treningowych i testowych.

Podział przeprowadzono za pomocą losowego ziarna dla reprodukcji. Każdy segment EKG pojawiał się wyłącznie w zestawie treningowym lub testowym. Aby uniknąć stronniczości i odchyleń danych, każdy etap wstępnego przetwarzania, który mógłby wpłynąć na dystrybucję danych (czyli balansowanie klas przez SMOTE), był wykonywany dopiero po podziale i wyłącznie na danych treningowych.

W tym zakresie, utrzymując proporcje klas, stosując stratyfikację losową i ściśle dzieląc próbki na zbiory treningowe i testowe, proces podziału zmniejsza prawdopodobieństwo błędu w próbkach, pozwalając metrykom wydajności odzwierciedlać uogólnienie modelu, a nie specyficzne dla danych reszty.

Dzielenie zbiorów danych i dystrybucja klas
Ostateczny zbiór danych podzielono na zestawy treningowe i testowe, z czego 70% na trening i 30% na testy. Po zastosowaniu SMOTE nierównowaga klasowa została zmniejszona, zapewniając, że każdy typ arytmii był dobrze reprezentowany zarówno w zestawach treningowych, jak i testowych. Łącznie użyto 3 966 620 segmentów EKG do treningu, a do testów 112 575 segmentów EKG. Duża ilość danych, w połączeniu z różnorodnością typów arytmii, umożliwiła stworzenie modelu, który skutecznie identyfikuje różne typy arytmii w rzeczywistych sygnałach EKG. Badanie wykorzystuje modele głębokiego uczenia do klasyfikacji arytmii EKG. Pięć typów bicia serca, mianowicie Normalny (N), Blok Lewego Wiązka (L), Blok Prawego Wiązka Rozgałęzienia (R), Przedsionkowy Przedsionkowy Rytm (A) oraz Przedwczesny Skurcz Komory (V), zostało wybranych zgodnie ze standaryzowanymi anotacjami dotyczącymi rytmów MIT-BIH Bazy Danych oraz wytycznymi AAMI dotyczącymi anotacji rytmów EKG. Wszystkie pięć wymienionych tutaj adnotacji dotyczących uderzeń obejmuje istotne schorzenia serca mieszczące się w szerokiej kategorii arytmii i wykazują charakterystyczne cechy fal falowych w sygnałach EKG wokół fal P, QRS i T.

Co więcej, te klasy należą do najczęściej spotykanych i regularnie oznaczanych w publicznych bazach danych EKG, co ułatwia testowanie ich skuteczności w porównaniu z innymi podejściami klasyfikacji rytmu serca opartymi na EKG. Zbiory danych zostały podzielone metodą międzypacjentów. Taki układ zapewniał, że segmenty EKG od jednego pacjenta nie pojawiały się jednocześnie w zestawach treningowych i testowych. Po tym podziale SMOTE zastosowano tylko do zestawu treningowego. Zestaw testowy pozostał wolny od syntetycznych próbek i powtarzających się okien czasowych. Wszystko to pomaga uniknąć nakładania się segmentów i wspiera prawdziwe uogólnienie w przypadku pacjentów, których wcześniej nie mieliśmy.

Rozkład klas przed i po SMOTE:
Oryginalny zbiór danych wykazywał znaczną nierównowagę między klasami, z dużą liczbą normalnych (N) uderzeń i mniejszą liczbą próbek dla klas nieprawidłowych. Przed użyciem SMOTE dane treningowe obejmowały około 133 320 segmentów normalnych (N), 8 075 bloków odgałęzień lewego pęczka (L), 10 431 bloków prawych gałęzi pęczka (R), 4 489 przedsionków przedsionkowych (A) oraz 60 682 segmentów przedwczesnego skurczu komorowego (V). Aby zniwelować tę nierównowagę, SMOTE zastosowano wyłącznie do zbioru treningowego, zwiększając liczbę próbek w klasach mniejszościowych, aby dopasowały się do klasy większościowej. Po uzupełnieniu każda klasa miała 793 324 segmenty, co dało łącznie 3 966 620 segmentów EKG do szkolenia. Zestaw testowy, który liczył 112 575 segmentów, zachował swój pierwotny rozkład klas i nie był nadmiernie próbkowany. Takie podejście zapewniło uczciwą i bezstronną ocenę wydajności modelu.

Szkolenie i wnioskowanie
analizował wydajność obliczeniową, sprawdzając wydajność treningu i wnioskowania na GPU NVIDIA RTX 3050 z 6 GB pamięci. Proces szkolenia trwał około 3,2 godziny przez 60 epok. Opóźnienie wnioskowania wynosiło średnio 0,45 ms na każdy segment 180 próbek, co umożliwia wykorzystanie w czasie rzeczywistym. Zużycie pamięci na GPU osiągnęło szczyt 4,2 GB, a model ma tylko 1,8 miliona parametrów, więc wydaje się lekki w porównaniu z większością konfiguracji EKG opartych na transformatorach.

Proces szkolenia i wnioskowania obejmuje następujące etapy:
Konfiguracja treningowa: Definiowane są parametry treningowe, takie jak tempo uczenia się, wielkość partii i epoki.
Trening modelu: Model CNN-Transformer jest trenowany na danych treningowych.
Walidacja: Po trenowaniu sprawdza się dokładność i straty modelu względem walidacji. Jeśli wydajność jest dobra, model zostaje zapisany. Jeśli wydajność jest słaba, potok powtarza się z innymi parametrami treningowymi, wracając do etapu ustawienia parametrów.

Architektura modelu
Cały system CNN-Transformer składa się z czterech głównych części: ekstrakcji cech splotowych, warstwy projekcyjnej, enkodera transformatora oraz wreszcie głowicy klasyfikacyjnej. Blok splotowy zaczyna się od jednowymiarowej warstwy splotowej z 32 filtrami, rozmiarem jądra 3, krokiem 1 i wypełnieniem 1, po czym następuje ReLU. Redukuje to ilość przez max-pooling, rozmiar jądra 2, aby zmniejszyć rozdzielczość czasową sygnału. Po tej pierwszej warstwie konwolucyjnej jest kolejna z 64 filtrami, tym samym rozmiarem jądra 3, krokiem 1, dopełnieniem 1, znowu ReLU i kolejnym maksymalnym poolowaniem o rozmiarze 2. Wyjście z tego wszystkiego jest spłaszczane, przepuszczane przez liniową warstwę projekcyjną, która mapuje cechy na 128-wymiarową przestrzeń osadzenia, a następnie przesyła sygnał do transformatora^18,19.

Blok transformatora składa się z dwóch warstw enkodera, z których każda ma wielogłowicowy samouwagę, wykorzystując 4 głowice do rejestrowania odległych zależności sygnału EKG. W każdej warstwie znajduje się sieć feedforward według pozycji o ukrytym rozmiarze 256 i przejściu na 0,5, co pomaga w przeciwdopasowaniu. Normalizacja warstw następuje po każdej podwarstwie, co stabilizuje trening.

Dla głowy klasyfikacji to w pełni połączona warstwa, która spada z 128 do 64, następnie ReLU i dropout znowu 0.5. Następnie warstwa wyjściowa zawiera pięć neuronów dla klas arytmii, z Softmaxem do uzyskania prawdopodobieństw.

Bloki 1D Konwolucyjnej Sieci Neuronowej (CNN):
Blok CNN składa się z dwóch warstw 1D splotowych, po których każda następuje aktywacja ReLU oraz warstwa maksymalnej puli. Warstwy te pomagają identyfikować zależności przestrzenne wewnątrz sygnału wejściowego EKG. Aby usprawnić wyodrębnianie cech, po każdym kroku transformacji w warstwach CNN stosuje się dodatkowe funkcje aktywacji ReLU.

Pierwsza warstwa splotowa: Ta warstwa wykorzystuje 32 filtry, każdy o rozmiarze 3, na sygnale wejściowym. Proces można zapisać jako:

      

gdzie y_i to wyjście, w_j oznacza wagi filtra, x_i+j to segment wejściowy, b to składnik polaryzacji, a σ oznacza funkcję aktywacji (ReLU). Powstała mapa cech przechodzi przez warstwę aktywacji ReLU, aby dodać nieliniowość:

Warstwa pooling: Po każdej operacji splotowej stosuje się krok maksymalnego poolingu, aby zmniejszyć wymiary przestrzenne o połowę. Proces ten definiuje się jako:

Pomaga to zachować najważniejsze cechy, jednocześnie zmniejszając obciążenie obliczeniowe.

Druga warstwa splotowa: Ta warstwa wykorzystuje 64 filtry o rozmiarze 3 x 3 do przetwarzania map cech z poprzedniej warstwy, co pozwala modelu wykrywać bardziej złożone wzorce. Po konwolucji stosuje się funkcję aktywacji ReLU, wprowadzającą nieliniowość do modelu.

Ten etap zapewnia, że model rejestruje szczegółowe wzory z sygnału EKG.

Dodatkowe warstwy aktywacji: Aktywacja ReLU jest stosowana po każdym kroku w procesie konwolucyjnym, aby pomóc sieci lepiej wychwycić złożone wzorce i zapewnić skupienie modelu na aktywacjach pozytywnych.

Proces spłaszczania: Po drugiej operacji max-poolingu mapy cech są spłaszczane do jednego wektora do wejścia do bloku transformatora.

Bloki transformatorowe:
Blok transformatora składa się z dwóch warstw wielogłowicowej samouwagi, które pomagają modelowi zrozumieć relacje między różnymi częściami sygnału EKG w czasie. Multi-Head Self-Attention działa poprzez analizę każdej pary elementów w sekwencji. Dla sekwencji z zapytaniem Q, kluczem K i wartością V, uwaga oblicza się jako:

Tutaj dk to wymiarowość kluczowych wektorów, zapewniająca niezmienniczość skalową.

Warstwy feedforward: Każde wyjście self-attention przechodzi przez w pełni połączoną sieć feedforward z aktywacją ReLU, po czym następuje normalizacja warstw. Ten krok udoskonala wyodrębnione cechy czasowe:

gdzie W1 i b1 to wagi i polaryzacje warstwy feedforward.

Reprezentacja partia pierwsza: Transformator pracuje na sekwencjach w układzie partiowym, zapewniając kompatybilność z formatem wejściowym bloku CNN.

W pełni połączone (gęste) warstwy:
Po przetworzeniu przez blok transformatora sekwencja wyjściowa jest spłaszczana, a następnie przesyłana przez dwie w pełni połączone warstwy w celu przeprowadzenia klasyfikacji. Pierwsza w pełni połączona warstwa przekształca wektor wejściowy w 128-wymiarową przestrzeń cech, przekształcając ją w ten proces.

gdzie W to macierz wag, x to wektor wejściowy, a b to wektor polaryzacji. Stosuje się warstwę aktywacji ReLU:

Następuje warstwa dropout o szybkości 0,5, aby zapobiec nadmiernemu dopasowaniu.

Druga warstwa w pełni połączona: Ostatnia warstwa mapuje cechy 128-wymiarowe na liczbę klas bicia serca (np. 5 klas wykrywania arytmii). Wynik przechodzi przez funkcję log-SoftMax, aby obliczyć logarytmiczne prawdopodobieństwa: exp(xi)

Hybrydowy model CNN-Transformer
Prezentowany model to hybrydowy model głębokiego uczenia, który łączy mocne strony CNN i transformatorów, wykorzystując zarówno reprezentacje przestrzenne, jak i czasowe. Taka architektura jest specjalnie przystosowana do przetwarzania złożonych, długociągowych danych, takich jak sygnały fizjologiczne.

Równanie to reprezentuje reprezentację wejściową, gdzie N = liczba próbek, T = liczba kroków czasowych, d = wymiar cech na każdy krok czasowy.

To równanie oznacza osadzenia pozycyjne, gdzie pos = pozycja w sekwencji; i = wskaźnik wymiaru osadzenia.

Moduł CNN – Lokalna ekstrakcja cech
CNN efektywnie uczą się lokalnych zależności i wzorców morfologicznych, takich jak szczyty, nachylenia czy skoki w danych sekwencyjnych. Warstwa splotowa wykorzystuje jądra o zasięgu przestrzennym nad tensorem wejściowym . Każdy kanał wyjściowy m jest określany przez:

= liczba kanałów wejściowych; K = rozmiar jądra; W = wagi filtrów; b = stronniczość

Funkcja ReLU
W tym przypadku oznacza przyswajalną wagę, a jest biasem dla kanału mA, stosuje się aktywację nieliniową, podobną do Jednostki Liniowej Prostowanej (ReLU):

Pulowanie i kompresja cech
Warstwy poolingu zmniejszają wymiar przestrzenny lub czasowy map cech, zachowując ważne cechy i ograniczając nakłady obliczeniowe. W maksymalnym poolingu z rozmiarem okna i krokiem s, funkcja pooled w lokalizacji to:

Długość wyjściowa po zgrupowaniu

Gdzie to długość wejściowa; krok określa rozmiar kroku dla przesuwania okna poolingu. Wzór ten oblicza długość wyjściową mapy cech po operacji poolingu (np. max pooling). Oblicza, o ile mapa cech została zmniejszona na podstawie długości wejściowej, wielkości puli i kroku. Przekształca wielowymiarowe odwzorowania cech w wektor dla w pełni spójnych warstw.

Enkoder transformatorowy – przechwytywanie zależności o długim zasięgu
Transformery wykorzystują samouwagę, aby uczyć się dalekosiężnych zależności czasowych w sekwencjach¹⁷.

Skalowana uwaga na produkt skalowy

Q, K, V to macierze zapytań, klucza i wartości obliczane na podstawie wyuczonych projekcji; jest kluczowym wymiarem używanym do skalowania iloczynu skalarnego.

Uwaga wielogłowa

Każda głowa oblicza uwagę niezależnie; wyjścia są łączone i liniowo przekształcane. są wyuczonymi macierzami projekcyjnymi dla każdej głowy. jest ostateczną wagą projekcji po połączeniu^18,19_.

Ostateczna prognoza i strata
W pełni połączone warstwy odwzorowują cechy na logity, które następnie są przekształcane w przewidywania za pomocą funkcji aktywacyjnych. Po kilku warstwach splotowych i pulujących warstwa jest spłaszczana do wektora Warstwa w pełni połączona oblicza logity: Warstwa w pełni spójna oblicza następnie logity klasy:

Aktywacja Sigmoid/Softmax:

Funkcja aktywacji odwzorowuje surowe wyjście modelu 'z' na prawdopodobieństwa. Sigmoid jest stosowany do klasyfikacji binarnej, a Softmax do problemów wieloklasowych rozkładu prawdopodobieństwa między klasami. z to liniowe wyjście (np. ostatnia warstwa: z = Wx + b). Wyjście ŷ znajduje się pomiędzy (0, 1), co oznacza prawdopodobieństwo²⁰.

Proces szkoleniowy
Szkolenie przeprowadzono na systemie o następujących specyfikacjach sprzętowych:
Procesor: AMD Ryzen 7 7840HS
RAM CPU: 16 GB
RAM GPU: 6 GB NVIDIA GeForce RTX 3050

Modele były trenowane za pomocą optymalizatora Adama, który dostosowuje tempo uczenia podczas treningu na podstawie pierwszego i drugiego momentu gradientu. Reguła aktualizacji dla Adama jest dana przez:

W tym układzie m^t i^{v t} reprezentują oszacowania pierwszego i drugiego momentu, α to szybkość uczenia się, a ε to mała stała używana do zapobiegania dzieleniu przez zero. Modele były trenowane przez 60 epok, z wczesnym zatrzymywaniem, aby zapobiec nadmiernemu dopasowaniu. Użyto partii o rozmiarze 1024, a dane treningowe były ładowane do modeli za pomocą DataLoadera PyTorcha. Wprowadzono dropout i normalizację wsadową, aby uregulyzować model i przyspieszyć zbieżność. Dropout to metoda regularizacji, która losowo wyłącza procent p neuronów podczas treningu, co pomaga ograniczyć nadmierne dopasowanie. Matematycznie niech zi oznacza aktywację^i-tego neuronu. Podczas fazy treningowej zmodyfikowana aktywacja z' oblicza się jako:

gdzie p to wskaźnik rezygnacji (np. p = 0,5 dla 50% porzucenia). Podczas wnioskowania nie stosuje się żadnego dropoutu, a wykorzystywana jest cała sieć.

Zbieżność sieci neuronowych to problem, który znacząco wpływa na istniejące systemy klasyfikacji w sektorze opieki zdrowotnej, zwłaszcza gdy diagnozy są niespójne z powodu niewystarczającej zbieżności. Najnowsze badania nad podejściami do optymalizacji w określonym czasie oraz zbieżnością w stałym czasie wykazały, że nadal możliwe jest trenowanie modeli zbieżnych w określonej liczbie iteracji dla wszystkich stanów początkowych. Przyszłe modele oparte na tym mogą obejmować optymalizację w określonym czasie.

Normalizacja wsadowa:
Normalizacja wsadowa stabilizuje i przyspiesza trening poprzez normalizację wejść do każdej warstwy. Dla mini-partii aktywacji x = {x₁, x₂, . . ., x_N}, wynik znormalizowany w partii x_i .oblicza się jako:

gdzie^{μ B i σ B2} to średnia i wariancja partii, ε jest małą stałą dla stabilności numerycznej, a γ i β to parametry do przyswojenia, które skalują i przesuwają znormalizowane wartości. Normalizacja wsadowa pomaga zmniejszyć wewnętrzne przesunięcie kowariantu i umożliwia stosowanie wyższych wskaźników uczenia się. Techniki te, w połączeniu z optymalizatorem Adama, zapewniają solidne treningi poprzez redukcję nadmiernego dopasowania i poprawę prędkości zbieżności^21,22.

Rysunek 3 pokazuje stratę walidacji oraz dokładność walidacji w epokach podczas trenowania modelu uczenia maszynowego. Dokładność walidacji (niebieska linia, prawa oś Y) zaczyna się stosunkowo nisko (około 97,5%) i szybko rośnie w ciągu pierwszych 10 epok. Stan ten nadal się poprawia i osiąga poziomy około 99,7% do 99,8% po około 20 epokach. Wskazuje to, że model dobrze się uczy i stosuje wiedzę na zbiorze walidacyjnym. Strata walidacji (czerwona linia, lewa oś Y) zaczyna się wysoko, a następnie gwałtownie spada do niemal zera w ciągu pierwszych kilku epok (około 2 do 3). Po tym utrzymuje się niemal zerowy poziom przez resztę treningu^23,24.

Wyniki

Ta sekcja wprowadza hybrydowy model głębokiego uczenia zaprojektowany do kategoryzowania arytmii na podstawie danych EKG. Model oceniany jest pod kątem zdolności rozpoznawania pięciu klinicznie istotnych klasyfikacji bicia serca: przedwczesne skurcze przedsionkowe, prawidłowe, blok gałęzi lewego pęczka, blok prawego pęczka oraz przedwczesny skurcz komory. Kompleksowa ocena jest niezbędna ze względu na kliniczne znaczenie tych klas arytmii oraz wyzwania związane z niezrównoważonymi zbiorami danych i zmiennością sygnału.

Dyskusja

Przy rozpoznawaniu i kategoryzowaniu arytmii z sygnałów biologicznych EKG, proponowany hybrydowy model głębokiego uczenia łączy struktury transformatorów i jednowymiarowe konwolucyjne sieci neuronowe (CNN) i wykazuje doskonałe osiągi. To połączenie wykorzystuje zdolność transformatora do uczenia się globalnych zależności czasowych poprzez mechanizmy samouwagi oraz zdolność CNN do identyfikowania lokalnych cech przestrzennych na podstawie surowych przebiegów EKG. Model testowano z użyciem pięciu ważnych klas bicia serca: ...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Adam Optimizer	Open-source (PyTorch)	https://pytorch.org/docs/stable/optim.html	Algorytm optymalizacji używany do trenowania modelu głębokiego uczenia poprzez adaptację szybkości uczenia podczas propagacji wstecznej.
Sprzęt (System Obliczeniowy)	AMD; NVIDIA	https://www.amd.com/en/products/processors/laptop/ryzen/7000-series/amd-ryzen-7-7840hs ; https://www.nvidia.com	Procesor: AMD Ryzen 7 7840HS; RAM CPU: 16 GB; GPU: NVIDIA GeForce RTX 3050 (6 GB VRAM). Wykorzystywane do treningu i oceny modeli.
Niezrównoważone uczenie	Niezrównoważone uczenie	https://imbalanced-learn.org	Biblioteka Pythona używana do balansowania klas z techniką Synthetic Minority Over-sampling Technique (SMOTE).
Matplotlib	Matplotlib	https://matplotlib.org	Biblioteka Python używana do wykresów sygnałów EKG, macierzy pomyłek oraz wykresów wydajności.
Bazy danych EKG PhysioNet	PhysioNet	https://physionet.org	Publiczne zbiory danych EKG użyte w badaniu, w tym bazy MIT-BIH Arrhythmia, MIT-BIH Supraventricular Arrhythmia, INCART 12-lead oraz Sudden Cardiac Death Holter.
PyTorch	PyTorch	https://pytorch.org	Framework deep learning w Pythonie używany do implementacji modeli CNN i Transformer, pipeline treningowego oraz wnioskowania.
Python	Python Software Foundation	https://www.python.org	Język programowania używany do wstępnego przetwarzania danych, tworzenia modeli, treningu i ewaluacji.
Seaborn	Seaborn	https://seaborn.pydata.org	Biblioteka wizualizacji danych w Pythonie używana do wykresów statystycznych i wizualizacji wyników.
WFDB	WFDB	https://wfdb.readthedocs.io	Pakiet Python służy do odczytu, zapisu, przetwarzania i wyznaczania sygnałów fizjologicznych oraz adnotacji z baz danych PhysioNet.