$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Etik ifade
Bu çalışma tamamen PhysioNet'ten indirilen kamuya, anonimleştirilmiş EKG verilerine dayanıyordu. Bu çalışmada kullanılan tüm veri setleri, başlangıçta deneklerin rızası ve ilgili veri sahiplerinin etik onayı ile toplanmıştır. Bu araştırma, insan veya hayvan deneklerle yapılan deneysel çalışmalar veya hasta kişisel kimlik bilgileri gerektirmemiştir. Bu nedenle, ek bir etik inceleme talep edilmedi.
Metodoloji
Şekil 2 , önerilen mimarinin iş akışını göstermektedir.
Veri toplama
EKG verileri, fizyolojik sinyallerin popüler bir deposu olan PhysioNet Veritabanı'ndan toplanmaktadır. Veritabanından birden fazla veri seti alınır. Bu veri setleri, çeşitli EKG sinyal sınıflarını içeren tek bir ana veri setinde birleştirilir.
Kullanılan veri setleri
Bu çalışma, aritmi sınıflandırması için derin öğrenme modeli geliştirmek ve değerlendirmek amacıyla kamuya açık birkaç EKG veri seti kullanmıştır. Bu veri setlerinin seçimi, hasta demografiği ve aritmi tiplerinin çeşitliliği açısından çeşitlilikleri göz önünde bulundurarak, önerilen modelin farklı senaryolarda iyi performans göstermesini sağlamak için dikkatleyapılmıştır 9. Bu çalışma için, yalnızca MIT-BIH Aritmi Veritabanı, MIT-BIH Supraventriküler Aritmi Veritabanı, St. Petersburg INCART 12-lead Aritmi Veritabanı ve Ani Kalp Ölümü Holter Veritabanı'ndan Lead-I verileri birleştirildi. Bu veri setleri, geniş bir aritmi sınıfı yelpazesini kapsayan yüksek kaliteli, notlu EKG kayıtlarıyla tanınır.
Yukarıdaki birleşik veri setleri hasta demografisini, kayıt cihazlarını, örnekleme frekanslarını ve ayarları içerir. Modeldeki yukarıda bahsedilen değişkenlik, geniş bir EKG morfolojisi, gürültü ve ritimlere maruz kalarak genelleştirmeyi iyileştirir.
Veri setleri açıklaması
MIT-BIH aritmi veritabanı
MIT-BIH Aritmi Veri Seti 48 yarım saatlik EKG kaydına sahiptir ve bunlar 100-234 numaralandırılmıştır. Her kayıt, saniyede 360 örnek ile dijitalleştirilmiş iki kanallı EKG sinyalleri içerir. Veriler .dat, .hea ve .atr formatlarında depolanır.
MIT-BIH supraventriküler aritmi veritabanı
Bu, MIT-BIH veritabanlarının belirli bir alt kümesidir. MIT-BIH Supraventriküler Aritmi Veritabanı, 30 dakikadan birkaç saate kadar değişen ve 801-811 numaralı 78 tam uzunlukta EKG kaydını içerir. Her kayıt, saniyede 128 örnekle dijital forma dönüştürülmüş iki kanallı EKG sinyalleri içerir.
St Petersburg INCART 12-lead aritmi veritabanı
Bu veritabanı, 32 Holter monitöründen alınan 75 notlu kayıt içerir. Her kayıt 30 dakika sürer ve her biri 257 Hz'de örneklenen 12 standart lead içerir. Sinyal gücü, milivoltta 250 ile 1100 analogdan dijitale dönüştürücü ünitesi arasında değişir.
Öngörülmeyen kalp ölümü Holter veritabanı
Bu veri seti, ventriküler taşikardi (VT) ve ventriküler fibrilasyonun (VF) gerçek olaylarını yakalayan birçok açık erişimli Holter kaydından biridir. Her ikisi de beklenmedik kalp ölümlerine yol açabilir. Her plak 24 saat uzunluğunda ve 250 Hz'de örneklenmiştir.
Veri ön işleme
Bu çalışmada, farklı örnekleme oranlarına sahip dört halka açık EKG veri tabanı kullanıldı: MIT-BIH Aritmi (360 Hz), MIT-BIH Supraventriküler Aritmi (128 Hz), St. Petersburg INCART 12-lead (257 Hz) ve Ani Kalp Ölümü Holter (250 Hz). Tüm verilerin tutarlı olmasını ve model eğitimi sırasında birleştirilebilmesini sağlamak için, tüm EKG sinyalleri MIT-BIH Aritmi Veritabanı ile eşleşen ve EKG araştırmalarında yaygın olarak kullanılan 360 Hz ortak hıza yeniden örneklenmiştir. Yeniden örnekleme bant sınırlı interpolasyon ile gerçekleştirildi; başlangıçta, EKG sinyalleri aliasingi önlemek için düşük geçirimli filtrelenmiş, ardından interpolasyon için SINC tabanlı bir yeniden yapılandırma çekirdeği kullanılmış, ardından 360 Hz'de nihai yeniden örnekleme yapılmıştır. Yeniden örnekleme yaptıktan sonra, her sinyal yaklaşık 0,5 saniyelik veriye eşdeğer olan 180 örneklik pencerelere bölündü ve tüm veri setlerinin aynı zaman çözünürlüğüne sahip olmasını sağladı. Bu standartlaşma, farklı veritabanlarından sinyallerin birleştirilmesini sağlayarak eğitim ve test için modelin zaman içinde tutarlı desenleri öğrenmesine yardımcı oldu.
Ön işleme giriş veri kalitesini sağlamak için birkaç önemli adımı içeriyordu:
Veri segmentasyonu:
Yeniden örneklemeden sonra, her EKG sinyali 180 örnekten oluşan sabit uzunluklu pencerelere bölünürdü. Bu, 360 Hz örnekleme hızında yaklaşık 0,5 saniyelik sinyal süresine karşılık gelir. Bu araştırma, segmentasyon için sabit, örtüşmeyen bir kaydırma penceresi kullandı. Her pencere sürekli bir EKG örneği dizisini topladı. Çalışma, tipik yetişkin kalp atış hızları için tam bir kalp döngüsünü veya ana bölümlerini yakalamak için yeterli olan 0,5 saniyelik bir aralık nedeniyle 180 örneklik bir pencere seçti. Her segmente, segmentin ortasındaki notasyona göre bir sınıf etiketi atanırdı. Bu şekilde, segment etiketi o penceredeki ana kalp atışı şekliyle eşleşiyordu. Kaydırma pencere yöntemi, bu segmentasyon fonksiyonunu uygulamıştır:

burada si , i zamanındaki EKG örneğidir.
Normalizasyon:
Tüm özelliklerin 0 ile 110 arasında değerlere sahip olduğundan emin olmak için segmentli EKG verilerini Min-Max ölçeklendirme ile normalleştirdim.

Bu adım, eğitim sırasında modelin yakınsamasını hızlandırmaya yardımcı olur.
SMOTE ile sınıf dengeleme
EKG veri setinde normal (N) atışlar, anormal kalp atışı sınıflarını çok daha fazla saydı ve EKG veri setinde belirgin bir sınıf dengesizliği gösterdi. Segmentasyon, normalizasyon ve tren-test bölmesinden sonra, eğitim veri seti bu sorunu çözmek için Sentetik Azınlık Aşırı Örnekleme Tekniği (SMOTE) ile uygulandı.
Her EKG segmentini temsil etmek için 180 boyutlu bir özellik alanı kullanıldı ve 180 normalize edilmiş örnekten oluşuyordu. SMOTE, her azınlık sınıfı örneğinin kendi sınıfındaki k en yakın komşusunu (k = 5) belirlemek için Öklid mesafesini kullandı. SMOTE yalnızca eğitim verilerine uygulandı ve bu veriler %70 eğitim ve %30 test setlerine ayrıldı; bu setler tabakalı örnekleme kullanılarak yapıldı. Bu şekilde, test setine yapay örnekler eklenmez ve test sonuçları aşırı örnekleme sürecinden etkilenmezdi. Test verileri değişmeden kaldı, orijinal sınıf dağılımını korudu ve sadece modeli adil değerlendirmek için kullanıldı. Sonuç olarak, bu çalışmanın yüksek performans sonuçları, modelin gerçek genelleme yeteneğini göstermektedir; bu, ekstra örneklemlerin eklenmesiyle elde edilen aşırı uyum veya şişirilmiş puanlardan kaynaklanmamaktadır.
Tren-test ayrımı:
Ön işleme ve sınıf filtrelemesinden sonra, veri seti %70–%30 bölünmesinde stratifikasyonlu rastgele örnekleme kullanılarak eğitim ve test alt kümelerine ayrıldı. Bu tabakalaşma, her kalp atışı sınıfının göreceli oranlarının eğitim ve test setlerinde korunmasını sağlamak için sınıf etiketlerine dayanır.
Bölünme, tekrarlanabilirlik için rastgele bir tohum kullanılarak gerçekleştirildi. Her EKG segmenti yalnızca eğitim veya test setinde yer aldı. Önyargı ve veri sapmasını önlemek için, veri dağıtımını etkileyebilecek her ön işleme adımı (özellikle SMOTE üzerinden sınıf dengelenmesi) yalnızca bölünmeden sonra ve yalnızca eğitim verisi üzerinde gerçekleştirilirdi.
Bu bağlamda, sınıf oranlarını koruyarak, rastgele tabakalaştırma kullanarak ve örnekleri titiz şekilde eğitim ve test setlerine ayırarak, bölme süreci örneklerdeki önyargı olasılığını azaltır ve performans metriklerinin veriye özgü kalıntılar yerine modelin genelleştirilmesini sağlar.
Veri kümesi bölünmesi ve sınıf dağılımı
Son veri seti eğitim ve test setlerine ayrıldı; %70'i eğitim için, %30'u test için. SMOTE uygulandıktan sonra, sınıf dengesizliği azaltıldı ve her aritmi tipi hem eğitim hem de test setlerinde iyi temsil edildi. Toplamda 3.966.620 EKG segmenti eğitim için kullanılırken, test için 112.575 EKG segmenti kullanıldı. Büyük veri hacmi ve aritmi tiplerinin çeşitliliği, gerçek dünya EKG sinyallerinde farklı aritmi tiplerini etkili şekilde tanımlayan bir modelin oluşturulmasını mümkün kıldı. Bu çalışma, EKG aritmilerini sınıflandırmak için derin öğrenme modelleri kullanmaktadır. Beş kalp atışı tipi, yani Normal (N), Sol Demet Dal Bloğu (L), Sağ Demet Dal Bloğu (R), Atriyal Erken Atış (A) ve Erken Ventriküler Kasılma (V), MIT-BIH Aritmi Veritabanı'nda sunulan standart beat notasyonları ile AAMI EKG vuruş notasyonu yönergelerine uygun olarak seçildi. Burada bahsedilen beş vuruş açıklamasının tamamı, aritmilerin geniş kategorisine giren ve P, QRS ve T dalgaları çevresindeki EKG sinyallerinde belirgin dalga formu özellikleri gösteren önemli kalp hastalıklarını kapsar.
Ayrıca, bu sınıflar kamu EKG veritabanlarında en sık ve tutarlı olarak etiketlenenler arasındadır; bu da diğer EKG tabanlı kalp ritmi sınıflandırma yaklaşımlarına kıyasla etkinliğini test etmeyi kolaylaştırır. Veri setleri, hastalar arası bir yöntemle bölünmüştür. Bu düzenleme, tek bir hastadan alınan EKG segmentlerinin hem eğitim hem de test setlerinde aynı anda görünmemesini sağladı. Bu bölünme gerçekleştiğinde, SMOTE yalnızca eğitim setine uygulandı. Test seti sentetik örneklerden ve tekrarlanan zaman pencerelerinden arındı. Tüm bunlar, segment düzeyinde örtüşmeyi önlemeye yardımcı olur ve daha önce görülmemiş hastalarla ilgilenirken gerçek genellemeyi destekler.
SMOTE öncesi ve sonrası sınıf dağılımı:
Orijinal veri setinde sınıflar arasında önemli bir dengesizlik vardı; çok sayıda Normal (N) vuruş ve anormal sınıflar için daha az örnek vardı. SMOTE kullanılmadan önce, eğitim verilerinde yaklaşık 133.320 Normal (N), 8.075 Sol Demet Dal Bloğu (L), 10.431 Sağ Demet Dal Bloğu (R), 4.489 Atriyal Erken Atış (A) ve 60.682 Erken Ventriküler Kasılma (V) segmenti bulunuyordu. Dengesizliği gidermek için SMOTE yalnızca eğitim setine uygulandı ve azınlık sınıflarındaki örnek sayısı çoğunluk sınıfına uyacak şekilde artırıldı. Takviyeden sonra her sınıfta 793.324 segment bulundu ve toplamda 3.966.620 EKG bölümü eğitim için kullanıldı. 112.575 segmentten oluşan test seti, orijinal sınıf dağılımını korudu ve aşırı örneklenmedi. Bu yaklaşım, modelin performansının adil ve tarafsız bir şekilde değerlendirilmesini sağladı.
Eğitim ve çıkarım
6 GB belleğe sahip NVIDIA RTX 3050 GPU'nun eğitim ve çıkarım performansını kontrol ederek hesaplama verimliliğine baktı. Eğitim süreci yaklaşık 3,2 saat sürdü, 60 dönem sürdü. Çıkarım gecikmesi her 180 örneklem segmenti için ortalama 0,45 ms olarak gerçekleşti ve bu da gerçek zamanlı kullanımı mümkün kılar. GPU'da bellek kullanımı 4.2 GB zirveye ulaştı ve modelde sadece 1.8 milyon parametre var, bu yüzden çoğu transformer tabanlı EKG kurulumunun yanında hafif hissettiriyor.
Eğitim ve çıkarım süreci aşağıdaki adımlardan oluşur:
Eğitim kurulumu: Öğrenme hızı, parti büyüklüğü ve dönemler gibi eğitim parametreleri tanımlanır.
Model eğitimi: CNN-Transformer modeli, eğitim verisi üzerine eğitilir.
Doğrulama: Eğitimden sonra modelin doğrulama doğruluğu ve kaybı kontrol edilir. Performans iyiyse, model kaydedilir. Performans düşükse, pipeline farklı eğitim parametreleriyle tekrar edilir ve parametre ayarı adımına geri döner.
Model mimarisi
Tüm CNN-Transformatör kurulumu dört ana bölümden oluşur: konvolüsyon özellik çıkarımı, projeksiyon katmanı, transformatör kodlayıcı ve son olarak sınıflandırma başı. Konvolüsyon blok, 32 filtreli, çekirdek boyutu 3, adımı 1 ve 1 dolgulu tek boyutlu konvolüsyon bir katmanla başlar, ardından bir ReLU gelir. Sinyalin zamansal çözünürlüğünü azaltmak için maksimum havuzlama, çekirdek boyutu 2 ile işleri azaltıyor. İlk konvolüsyon katmandan sonra, 64 filtre ile bir başka katman var, aynı çekirdek boyutu 3, adımı 1, dolgu 1, yine ReLU ve 2 boyutlu bir max-pooling daha var. Tüm bunlardan çıkan çıktı düzleştirilir, özellikleri 128 boyutlu bir göme alanına eşleyen doğrusal bir projeksiyon katmanından geçer ve ardındantransformator 18,19'a beslenir.
Transformatör bloğu, EKG sinyalindeki uzun menzilli bağımlılıkları yakalamak için 4 kafa kullanarak çok başlı öz-dikkat sağlayan iki kodlayıcı katmanına sahiptir. Her katmanda, aşırı uyum için yardımcı olmak için 256 gizli boyutlu ve 0.5 olarak kesinti olan konuma göre bir feedforward ağı vardır. Her alt katmandan sonra katman normalizasyonu gerçekleşir ve bu da eğitimi stabilize eder.
Sınıflandırma başı için, tamamen bağlı bir katman 128'den 64'e düşüyor, ardından ReLU ve tekrar dropout 0.5 geliyor. Sonra çıkış katmanında aritmi sınıfları için beş nöron bulunur ve olasılıkları almak için Softmax var.
1D Konvolüsyon Sinir Ağı (CNN) blokları:
CNN bloğu, her biri bir ReLU aktivasyonu ve bir maksimum havuzlama katmanı gelen iki 1B konvolüsyon katmandan oluşur. Bu katmanlar, giriş EKG sinyali içindeki mekansal ilişkileri tanımlamaya yardımcı olur. Özellik çıkarımı artırmak için, CNN katmanlarındaki her dönüşüm adımından sonra ek ReLU aktivasyon fonksiyonları uygulanır.
İlk konvolüsyon katman: Bu katman, giriş sinyalinde her biri 3 boyutta olan 32 filtre kullanır. Süreç şu şekilde yazılabilir:

burada yi çıktı, wj filtrenin ağırlıklarını temsil eder, xi+j giriş segmenti, b önyargı terimi ve σ aktivasyon fonksiyonunu (ReLU) temsil eder. Ortaya çıkan özellik haritası, doğrusal olmayan bir özellik eklemek için bir ReLU aktivasyon katmanından geçer:

Havuzlama katmanı: Her konvolüsyon işlemden sonra, mekânsal boyutları yarıya indirmek için maksimum havuzlama adımı uygulanır. Bu süreç şu şekilde tanımlanır:

Bu, en önemli özellikleri korumaya yardımcı olurken hesaplama yükünü azaltır.
İkinci konvolüsyon katman: Bu katman, önceki katmandan özellik haritalarını işlemek için 3 x 3 boyutunda 64 filtre kullanır ve modelin daha karmaşık desenleri tespit etmesini sağlar. Konvolüsyondan sonra, modele doğrusal olmayan bir özellik eklemek için bir ReLU aktivasyon fonksiyonu uygulanır.

Bu adım, modelin EKG sinyalinden ayrıntılı desenleri yakalamasını sağlar.
Ek aktivasyon katmanları: ReLU aktivasyonu, konvolüsyonist sonraki her adımdan sonra uygulanır; böylece ağ karmaşık desenleri daha iyi yakalarken modelin pozitif aktivasyonlara odaklanmasını sağlar.
Düzleştirme süreci: İkinci max-pooling işleminden sonra, özellik haritaları transformatör bloğuna girdi için tek bir vektöre düzleştirilir.
Transformatör blokları:
Transformatör bloğu, modelin EKG sinyalinin farklı bölümleri arasındaki ilişkileri zaman içinde anlamasına yardımcı olan iki katmanlı çoklu başlı öz-dikkat katmanından oluşur. Çoklu Kafalı Öz-Dikkat, bir dizideki her iki öğeye bakarak çalışır. Soru Q, anahtar K ve değer V olan bir dizi için dikkat şu şekilde hesaplanır:

Burada dk, anahtar vektörlerin boyutluluğudur ve ölçek değişmezliğini sağlar.
Besleme katmanları: Her kendine dikkat çıkışı, ReLU aktivasyonu ve ardından katman normalizasyonu ile tamamen bağlantılı bir feedforward ağından geçer. Bu adım, çıkarılan zaman özelliklerini iyileştirir:

burada W1 ve b1, besleme katmanının ağırlıkları ve yanlışlıklarıdır.
Parti öncesi temsili: Transformator, parti öncesi düzeninde diziler üzerinde çalışır ve CNN bloğunun giriş formatıyla uyumluluğu sağlar.
Tam bağlı (yoğun) katmanlar:
Transformatör bloğundan işlendikten sonra, çıkış dizisi düzleştirilir ve sınıflandırma gerçekleştirilmek için tamamen bağlı iki katmandan gönderilir. İlk tam bağlı katman, giriş vektörünü 128 boyutlu bir özellik alanına dönüştürür ve bu süreçte onu yeniden şekillendirir.

burada W ağırlık matrisi, x giriş vektörü ve b yanlışlık vektörüdür. Bir ReLU aktivasyon katmanı uygulanır:

Aşırı uyumu önlemek için 0.5 oranında bir dropout katmanı takip eder.
İkinci tam bağlı katman: Son katman, 128 boyutlu özellikleri kalp atışı sınıflarının sayısına eşlerler (örneğin, aritmi tespiti için 5 sınıf). Çıktı, log olasılıkları hesaplamak için log-SoftMax fonksiyonundan geçer: exp(xi)
Hibrit CNN-Transformatör modeli
Sunulan model, CNN'lerin ve transformatörlerin güçlü yönlerini birleştirerek hem mekânsal hem de zamansal temsilleri kullanan hibrit derin öğrenme modelidir. Bu mimari, fizyolojik sinyaller gibi karmaşık ve uzun dizili verilerin işlenmesi için özel olarak uyarlanmıştır.

Denklem, giriş temsilini temsil eder; burada N = örnek sayısı, T = zaman adımı sayısı, d = zaman adımı başına özellik boyutu.

Bu denklem, pozisyonsal gömmeleri gösterir; burada pos = sırayla pozisyon; i = gömülü boyut indeksi.
CNN modülü – Yerel özellik çıkarımı
CNN'ler, sıralı verilerdeki zirveler, eğimler veya yükselmeler gibi yerel bağımlılıkları ve morfolojik kalıpları verimli şekilde öğrenir. Konvolüsyon katman
, giriş tensörü
üzerinde uzamsal kapsama
çekirdeklerini kullanır. Her çıkış kanalı m şu şekilde belirlenir:

= giriş kanalları sayısı; K = çekirdeğin boyutu; W = filtre ağırlıkları; b = önyargı
ReLU fonksiyonu
Bu durumda,
öğrenilebilir ağırlığı temsil eder ve
kanal mA için önyargıdır, doğrusal olmayan aktivasyon, Rectified Linear Unit (ReLU) gibi, uygulanır:

Havuzlama ve özellik sıkıştırma
Havuzlama katmanları, özellik haritalarının mekânsal veya zamansal boyutunu azaltır, önemli özellikleri korur ve hesaplamayı azaltır. Pencere boyutu
ve adım s ile maksimum havuzlamada, konumdaki
havuzlanmış özellik şudur:

Havuzlama sonrası çıkış süresi

Burada
giriş uzunluğu; adım, havuzlama penceresini kaydırmak için bir adım boyutunu tanımlar. Bu formül, bir havuzlama işleminden (örneğin, maksimum havuzlama) sonra bir özellik haritasının çıktı uzunluğunu hesaplar. Özellik haritasının ne kadar küçüldüğünü giriş uzunluğu, havuz büyüklüğü ve adıma göre hesaplar. Çok boyutlu özellik haritalarını tam bağlantılı katmanlar için bir vektöre dönüştürür.
Transformatör kodlayıcı – uzun menzilli bağımlılıkları yakalamak
Transformers,17 dizisinde uzun menzilli zaman bağımlılıklarını öğrenmek için öz-dikkati kullanır.
Ölçekli nokta-çarpım dikkat

Q, K, V, öğrenilen projeksiyonlarla hesaplanan sorgu, anahtar ve değer matrisleridir;
nokta çarpımını ölçeklendirmek için kullanılan anahtar boyuttur.
Çok başlı dikkat

Her kafa dikkati bağımsız olarak hesaplar; çıktılar birleştirilir ve doğrusal olarak dönüştürülür.
her kafa için öğrenilmiş projeksiyon matrisleridir.
birleştirme 18,19'dan sonraki nihai projeksiyon ağırlığıdır.
Son tahmin ve kayıp
Tam bağlı katmanlar, özellikleri logitlere eşler, bu da aktivasyon fonksiyonları kullanılarak tahminlere dönüştürülür. Bazı konvolüsyon ve havuzlama katmanlarından sonra,
bir vektöre
düzleştirilir Tam bağlantılı katman logitleri hesaplar: Tam bağlantılı katman sınıf logitlerini hesaplar:

Sigmoid/Softmax aktivasyonu:

Aktivasyon fonksiyonu, modelin ham çıktısı 'z' oranını olasılıklara eşler. Sigmoid ikili sınıflandırmada, Softmax ise sınıflar arasında olasılık dağılımı için çok sınıflı problemler için uygulanır. z doğrusal çıktıdır (örneğin, son katman: z = Wx + b). Çıktı ŷ (0, 1) arasındadır, bu da olasılık20'yi gösterir.
Eğitim süreci
Eğitim, aşağıdaki donanım özelliklerine sahip bir sistem üzerinde gerçekleştirildi:
İşlemci: AMD Ryzen 7 7840HS
CPU RAM: 16 GB
GPU RAM: 6 GB NVIDIA GeForce RTX 3050
Modeller, eğimin ilk ve ikinci anlarına göre eğitim sırasında öğrenme hızını uyarlayan Adam optimizatörü kullanılarak eğitilmiştir. Adam için güncelleme kuralı şu şekilde verilir:

Bu kurulumda, mt ve vt birinci ve ikinci an tahminlerini temsil eder; α öğrenme hızıdır ve ε sıfıra bölünmeyi önlemek için kullanılan küçük bir sabittir. Modeller 60 dönem için eğitilmiş, aşırı montajı önlemek için erken durma yapılmıştı. 1024 toplu toplu boyut kullanıldı ve eğitim verileri PyTorch'un DataLoader ile modellere yüklendi. Modeli düzenlendirmek ve yakınsamayı hızlandırmak için dropout ve toplu normalizasyon dahil edildi. Dropout, eğitim sırasında nöronların bir yüzdesini rastgele kapatan ve aşırı uyumu azaltmaya yardımcı olan bir düzenleme yöntemidir. Matematiksel olarak, zi i. nöronunun aktivasyonunu ifade etsin. Eğitim aşamasında, değiştirilmiş aktivasyon z' şu şekilde hesaplanır:

burada p, okuldan ayrılma oranıdır (örneğin, %50 terk edildiğinde p = 0.5). Çıkarım sırasında herhangi bir kopma uygulanmaz ve tüm ağ kullanılır.
Sinir ağlarındaki yakınsama, sağlık sektöründeki mevcut sınıflandırma sistemlerini önemli ölçüde etkileyen bir sorundur; özellikle teşhisler yetersiz yakınsamadan kaynaklandığı durumlarda. Önceden tanımlanmış zamanlı optimizasyon yaklaşımları ve sabit zamanda yakınsamayla ilgili son araştırmalar, tüm başlangıç durumlar için sabit sayıda yineleme içinde yakınsayan modelleri eğitmenin hâlâ mümkün olduğunu göstermiştir. Buna dayanan gelecekteki modeller önceden tanımlanmış zaman optimizasyonunu içerebilir.
Parti normalizasyonu:
Toplu normalizasyon, her katmana girdileri normalleştirerek eğitimi stabilize eder ve hızlandırır. Bir mini aktivasyon partisi x = {x1, x2, ... ...,x N} verildiğinde, parti normalize edilmiş çıktı xi .şu şekilde hesaplanır:


burada μB ve σB2, partinin ortalaması ve varyansıdır, ε sayısal istikrar için küçük bir sabittir ve γ ile β, normalleştirilmiş değerleri ölçekleyen ve kaydıran öğrenilebilir parametrelerdir. Toplu normalizasyon, iç kovariat kaymasını azaltmaya yardımcı olur ve daha büyük öğrenme oranlarının kullanılmasını sağlar. Bu teknikler, Adam optimizatörü ile birleşerek, aşırı uyumu azaltarak ve yakınsama hızını artırarak sağlam eğitimsağlar 21,22.
Şekil 3, bir makine öğrenimi modelinin eğitimi sırasında Dönemler Üzerinden Doğrulama Kaybı ve Doğrulama Doğruluğunu göstermektedir. Doğrulama doğruluğu (mavi çizgi, sağ Y ekseni) nispeten düşük başlar (yaklaşık %97,5) ve ilk 10 dönemde hızla artar. Gelişmeye devam etmekte ve yaklaşık 20 dönem sonra yaklaşık %99,7 ile %99,8 arasında seviyelere ulaşmaktadır. Bu, modelin doğrulama setinde bilgiyi iyi öğrenip uyguladığını gösterir. Doğrulama kaybı (kırmızı çizgi, sol Y ekseni) yüksek başlar, sonra ilk birkaç dönemde (yaklaşık 2 ila 3) neredeyse sıfıra düşer. Bundan sonra, antrenmanın geri kalanında neredeyse sıfırda kalıyor23,24.