Ön İşlenmiş Fundus Görüntüleri ve Optimize Edilmiş CNN'ler Kullanılarak Erken Diyabetik Retinopati Tespiti İçin Sağlam Derin Öğrenme Çerçevesi

Summary

Bu çalışma, önceden işlenmiş fundus görüntüleri ve optimize edilmiş konvolüsyon sinir ağı mimarileri kullanılarak diyabetik retinopatinin erken tespiti için derin öğrenme tabanlı bir iş akışını tanımlıyor; böylece doğru hastalık sınıflandırması ve ölçeklenebilir klinik uygulama için açıklanabilir lezyon lokalizasyonu sağlanıyor.

Abstract

Diyabetik retinopati (DR), özellikle kötü kontrol edilen diyabetli hastalar arasında küresel olarak görme kaybının önde gelen nedenlerinden biridir. Otomatik görüntü analiziyle erken tespit, zamanında müdahaleyi desteklemek için ölçeklenebilir bir çözüm olarak ortaya çıkmıştır. Derin öğrenme tabanlı modeller, özellikle konvolüsyon sinir ağları (CNN'ler), retinal fundus görüntülerinden DR algılamada önemli umut vaat etmiştir. Bu çalışma, (i) beş aşamalı DR sınıflandırması için EfficientNetB0 ve DenseNet121 kullanarak bir derin öğrenme çerçevesi geliştirmeyi, (ii) fundus görüntü ön işlemenin tanı performansını sistematik olarak değerlendirmeyi, (iii) lezyon lokalizasyonu için Grad-CAM tabanlı görsel açıklamaları dahil etmeyi ve (iv) ölçeklenebilir taramaya uygun hesaplama verimliliğiyle yüksek tanı doğruluğu sağlamayı amaçladı. EyePACS, APTOS 2019 ve Çin'deki bir üçüncü sınıf bakım merkezinden 53.412 fundus görsesinden oluşan bir veri seti hazırlandı. Ön işleme adımları arasında kontrast sınırlı adaptif histogram eşitleme (CLAHE), artefakt çıkarımı ve normalizasyon yer aldı. Transfer öğrenmesi EfficientNetB0 ve DenseNet121 omurgaları kullanılarak uygulandı, ardından hibrit montaj yapıldı. Modeller doğruluk, makro-AUC, duyarlılık, özgüllük ve F1-puanı kullanılarak değerlendirildi. Lezyonun lokalizasyonunu görselleştirmek için Grad-CAM kullanıldı. Hibrit topluluk modeli %91,2 doğruluk, 0,961 makro-AUC, %92,1 hassasiyet ve 0,913 F1 puanı elde etti. Ön işleme performansı %3-4 oranında iyileştirdi ve topluluk yaklaşımı bağımsız CNN'lerden daha iyi performans gösterdi. Grad-CAM kaplamaları, doğru lezyon lokalizasyonunu doğruladı. Model performansı, klinik tarama gereksinimlerini yansıtmak için hem beş aşamalı DR derecelendirmesi hem de ikili referanslanabilir DR tespiti için değerlendirildi. Bu çalışma, DR tespiti için klinik olarak uygulanabilir ve açıklanabilir bir derin öğrenme modeli sunmaktadır. Gelecekteki çalışmalar arasında bağımsız veri setlerinde dış doğrulama, gerçek dünya değerlendirmesi ve mobil ile bakım noktası tarama uygulamaları için model optimizasyonu (örneğin, budama ve kuantizasyon) yer alacak.

Introduction

DR, diyabetin mikrovasküler komplikasyonudur ve dünya genelinde önlenebilir görme bozukluklarının başlıca nedenlerinden^{biri olmaya devam etmektedir. 1}. Kronik hiperglisemi, retinal kapilyarlarda hasara yol açar; bu da damar geçirgenliğinin artmasına, mikroanevrizma oluşumuna, kanamalara, eksüdatlara ve ileri evrelerde neovasküler proliferasyona yol açar. Zamanında müdahale edilmezse, bu değişiklikler vitreus kanama, traksiyonel retina ayrılması ve geri dönüşü olmayan görme^{kaybına dönüşebilir 1,2}. Epidemiyolojik çalışmalar, diyabetli bireylerin yaklaşık %35'inin bir derecede DR gösterdiğini ve her yıl yaklaşık %10'unun görme tehlikesi oluşturan retinopati^{geliştirdiğini tahmin ediyor 2}. Küresel eğilimler, DR yaygınlığının son yirmi yılda önemli ölçüde arttığını gösteriyor. Önemli bir meta-analiz, DR yaygınlığının 2000'lerin başında yüzde 13,6'dan 2020'ye kadar %20'nin üzerine çıktığını^{bildirdi 2}. Benzer şekilde, görme tehlikesi veren DR ve diyabetik makula ödemi insidansları, özellikle düşük ve orta gelirli bölgelerde yukarı yönlü bir eğilim^{göstermiştir 3}. Kırsal ve ekonomik açıdan dezavantajlı bölgelerde oftalmik tarama hizmetlerine sınırlı erişim, tanı ve tedavinin gecikmesine katkıda^{bulunur 5}.

DR'nin erken tespiti kritiktir; çünkü proliferatif olmayan evrelerde yapılan müdahaleler, örneğin fokal veya pan-retinal lazer fotokoagulasyon, intravitreal anti-vasküler endotel büyüme faktörü (anti-VEGF) tedavisi ve vitrektomi gibi uygulamalar, görsel kayba ilerlemeyi etkili bir şekilde^{önleyebilir 6}. Buna rağmen, geleneksel tarama programları genellikle eğitimli uzmanlar tarafından renkli fundus fotoğraflarının manuel derecelendirilmesine dayanır; bu süreç, ölçeklenebilirliği ve zamanında kapsamı sınırlayan kaynak yoğun^{bir süreçtir.} Teleoftalmoloji girişimleri bu boşlukları kısmen gidermiş olsa da, hâlâ sınırlı uzman bulunabilirliği ve standartlaştırılmış görüntüleme protokollerine ^{dayanmaktadır 7}. Yapay zeka (AI) ve özellikle derin öğrenme (DL) alanındaki gelişmeler, fundus görüntülerinden DR'yi yüksek hassasiyet ve hızla tespit edip dereceleyebilen otomatik çözümler ortaya koymuştur. CNN'ler, mikroanevrizmalar, kanamalar ve eksüdatlar gibi hiyerarşik özellikleri çıkarır ve ^8,9 ölçüt^{veri setlerinde} %90'ın üzerinde hassasiyet ve özgüllükler elde etmiştir. Gulshan ve ark. ile Ting ve ark. tarafından yapılan önemli çalışmalar, DL algoritmalarının referans verilebilir DR belirlemede uzman derecelendirme yapanlarla eşleşebileceğini veya onları geçebileceğini göstererek, otonom tarama sistemlerinin düzenleyici onaylarının^{yolunu açtı 8,9}. Sonraki çalışmalar, farklı görüntüleme koşulları ve hasta popülasyonları arasında genellenebilirliği artırmak için transfer öğrenmesi, topluluk modellemesi ve hibrit CNN tekrarlayan sinir ağı mimarilerini^{incelemiştir 10,11}.

Bu umut verici sonuçlara rağmen, DL tabanlı DR taramasının klinik aktarımını birkaç zorluk zorlaştırmaktadır. Birincisi, sağlam performans, görüntüleme cihazları, etnik kökenler ve hastalık sunumlarındaki değişkenliği yakalayan büyük, iyi notlanmış veri setleri^{gerektirir 12}. Notlama tutarsızlığı notlama öğrencileri arasında model eğitimi ve değerlendirmesini daha da karmaşıklaştırır. İkinci olarak, CLAHE ile kontrast artırma, gürültü azaltma ve renk normalizasyonu gibi görüntü ön işleme adımları, ince lezyonların görünürlüğünü ve dolayısıyla özellik^{çıkarma 13'ün} güvenilirliğini önemli ölçüde etkiler. Üçüncü olarak, model yorumlanabilirliği aktif bir araştırma alanı olarak devam etmektedir; Klinisyenler, algoritmik tahminleri yönlendiren belirgin görüntü bölgelerini vurgulayan şeffaf karar destek araçlarına^{ihtiyaç duyar 14}. Son olarak, özellikle kaynak sınırlı ortamlarda, yapay zeka araçlarının mevcut tarama yollarına entegre edilmesini yönlendirmek için düzenleyici çerçeveler ve maliyet etkinliği analizleri^{gereklidir 15}. Mevcut çalışma, fundus görüntülerinin optimize edilmiş ön işlemesini, son teknoloji CNN mimarilerini ve transfer öğrenme stratejilerini entegre eden erken DR tespiti için kapsamlı bir DL çerçevesi önererek bu zorlukları ele almaktadır. Lezyon kontrastını artırmak için CLAHE ve otomatik artefakt kaldırma yöntemleri kullanıyoruz, ardından büyük ölçekli doğal görüntü özelliklerinden faydalanmak için önceden eğitilmiş CNN omurgalarının ince ayarları yapılıyor. Buna göre, bu çalışma, optimize edilmiş fundus görüntü ön işlemesini verimli toplu CNN mimarileriyle bütünleştiren erken DR tespiti için açıklanabilir bir derin öğrenme çerçevesi önermektedir (Şekil 1). Bu çalışmanın temel katkıları arasında, ön işleme stratejilerinin sistematik olarak değerlendirilmesi, hesaplama açısından verimli bir hibrit topluluğun tasarımı ve klinik yorumu desteklemek için görsel açıklanabilirliğin dahil edilmesi yer almaktadır. Doğruluk, şeffaflık ve uygulanabilirliği birlikte ele alarak, bu çalışma yapay zeka destekli DR taramasının pratik uygulanabilirliğini ilerletmeyi amaçlamaktadır. DR, klinik olarak tanımlanmış beş evreden geçer: DR yok, hafif, orta, şiddetli proliferatif olmayan DR ve Proliferatif DR. Erken evreler mikroanevrizmalar ve hafif kanamalar ile karakterize edilirken, ileri evreler geniş çaplı damar hasarı, neovaskülarizasiya ve görme kaybı riski içerir. Belirtiler genellikle geç evrelere kadar semptomsuz kalır, bu da erken müdahale için otomatik taramayı kritik hale getirir.

Şekil 1: El yazmasında sunulan eserin grafiksel temsili Bu şekilin daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Bu zorlukları ele almak için, bu çalışma standart fundus görüntü ön işlemesini, optimize edilmiş konvolüsyon sinir ağı eğitimini ve yorumlanabilir model çıktılarını birleşik bir iş akışı içinde entegre eden yapılandırılmış bir derin öğrenme protokolü sunmaktadır. Protokol, ön işleme stratejilerini, model mimarisini ve eğitim yapılandırmalarını açıkça detaylandırarak tekrarlanabilirliği ve metodolojik şeffaflığı artırmak için tasarlanmıştır. Hesaplama açısından verimli hafif bir topluluğa vurgu yaparak ve Grad-CAM tabanlı görsel açıklamaları içererek, önerilen yöntem, heterojen, çok merkezli retinal görüntüleme veri setleri arasında tutarlı değerlendirme için pratik ve yorumlanabilir bir çerçeve tanımlar.

Protocol

Bu çalışma, geriye dönük bir analiz içeriyordu. Kurumsal ve ulusal düzenlemelere uygun olarak, tanımlanabilir hasta bilgisi erişilmediği veya kullanılmadığı için resmi etik komite onayı ve bilgilendirilmiş onayı muaf edildi.

1. Veri kaynakları ve edinim

1. Tüm görüntüleri, EyePACS, APTOS 2019 ve üçüncü sınıf bakım grubundan elde edilen veri setleri arasında tutarlılık sağlamak için Uluslararası Klinik Diyabetik Retinopati (ICDR) Şiddet Ölçeği'ne (Dereceler 0-4)¹⁰ göre yeniden etiketlenin.
2. Mevcut açıklamalarla veri setleri için orijinal etiketleri ICDR ölçeğine eşleyerek tekdüzeliği koruyun.
3. Tüm fundus görüntülerini, DR taramasında deneyimli iki board sertifikalı göz doktoru tarafından bağımsız olarak değerlendirin.
4. Her iki dereceleyiciyi veri seti kaynağına, hasta tanımlayıcılarına, klinik geçmişe ve model tahminlerine tamamen maskeleyerek değerlendirme yanlılığını en aza indirin. Görüntüleri anonimleştirilmiş dosya tanımlayıcıları kullanarak rastgele bir sırayla sunun.
5. ICDR Şiddet Ölçeği'ne (0-4. sınıflar) göre derecelendirme yapılmalıdır.
6. DR şiddet derecelerinin sırasal doğasını hesaba katmak için Cohen'in ağırlıklı kappasını (κw) kuadratik ağırlıklarla konsensus etiketlemeden önce dereceler arası anlaşmayı nicelikleştirin.
7. Standart eşiklere göre anlaşma gücünü yorumlayın (κ < 0.20, zayıf; 0.21-0.40, orta; 0.41-0.60, orta; 0.61-0.80, önemli; > 0.80, neredeyse mükemmel). Ortak uzlaşma incelemesiyle farklılık notlarını çöz. Model eğitimi ve değerlendirmesi için nihai referans standardı olarak uzlaşma notunu kullanın.
8. Model eğitiminden önce, tüm görüntüleri 512 × 512 piksel arasında tekdüz bir çözünürlüğe ve tutarlı bir renk uzayına standartlaştırın ve kamera cihazları, alım protokolleri ve aydınlatma koşullarındaki farklılıklardan kaynaklanan veri kümeleri arası değişkenliği en aza indirmek için aynı ön işleme prosedürlerini uygulayın.
   NOT: Özellikle ön işleme şunlardan oluşuyordu: (i) görüntü boyutlandırması ve RGB standartlaştırması, (ii) kontrast artırmak için yeşil kanal CLAHE, (iii) dairesel maskeleme ve uyarlanabilir eşik ile arka plan artefaktlarının kaldırılması, (iv) kanal bazında yoğunluk normalizasyonu ve (v) Gauss filtreleme ve keskin olmayan maskeleme ile gürültü azaltma ve kenar artırma.
9. Rutin klinik tarama koşulları altında ticari olarak mevcut olan birden fazla renkli fundus kamerası (Topcon, Canon ve Zeiss) kullanılarak fundus görüntüleri alın (Şekil 2).
10. Görüntü alma parametrelerinin cihazlara göre değişmesine izin verin, ancak bunları tipik tarama aralıkları içinde standartlaştırın; bunlar arasında 30°-45° görüş alanı, yaklaşık 2.048 × 1.536 ile 3.872 piksel × 2.592 piksel arasında yerel görüntü çözünürlükleri ve 24 bit renk derinliği (RGB kanal başına 8 bit) dahildir.
11. Gerçek dünya tarama uygulamalarını yansıtmak için hem mistriyatik hem de mydriatik olmayan görüntüleme protokollerini kullanın. Tüm görüntüleri değişken aydınlatma koşullarında tek alanlı, makula merkezli fundus fotoğrafları olarak yakalayın ve ardından model eğitiminden önce aynı bir boru hattıyla görüntüleri yeniden boyutlandırıp ön işleyin (Şekil 2).
12. HIPAA^yönergeleri 12,13,14'e uygun olarak kullanımdan önce tüm görüntüleri anonimleştirin.
    NOT: Konu içi önyargıyı önlemek için göz başına yalnızca bir görüntü kullanın. Aşağıdaki önceden tanımlanmış kalite kriterlerinden birini veya birkaçını karşılayan görüntüleri hariç tutun: (i) kenar keskinliği ve damar görüşü ile değerlendirildiği şekilde retina damarlarını ve mikroanevrizmaları gizleyen zayıf odak veya bulanıklık; (ii) retina alanının %25'inden fazlasını etkileyen aşırı hareket bulanıklığı veya odaklanma; (iii) optik disk veya maküla bölgesinin eksik görselleştirilmesi olarak tanımlanan alan kaybı; veya (iv) doygunluk veya gölgeleme gibi ciddi aydınlatma artefaktları, lezyon görünürlüğünü engelleyen.
13. İki hakem tarafından bağımsız kalite değerlendirmesi yapmak ve anlaşmazlıkları uzlaşma yoluyla çözmek.
    1. EyePACS Veri Seti: Kaggle'dan elde edilen EyePACS veri setini kullanın. Tüm mevcut renkli fundus görüntülerini dahil edin ve veri seti meta verileriyle sağlanan DR derecelerini koruyun.
    2. APTOS 2019 Veri Seti: Kaggle'dan alınan ve standart tarama koşullarında elde edilen yaklaşık 3.600 tek alanlı renkli fundus görüntüden oluşan APTOS 2019 veri setini kullanın.
    3. Hindistan Klinik Veri Seti: Renkli fundus görüntülerinden oluşan hastane kaynaklı bir Hint klinik veri seti kullanın. Toplam görüntü sayısını kaydedin ve nitelikli oftalmologlar tarafından verilen DR derecelerini referans etiketi olarak kullanın.

Şekil 2: Diyabetik retinopatinin çeşitli evrelerini gösteren temsil renkli fundus fotoğrafları. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

2. Ön İşleme (CLAHE, normalizasyon, artefakt kaldırma)

1. Lezyon görünürlüğünü artırmak ve görüntüleme koşullarından kaynaklanan değişkenliği azaltmak için çok aşamalı ön işleme boru hattı kullanın.
2. Derin öğrenme modelleri için giriş boyutlarının eşit şekilde korunması amacıyla her renkli fundus görüntüsünü 512 × 512 piksele boyutlandırın.
3. Her fundus görüntüsünün yeşil kanalına özel olarak uygulanan CLAHE ile kontrast artırıcı uygulanır; çünkü bu kanal optimal damar ve mikroanevrizma kontrastı sağlar.
4. Gürültü aşırı güçlendirilmesini önlemek için 2.0 clip limiti olan OpenCV kütüphanesi kullanılarak ve retina alanında lokal kontrast artırımı sağlamak için 8 × 8 kart ızgarası boyutu ile CLAHE uygulanın.
5. İşlenen yeşil kanalı kırmızı ve mavi kanallarla yeniden birleştirerek geliştirilmiş RGB görüntüsünü yeniden inşa edin. Tüm CLAHE parametrelerini düzeltin ve tekrarlanabilirliği sağlamak için eğitim, doğrulama ve test setlerindeki tüm görüntülere aynı şekilde uygulayın.
6. Daha sonra, görüntüleri kanal bazında normalizasyon kullanarak sıfır ortalama ve birim varyansa normalize edin.
7. Siyah sınırlar ve aydınlatma haleleri gibi arka plan artefaktlarını dairesel maskeleme ve uyarlanabilir eşik kullanarak kaldırın.
8. Gürültü azaltma ve kenar koruması için sırasıyla Gauss filtreleme ve keskin olmayan maskeleme uygulayın. Aşağıdaki kontrast artırma yöntemini uygulayın: gürültü bastırma için Gauss filtrelemesi: 1.0 standart sapma (σ) olan 5 × 5 çekirdek kullanın, hem yatay hem de dikey yönlerde simetrik uygulanın.
   NOT: Bu adım, ince damar yapılarını korurken yüksek frekanslı gürültüyü azaltır.
9. Lezyon sınırlarını güçlendirmek için orijinal görüntüden bulanık bir görüntünün çıkarılması yoluyla keskin olmayan maskeleme yapın.
10. Özellikle, orijinal görüntüden 1.5 keskinleştirme ağırlığıyla Gauss bulanıklaştırılmış bir görüntü (çekirdek boyutu 5 × 5, σ = 1.0) çıkarır ve ortaya çıkan detay görüntüsünü orijinale geri ekleyerek nihai keskinleştirilmiş çıktı elde edilir.
11. Tüm parametreleri düzeltin ve tüm veri setlerine eşit şekilde uygulayın.
12. Aşağıda belirtilen ek ön işlemeyi de dahil ederek gerçek dünya değişkenliğini simüle edin ve eğitim verilerini artırın:
    1. Her eğitim görüntüsüne 0.5 olasılıkla rastgele yatay çevirme uygulayarak retinanın sol-sağ anatomik simetrisini hesaba katabilirsin.
    2. 0,5 olasılıkla rastgele dikey çevirme uygulanarak, fundus görüntü alımı sırasında sıkça karşılaşılan yönelim değişkenliğinin temsil edilmesini sağlar.
    3. Küçük kamera eğimini ve hasta baş hareketini simüle etmek için -15° ile +15° arasında rastgele dönüş uygulanır; örneklem alın, 0.7 olasılıkla örneklenir.
    4. Orijinal görüntü boyutunun %10'u ± oranında rastgele yakınlaştırma uygulayın, olasılık 0,5 olmalı, ardından merkez kırpma veya dolgu ile 512 × 512 piksel giriş çözünürlüğünü geri kazandırın.
    5. Görüntüleme cihazları arasında aydınlatma değişkenliğini modellemek için piksel yoğunluklarını 0.9-1.1 çarpan aralığında ve 0.4 olasılıkla ölçeklenerek rastgele parlaklık ayarı uygulanır.
    6. Rastgele kontrast ayarlamasını uygulayarak, görüntü kontrastını 0,9-1,1 faktör aralığında ve 0,4 olasılıkla ölçeklendirerek pozlama farklarına karşı dayanıklılığı artırın.
    7. Tüm artırmaların yalnızca eğitim setine uygulandığından ve model eğitimi sırasında anında yapıldığından emin olun; doğrulama ve test görüntüleri ise artırılmamış kalacaktır.
    8. Modelin kontrollü değişkenliğe sürekli maruz kalmasını sağlamak için eğitim boyunca sabit artırma parametrelerini koruyun.
13. Python'un OpenCV ve görüntü kütüphanelerini kullanarak ön işleme adımlarını uygulayın ve eğitim ile doğrulama setleri arasında tutarlı dönüşümler sağlanın.

3. Model mimarisi (CNN varyantları, optimize edilmiş katmanlar)

1. DR sınıflandırması için birden fazla CNN mimarisini keşfedin ve aşağıda belirtilen üç model varyantını inceleyin.
   1. Temel CNN - Parti normalizasyonu, ReLU aktivasyonu, maksimum havuzlama ve dışarı çıkma (p = 0.5) özellikli özel 6 katmanlı bir CNN.
   2. Transfer Öğrenme Modelleri - ResNet50, EfficientNetB0 ve DenseNet121 dahil olmak üzere önceden eğitilmiş CNN omurgaları, ImageNet ağırlıklarıyla başlatılmış ve DR görüntüleri üzerinde ince ayar edilmiştir.
   3. Optimize Edilmiş Hibrit Model - EfficientNetB0 ve DenseNet121'den özellik çıkarıcılarını birleştiren bir topluluk modeli, ardından softmax çıkışlı çok katmanlı bir perceptron (MLP) gelir.
   4. İnce ayarlamanın ardından, her önceden eğitilmiş model için sınıflandırma başlığını küresel ortalama havuzlama katmanı, ReLU aktivasyonuna sahip yoğun bir katman (512 birim), bir dropout katmanı (p = 0.5) ve softmax çıkış katmanı kullanarak oluşturun.
   5. Her modelde sınıflandırma başının önüne bir küresel ortalama havuzlama (GAP) katmanı yerleştirin.
   6. Aşırı uyumu azaltmak için, sınıflandırma başındaki tüm tam bağlantılı (yoğun) katmanlara 1 × 10⁻⁴ düzenlenme katsayısı (λ) kullanılarak L2 ağırlık düzenlemesi uygulandı. Bu değer, ince ayar sırasında model yakınsamasını ve sınıflandırma performansını korurken büyük ağırlıkların etkili cezalandırılmasını sağlamak için seçilmiştir.
   7. 5 sınıflı DR tahminini mümkün kılmak için sınıflandırma katmanında softmax aktivasyon fonksiyonu kullanın.
   8. Retinal görüntü analizinde hibrit ve transfer öğrenme tabanlı yaklaşımların üstün performansını gösteren önceki çalışmalara dayalı temel model tasarım^{seçimleri 3,4}.
   9. Optimize edilmiş hibrit topluluk modelinde paralel özellik çıkarıcıları olarak efficientNetB0 ve DenseNet121 kullanın.
   10. Giriş fundus görüntülerini eşzamanlı olarak her iki önceden eğitilmiş omurga kemiğine besin ve her ağın küresel ortalama havuzlama (GAP) katmanından sonra nihai konvolüsyon özellik haritalarını çıkarın.
   11. Ortaya çıkan özellik vektörlerini birleştirerek birleşik bir temsil oluşturur ve bunları iki tam bağlı katmandan (ReLU aktivasyonu ve kesilmesiyle) oluşan bir MLP'ye beslenir, ardından beş sınıflı DR sınıflandırması için softmax çıkış katmanı bulunur.
   12. Bu geç birleşme stratejisini benimsemek için EfficientNetB0'ın ince taneli özellik verimliliğini DenseNet121'in yoğun özellik yayımı ile entegre edin; böylece erken ve ileri DR aşamalarında dengeli performans sağlanır.
   13. MLP'den yararlanarak tamamlayıcı özellik temsillerinin doğrusal olmayan entegrasyonunu mümkün kılın ve uçtan uca füzyona kıyasla aşırı uyumu azaltın.

4. Model eğitimi ve optimizasyonu (transfer öğrenme, hiperparametreler)

1. Tüm deneyleri Ubuntu Linux (sürüm 20.04 LTS) üzerinde Python 3.8.10 ile çalıştıran bir iş istasyonunda gerçekleştirin.
2. Keras backend ile TensorFlow 2.10.0 kullanarak derin öğrenme modelleri uygulayın ve NVIDIA Tesla V100 GPU (32 GB VRAM) üzerinde çalıştırın.
3. Belirtilen TensorFlow sürümüyle uyumlu olan CUDA Toolkit sürüm 11.2 ve cuDNN sürüm 8.1 kullanarak GPU hızlandırmasını etkinleştirin.
4. Tüm ön işleme ve veri artırma adımlarını OpenCV 4.7.0, NumPy 1.23 ve imgaug 0.4.0 kullanarak uygulayın.
5. Veri setini eğitim (%70), doğrulama (%15) ve test (%15) setlerine ayırın ve her bölüm içinde sınıf dengesini sağlayın.
6. Tüm modelleri 32 GB VRAM ile NVIDIA Tesla V100 GPU ile eğitin.
7. Aktarım öğrenimini değerlendirin; önceden eğitilmiş ağların ilk katmanlarını dondurup fundus görüntülerindeki üst katmanları ince ayarlayın.
8. Son yoğun katmanları rastgele başlatın ve sıfırdan eğitim yapın.
9. Aşağıdaki hiperparametreleri optimize edin:
   Optimizer: Adam ile β1=0.9, β2=0.999
   Öğrenme hızı: 1 × 10⁻⁴ ReduceLROnPlateau zamanlayıcı ile
   Parti büyüklüğü: 32
   Dönemler: 50-100 erken durma ile (sabır = 10)
   Kayıp fonksiyonu: Kategorik çapraz entropi
10. Minimum doğrulama kaybına göre model kontrol noktalarını kaydet.
11. Sınıf dengesizliğini tedavi etmek için sınıf sıklığına ters orantılı kategorik sınıf ağırlıkları uygulanır.
12. Keras ImageDataGenerator kullanarak veri artırma uygulamak. Modelin dayanıklılığını sağlamak ve seçim yanlılığını en aza indirmek için 5 katlı çapraz doğrulama stratejisi kullanın. Tüm katlar boyunca ortalama performans metrikleri ve ilgili standart sapmaları raporlayın.
13. Tıbbi görüntü sınıflandırması için transfer öğrenmesinde yerleşik en iyi uygulamalara dayanarak hiperparametre değerleri seçin ve bunları doğrulama seti üzerinde ön pilot deneylerle doğrulayın.
14. Adam optimizatorunu kararlı yakınsama ve uyarlanabilir öğrenme hızı davranışı için kullanın ve ince ayar sırasında eğitim kararlılığı ile yakınsamaya hızını dengelemek için başlangıçta 1e−4 olarak bir öğrenme oranı ayarlayın.
15. Aşırı uyumu en aza indirmek ve hesaplama verimliliğini korumak için parti büyüklüğünü ve erken durdurma kriterlerini ampirik olarak belirleyin.

5. Değerlendirme metrikleri ve doğrulama (AUC, doğruluk, hassasiyet/özgüllük)

1. Standart sınıflandırma metrikleri kullanarak model performansını değerlendirin. Bekletme test seti üzerinde birincil değerlendirme yapın (n ≈ 8.000 görüntü) ve hem 5-sınıf sınıflandırma hem de ikili sınıflandırma (referans verilebilir DR vs. referans verilmeyen DR) sonuçları raporlayın.
2. Aşağıdaki metrikleri hesaplayın:
   Doğruluk: Tüm sınıflar boyunca doğru tahminlerin yüzdesi
   Alıcı Çalışma Karakteristik Eğrisi (AUC) Altındaki Alan: Her sınıf için hesaplanır ve ortalanır (makro AUC)
   Hassasiyet (Geri Çağırma): Gerçek pozitif oran = TP / (TP + FN)
   Özgüllük: Gerçek negatif oran = TN / (TN + FP)
   F1-Puan: Hassasiyet ve hatırlama için harmonik ortalama
   Kafa Karışıklığı Matrisi: Sınıflandırma hata analizi için 5 × 5 matris
3. Model ayırtıcılığını görselleştirmek için Alıcı Çalışma Karakteristikası (ROC) eğrilerini ve hassas geri çağırma eğrilerini çizmek.
4. Model tahminlerini yönlendiren retina bölgelerini vurgulamak için doğru ve yanlış sınıflandırılmış görüntülerin bir alt kümesi için Grad-CAM (Gradient ağırlıklı Sınıf Aktivasyon Haritalama) görselleştirmeleri oluşturun.
   NOT: Optimize edilmiş hibrit model, 0,961 makro AUC, %92,1 hassasiyet, %89,4 özgüllük ve referanslanabilir DR tespiti için %91,2 genel doğruluk ile en iyi performansı elde etti.
5. Performansı aynı veri setlerindeki mevcut yayımlanmış modellerle karşılaştırın ve eşleştirilmiş t-testleri ile McNemar testi kullanılarak istatistiksel anlamlılığı değerlendirin.
6. Sürekli metrikler (AUC, doğruluk, F1-puan) için eşleştirilmiş t-testleri kullanarak hibrit topluluk modeli ile bireysel CNN mimarileri arasındaki performans farklarının istatistiksel anlamlılığını ve test setindeki eşleştirilmiş sınıflandırma sonuçları için McNemar testini değerlendirin.
   NOT: Hibrit model, tüm tek sırt tabanlı modellere göre istatistiksel olarak anlamlı iyileşmeler gösterdi; p-değerleri doğruluk ve AUC için 0.05 <, gözlemlenen performans artışlarının rastgele varyasyondan kaynaklanmadığını doğruladı. Hassasiyet, DR taramasında kritik bir değerlendirme ölçütüdür; özellikle gereksiz yönlendirmelere, hasta kaygısına ve artan sağlık yüküne yol açabilecek yanlış pozitif tahminleri en aza indirmek için. Hassasiyet, pozitif olarak öngörülen tüm vakalar arasında doğru tahmin edilen pozitif vakaların oranı olarak tanımlanır ve şu şekilde ifade edilir:
   Precision=TPTP+FP\text{Precision} = \frac{TP}{TP + FP}Precision=TP+FPTP
   burada TP gerçek pozitifleri, FP ise yanlış pozitifleri temsil eder.
7. DR tespiti bağlamında, yüksek hassasiyetin DR olarak sınıflandırılan görüntülerin gerçekten patolojik işaretler içerdiğini göstererek otomatik tarama sistemlerinin güvenilirliğini artırdığı şeklinde yorumlanmak. Bu ölçütüğün özellikle aşırı yanlış pozitiflerin yönlendirme sistemlerini bunaltabileceği büyük ölçekli nüfus taramaları için önemli olduğunu vurgulayın. Bu çalışmada, her DR derecesi için hassasiyeti ve modelin patolojik vakaları sağlıklı kontrol vakalarından doğru şekilde ayırt etme yeteneğini değerlendirmek için ikili referanslanabilir DR tespiti için değerlendirilecektir.

Results

Veri seti özeti ve ön işleme etkileri

Seçilmiş veri seti, beş DR şiddet sınıfına dağıtılmış 53.412 renkli fundus görüntüden oluşuyordu: DR yok (0) - 39,2%, hafif (1) - 18,4%, orta (2) - %22,5, şiddetli (3) - %12,1 ve Proliferatif DR (4) - %7,8. Veriler EyePACS, APTOS 2019 ve Çin'de üçüncü sınıf bir oftalmoloji merkezinden alınarak etnik köken, görüntüleme koşulları ve kamera özellikleri açısından çeşitlilik sağlanmıştır.

Discussion

Bu çalışmada, EfficientNetB0 ve DenseNet121'i birleştiren, transfer öğrenme kullanılarak ince ayarlanmış ve klasik ön işleme adımları, CLAHE, artefakt kaldırma ve yoğunluk normalizasyonu ile güçlendirilmiş hibrit bir topluluk modeli geliştirdik ve titizlikle değerlendirdik; böylece beş sınıflı DR derecelendirmesi sağlandı. Ekip, olağanüstü performans elde etti: doğruluk %91,2, makroAUC 0,961 ve F₁puanı referanslanabilir DR tespiti için 0,913, hassasiyet %92,1 ve Bölüm 6'da bildirildiği g...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Fundus Kamera (Topcon, Canon, Zeiss)	Topcon / Canon / Zeiss		Farklı aydınlatma koşullarında yüksek çözünürlüklü renkli fundus fotoğrafları çekmek için kullanılır
NVIDIA Tesla V100 GPU	NVIDIA Corporation	Tesla V100	32 GB VRAM; Derin öğrenme modellerinin eğitimi için kullanılıyor
Python (OpenCV, imgaug kütüphaneleri)	Açık kaynak topluluğu		CLAHE, artefakt kaldırma, normalizasyon, artırma dahil olmak üzere görüntü ön işleme
TensorFlow 2.10 + Keras	Google Beyni		CNN model oluşturma ve eğitim için kullanılan derin öğrenme çerçevesi
EfficientNetB0 & DenseNet121 pretrained backbones	Açık kaynak (TensorFlow/Keras Applications)		DR sınıflandırması için ImageNet üzerinde önceden eğitilmiş transfer öğrenme omurgaları