Solidne ramy głębokiego uczenia do wykrywania wczesnej retinopatii cukrzycowej z wykorzystaniem wstępnie przetworzonych obrazów dna dna oraz zoptymalizowanych CNN

Summary

Niniejsze badanie przedstawia oparty na głębokim uczeniu workflow do wczesnego wykrywania retinopatii cukrzycowej, wykorzystując wstępnie przetworzone obrazy dna oraz zoptymalizowane architektury splotowych sieci neuronowych, umożliwiając dokładną klasyfikację chorób i wyjaśnialną lokalizację zmian do skalowalnych zastosowań klinicznych.

Abstract

Retinopatia cukrzycowa (DR) jest główną przyczyną utraty wzroku na świecie, szczególnie u pacjentów z źle kontrolowaną cukrzycą. Wczesne wykrywanie poprzez zautomatyzowaną analizę obrazów stało się skalowalnym rozwiązaniem wspierającym terminową interwencję. Modele oparte na głębokim uczeniu, szczególnie konwolucyjne sieci neuronowe (CNN), wykazały znaczące obiecujące możliwości wykrywania DR na podstawie obrazów dna siatkówki. Celem tego badania było (i) opracowanie ram głębokiego uczenia zespołowego z wykorzystaniem EfficientNetB0 i DenseNet121 do pięciostopniowej klasyfikacji DR, (ii) systematyczne oceny, wpływ wstępnego przetwarzania obrazów w dnie dna na wydajność diagnostyczną, (iii) włączenie wizualnych wyjaśnień opartych na Grad-CAM dla lokalizacji zmian oraz (iv) osiągnięcie wysokiej dokładności diagnostycznej z wydajnością obliczeniową odpowiednią do skalowalnego przesiewu. Opracowano zbiór danych zawierający 53 412 obrazów dna dna z EyePACS, APTOS 2019 oraz centrum opieki trzeciej w Chinach. Etapy wstępnego przetwarzania obejmowały adaptacyjną korektę histogramu o ograniczonym kontrastie (CLAHE), usuwanie artefaktów oraz normalizację. Uczenie transferowe było stosowane przy użyciu szkieletów EfficientNetB0 i DenseNet121, a następnie nastąpiło hybrydowe składanie. Modele oceniano z uwzględnieniem dokładności, makro-AUC, czułości, specyficzności oraz wyniku F1. Do wizualizacji lokalizacji zmian użyto Grad-CAM. Model hybrydowy osiągnął dokładność 91,2%, makro-AUC 0,961, czułość 92,1% oraz wynik F1 0,913. Wstępne przetwarzanie poprawiło wydajność o 3-4%, a podejście zespołowe przewyższyło samodzielne CNN. Nakładki Grad-CAM potwierdziły dokładną lokalizację zmian. Oceniono wydajność modelu zarówno pod kątem pięciostopniowej oceny DR, jak i binarnego, referencyjnego wykrywania DR, aby odzwierciedlić wymagania kliniczne dotyczące przesiewowych. Badanie to przedstawia klinicznie wykonalny, wyjaśnialny model głębokiego uczenia do wykrywania DR. Przyszłe prace obejmą zewnętrzną walidację niezależnych zbiorów danych, perspektywiczną ocenę rzeczywistych oraz optymalizację modeli (np. przycinanie i kwantyzację) dla aplikacji przesiewowych mobilnych i punkt opieki zdrowotnej.

Introduction

DR to mikronaczyniowe powikłanie cukrzycy i pozostaje jedną z głównych przyczyn możliwych do uniknięcia upośledzenia wzroku na całym świecie¹. Przewlekła hiperglikemia powoduje uszkodzenia naczyń włosowatych siatkówki, prowadząc do zwiększonej przepuszczalności naczyniowej, powstawania mikrotętniaków, krwotoków, wysięków, a w zaawansowanych stadiach także do proliferacji neowaskularnej. Bez terminowej interwencji zmiany te mogą przeprowadzić się do krwotoku szklistego, odwarstwienia siatkówki traktyjnej oraz nieodwracalnej utraty wzroku ^1,2. Badania epidemiologiczne szacują, że około 35 procent osób z cukrzycą wykazuje pewien stopień DR, a prawie 10 procent rozwija retinopatię zagrażającą wzroku każdego roku². Globalne trendy wskazują, że częstość występowania DR znacznie wzrosła w ciągu ostatnich dwóch dekad. Przełomowa metaanaliza wykazała wzrost rozpowszechnienia DR z 13,6 procent na początku lat 2000 do ponad 20 procent w 2020^roku. Podobnie częstość zagrażającej wzroku DR i obrzęku plamki cukrzycowej wykazuje wzrost, szczególnie^{w regionach} o niskich i średnich dochodach. Ograniczony dostęp do usług przesiewowych okulistycznych na obszarach wiejskich i ekonomicznie upośledzonych przyczynia się do opóźnienia diagnozy i leczenia⁵.

Wczesne wykrycie DR jest kluczowe, ponieważ interwencje w fazach nieproliferacyjnych, takie jak ogniskowa lub pan-retinalna fotokoagulacja, intravitrealna terapia czynnika wzrostu śródbłonka (anty-VEGF) oraz witrektomia, mogą skutecznie zapobiegać postępowi utraty wzroku⁶. Niemniej jednak konwencjonalne programy przesiewowe często opierają się na ręcznym gradowaniu kolorowych zdjęć z dna ciała przez wykwalifikowanych specjalistów, co jest procesem wymagającym dużych zasobów, który ogranicza skalowalność i terminowe pokrycie⁵. Inicjatywy teleoftalmologiczne częściowo wypełniły te luki, jednak nadal opierają się na ograniczonej dostępności ekspertów i standaryzowanych protokołach obrazowania ⁷. Postępy w sztucznej inteligencji (AI), szczególnie w głębokim uczeniu (DL), wprowadziły zautomatyzowane rozwiązania zdolne do wykrywania i gradowania DR z obrazów dna z dużym precyzjem i szybkością. CNN wyodrębnia cechy hierarchiczne, takie jak mikrotętniaki, krwotoki i wydzieliny, osiągając wrażliwość i specyfikę przekraczającą 90 procent na zbiorach danych referencyjnych ^8,9. Przełomowe badania przeprowadzone przez Gulshana i in. oraz Tinga i in. wykazały, że algorytmy DL mogą dorównać lub przewyższyć ekspertów w identyfikacji referencyjnych DR, torując drogę do regulacyjnych zatwierdzeń autonomicznych systemów przesiewowych ^8,9. Kolejne prace obejmowały uczenie transferowe, modelowanie zespołowe oraz hybrydowe architektury sieci neuronowych CNNrekurencyjne sieci neuronowe poprawiające uogólnialność w różnych schorzeniach obrazowych i populacjach pacjentów^10,11.

Pomimo tych obiecujących wyników, wiele wyzwań utrudnia kliniczne tłumaczenie przesiewowego DR opartego na DL. Po pierwsze, solidna wydajność wymaga dużych, dobrze opisanych adnotacji zbiorów danych, które oddają zmienność urządzeń obrazujących, etniczności i przebiegu chorób¹². Niespójność adnotacji wśród oceniających dodatkowo komplikuje trening i ocenę modelu. Po drugie, etapy wstępnego przetwarzania obrazu, takie jak poprawa kontrastu za pomocą CLAHE, redukcja szumów i normalizacja kolorów, znacząco wpływają na widoczność subtelnych zmian, a co za tym idzie, na wiarygodność ekstrakcji cech¹³. Po trzecie, interpretowalność modelu pozostaje aktywnym obszarem badań; Klinicystentów potrzebują przejrzystych narzędzi wspierających decyzje, które podkreślają istotne obszary obrazowe napędzające algorytmiczne przewidywania¹⁴. Wreszcie, potrzebne są ramy regulacyjne oraz analizy efektywności kosztowej, aby kierować integracją narzędzi AI z istniejącymi ścieżkami selekcji, szczególnie w warunkach o ograniczonych zasobach¹⁵. Niniejsze badanie odpowiada na te wyzwania, proponując kompleksowe ramy DL do wczesnego wykrywania DR, które integrują zoptymalizowane wstępne przetwarzanie obrazów z dna dna, nowoczesne architektury CNN oraz strategie transferlearningu. Stosujemy CLAHE oraz automatyczne usuwanie artefaktów do poprawy kontrastu zmian, a następnie precyzyjnie dopracowujemy pretrenowane szkielety CNN, aby wykorzystać duże naturalne cechy obrazu. W związku z tym praca ta proponuje wyjaśnialny framework deep learning dla wczesnego wykrywania DR, który integruje zoptymalizowane wstępne przetwarzanie obrazów w dnie z efektywnymi architekturami CNN zespołowymi (Rysunek 1). Kluczowe osiągnięcia tego badania obejmują systematyczną ocenę strategii wstępnego przetwarzania, projektowanie wydajnego obliczeniowo zespołu hybrydowego oraz włączenie wizualnej wyjaśnialności do wspierania interpretacji klinicznej. Poprzez jednoczesne uwzględnienie dokładności, przejrzystości i możliwości wdrożenia, badanie to dąży do zwiększenia praktycznej zastosowania przesiewowego DR wspomaganego przez AI. DR przebiega przez pięć klinicznie określonych etapów: brak DR, łagodny, umiarkowany, ciężki nieproliferacyjny DR oraz DR proliferacyjny. Wczesne stadia charakteryzują się mikrotętniakami i łagodnymi krwotokami, natomiast zaawansowane stadium obejmują rozległe uszkodzenia naczyń, neowaskularyzację i ryzyko utraty wzroku. Objawy często pozostają bezobjawowe aż do późnych stadiów, co czyni automatyczne badania przesiewowe kluczowym dla wczesnej interwencji.

Rysunek 1: Graficzne przedstawienie dzieła przedstawionego w rękopisie Prosimy kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.

Aby sprostać tym wyzwaniom, badanie przedstawia ustrukturyzowany protokół deep learning do wykrywania DR, który integruje standaryzowane wstępne przetwarzanie obrazów z dna płuc, zoptymalizowane trenowanie konwolucyjnych sieci neuronowych oraz interpretowalne wyniki modeli w ramach jednolitego przepływu pracy. Protokół został zaprojektowany w celu poprawy powtarzalności i przejrzystości metodologicznej poprzez wyraźne opisanie strategii wstępnego przetwarzania, architektury modelu oraz konfiguracji treningowych. Poprzez nacisk na wydajny obliczeniowo lekki zespół i uwzględnienie wizualnych wyjaśnień opartych na Grad-CAM, proponowana metoda definiuje praktyczne i interpretowalne ramy przeznaczone do spójnej oceny w heterogenicznych, wielocentrowych zbiorach danych obrazowania siatkówki.

Protocol

Badanie to obejmowało analizę retrospektywną. Zgodnie z przepisami instytucjonalnymi i krajowymi, formalna akceptacja komisji etyki oraz świadoma zgoda zostały zniesione, ponieważ nie uzyskano dostępu ani wykorzystania żadnych danych pacjenta do identyfikacji pacjentów.

1. Źródła danych i pozyskiwanie danych

1. Przeznacz wszystkie obrazy zgodnie z Międzynarodową Skalą Nasilenia Klinicznej Retinopatii Cukrzycowej (ICDR) (stopnie 0-4)¹⁰, aby zapewnić spójność między zbiorami danych uzyskanymi z EyePACS, APTOS 2019 oraz kohortą trzeciorzędowej opieki zdrowotnej.
2. Przypisuj oryginalne etykiety dla zbiorów danych z istniejącymi adnotacjami do skali ICDR, aby zachować jednolitość.
3. Niezależnie oceniaj wszystkie obrazy dna oka przez dwóch okulistów z certyfikatem i doświadczeniem w badaniach DR.
4. Całkowicie maskuj oba oceniające osoby ze źródłem danych, identyfikatorami pacjentów, historią kliniczną i prognozami modelu, aby zminimalizować błędy oceny. Prezentuj obrazy w losowej kolejności, używając zanonimizowanych identyfikatorów plików.
5. Oceniaj ściśle według skali nasilenia ICDR (klasy 0-4).
6. Zlicz zgodność międzyklasnikową przed konsensusem za pomocą ważonej kappy (κw) Cohena z wagami kwadratowymi, aby uwzględnić porządkowy charakter stopni nasilenia DR.
7. Interpretuj siłę zgodności według standardowych progów (κ < 0,20, słaba; 0,21-0,40, sprawiedliwa; 0,41-0,60, umiarkowana; 0,61-0,80, znacząca; > 0,80, bliska doskonałości). Rozwiązuj rozbieżne oceny poprzez wspólny przegląd konsensusowy. Użyj oceny konsensusu jako ostatecznego standardu odniesienia do trenowania i oceny modeli.
8. Przed trenowaniem modelu standaryzuj wszystkie obrazy do jednolitej rozdzielczości 512 × 512 pikseli i spójnej przestrzeni kolorów oraz stosuj identyczne procedury wstępnego przetwarzania, aby zminimalizować zmienność między zbiorami danych wynikającą z różnic w urządzeniach kamery, protokołach akwizycji i warunkach oświetlenia.
   UWAGA: Konkretnie, wstępne przetwarzanie obejmowało: (i) zmianę rozmiaru obrazu i standaryzację RGB, (ii) zielonokanałowy CLAHE do wzmocnienia kontrastu, (iii) usuwanie artefaktów tła poprzez maskowanie kołowe i adaptacyjne progowanie, (iv) normalizację intensywności kanałową oraz (v) redukcję szumów i wyostrzanie krawędzi z użyciem filtrowania Gaussa i maskowania nieostrości.
9. Pobierz obrazy dna za pomocą wielu komercyjnie dostępnych kolorowych kamer dna (Topcon, Canon i Zeiss) w rutynowych warunkach badań przesiewowych (Rysunek 2).
10. Pozwalać na różnicę parametrów akwizycji obrazu w zależności od urządzenia, ale standaryzować je w typowych zakresach ekranowania, w tym polu widzenia 30°-45°, natywnych rozdzielczości obrazu od około 2 048 × 1 536 do 3 872 × 2 592 pikseli oraz 24-bitowej głębi kolorów (8 bitów na kanał RGB).
11. Stosuj zarówno protokoły obrazowania mydriatycznego, jak i niemidriatycznego, aby odzwierciedlić rzeczywiste praktyki przesiewowe. Rejestruj wszystkie obrazy jako pojedyncze, plamkowo centrowane zdjęcia dna ciała w zmiennych warunkach oświetlenia, a następnie zmieniaj rozmiar i wstępne przetwarzanie obrazów za pomocą identycznego pipeline'u przed trenowaniem modelu (Rysunek 2).
12. Zanonimizuj wszystkie obrazy przed użyciem zgodnie z wytycznymi HIPAA 12,13,14.
    UWAGA: Używaj tylko jednego obrazu na oko, aby uniknąć stronniczości wewnątrzobiektowej. Wyklucz obrazy spełniające lub więcej z następujących z góry określonych kryteriów jakości: (i) słabe ostrość lub rozmycie zasłaniające naczynia siatkówki i mikrotętniaki, oceniane na podstawie ostrości krawędzi i widoczności naczyń; (ii) nadmierne rozmycie ruchu lub rozmycie ostrości wpływające na ponad 25% pola siatkówki; (iii) utrata pola zdefiniowana jako niepełna wizualizacja dysku wzrokowego lub obszaru plamki żółtej; lub (iv) silnych artefaktów oświetleniowych, takich jak nasycenie czy cienie, które utrudniały widoczność zmian.
13. Przeprowadz niezależną ocenę jakości przez dwóch recenzentów i rozwiązuj wszelkie spory poprzez konsensus.
    1. Zestaw danych EyePACS: Użyj zestawu danych EyePACS uzyskanego od Kaggle. Dołącz wszystkie dostępne kolorowe obrazy fundusu i zachowaj dostarczone oceny DR dołączone do metadanych zestawu danych.
    2. Zestaw danych APTOS 2019: Wykorzystaj zestaw danych APTOS 2019 pochodzący z Kaggle, składający się z około 3 600 kolorowych obrazów dna dna pojedynczego pola uzyskanych w warunkach standaryzowanych badań przesiewowych.
    3. Indyjski Zbiór Danych Klinicznych: Użyj szpitalnego indyjskiego zbioru danych klinicznych składającego się z kolorowych obrazów dna ciała. Zapisz całkowitą liczbę obrazów i użyj ocen DR przypisanych przez wykwalifikowanych okulistów jako etykiet referencyjnych.

Rysunek 2: Reprezentatywne kolorowe zdjęcia dna dna obrazu przedstawiające różne stadia retinopatii cukrzycowej. Proszę kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.

2. Wstępne przetwarzanie (CLAHE, normalizacja, usuwanie artefaktów)

1. Zastosowanie wielostopniowego pipeline'u wstępnego obróbki, aby zwiększyć widoczność zmian i zmniejszyć zmienność spowodowaną warunkami obrazowania.
2. Zmień rozmiar każdego kolorowego obrazu fundusa do 512 × 512 pikseli, aby zachować jednolite wymiary wejściowe dla modeli głębokiego uczenia.
3. Wykonaj poprawę kontrastu za pomocą CLAHE aplikowanego wyłącznie na zielony kanał każdego obrazu dna dna, ponieważ ten kanał zapewnia optymalny kontrast naczyń i mikrotętniaków.
4. Zaimplementuj CLAHE za pomocą biblioteki OpenCV z limitem klipów 2.0, aby zapobiec nadmiernemu wzmocnieniu szumów oraz siatką kafelków 8 × 8, umożliwiającą lokalizowane wzmocnienie kontrastu w polu siatkówkowym.
5. Ponownie połącz przetworzony zielony kanał z kanałem czerwonym i niebieskim, aby odtworzyć ulepszony obraz RGB. Ustalić wszystkie parametry CLAHE i zastosować je identycznie do wszystkich obrazów w zbiorach treningowych, walidacyjnych i testowych, aby zapewnić powtarzalność.
6. Następnie normalizuj obrazy do zera średniej i wariancji jednostkowej, stosując normalizację kanałową.
7. Usuń artefakty tła, takie jak czarne ramki i aureole oświetlenia, używając maskowania kołowego i adaptacyjnego progowania.
8. Zastosowanie filtrowania gaussowskiego i maskowania nieostrego odpowiednio do redukcji szumów i zachowania krawędzi. Zastosuj następujące wzmocnienie kontrastu, filtrowanie Gaussa do tłumienia szumów: użyj jądra 5 × 5 z odchyleniem standardowym (σ) 1,0, implementuj symetrycznie zarówno w kierunku poziomym, jak i pionowym.
   UWAGA: Ten krok redukuje szum wysokich częstotliwości, jednocześnie zachowując drobne struktury naczyniowe.
9. Wykonaj maskowanie nieostre poprzez odejmowanie rozmytej wersji obrazu od oryginału, aby wzmocnić granice zmian.
10. Konkretnie, należy odejmować obraz rozmyty Gaussa (rozmiar jądra 5 × 5, σ = 1,0) od oryginalnego obrazu z grubością wyostrzenia 1,5 i dodać powstały obraz szczegółowy z powrotem do oryginału, aby uzyskać końcowy wyostrzony wynik.
11. Ustaw wszystkie parametry i stosuj je równomiernie we wszystkich zbiorach danych.
12. Uwzględnij dodatkowe wstępne przetwarzanie opisane poniżej, aby symulować rzeczywiste zmienności i wzbogacić dane treningowe:
    1. Na każdym obrazie treningowym zastosuj losowe poziome przewracanie z prawdopodobieństwem 0,5, aby uwzględnić symetrię anatomiczną siatkówki w lewo-prawej stronie.
    2. Zastosuj losowe odwracanie pionowe z prawdopodobieństwem 0,5, zapewniając reprezentację zmienności orientacji często spotykanej podczas pozyskiwania obrazu w dnie dna.
    3. Zastosuj losową rotację w zakresie od -15° do +15°, próbkowane równomiernie, z prawdopodobieństwem 0,7, aby symulować niewielkie przechylenie kamery i ruch głowy pacjenta.
    4. Zastosuj losowe powiększenie w zakresie ± 10% oryginalnego rozmiaru obrazu, z prawdopodobieństwem 0,5, a następnie wyśrodkowanie lub wypełnienie, aby przywrócić rozdzielczość wejściową 512 × 512 pikseli.
    5. Zastosowanie losowej regulacji jasności poprzez skalowanie natężeń pikseli w zakresie czynnikowym 0,9-1,1, z prawdopodobieństwem 0,4, aby modelować zmienność oświetlenia na różnych urządzeniach obrazujących.
    6. Zastosowanie losowej korekty kontrastu poprzez skalowanie kontrastu obrazu w zakresie czynnikowym 0,9-1,1, z prawdopodobieństwem 0,4, aby zwiększyć odporność na różnice ekspozycji.
    7. Upewnij się, że wszystkie augmentacje są stosowane wyłącznie na zbiorze treningowym i wykonywane na bieżąco podczas treningu modelu, podczas gdy obrazy walidacyjne i testowe pozostają nieaugmentowane.
    8. Utrzymywanie stałych parametrów augmentacji przez cały czas treningu, aby zapewnić powtarzalność i konsekwentne narażenie modelu na kontrolowaną zmienność.
13. Wprowadź etapy wstępnego przetwarzania za pomocą bibliotek OpenCV i obrazów Pythona oraz zapewnij spójne transformacje w zestawach treningowych i walidacyjnych.

3. Architektura modelu (warianty CNN, warstwy zoptymalizowane)

1. Poznaj różne architektury CNN dla klasyfikacji DR oraz zapoznaj się z trzema wariantami modeli wymienionymi poniżej.
   1. Baseline CNN – niestandardowy, 6-warstwowy CNN z normalizacją wsadową, aktywacją ReLU, max-poolingiem i dropoutem (p = 0,5).
   2. Modele uczenia transferowego – Pretrenowane szkielety CNN, w tym ResNet50, EfficientNetB0 i DenseNet121, inicjalizowane wagami ImageNet i dostrojone na obrazach DR.
   3. Optymalizowany Model hybrydowy – model zespołowy łączący ekstraktory cech z EfficientNetB0 i DenseNet121, a następnie wielowarstwowy perceptron (MLP) z wyjściem softmax.
   4. Po dostrojeniu skonstruuj głowicę klasyfikacji dla każdego pretrenowanego modelu za pomocą warstwy globalnej średniej puli, warstwy gęstej z aktywacją ReLU (512 jednostek), warstwy dropout (p = 0,5) oraz warstwy softmax wyjściowej.
   5. Umieść warstwę globalnej średniej poolingowej (GAP) przed głowicą klasyfikacji w każdym modelu.
   6. Aby ograniczyć nadfitowanie, na wszystkie w pełni połączone (gęste) warstwy głowicy klasyfikacyjnej zastosowano regularizację wagi L2, stosując współczynnik regularizacji (λ) wynoszący 1 × 10⁻⁴. Wartość ta została wybrana, aby zapewnić skuteczną karę dużych wag, jednocześnie zachowując zbieżność modelu i wydajność klasyfikacji podczas precyzyjnego dostrojenia.
   7. Zastosowanie funkcji aktywacji softmax w warstwie klasyfikacyjnej, aby umożliwić 5-klasową prognozę DR.
   8. Wybory wzorowe modeli bazowych na podstawie wcześniejszych badań pokazujące lepsze wyniki hybrydowych i transferowych metod nauczania w analizie obrazów siatkówki ^3,4.
   9. Używaj efficientNetB0 i DenseNet121 jako równoległych ekstraktorów cech w zoptymalizowanym modelu hybrydowego zespołu.
   10. Jednocześnie wprowadź obrazy fundusa wejściowego do obu wcześniej wytrenowanych szkieletów i wyodrębnij ostateczne mapy cech splotowych po warstwie globalnej średniej puli (GAP) każdej sieci.
   11. Łącz powstałe wektory cech, tworząc jednolitą reprezentację i wprowadzaj je do MLP składającego się z dwóch w pełni połączonych warstw (z aktywacją i przerwą ReLU), a następnie warstwą wyjściową softmax dla klasyfikacji DR w pięciu klasach.
   12. Przyjmij tę strategię późnej fuzji, aby zintegrować drobnoziarnistą efektywność cech EfficientNetB0 z gęstą propagacją cech DenseNet121, co skutkuje zrównoważoną wydajnością na wczesnych i zaawansowanych etapach DR.
   13. Wykorzystaj MLP do umożliwienia nieliniowej integracji komplementarnych reprezentacji cech, jednocześnie ograniczając nadmierne dopasowanie w porównaniu do fuzji end-to-end.

4. Modelowanie i optymalizacja (uczenie transferowe, hiperparametry)

1. Wszystkie eksperymenty przeprowadz na stacji roboczej z Ubuntu Linux (wersja 20.04 LTS) z Pythonem 3.8.10.
2. Zaimplementuj modele głębokiego uczenia z użyciem TensorFlow 2.10.0 z backendem Keras i wykonaj na GPU NVIDIA Tesla V100 (32 GB VRAM).
3. Włącz akcelerację GPU za pomocą CUDA Toolkit w wersji 11.2 oraz cuDNN w wersji 8.1, które są kompatybilne z określoną wersją TensorFlow.
4. Implementuj wszystkie etapy wstępnego przetwarzania i uzupełniania danych, korzystając z OpenCV 4.7.0, NumPy 1.23 oraz imgaug 0.4.0.
5. Podziel zbiór danych na zestaw treningowy (70%), walidacyjny (15%) i testowy (15%) i zapewnij równowagę klas w obrębie każdej partycji.
6. Wszystkie modele trenuj na GPU NVIDIA Tesla V100 z 32 GB VRAM.
7. Wykorzystaj uczenie transferowe, zamrażając początkowe warstwy pretrenowanych sieci i dopracowując górne warstwy obrazów fundus.
8. Losowo inicjalizuj ostatnie warstwy gęstości i trenuj od zera.
9. Optymalizuj następujące hiperparametry:
   Optymalizator: Adam z β1=0,9, β2=0,999
   Szybkość uczenia: 1 × 10⁻⁴ z planistą ReduceLROnPlateau
   Wielkość partii: 32
   Epoki: 50-100 z wczesnym zatrzymaniem (cierpliwość = 10)
   Funkcja strat: Kategoryczna entropia krzyżowa
10. Zapisuj punkty kontrolne modelu na podstawie minimalnej straty walidacyjnej.
11. Rozwiązuj nierównowagę klasową, stosując wagi klasowe odwrotnie proporcjonalne do częstotliwości klas podczas treningu.
12. Stosuj augmentację danych na bieżąco, korzystając z Keras ImageDataGenerator. Stosuj pięciokrotną strategię walidacji krzyżowej, aby zapewnić odporność modelu i zminimalizować błędy selekcji. Średnie metryki wydajności we wszystkich fałdach oraz raportowanie odpowiadających odchyleń standardowych.
13. Wybierz wartości hiperparametrów na podstawie ustalonych najlepszych praktyk transferowego uczenia dla klasyfikacji obrazów medycznych i zweryfikowaj je poprzez wstępne eksperymenty pilotażowe na zbiorze walidacyjnym.
14. Użyj optymalizatora Adama ze względu na stabilną konwergencję i adaptacyjne tempo uczenia się, a początkową szybkość uczenia ustaw 1e−4, aby zrównoważyć stabilność treningową i prędkość zbieżności podczas precyzyjnego dostrajania.
15. Empirycznie określ wielkość partii i kryteria wczesnego zatrzymania, aby zminimalizować nadmierne dopasowanie przy zachowaniu efektywności obliczeniowej.

5. Metryki oceny i walidacja (AUC, dokładność, czułość/specyficzność)

1. Oceń wydajność modelu za pomocą standardowych metryk klasyfikacji. Przeprowadzić wstępną ocenę zestawu testowego (n ≈ 8 000 obrazów) i przedstawić wyniki zarówno dla klasyfikacji 5-klasowej, jak i binarnej (referencyjny DR vs. niereferencyjny DR).
2. Oblicz następujące metryki:
   Dokładność: Procent poprawnych prognoz we wszystkich klasach
   Powierzchnia pod krzywą charakterystyki operacyjnej odbiornika (AUC): obliczana dla każdej klasy i uśredniana (makro AUC)
   Czułość (przypomnienie): Prawdziwy wskaźnik pozytywnych = TP / (TP + FN)
   Specyficzność: Prawdziwa ujemna stopa = TN / (TN + FP)
   F1-Score: Średnia harmoniczna precyzji i przypominania
   Macierz pomyłek: macierz 5 × 5 do analizy błędów klasyfikacji
3. Rysuj krzywe charakterystyki operacyjnej odbiornika (ROC) oraz krzywe precyzyjnego przypominania w celu wizualizacji dyskryminacji modelu.
4. Generuj wizualizacje Grad-CAM (Gradient-weighted Class Activation Mapping) dla podzbioru poprawnie i błędnie sklasyfikowanych obrazów, aby podkreślić obszary siatkówki napędzające prognozy modelu.
   UWAGA: Zoptymalizowany model hybrydowy osiągnął najlepsze wyniki z makro AUC 0,961, czułością 92,1%, specyficznością 89,4% oraz ogólną dokładnością 91,2% dla wykrywania DR do źródła.
5. Porównaj wyniki z istniejącymi opublikowanymi modelami na tych samych zbiorach danych i oceń istotność statystyczną za pomocą testów t-pair oraz testu McNemara.
6. Oceń statystyczną istotność różnic w wydajności między hybrydowym modelem zespołu a poszczególnymi architekturami CNN za pomocą sparowanych testów t dla ciągłych metryk (AUC, dokładność, F1-score) w różnych fazach walidacji oraz testu McNemara dla wyników klasyfikacji parowanych na zbiorze testowym.
   UWAGA: Model hybrydowy wykazał statystycznie istotne poprawy w porównaniu do wszystkich modeli pojedynczych szkieletów, z wartościami p < 0,05 dla dokładności i AUC, co potwierdza, że zaobserwowane poprawy wydajności nie wynikały z losowych zmienności. Precyzja jest kluczowym wskaźnikiem oceny w przesiewowym przesiewie DR, szczególnie w celu minimalizowania fałszywie pozytywnych prognoz, które mogą prowadzić do niepotrzebnych skierowań, lęku pacjentów i zwiększonego obciążenia opieki zdrowotnej. Precyzja definiowana jest jako odsetek poprawnie przewidywanych przypadków pozytywnych wśród wszystkich przypadków przewidywanych jako dodatni, a wyraża się jako:
   Precision=TPTP+FP\text{Precision} = \frac{TP}{TP + FP}Precision=TP+FPTP
   gdzie TP oznacza prawdziwe pozytywy, a FP fałszywe pozytywy.
7. W kontekście detekcji DR interpretacja wysokiej precyzji jako wskazująca, że obrazy sklasyfikowane jako DR rzeczywiście zawierają objawy patologiczne, co poprawia niezawodność automatycznych systemów przesiewowych. Podkreśl, że ten wskaźnik jest szczególnie istotny przy szeroko zakrojonych badaniach przesiewowych populacji, gdzie nadmierne liczby fałszywie pozytywnych wyników mogą przytłoczyć systemy skierowań. W tym badaniu ocenić precyzję każdego stopień DR oraz binarne, referencyjne wykrywanie DR, aby ocenić zdolność modelu do precyzyjnego odróżniania przypadków patologicznych od zdrowych kontroli.

Results

Podsumowanie zbioru danych i efekty wstępnego przetwarzania

Kuratorowany zbiór danych składał się z 53 412 kolorowych obrazów dna dna rozdzielonych w pięciu klasach nasilenia DR: bez DR (0) - 39,2%, łagodne (1) - 18,4%, umiarkowane (2) - 22,5%, ciężkie (3) - 12,1% oraz proliferacyjne DR (4) - 7,8%. Dane pochodzą z EyePACS, APTOS 2019 oraz chińskiego ośrodka okulistycznego trzeciego stopnia, co zapewnia różnorodność w zakresie etniczności, warunków obrazowania i specyfikacji ka...

Discussion

W tym badaniu opracowaliśmy i rygorystycznie oceniliśmy hybrydowy model zespołu łączący EfficientNetB0 i DenseNet121, dopracowany za pomocą uczenia transferowego i wzbogacony o klasyczne kroki wstępnego przetwarzania, CLAHE, usuwanie artefaktów oraz normalizację intensywności, dla pięcioklasowego stopniowania DR. Zespół osiągnął znakomite wyniki: dokładność 91,2%, makroAUC 0,961 oraz wynik F₁score 0,913 dla wykrywania DR do odwołania oraz czułość 92,1% zgodnie z Sekcją 6. Te wskaźniki znacznie przewyższały zarówno bazowe...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Kamera fundus (Topcon, Canon, Zeiss)	Topcon / Canon / Zeiss		Wykorzystywany do wykonywania wysokorozdzielczych kolorowych fotografii dna dna w różnych warunkach oświetlenia
NVIDIA Tesla V100 GPU	NVIDIA Corporation	Tesla V100	32 GB VRAM; Wykorzystywane do trenowania modeli głębokiego uczenia
Python (OpenCV, biblioteki imgaug)	Społeczność open-source		Wstępne przetwarzanie obrazów, w tym CLAHE, usuwanie artefaktów, normalizacja, augmentacja
TensorFlow 2.10 + Keras	Google Brain		Ramy głębokiego uczenia używane do budowania modeli i treningu CNN
EfficientNetB0 & TesNet121 pretrenowane kręgosłupy	Open-source (TensorFlow/Keras Applications)		Podstawy transferowego uczenia się wstępnie wytrenowane na ImageNet używane do klasyfikacji DR