$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Badanie to nie obejmowało żadnych bezpośrednich eksperymentów na ludziach ani zwierzętach. Wszystkie prace prowadzono na podstawie publicznie dostępnego, anonimowego zestawu LC25000 danych obrazów histopatologicznych, które nie zawierały żadnych identyfikowalnych informacji o pacjencie ani bezpośredniego kontaktu z ludzką tkanką. Nie wymagała się zatwierdzenia przez Instytucjonalną Radę Przeglądową (IRB) ani Instytucjonalny Komitet ds. Opieki i Użytkowania Zwierząt (IACUC). Wszystkie procedury były zgodne ze standardami etycznymi i zgodne z warunkami użytkowania zbioru danych w badaniach akademickich. Rysunek 2 przedstawia kroki diagramu przepływu pracy.

Rysunek 2: Przepływ pracy proponowanej metody. Workflow obejmuje wstępne przetwarzanie danych, ich uzupełnianie, trenowanie modeli oraz ocenę. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.
Opis zbioru danych
Do tego badania wykorzystano LC25000 zestaw danych. Składał się z 25 000 zdjęć histopatologicznych, wszystkie jednolicie sformatowane jako pliki JPEG o rozdzielczości 768 × 768 pikseli. Zbiór danych powstał na podstawie początkowego zestawu 1 250 oryginalnych obrazów, w tym 250 obrazów łagodnej tkanki płucnej, 250 gruczolakoraków płuc, 250 raków płaskonabłonkowych płuc, 250 obrazów łagodnych tkanek jelita grubego oraz 250 gruczolakoraków jelita grubego. Pozostałe obrazy zostały wygenerowane poprzez augmentację danych, aby powiększyć zbiór danych, zapewniając różnorodną i obszerną kolekcję do solidnego trenowania i walidacji modeli.
Obrazy o wysokiej rozdzielczości umożliwiały szczegółowe badanie struktur komórkowych, co było kluczowe dla dokładnej klasyfikacji nowotworów. Konieczne było uzupełnienie danych ze względu na ograniczoną liczbę oryginalnych obrazów; Zastosowano techniki takie jak rotacje, flipy, zoomy i przesunięcia, aby syntetycznie zwiększyć rozmiar i różnorodność zbioru danych. Proces ten wygenerował dodatkowe 23 750 syntetycznych obrazów w sposób zrównoważony klasowo, co dało końcowy zbiór danych liczący 25 000 obrazów, przy czym każda klasa zawierała 5 000 obrazów po augmentacji.
Wstępne przetwarzanie danych
Surowe obrazy histologiczne w zbiorze danych miały rozdzielczość 768 × 768 pikseli. Aby zapewnić kompatybilność z architekturą EfficientNetB7 i zmaksymalizować efektywność obliczeniową, każdy obraz był zmieniany w rozmiarze z 768 × 768 do 224 × 224 pikseli. Proces zmiany rozmiaru stanowił kompromis między zachowaniem istotnych cech histologicznych a redukcją narzutu obliczeniowego. Operacja zmiany rozmiaru została matematycznie przedstawiona tak, jak pokazano w
Równanie 1:
(1)
gdzie X oznaczało oryginalny obraz, Xresized to obraz o zmienionym rozmiarze, a h i w to odpowiednio pożądana wysokość i szerokość. Wszystkie wartości pikseli zostały znormalizowane do zakresu od 0 do 1, co stabilizowało i przyspieszyło trening, zapewniając spójny rozkład danych wejściowych na obrazach. Ta normalizacja została matematycznie obliczona, jak pokazano w równaniu 2. Ten krok był niezbędny do poprawy zbieżności modeli podczas treningu.
(2)
Augmentacja danych została zastosowana jako kluczowa technika zwiększająca odporność i zastosowanie modeli uczenia głębokiego, zwłaszcza w kontekście obrazowania medycznego z ograniczonymi i niezrównoważonymi zbiorami danych. W tym badaniu zastosowano różne techniki augmentacji z wykorzystaniem modułu ImageDataGenerator firmy TensorFlow do symulacji zmienności in vivo w obrazach histopatologicznych. Techniki te obejmowały losowe obroty do 20 stopni w celu symulacji zmienności orientacji tkanek, przesunięcia poziome i pionowe do 20% wymiarów obrazu, aby naśladować zmienność pozycji podczas przygotowania preparatów, oraz losowe powiększenia do 20%, aby odzwierciedlić zmienność poziomów powiększenia.
Dodatkowo wykonywano poziome flipping, aby wprowadzić wariacje lustrzane, co dodatkowo wzbogaciło zbiór danych treningowych. Aby zarządzać nowo zsyntetyzowanymi pikselami generowanymi podczas tych transformacji, zastosowano strategię wypełniania najbliższego sąsiada, aby zapewnić płynne przejścia i zachować integralność kluczowych cech histologicznych. Macierz obrotu 2D użyta do augmentacji jest przedstawiona w równaniu 3, a równanie 4 definiuje funkcję o zmianie przyrostowej:
(3)
(4)
Techniki te kompensowały wyzwania takie jak nierównowaga klas, drobne różnice histologiczne oraz ograniczenia zbioru danych, umożliwiając modelowi naukę cech niezmienniczych i zmniejszając ryzyko nadmiernego dopasowania. Poprzez syntetyczne powiększenie zbioru danych i uwzględnienie kontrolowanej zmienności, augmentacja danych znacząco zwiększyła zdolność modelu do uogólniania na nowe, niewidoczne dane, tworząc tym samym silniejszy i bardziej odporny system klinicznego zastosowania w diagnostyce raka płuc i jelita grubego.
Architektura modelu
Model został opracowany na podstawie architektury EfficientNetB7, nowoczesnej sieci deep learning, znanej z wydajności, skalowalności i skuteczności w zadaniach klasyfikacji obrazów. EfficientNetB7 został skonstruowany przy użyciu serii bloków Mobile Inverted Bottleneck Conwolution (MBConv), które zawierały głęboko-separowalne sploty. Ten projekt konstrukcyjny skutecznie skompresował model, co skutkowało znaczącym zmniejszeniem liczby parametrów przy minimalnej utracie wydajności. Taka innowacja pozwoliła modelowi osiągnąć wysoką dokładność przy niższych kosztach obliczeniowych, co czyni go szczególnie odpowiednim do zastosowań obliczeniowych, takich jak analiza obrazów histopatologicznych. Rysunek 3 przedstawia architekturę modelu pretrenowanego EfficientNetB7.

Rysunek 3: Architektura modelu EfficientNetB7. Ten rysunek przedstawia szczegółową strukturę modelu EfficientNetB7, ilustrując jego główne warstwy i bloki funkcjonalne używane do klasyfikacji obrazów. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.
Model akceptował wstępnie przetworzone obrazy histopatologiczne, które zostały zmniejszone z oryginalnych wymiarów 768 × 768 pikseli do 224 × 224 pikseli, aby spełnić wymagania wejściowe EfficientNetB7. Każdy obraz przechodził kilka procesów w sieci, w tym normalizację wsadową, funkcje aktywacyjne Swish oraz operacje splotowe. Normalizacja wsadowa została obliczona zgodnie z Równaniem 5. Funkcja aktywacji Swish wprowadziła nieliniowość i umożliwiła szybsze, bardziej efektywne trenowanie w porównaniu z tradycyjnymi funkcjami, takimi jak ReLU. Warstwy te zostały zaprojektowane tak, aby wyodrębniać i wzmacniać cechy hierarchiczne, pozwalając modelowi stopniowo uczyć się od wzorców niskiego do wysokiego poziomu w miarę propagacji obrazów w sieci.
(5)
Konwolucyjny szkielet EfficientNetB7, wstępnie wytrenowany na zbiorze danych ImageNet, zapewniał wysoce uogólniony zestaw detektorów cech skutecznych w szerokim zakresie domen obrazów. Wstępnie wytrenowana baza odegrała kluczową rolę w uchwyceniu subtelnych, lecz pouczających wzorców na obrazach histopatologicznych, które często charakteryzują się wysoką zmiennością wewnątrzklasową i drobnoziarnistościami. Wyjście z warstw splotowych było przekazywane do globalnej warstwy uśredniającej puli, która redukowała wymiary przestrzenne do jednego wektora cech dla każdego obrazu. Ten wektor, obejmujący najbardziej istotne cechy poznane przez warstwy splotowe, został następnie spłaszczony do jednowymiarowej tablicy dla kompatybilności z w pełni połączonymi warstwami. Algorytm do zwiększonego wykrywania raka płuc i jelita grubego znajduje się w Pliku Uzupełniającym 1.
Kolejna architektura sieci obejmowała dwie gęste (w pełni połączone) warstwy odpowiednio po 128 i 64 jednostki. Obie warstwy wykorzystywały funkcję aktywacji Rectified Linear Unit (ReLU), aby wprowadzić dodatkową nieliniowość i precyzyjnie dostroić wyodrębnione cechy, umożliwiając modelowi rozpoznawanie precyzyjniejszych wzorców i zależności w danych. Ostatnią warstwą modelu była warstwa wyjściowa SoftMax z pięcioma neuronami, z których każdy reprezentował jedną z pięciu klas w zbiorze danych. Funkcja SoftMax generowała rozkład prawdopodobieństwa między klasami, który odzwierciedlał prognozę modelu dla każdego obrazu wejściowego, jak opisano w równaniu 6:
(6)
Połączenie nowoczesnych technik splotowych, solidnej regularizacji oraz skutecznych strategii optymalizacji zaowocowało modelem głębokiego uczenia doskonale przystosowanym do klasyfikacji obrazów medycznych o wysokiej stawce. Model osiągnął precyzję, skalowalność i efektywność operacyjną, wykazując duży potencjał kliniczny do diagnostyki raka płuc i jelita grubego. W ramach tego systemu regularizacja była realizowana głównie poprzez zaawansowane uzupełnianie danych i stosowanie wczesnego zatrzymania; Nie zastosowano wyraźnego spadku ani spadku masy na gęstych warstwach.
Szkolenie i walidacja
Potok walidacji i wstępnego treningu konwolucyjnej sieci neuronowej (CNN) dla klasyfikacji obrazów histopatologicznych LC25000 został zaprojektowany tak, aby zoptymalizować wydajność modelu i zapewnić dobrą uogólnienie. Proces rozpoczął się od kompleksowego wstępnego przetwarzania, co obejmowało zmniejszenie oryginalnych 768 × 768-pikselowych obrazów do 224 × 224 pikseli, aby dostosować się do wymagań wejściowych architektury EfficientNetB7. Intensywność pikseli została znormalizowana do zakresu [0, 1], aby ustabilizować i przyspieszyć trening, a techniki augmentacji danych, w tym losowe rotacje, przesunięcia, zoomy i poziome flipy, zostały zastosowane, aby wprowadzić zmienność i ograniczyć nadmierne dopasowanie. Te operacje wstępnego przetwarzania zapewniały, że model uczył się cech niezmiennych i dobrze uogólniał się na nowe dane.
Model EfficientNetB7, wstępnie wytrenowany na zbiorze danych ImageNet, został wykorzystany jako podstawa, zapewniając solidny zestaw detektorów cech zdolny do identyfikacji subtelnych wzorców histologicznych. Model został następnie dostrojony o dwie gęste warstwy (128 i 64 jednostki) aktywowane przez funkcję Rectified Linear Unit (ReLU), a następnie dodano warstwę wyjściową SoftMax do klasyfikacji pięciu klas. Architektura ta została zoptymalizowana zarówno pod kątem precyzji, jak i efektywności obliczeniowej, co czyniło ją doskonale przystosowaną do analizy obrazów medycznych. Reguła aktualizacji optymalizatora Adama dla θ jest przedstawiona w równaniu 7.
(7)
Trening modelu przeprowadzono w partiach po 128 obrazów za pomocą optymalizatora Adama, który adaptacyjnie skalował tempo uczenia się, aby sprzyjać efektywnej zbieżności. Wprowadzono wczesne kryterium zatrzymania, aby monitorować utratę walidacji i zatrzymać trening w przypadku braku poprawy, zapobiegając tym samym nadmiernemu dopasowaniu i optymalizując zasoby obliczeniowe. Podczas treningu kluczowe wskaźniki wydajności — w tym dokładność, strata, precyzja i przypomnienie — były śledzone przy użyciu zestawu walidacyjnego na poziomie wstrzymanym, który stanowił 20% danych. Zestaw wstrzymany dostarczył kluczowych informacji na temat możliwości uogólniania modelu i zminimalizował ryzyko nadmiernego dopasowania do niewidzianych danych.
Integracja zaawansowanych strategii wstępnego przetwarzania, uzupełniania danych i optymalizacji zaowocowała doskonałą dokładnością i odpornością modeli, co świadczy o dużym potencjale klinicznego zastosowania w wykrywaniu raka płuc i jelita grubego. Wszystkie eksperymenty prowadzono na GPU NVIDIA Tesla P100 z 16 GB pamięci i 64 GB pamięci systemowej. Pełny proces treningowy — w tym wstępne przetwarzanie, augmentacja i optymalizacja modelu — wymagał około trzech godzin, aby ukończyć dziesięć epok z partią wielkości 128. Ta infrastruktura obliczeniowa została wybrana, aby efektywnie zarządzać dużym, rozszerzonym zbiorem danych, przy jednoczesnym zachowaniu rozsądnych czasów treningu odpowiednich dla środowisk badań klinicznych.
Dla powtarzalności wszystkie krytyczne hiperparametry zostały wyraźnie określone. Model był trenowany za pomocą optymalizatora Adama ze stałą częstotliwością uczenia się 0,001. Szkolenie trwało maksymalnie 10 epok, z wczesnym zatrzymywaniem się na podstawie utraty walidacji i trzykrotnej cierpliwości, aby zapobiec nadmiernemu przystosowania się. Do fazy treningowej i walidacyjnej wykorzystywano wielkość partii 128 osób. Aby zapewnić spójne wyniki, losowe ziarno było ustawione na 42 na wszystkich etapach ładowania danych i trenowania modelu. Podczas szkolenia nie zastosowano harmonogramu spadku tempa uczenia się.
Protokół łączył systematyczne wstępne przetwarzanie, dobrze skalibrowane hiperparametry, rygorystyczne schematy walidacji oraz otwarte środowisko obliczeniowe, aby promować zarówno dokładność, jak i powtarzalność. Przepływ pracy, integrując solidną architekturę głębokiego uczenia, skuteczną optymalizację oraz powtarzalny projekt eksperymentalny, stworzył solidne podstawy do klasyfikacji obrazów histopatologicznych. Oprócz wykazania silnych wyników w wykrywaniu raka płuc i jelita grubego, protokół określił skalowalne ramy, które można rozszerzyć na podobne wyzwania obrazowania biomedycznego w przyszłych badaniach.
Podczas opracowywania modelu wprowadzono kilka praktycznych poprawek, aby osiągnąć wiarygodne i powtarzalne wyniki. Wczesne zatrzymywanie i zaawansowane uzupełnianie danych zostały wykorzystane do rozwiązania nierównowagi klasowej i nadmiernego dopasowania. Wysokie zużycie pamięci podczas treningu zostało złagodzone przez zmianę rozmiaru obrazów do 224 × 224 pikseli oraz zastosowanie rozmiaru partii 128. Gdy napotykano wolną zbieżność, tempo uczenia było empirycznie ustawiane na 0,001. Przeprowadzono ręczną weryfikację struktury katalogu obrazów, aby zapobiec błędom ładowania danych, a losowe nasiona zostały naprawione, aby zapewnić powtarzalność. Strategie te mogą służyć jako praktyczne wskazówki dla badaczy stojących przed podobnymi wyzwaniami w trenowaniu modeli głębokiego uczenia na dużych zbiorach obrazów histopatologicznych.
Analiza statystyczna
Statystyczne modelowanie wydajności modelu przeprowadzono z wykorzystaniem kompleksowego zestawu metryk oceniających dokładność, stabilność i uogólnialność. Kluczowe miary oceny obejmowały precyzję, przypomnienie, wynik F1 oraz dokładność do ilościowej oceny wyników klasyfikacji. Macierz pomyłek została wykorzystana do raportowania specyficznych dla klasy wskaźników błędu, obliczonych według równań 8-10:
(8)
(9)
(10)
Dodatkowo oceniono miary błędu takie jak średni błąd kwadratowy (MSE), średni błąd kwadratowy korzeniowy (RMSE) oraz średni błąd bezwzględny (MAE), aby ocenić dokładność predykcji, obliczone za pomocą równań 11-13:
(11)
(12)
(13)
Krzywa charakterystyki operacyjnej odbiorcy (ROC) oraz Obszar pod krzywą (AUC) zostały wykorzystane do oceny zdolności modelu do rozróżniania klas przy różnych progach. AUC zostało obliczone zgodnie z Równaniem 14:
(14)
Analizy te dostarczały gruntownej oceny wydajności klasyfikacyjnej, jego odporności oraz uogólnienia na dane niewidoczne.
Badanie ablacji
Aby dokładniej ocenić wkład każdego komponentu w ramach klasyfikacji, przeprowadzono badanie ablacji poprzez selektywne pominięcie lub modyfikację konkretnych elementów architektonicznych modelu końcowego. Konkretnie oceniono dwie alternatywne konfiguracje eksperymentalne: jedna z nich obejmowała zarówno warstwy Global Average Pooling, jak i Flatten, a następnie dwie warstwy gęste (odpowiednio 128 i 64 jednostki); druga konfiguracja pomijała zarówno warstwę Flatten, jak i warstwę gęstości 128 jednostek, pozostawiając jedynie warstwę Global Average Pooling oraz jedną warstwę gęstą o 64 jednostkach.
Kompletna architektura, jak pokazano w głównych wynikach, osiągnęła dokładność walidacji na poziomie około 96%. Gdy warstwa Flatten została wyłączona, a po Global Average Pooling użyto jedynie warstw o gęstości 128 i 64 jednostek, dokładność walidacji spadła do 81,6%. Natomiast gdy warstwa gęsta 128 jednostek została wykluczona, a warstwa Flatten zachowana, dokładność walidacji spadła do 88%. Wyniki te wskazywały na konieczność uwzględnienia zarówno warstwy o większej gęstości, jak i odpowiednich komponentów architektonicznych, aby osiągnąć optymalną wydajność klasyfikacji. Wyniki eksperymentów ablacyjnych konsekwentnie wykazały, że połączenie globalnego średniego poolingu, spłaszczenia oraz dwóch w pełni połączonych warstw umożliwiło bardziej ekspresyjną reprezentację cech, co skutkowało bardziej solidną i dokładnością klasyfikacji obrazów histopatologicznych.