Sieć segmentacji polipów oparta na zwinięciu pinwheel i podwójnej uwagi w diagnostyce przedrakowo zmian w kolorektum

Podsumowanie

Ten protokół wdraża sieć głębokiego uczenia się w kształcie litery U, integrującą zwiniętą konwolucję, podwójną uwagę i wieloskalową fuzję w celu segmentacji polipów jelita grubego.

Streszczenie

Dokładne segmentowanie polipów jelita grubego jest kluczowe dla wczesnej prewencji i diagnozy raka jelita grubego. Jednak ze względu na wysoką niejednorodność polipów pod względem kształtu, wielkości i tekstury, a także złożoność środowiska jelitowego (takie jak fałdy, odblaskowe odbicia i resztki kału), istniejące metody nadal napotykają na znaczne wyzwania w zakresie lokalizacji granic i wykrywania małych polipów. Aby rozwiązać te problemy, w niniejszym artykule proponowany jest Polyp Segmentation Network oparty na Pinwheel Convolution i Dual Attention (PWD-Net). Zaproponowana sieć przyjmuje architekturę U-kształtnego enkodera-dekodera, gdzie jako enkoder wykorzystywany jest wstępnie wytrenowany ResNet do ekstrakcji wielowarstwowych lokalnych cech. Szczegółowo, moduł Pinwheel Convolution (PCM) jest wprowadzany na warstwie wąskiej części sieci, aby uchwycić globalną strukturę geometryczną i wielokierunkowe informacje kontekstowe polipów poprzez wielokątne obracane jądra konwolucji. Mechanizm Dual-Attention (DAM), który integruje uwagę kanałową i przestrzenną, został zaprojektowany w celu adaptacyjnego tłumienia szumów tła i ulepszania cech regionów polipów. Ponadto zastosowana została strategia Multi-scale Feature Fusion (MSF) w celu połączenia głębokich informacji semantycznych z płytkimi detalami granic, zapewniając zarówno kompletność, jak i precyzję wyników segmentacji. Przeprowadzone eksperymenty na zbiorach danych Kvasir-SEG i CVC-ClinicDB wykazują, że PWD-Net osiąga średnie współczynniki Dice wynoszące 0,865 i 0,944 oraz wskaźniki IoU wynoszące 0,765 i 0,892, znacznie przewyższając istniejące najlepsze metody. Badania ablacyjne zweryfikowały efektywność każdego modułu, a oceny między zbiorami potwierdziły silną zdolność generalizacji modelu. Niniejsze badanie zapewnia wysokoprecyzyjne i trwałe rozwiązanie dla klinicznego segmentowania polipów, oferując znaczącą wartość dla wczesnej diagnozy przedraków jelita grubego i wspierając interwencję wspomaganą komputerowo.

Wprowadzenie

```html

Rak jelita grubego jest jednym z najczęstszych nowotworów złośliwych na całym świecie, z konsekwentnie wysokimi współczynnikami występowania i śmiertelności. Badania wykazały, że większość nowotworów jelita grubego rozwija się z polipów gruczolakowych, proces, który zwykle trwa 10–15 lat, zapewniając cenny okres czasowy na wczesne wykrywanie i interwencję. Wzrost o 1% współczynnika wykrywania polipów (ADR) może zmniejszyć ryzyko raka jelita grubego o około 3%, znacząco obniżając śmiertelność pacjentów<sup>1</sup>. Kolonoskopia, uważana za złoty standard w badaniu przesiewowym raka jelita grubego, umożliwia bezpośrednie usuwanie polipów podczas badania, skutecznie zmniejszając częstość występowania i śmiertelność z powodu raka.

Jednak konwencjonalna kolonoskopia znacznie zależy od doświadczenia i poziomu umiejętności endoskopisty. Czynniki takie jak subiektywne osądy, zmęczenie wzroku i rozproszenie uwagi mogą prowadzić do wskaźnika pominięć 20–30%, co bezpośrednio wpływa na efektywność badania przesiewowego<sup>2</sup>. Dlatego rozwój systemów wspomaganego komputerowo wykrywania (CAD) do automatycznej segmentacji polipów jelita grubego ma znaczące znaczenie dla poprawy ADR i zmniejszenia liczby niewykrytych przypadków. Ostatnie badania kliniczne jeszcze bardziej podkreśliły zainteresowanie integracją sztucznej inteligencji w procesach oceny endoskopowych zmian chorobowych, wzmacniając potrzebę opracowania solidnych i powtarzalnych metod segmentacji<sup>3</sup>.

W ostatnich latach głębokie uczenie osiągnęło niezwykły postęp w analizie obrazów medycznych, szczególnie sieci neuronowe z konwolucyjnymi warstwami (CNN), które wykazują mocne zdolności ekstrakcji i reprezentacji cech dla zadań segmentacji obrazów<sup>4</sup>. Jako klasyczny model segmentacji obrazów medycznych, U-Net wykorzystuje symetryczną architekturę kodera-dekoder z połączeniami pomijanymi, aby osiągnąć dokładną segmentację na poziomie pikseli, stając się punktem odniesienia w tej dziedzinie<sup>5</sup>. Na bazie U-Net, wiele udoskonalonych architektur zostało zaproponowanych, aby radzić sobie ze złożonymi zadaniami segmentacji obrazów medycznych. UNet++ zmniejsza lukę semantyczną między mapami cech kodera i dekodera, wprowadzając zagnieżdżone i gęste połączenia pomijane<sup>6</sup>. ResUNet++ integruje bloki rezydualne, moduły squeeze-and-excitation, rozszerzone konwolucje i mechanizmy uwagi, osiągając silną wydajność w segmencie polipów<sup>7</sup>. U<sup>2</sup>-Net stosuje dwupoziomową zagnieżdżoną strukturę w kształcie litery U, aby uchwycić informacje o cechach wieloskalowych<sup>8</sup>. Niedawno zaproponowano sieć głębokiej segmentacji polipów z podwójnym enkoderem-dekoderem, wykorzystującą równoległe ścieżki kodowania i dekodowania, aby jeszcze bardziej zwiększyć dokładność segmentacji<sup>9</sup>.

Tymczasem wprowadzenie mechanizmów uwagi zapewnia nowe rozwiązania dla ulepszania cech i tłumienia szumów. U-Net z uwagią wykorzystuje bramy uwagi, aby skupić się na docelowym obszarze, tłumiąc nieistotne informacje z tła<sup>10</sup>. Dual Attention Network (DANet) adaptacyjnie waży cechy zarówno z wymiaru kanałowego, jak i przestrzennego<sup>11</sup>, poprawiając percepcję krytycznych cech. Triple Attention Networks (TANet) dodatkowo poprawiają wydajność segmentacji poprzez adaptacyjny wybór cech wieloskalowych<sup>12</sup>.

Dzięki sukcesowi architektur Transformerów w przetwarzaniu języka naturalnego i wizji komputerowej<sup>13</sup>, naukowcy zaczęli badać ich zastosowanie w segmencie obrazów medycznych. TransUNet był pierwszym, który zastosował Transformer jako enkoder do efektywnego modelowania zależności długozasięgowych<sup>14</sup>. Swin-UNet przyjmuje czystą architekturę Transformera i osiąga wydajne globalne agregowanie informacji poprzez mechanizm przesuniętych okien<sup>15</sup>. UTNet proponuje hybrydową architekturę, która łączy zdolność ekstrakcji lokalnych cech CNN z globalną zdolnością modelowania Transformerów<sup>16</sup>.

W dziedzinie segmentacji polipów, Polyp-PVT wykorzystuje piramidalny Transformer do przechwytywania wieloskalowych globalnych informacji semantycznych<sup>17</sup>, podczas gdy wieloskalowa zagnieżdżona UNet poprawia zrozumienie kontekstu poprzez integrację Transformerów<sup>18</sup>. Ostatnie badania również badały strategie uczenia się o korelacji ujemnej dla segmentacji polipów w różnych domenach<sup>19</sup>, ulepszenie segmentacji poprzez zwiększenie Gompertz<sup>20</sup> oraz architektury oparte na uwagi z uwzględnieniem wskazówek granicznych<sup>21</sup>. Chociaż te podejścia w pewnym stopniu poprawiają wydajność segmentacji, segmentacja polipów nadal stawia przed sobą kilka wyzwań. Po pierwsze, polipy wykazują dużą różnorodność w morfologii, wielkości i fakturze, wahając się od mikropolipów mniejszych niż 5 mm do dużych polipów przekraczających 30 mm, z kształtami od okr

Protokół

To studium korzysta tylko z publicznie dostępnych, anonimizowanych zestawów danych z obrazów kolonoskopowych (Kvasir-SEG). Nie zebrano żadnych nowych danych od osób. Zatwierdzenie instytucjonalnej etyki i zgoda pacjenta nie były wymagane, jak potwierdzono w zasadach przeglądu instytucjonalnego dla retrospektywnych analiz zidentyfikowanych publicznych zestawów danych.

1. Przygotowanie danych

1. Pobierz zestaw danych Kvasir-SEG z oficjalnego repozytorium33 (https://datasets.simula.no/kvasir-seg/). Zestaw zawiera 1000 obrazów polipów z odpowiadającymi im maskami szczegółowymi w poziomie pikseli.
2. Losowo podziel zestaw na zbiór treningowy (800 obrazów), walidacyjny (100 obrazów) i testowy (100 obrazów) w proporcji 8:1:1, używając stałego losowego nasiona (nasienie = 42). Upewnij się, że żadne obrazy nie nakładają się na trzy podzbiory, aby zapobiec wyciekowi danych.
3. Zmień rozmiar wszystkich obrazów i odpowiadających im masek na 352 x 352 pikseli, używając interpolacji dwuliniowej dla obrazów i interpolacji najbliższego sąsiada dla masek.
4. Znormalizuj wartości pikseli do zakresu [0, 1], dzieląc przez 255, a następnie zastosuj średnią odjęcie kanałowe ImageNet (0,485, 0,456, 0,406) i normalizację odchylenia standardowego (0,229, 0,224, 0,225).
5. Zastosuj następujące transformacje zwiększania do zbioru treningowego tylko (nie do zbiorów walidacyjnych ani testowych): losowe odbicie poziome (prawdopodobieństwo = 0,5); losowe odbicie pionowe (prawdopodobieństwo = 0,5); losowa rotacja (zakres: -30° do +30°, prawdopodobieństwo = 0,5); losowe wieloskalowe przeskalowanie (czynnik skali: 0,75 do 1,25, prawdopodobieństwo = 0,5)
   UWAGA: Zastosuj identyczne przekształcenia przestrzenne zarówno do obrazu, jak i jego odpowiadającej mu maski, aby zachować wyrównanie. Sprawdź poprawność zwiększania, inspekcjonując wizualnie kilka zwiększonych par obraz-maska przed rozpoczęciem treningu.

2. Architektura ogólna

UWAGA: Zobacz Rysunek 1 dla makro-poziomowej struktury kodującej-dekodującej PWD-Net, a dla Rysunku 2 dla integracji i interakcji modułów rdzeniowych w obrębie przepływu cech. Ogólna architektura naśladuje projekt U-kształtnego kodera-dekodera, aby radzić sobie z różnymi skalami polipów i zakłóceniami tła na obrazach z kolonoskopii.

1. Trzon i ścieżka kodowania (Rysunek 1)
   1. Zastosuj ResNet-50 przetrenowany na ImageNet (pochodzący z oficjalnego zoo modeli PyTorch) jako trzonowy koder30. Dostraj wszystkie warstwy kodera podczas treningu.
   2. Przepuść wejściowy obraz z kolonoskopii (przeskalowany do 352 x 352 pikseli) przez pięć etapów resztkowych bloków konwolucyjnych, aby wyodrębnić hierarchiczne cechy. Rozdzielczość przestrzenna map cech jest stopniowo zmniejszana przez pięć etapów, podczas gdy wymiary kanałowe rosną odpowiednio (64 → 128 → 256 → 512 → 1024).
   3. Na najgłębszym poziomie kodera (najniższa warstwa kodera), zastąp standardową warstwę konwolucyjną modułem konwolucji Pinwheel (PCM, opisany w sekcji 3), aby uchwycić globalną geometrię i wielokierunkową informację kontekstową na niskiej rozdzielczości.
      UWAGA: Pięć etapów kodera odpowiada standardowym grupom warstw ResNet-50: conv1, layer1, layer2, layer3 i layer4. Przetrenowane wagi zapewniają solidne inicjowanie cech niskiego i średniego poziomu, skracając czas zbieżności na małych zbiorach medycznych.
2. Kluczowe komponenty i interakcja cech (Rysunek 2 i Rysunek 3)
   1. Zastosuj mechanizm Dual-Attention (DAM, opisany w sekcji 4) do wyjścia z każdego etapu kodera przed przesłaniem go do dekodera przez połączenia pomijajace. Ten krok adaptacyjnie tłumi zakłócenia tła generowane przez fałdy jelitowe i odbicia lustrzane, wzmacniając jednocześnie reakcję cech w regionach polipów. Tylko przefiltrowane cechy są przekazywane do odpowiadającej warstwy dekodera.
   2. W dekoderze stopniowo przywracaj rozdzielczość przestrzenną poprzez upsampling bilinearny. Na każdej warstwie dekodera łącz upsamplingowane cechy z poprzedniego etapu dekodera z ulepszonymi cechami kodera DAM o tej samej rozdzielczości przestrzennej.
   3. Zastosuj dwie kolejne warstwy konwolucyjne (każda połączona z normalizacją wsadów i aktywacją ReLU) do fuzji informacji wieloskalowych. To stanowi strategię Multi-scale Feature Fusion (MSF) opisana w sekcji 5.
      UWAGA: Decoder przechodzi od głębokich do płytkich warstw (etap 5 → etap 1), zapewniając efektywne integrowanie głębokich informacji o lokalizowanych semantycznie i płytkich informacjach o detalach granic na każdym poziomie.
3. Generowanie wyjścia

Wyniki

Ustawienia eksperymentalne
Zestaw danych

Zestaw danych Kvasir SEG został wykorzystany do oceny zachowania segmentacji sieci PWD Net na obrazach z kolonoskopii z niejednorodnym wyglądem polipów. Zestaw zawiera 1000 obrazów polipów z adnotacjami pikseli i obejmuje różnorodność wielkości, kształtu, tekstury, iluminacji i złożoności tła, co sprawia, że nadaje się do oceny wykrywania małych celów, lokalizowania granic i odporności na zakłócenia wizualne. Zestaw danych został ...

Dyskusja

Kilka wyborów projektowych w protokole PWD-Net jest kluczowych dla osiągnięcia wiarygodnych wyników segmentacji i zasługuje na szczególną uwagę podczas implementacji. Po pierwsze, wybór i inicjalizacja części kodera bezpośrednio wpływają na zachowanie konwergencji i ostateczną wydajność. Protokół wykorzystuje enkoder ResNet-50 przetrenowany na ImageNet, który zapewnia solidną inicjalizację funkcji na poziomie niskim i średnim. Jest to szczególnie ważne w przypadku zadań segmentacji obrazów medycznych, gdzie dostępne dane...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Adam Optimizer	—	—	Ujęte w PyTorch
Albumentations	Albumentations Team	v1.0+	Biblioteka do powiększania danych
CUDA Toolkit	NVIDIA	v11.3+	Przyspieszenie GPU
Zestaw danych Kvasir-SEG	SimulaMet	—	https://datasets.simula.no/kvasir-seg/
Matplotlib	Matplotlib Community	v3.4+	Wiзуalizacja krzywych treningowych
NumPy	NumPy Community	v1.21+	Obliczenia numeryczne
NVIDIA Tesla P100	NVIDIA	P100-PCIE-16GB	GPU do treningu i inferencji
OpenCV	OpenCV Community	v4.5+	Przetwarzanie obrazów
Python	Python Software Foundation	v3.8+	Język programowania
PyTorch	Meta Platforms	v1.12+	Framework do uczenia głębokiego
Pretrenowany model ResNet-50	PyTorch Model Zoo	—	Pretrenowany na ImageNet-1K
Ubuntu	Canonical	18.04+	System operacyjny