Dit protocol implementeert een U-vormig deep learning-netwerk dat pinwheel-convolutie, dubbele aandacht en multi-schaal fusie integreert om colorectale poliepen te segmenteren.
Method Article
Dit protocol implementeert een U-vormig deep learning-netwerk dat pinwheel-convolutie, dubbele aandacht en multi-schaal fusie integreert om colorectale poliepen te segmenteren.
Nauwkeurige segmentatie van colorectale poliepen is cruciaal voor de vroege preventie en diagnose van colorectale kanker. Door de hoge heterogeniteit van poliepen qua vorm, grootte en textuur, evenals de complexiteit van de darmomgeving (zoals plooien, speculaire reflecties en fecale residuen), ondervinden bestaande methoden nog steeds aanzienlijke uitdagingen bij grenslokalisatie en het detecteren van kleine poliepen. Om deze problemen aan te pakken, stelt dit artikel een Polyp Segmentation Network voor gebaseerd op Pinwheel Convolution and Dual Attention (PWD-Net). Het voorgestelde netwerk hanteert een U-vormige encoder–decoder-architectuur, waarbij een vooraf getrainde ResNet wordt gebruikt als encoder om meerlagige lokale functies te extraheren. Specifiek wordt een Pinwheel Convolution Module (PCM) geïntroduceerd op de bottleneck-laag om de globale geometrische structuur en multidirectionele contextuele informatie van poliepen vast te leggen via multi-angle geroteerde convolutiekernen. Een Dual-Attention Mechanism (DAM) dat kanaalaandacht en ruimtelijke aandacht integreert, is ontworpen om achtergrondruis adaptief te onderdrukken en polyp-regiokenmerken te versterken. Daarnaast wordt een Multi-scale Feature Fusion (MSF)-strategie toegepast om diepe semantische informatie te combineren met oppervlakkige randdetails, waardoor zowel volledigheid als precisie van segmentatieresultaten worden gegarandeerd. Experimenten uitgevoerd op de Kvasir-SEG en CVC-ClinicDB datasets tonen aan dat PWD-Net gemiddelde dobbelsteencoëfficiënten van respectievelijk 0,865 en 0,944 behaalt, en IoU-scores van respectievelijk 0,765 en 0,892, waarmee het bestaande state-of-the-art methoden aanzienlijk overtreft. Ablatiestudies verifiëren de effectiviteit van elke module, en cross-dataset-evaluaties bevestigen het sterke generalisatievermogen van het model. Deze studie biedt een zeer precisie en robuuste oplossing voor klinische poliepsegmentatie, met een grote waarde voor de vroege diagnose van colorectale precancereuze laesies en ondersteuning van computerondersteunde interventie.
Darmkanker is een van de meest voorkomende kwaadaardige tumoren ter wereld, met consequent hoge incidentie en sterftecijfers. Uit studies blijkt dat de meeste colorectale kankers ontstaan uit adenomateuze poliepen, een proces dat doorgaans 10–15 jaar duurt en een waardevol tijdsvenster biedt voor vroege opsporing en interventie. Een toename van 1% in het adenoomdetectiepercentage (ADR) kan het risico op colorectale kanker met ongeveer 3% verminderen, wat de sterfte van patiënten aanzienlijkverlaagt 1. Coloscopie, beschouwd als de gouden standaard voor screening op colorectale kanker, maakt directe verwijdering van poliepen tijdens onderzoek mogelijk, waardoor de incidentie en sterfte van kanker effectief worden verminderd.
Conventionele coloscopie hangt echter sterk af van de ervaring en het vaardigheidsniveau van endoscopisten. Factoren zoals subjectief oordeel, visuele vermoeidheid en afleiding kunnen leiden tot een mispercentage van 20%–30%, wat direct invloed heeft op de effectiviteit van screening2. Daarom is het ontwikkelen van computerondersteunde detectiesystemen (CAD) voor automatische segmentatie van colorectale poliepen van groot belang voor het verbeteren van ADR en het verminderen van gemiste diagnoses. Recente klinische onderzoeken hebben verder de interesse benadrukt om kunstmatige intelligentie te integreren in de endoscopische laesiebeoordelingsworkflows, wat de noodzaak van robuuste en reproduceerbare segmentatiemethoden benadrukt3.
In de afgelopen jaren heeft deep learning opmerkelijke vooruitgang geboekt in medische beeldanalyse, met name convolutionele neurale netwerken (CNN's), die een sterke capaciteit tonen in feature-extractie en representatie voor beeldsegmentatietaken4. Als klassiek medisch beeldsegmentatiemodel gebruikt U-Net een symmetrische encoder–decoder-architectuur en slaat het verbindingen over om nauwkeurige pixelniveausegmentatie te bereiken, waarmee het een benchmark wordt op dit gebied5. Voortbouwend op U-Net zijn veel verbeterde architecturen voorgesteld om complexe medische beeldsegmentatietaken aan te pakken. UNet++ vermindert de semantische kloof tussen encoder- en decoderfeaturemaps door geneste en dichte skipverbindingen6 te introduceren. ResUNet++ integreert residuele blokken, squeeze-and-excitatiemodules, gedilateerde convoluties en aandachtsmechanismen, en behaalt sterke prestaties in polypsegmentatie7. U2-Net gebruikt een tweelaagse, geneste U-vormige structuur om multischaal-feature-informatie vast te leggen8. Meer recentelijk is een op basis van diepe polypsegmentatienetwerken gebaseerd op dubbele encoder-decoder voorgesteld, waarbij parallelle coderings- en decoderpaden worden benut om de segmentatienauwkeurigheid verder te verbeteren9.
Ondertussen biedt de introductie van aandachtsmechanismen nieuwe oplossingen voor feature-verbetering en ruisonderdrukking. Attention U-Net gebruikt attention gates om zich te richten op doelgebieden terwijl irrelevante achtergrondinformatie wordt onderdrukt10. Het Dual Attention Network (DANet) weegt functies adaptief van zowel kanaal- als ruimtelijke dimensies11, waardoor de waarneming van kritieke kenmerken verbetert. Triple Attention Networks (TANet) verbeteren de segmentatieprestaties verder door adaptieve selectie van multi-scale functies12.
Met het succes van Transformer-architecturen in natuurlijke taalverwerking en computer vision13 zijn onderzoekers hun toepassing in medische beeldsegmentatie gaan onderzoeken. TransUNet was de eerste die een transformator gebruikte als encoder om langeafstandsafhankelijkheden effectief te modelleren14. Swin-UNet hanteert een pure Transformer-architectuur en bereikt efficiënte wereldwijde informatieaggregatie via een shifted-window-mechanisme15. UTNet stelt een hybride architectuur voor die de lokale feature-extractiecapaciteit van CNN's combineert met de wereldwijde modelleringscapaciteit van Transformers16.
Op het gebied van polypsegmentatie maakt Polyp-PVT gebruik van een pyramid vision Transformer om multischaal globale semantische informatie17 vast te leggen, terwijl multischaal geneste UNet het contextuele begrip verbetert door Transformers18 te integreren. Recente studies hebben ook negatieve correlatieleerstrategieën onderzocht voor cross-domein poliepsegmentatie19, Gompertz-augmented segmentatieverbetering20, en aandachtgebaseerde architecturen met grensbegeleiding21. Hoewel deze benaderingen de segmentatieprestaties enigszins verbeteren, kent poliepsegmentatie nog steeds verschillende uitdagingen. Ten eerste vertonen poliepen een hoge heterogeniteit in morfologie, grootte en textuur, variërend van micro-poliepen kleiner dan 5 mm tot grote poliepen van meer dan 30 mm, met vormen variërend van cirkelvormig en elliptisch tot sterk onregelmatige vormen. Ten tweede is de darmomgeving complex en variabel, waarbij slijmvliesplooien, spiegelreflexen, fecale resten en voedselresten ernstige achtergrondinterferentie veroorzaken. Ten derde hebben veel poliepen vage grenzen, kunnen gedeeltelijk verstopt zijn door plooien, of ondergedompeld zijn in darmvloeistoffen, waardoor nauwkeurige grenslokalisatie uiterst moeilijk is22.
Bestaande methoden kennen nog steeds duidelijke beperkingen in het aanpakken van deze uitdagingen. Traditionele CNN's zijn effectief in het extraheren van lokale textuur en randkenmerken; echter, vaste vierkante convolutiekerne zijn niet goed geschikt om diverse geometrische vormente vangen, vooral voor sterk onregelmatige poliepen, en kunnen ze multidirectionele geometrische kenmerken niet effectief modelleren. Transformer-gebaseerde methoden kunnen globale afhankelijkheden modelleren, maar zijn minder effectief in het vastleggen van fijne lokale details en randinformatie. Bovendien maakt hun hoge computationele complexiteit ze minder geschikt voor realtime klinische toepassingen24. Recente polypsegmentatiebenaderingen zoals PraNet, dat reverse attention-modules gebruikt om sleutelgebieden25 te verfijnen, grensgeleide cascade-aandachtnetwerken die grensfeature-extractie verbeteren26, en CAFE-Net, dat encoder- en decoderkenmerken samenvoegt via cross-attention mechanismen27, ondervinden nog steeds onvoldoende featurerepresentatie en onnauwkeurige grenslokalisatie bij het omgaan met kleine poliepen28, vervaagde grenzen en complexe achtergronden. Bovendien verwaarlozen de meeste methoden geometrische morfologie en benutten ze niet volledig multidirectionele contextuele informatie, wat resulteert in suboptimale segmentatie van onregelmatig gevormde poliepen.
Samenvattend missen huidige CNN-gebaseerde methoden het vermogen om multidirectionele geometrische kenmerken vast te leggen vanwege hun afhankelijkheid van vaste vierkante convolutiekeren. Transformer-gebaseerde benaderingen bieden globale modellering, maar offeren lokale grensprecisie op en brengen hoge rekenkosten met zich mee. Ondertussen zijn bestaande aandacht-versterkte en multischaal fusiestrategieën niet gezamenlijk geoptimaliseerd binnen een uniform kader dat specifiek is afgestemd op polipsegmentatie29. Deze hiaten motiveren de ontwikkeling van een methode die tegelijkertijd geometrische feature-modellering, adaptieve ruisonderdrukking en cross-scale feature-integratie aanpakt.
Om deze problemen aan te pakken, presenteert dit protocol een Polyp Segmentation Network gebaseerd op Pinwheel Convolution and Dual Attention (PWD-Net). Het voorgestelde netwerk integreert geometrische feature-modellering, multidimensionale aandachtsverbetering en multiscale feature-fusie, waardoor precieze segmentatie van complexe poliepen mogelijk wordt. De belangrijkste bijdragen van dit werk worden als volgt samengevat: de pinwheel convolutiemodule (PCM), geïnspireerd door de structuur van een pinwheel, wordt een nieuw ontwerp van een geroteerde convolutiekern voorgesteld dat multidirectionele geometrische kenmerken van poliepen vastlegt via convolutiebewerkingen onder meerdere hoeken (0°, 45°, 90°, 135°, 180°, 225°, 270° en 315°). Deze module vervangt de conventionele convolutielaag in het bottleneck-stadium, waardoor een effectieve waarneming van diverse randoriëntaties mogelijk wordt en de representatie van onregelmatig gevormde poliepen aanzienlijk verbetert. Het dual-attention mechanisme (DAM) behandelt achtergrondruis zoals plooien, reflecties en fecale residuen in coloscopiebeelden. Er wordt een dual-attention module ontworpen die kanaalaandacht en ruimtelijke aandacht integreert. Ingebed in skipverbindingen onderdrukt deze module adaptief achtergrondinterferentie en verbetert het de kenmerken van reacties in poliepgebieden door gezamenlijk te identificeren "wat" belangrijk is (kanaaldimensie) en "waar" het doel zich bevindt (ruimtelijke dimensie), zodat alleen verfijnde kenmerken betrokken zijn bij de volgende fusie. De multi-scale feature fusion strategy (MSF) behoudt zowel diepe semantische informatie als oppervlakkige randdetails via een hiërarchisch mechanisme dat in de decoder is geïntroduceerd. Door DAM-verbeterde encoderkenmerken geleidelijk te integreren met opgesamplede decoderfuncties, compenseert deze strategie effectief het ruimtelijke detailverlies veroorzaakt door downsampling, waardoor nauwkeurige detectie van kleine poliepen en precieze grensafbakening mogelijk is.
Deze studie gebruikt uitsluitend openbaar toegankelijke, geanonimiseerde coloscopiebeelddatasets (Kvasir-SEG). Er werden geen nieuwe gegevens verzameld over menselijke proefpersonen. Institutionele ethische goedkeuring en geïnformeerde patiënttoestemming waren niet vereist, zoals bevestigd door het institutionele beoordelingsbeleid voor retrospectieve analyses van gedeidentificeerde openbare datasets.
1. Datavoorbereiding
2. Algemene architectuur
OPMERKING: Zie Figuur 1 voor de macro-niveau encoder–decoder ruggengraat van PWD-Net, en naar Figuur 2 voor de integratie en interactie van kernmodules binnen de featureflow. De algehele architectuur volgt een U-vormig encoder–decoder-ontwerp om schaalvariaties van poliepen en achtergrondinterferentie in coloscopiebeelden aan te kunnen.
3. Pinwheel Convolutiemodule (Figuur 3)

4. Dual-Attention Mechanisme (Figuur 4)
OPMERKING: Het Dual-Attention Mechanism (DAM) is in elke skipverbinding ingebouwd om achtergrondruis te onderdrukken en polyp-regiokenmerken te versterken vanuit zowel kanaal- als ruimtelijke dimensies.


5. Multi-scale Feature Fusie
6. Verliesfunctie en trainingsconfiguratie



7. Pseudocode
Algoritme 1: PWD-Net Polyp Segmentatie
1: Invoer: Coloscopiefoto Ik ∈ RH×W×3
2: Output: Segmentatiemasker M ∈ {0,1}(H×W)
3:
4: functie PCM(X) ▷ Pinwheel Convolutiemodule
5: Definieer basiskern W (3 x 3), hoeken Θ = {0°, 45°, ..., 315°}
6: voor elke θ ∈ Θ doe
7: Wθ ← BilineairRotate(W, θ) ▷ Rotate kernel
8: Yθ ← Conv2d(X, Wθ) ▷ Richtingsspecifieke kenmerken
9: einde voor
10: Yuit ← ReLU(BN(Conv1 x 1(Concat({Yθ})))) ▷ Aggregaat
11: Yterugbrengen
12: einde functie
13:
14: functie DAM(F) ▷ Dubbel-aandacht Mechanisme
15: Ac ← Sigmoid(MLP(AvgPool(F))) ▷ Kanaalaandacht (r=16)
16: As ← Sigmoid (Conv7 x 7([AvgPool(F); MaxPool(F)])) ▷ Ruimtelijke aandacht
17: F' ← F ⊗ (α · Ac + β · As) ▷ Fuse met leerbare α, β (init=0.5)
18: terugkeer F'
19: einde functie
20:
21: functie PWD-Net(I)
22: Encoder: e1, e2, e3, e4, e5 ← ResNet50_Stages(I) ▷ 5-traps voorgetrainde encoder
23: Bottleneck: b ← PCM(e5) ▷ Pas PCM toe bij bottleneck
24: Sla verbindingen over: si ← DAM(ei) voor i = 1, 2, 3, 4 ▷ Filterencoderkenmerken
25: Decoder:
26: vloek4 ← DoubleConv(Concat(Up(b), s4))
27: 3 ← DoubleConv(Concat(Up(4), s3))
28: 2 ← DoubleConv(Concat(Up(d3), s2))
29: 1 ← DoubleConv(Concat(Up(d2), s1))
30: M ← Sigmoïde (Conv1 x 1(d1))
31: terugkeer M
32: einde functie
33:
34: Training:
35: voor elk tijdperk doe
36: M̂ ← PWD-Net(I)
37: L ← 0,5 · BCE(M̂, Mgt) + 0,5 · DiceLoss(M̂, Mgt) ▷ λ = 0,5
38: Werk parameters bij via backpropagatie (Adam optimaliseerr)
39: einde voor
Experimentele opstelling
Dataset
De Kvasir SEG-dataset werd gebruikt om het segmentatiegedrag van PWD Net te evalueren op coloscopiebeelden met heterogene poliepverschijnselen. De dataset bevat 1.000 pixels geannoteerde poliepafbeeldingen en bevat variatie in polypgrootte, vorm, textuur, verlichting en achtergrondcomplexiteit, waardoor het geschikt is voor het beoordelen van kleine doeldetectie, grenslokalisatie en robuustheid tegen visuele interferentie. De dataset werd verdeeld in trainings-, validatie- en testsubsets, en de uiteindelijke testset werd alleen gebruikt voor prestatie-evaluatie. De verdeling van afbeeldingen wordt samengevat in Tabel 1.
Implementatiedetails
De implementatie-instellingen die nodig zijn voor reproduceerbaarheid worden samengevat in Tabel 2, en de volledige procedurele details worden gegeven in de stappen voor gegevensvoorbereiding en Sectie 5.2 van het Protocol. Voor het interpreteren van de resultaten gebruikten alle gerapporteerde experimenten dezelfde invoerresolutie, hardwareomgeving en evaluatievoorwaarden als in de Materiaaltabel. De gerapporteerde waarden zijn gebaseerd op het geselecteerde validatie-dobbelsteencheckpoint van een enkele run met seed = 42, dus de resultaten moeten worden geïnterpreteerd als prestaties onder een vaste experimentele splitsing in plaats van als gemiddelde kruisvalidatie-uitkomsten.
Evaluatiemetrieken
De segmentatieprestaties werden geëvalueerd met behulp van de Dice-coëfficiënt, Intersection over Union, pixel-niveau nauwkeurigheid en inferentiesnelheid. Dobbelsteencoëfficiënt en Intersectie over Unie werden gebruikt als de primaire overlap-gebaseerde metrics omdat ze direct overeenstemming weerspiegelen tussen het voorspelde masker en de door experts geannoteerde poliepregio. Pixelnauwkeurigheid werd gerapporteerd als aanvullende maatstaf omdat coloscopiebeelden vaak grote achtergrondgebieden bevatten. Inferentiesnelheid, gerapporteerd als frames per seconde, werd opgenomen om te beoordelen of het model de praktische rekenefficiëntie behoudt terwijl de segmentatiekwaliteit verbetert.
Vergelijking met bestaande methoden
Om het gedrag en de effectiviteit van PWD-Net aan te tonen, wordt een vergelijking uitgevoerd met vijf representatieve poliepsegmentatiemethoden: CBSA (Channel-Boosted Spatial Attention network)34, FSSA (Feature-Shared Spatial Attention network), MSF (Multi-Scale Fusion network), Pinwheel-Conv (Pinwheel Convolution baseline zonder attention of fusion modules) en PolaLinear (Polarized Linear attention network). Alle vergelijkingsmethoden worden opnieuw geïmplementeerd met hun officieel vrijgegeven broncodes en getraind op dezelfde Kvasir-SEG trainingsset (800 afbeeldingen) onder identieke preprocessing, inputresolutie (352 x 352) en evaluatie-instellingen om een eerlijke vergelijking te garanderen. Tabel 3 toont de kwantitatieve resultaten op de testset.
Zoals weergegeven in Tabel 3, behaalt PWD-Net een dobbelsteencoëfficiënt van 0,865 en een IoU van 0,765, wat een verbetering van 1,8% in dobbelstenen en 4,8% in IoU vertegenwoordigt vergeleken met de volgende beste methode (CBSA). Opmerkelijk is dat PWD-Net dit bereikt met 9,1 miljoen parameters, vergeleken met 18,4 miljoen voor CBSA, wat wijst op een gunstige efficiëntie. Hoewel PolaLinear en Pinwheel-Conv snellere inferentiesnelheden bieden (respectievelijk 79 en 72 FPS), is hun segmentatienauwkeurigheid merkbaar lager, wat suggereert dat PWD-Net een redelijke balans biedt tussen nauwkeurigheid en rekenkosten voor de geëvalueerde dataset. Om het kwalitatieve segmentatiegedrag te illustreren, worden vijf representatieve testmonsters geselecteerd voor visuele vergelijking met kleine poliepen, grote poliepen, complexe achtergronden en vage grenzen. Figuur 5 toont de segmentatieresultaten van vier geselecteerde vergelijkingsmethoden (CBSA, FSSA, MSF en PWD-Net) naast de grond-waarheid. Elke voorspellingskolom is gelabeld met de bijbehorende methodenaam. Pinwheel-Conv en PolaLinear zijn weggelaten uit deze figuur voor visuele duidelijkheid, omdat hun kwantitatieve prestaties aanzienlijk lager zijn; deze figuur vertegenwoordigt daarom een geselecteerde deelverzameling van de methoden die in Tabel 3 zijn vergeleken.
Zoals getoond in Figuur 5, vertonen FSSA en MSF in scenario's met kleine polypen (eerste en vijfde rij) gemiste detecties, terwijl PWD-Net de doelen vollediger vastlegt. In scenario's met grote polypen (tweede en derde rij) produceren CBSA en FSSA merkbare randonregelmatigheden, terwijl PWD-Net gladdere grenzen genereert. In het scenario met vervaagde grenzen (vierde rij) demonstreert PWD-Net effectieve onderdrukking van achtergrondruis via het dual-attention mechanisme.
Ablatiestudie
Om de bijdrage van elk kerncomponent in PWD-Net te analyseren, wordt een systematische ablatiestudie uitgevoerd. Met ResNet-50 als backbone-encoder om het basismodel te vormen, worden de Pinwheel Convolution Module (Pinwheel), Dual-Attention Mechanism (Dual-Attn) en Multi-Scale Feature Fusion (MSF) module stapsgewijs geïntegreerd. Tabel 4 vat de kwantitatieve resultaten samen.
De belangrijkste bevindingen uit Tabel 4 kunnen als volgt worden samengevat. Ten eerste verbetert het toevoegen van een enkele module de prestaties van het basismodel. Het Dual-Attention Mechanisme levert de meest opvallende voordelen (Dice: +2,0%, IoU: +2,7%) en ondersteunt de effectiviteit van adaptieve ruisonderdrukking. De Pinwheel Convolution Module draagt bij aan een verbetering van 1,6% in dobbelstenen, wat het voordeel van multidirectionele feature-extractie voor onregelmatige poliepvormen aangeeft. Ten tweede verhoogt het combineren van het Pinwheel Convolution en Dual-Attention Mechanism de prestaties verder tot Dice = 0,858 en IoU = 0,748, wat op complementariteit tussen de twee modules wijst. Ten slotte behaalt het volledige PWD-Net (waarbij alle drie de modules worden geïntegreerd) de beste waargenomen prestaties (Dice = 0,865, IoU = 0,765), met verbeteringen van respectievelijk 3,3% en 6,0% ten opzichte van de basislijn, wat de bijdrage van elk voorgestelde component aan deze dataset aantoont.
Analyse van trainingsprocessen
Om de trainingsdynamiek en convergentiekenmerken van PWD-Net te illustreren, worden belangrijke prestatiemetrics geregistreerd en gevisualiseerd over 50 trainingsperiodes. Figuur 6 toont de variaties van de verliesfunctie, dobbelsteencoëfficiënt, IoU en nauwkeurigheid tijdens training.
Zoals weergegeven in Figuur 6(a), nemen zowel het trainingsverlies als het validatieverlies snel af binnen de eerste 10 epochs en stabiliseren zich daarna geleidelijk. Het validatieverlies blijft iets hoger dan het trainingsverlies gedurende het hele proces, maar de twee curves volgen een consistente trend met een kleine kloof, wat aangeeft dat het model geen ernstige overfitting heeft. Figuur 6(b) toont dat de dobbelsteencoëfficiënt scherp stijgt in de vroege trainingsfase, na ongeveer het 30e epoche convergeert en boven 0,86 stabiliseert. De IoU-curve in Figuur 6(c) vertoont een vergelijkbare groeitrend, met een uitkomst van ongeveer 0,765 in de late trainingsfase. Figuur 6(d) geeft aan dat de nauwkeurigheid boven de 94% convergeert. De stabiele validatietrends in de midden- en late trainingsfasen suggereren dat de geadopteerde data-augmentatiestrategie en het cosinus-annealingschema bijdragen aan het beperken van overfitting op deze dataset.
Prestaties over polypgroottes heen
Om de toepasbaarheid van PWD-Net verder te evalueren over verschillende klinische scenario's, wordt de testset (100 beelden) verdeeld in drie categorieën op basis van de verhouding van poliepoppervlak tot het totale beeldgebied: kleine poliepen (< 5%), middelgrote poliepen (5%–30%) en grote poliepen (> 30%). Deze classificatie weerspiegelt de invloed van de poliepschaal op de segmentatiemoeilijkheid. Tabel 5 toont de kwantitatieve prestaties van elke categorie. Zoals weergegeven in Tabel 5, behaalt PWD-Net de beste prestaties in de medium-polyp categorie (Dice = 0,882, IoU = 0,790), wat consistent is met de bredere representatie van deze categorie (54 van de 100 testbeelden). De prestaties op grote poliepen blijven op een vergelijkbaar niveau (dobbelstenen = 0,861, IoU = 0,760). De prestaties op kleine poliepen zijn relatief lager (Dice = 0,812, IoU = 0,685), voornamelijk omdat kleine doelen een klein deel van het beeld innemen en gevoeliger zijn voor achtergrondruis met schaarsere randinformatie.
Deze resultaten suggereren dat het multidirectionele feature-capturevermogen van de Pinwheel Convolution Module en de ruimtelijke lokalisatiecapaciteit van het Dual-Attention Mechanism bijdragen aan het behouden van een redelijke segmentatiekwaliteit over verschillende poliepschalen op de geëvalueerde testset.

Figuur 1: Kader van het PWD-Net Model. Algemeen structureel kader van het voorgestelde Polyp Segmentation Network gebaseerd op Pinwheel Convolution and Dual Attention (PWD-Net), met de illustratie van de encoder (ResNet-50), bottleneck (PCM), DAM-versterkte skipverbindingen, MSF-decoder en outputgeneratie voor colorectale poliepsegmentatie. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2: Algemene architectuurstroomdiagram van PWD-Net. Gedetailleerd stroomdiagram van de volledige PWD-Net-architectuur, met de vijffasige ResNet-50 encoder, PCM-bottleneck, DAM-skipverbindingen, multi-scale feature fusion decoder en definitieve voorspellingsgeneratie. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3: Schematisch diagram van de Pinwheel Convolutiemodule. Structureel en operationeel schema van de Pinwheel Convolution Module, die multi-hoek geroteerde convolutiekeressen, bilineaire interpolatie-gebaseerde rotatie, kanaalconcatenatie en 1 x 1 convolutieaggregatie demonstreert. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 4: Structuurdiagram van het Dual Attention-mechanisme. Architectonisch diagram van de DAM, dat de parallelle kanaalaandachttak toont (Global Average Pooling → MLP met reductieverhouding r = 16 → Sigmoid) en de ruimtelijke aandachtstak (kanaalgebonden pooling → 7 x 7 convolutie → Sigmoid), gevolgd door gewogen fusie met leerbare coëfficiënten α en β. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 5: Kwalitatieve vergelijking van segmentatieresultaten. Elke rij vertegenwoordigt een testmonster. Kolommen van links naar rechts: Invoerafbeelding, Ground Truth, CBSA, FSSA, MSF en PWD-Net (Ours). Pinwheel-Conv en PolaLinear zijn weggelaten in deze figuur voor visuele duidelijkheid; zie Tabel 3 voor de volledige kwantitatieve vergelijking. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 6: Trainingscurves van PWD-Net over 50 epochs. (a) Verlies van training en validatie. (b) Dobbelsteencoëfficiënt. (c) Kruising over Union (IoU). (d) Nauwkeurigheid op pixelniveau. Klik hier om een grotere versie van deze figuur te bekijken.
| Trainingssubset | Aantal monsters | Proportie |
| Treinstel | 800 | 80% |
| Validatieset | 100 | 10% |
| Testset | 100 | 10% |
| Totale Set | 1000 | 100% |
Tabel 1: Datasetstatistieken. Dataset-splitsverdeling voor de Kvasir-SEG dataset (in totaal 1.000 afbeeldingen), waarbij het aantal afbeeldingen en het aandeel worden toegewezen aan de training-, validatie- en testsubsets (willekeurige seed = 42) toont.
| Categorie | Parameteritem | Parameterinstelling |
| Deep Learning Framework | Raamwerk | PyTorch |
| Hardwareomgeving | GPU | NVIDIA Tesla P100 |
| Versnellingsmethode | GPU-versnelling | CUDA |
| Invoerinstellingen | Invoerafbeeldingsgrootte | 352 × 352 |
| Beeldformaat | Beeldformaat | RGB-afbeelding |
| Optimizer | Optimizer | Adam |
| Initiële leersnelheid | Initiële LR | 1 × 10⁻4 |
| Batchgrootte | Batchgrootte | 16 |
| Opleidingsperiodes | Tijdperken | 50 |
| Verliesfunctie | Verliesfunctie | Dobbelsteenverlies + BCE |
Tabel 2: Experimentele parameterinstellingen. Experimentele parameterinstellingen voor PWD-Net training en evaluatie. Raadpleeg de stappen voor gegevensvoorbereiding en sectie 5.2 van het protocol voor de volledige stapsgewijze implementatieprocedure.
| Methode | Dobbelstenen ↑ | IoU ↑ | Nauwkeurigheid ↑ | Parameters (M) ↓ | FPS ↑ |
| CBSA | 0.8466 | 0.717 | 0.9325 | 18.4 | 36 |
| FSSA | 0.7109 | 0.551 | 0.9012 | 9.8 | 61 |
| MSF | 0.7337 | 0.585 | 0.9086 | 11.5 | 54 |
| Pinwheel-Conv | 0.8007 | 0.6742 | 0.9401 | 7.9 | 72 |
| PolaLinear | 0.7213 | 0.5707 | 0.9113 | 6.6 | 79 |
| PWD-Net (Van ons) | 0.865 | 0.7651 | 0.9478 | 9.1 | 63 |
Tabel 3: Resultaten van kwantitatieve vergelijkingen. Kwantitatieve vergelijking van PWD-Net met vijf bestaande poliepsegmentatiemethoden op de Kvasir-SEG testset (100 afbeeldingen). Alle methoden worden geëvalueerd onder identieke datasplitsingen, preprocessing en inputresolutie (352 x 352). ↑ geeft aan dat hoger is beter; ↓ geeft aan dat lager beter is. Methoden gemarkeerd met * duiden resultaten aan die uit de oorspronkelijke publicatie zijn geciteerd in plaats van opnieuw geïmplementeerd.
| Configuratie | Pinwheel | Dual-Attn | MSF | Dobbelstenen ↑ | IoU ↑ |
| Basislijn | × | × | × | 0.832 | 0.705 |
| + Pinwheel | √ | × | × | 0.848 | 0.725 |
| + Dual-Attn | × | √ | × | 0.852 | 0.732 |
| + MSF | × | × | √ | 0.844 | 0.72 |
| + Pinwheel + Dual-Attn | √ | √ | × | 0.858 | 0.748 |
| Volledig (PWD-Net) | √ | √ | √ | 0.865 | 0.765 |
Tabel 4: Resultaten van een ablatiestudie. Ablatiestudieresultaten op de Kvasir-SEG testset, die de incrementele bijdrage van de Pinwheel Convolution Module (Pinwheel), Dual-Attention Mechanism (Dual-Attn) en Multi-Scale Feature Fusion (MSF) aan de basislijn ResNet-50 encoder tonen.
| Polypentype | Aantal | Dobbelstenen ↑ | IoU ↑ |
| Kleine poliepen (< 5%) | 21 | 0.812 | 0.685 |
| Middelgrote poliepen (5%–30%) | 54 | 0.882 | 0.79 |
| Grote poliepen (> 30%) | 25 | 0.861 | 0.76 |
Tabel 5: Prestaties van PWD-Net op verschillende polyptypen. Prestaties van PWD-Net op verschillende polypgroottecategorieën binnen de Kvasir-SEG testset (100 afbeeldingen). Polypgrootte wordt gedefinieerd door de verhouding van polypoppervlak tot totale beeldoppervlakte.
Aanvullend bestand: Gecomprimeerd archief met de implementatie van het PWD-Net-framework. Het bestand bevat model.py het definiëren van de netwerkarchitectuur met de Pinwheel Convolution Module (PCM) en Dual-Attention Mechanism (DAM), train.py het implementeren van de datalaadpijplijn, verliesfunctie en trainingsprocedure, test.py voor modelinferentie en evaluatie op testdatasets, en requirements.txt het opsommen van alle vereiste Python-bibliotheken en hun bijbehorende versies. Klik hier om dit bestand te downloaden.
Verschillende ontwerpkeuzes in het PWD-Net-protocol zijn cruciaal voor het behalen van betrouwbare segmentatieresultaten en verdienen zorgvuldige aandacht tijdens de implementatie. Ten eerste beïnvloedt de selectie en initialisatie van de encoder-backbone direct het convergentiegedrag en de uiteindelijke prestaties. Het protocol maakt gebruik van een ResNet-50-encoder die vooraf is getraind op ImageNet, en die robuuste laag- en middenniveau feature-initialisatie biedt. Dit is vooral belangrijk voor medische beeldsegmentatietaken waarbij de beschikbare trainingsgegevens beperkt zijn (800 beelden in de huidige studie). Door alle encoderlagen fijn af te stellen, in plaats van ze te bevriezen, kan het netwerk de vooraf getrainde kenmerken aanpassen aan de specifieke kenmerken van coloscopiebeelden, zoals mucosale texturen en speculaire reflecties. Ten tweede is de plaatsing van elke kernmodule binnen de architectuur bewust. De Pinwheel Convolution Module (PCM) bevindt zich bij de bottleneck, waar de ruimtelijke resolutie het laagst is maar de semantische informatie het rijkst, waardoor een efficiënte vastlegging van globale geometrische patronen mogelijk is zonder buitensporige rekenkosten. Het Dual-Attention Mechanism (DAM) is ingebed in de skipverbindingen in plaats van in de decoder, waardoor achtergrondruis wordt onderdrukt voordat features naar de decoder worden gestuurd, waardoor besmette features niet door de fusiestadia kunnen voortplanten. De ablatiestudie (Tabel 4) ondersteunt dit ontwerp: de DAM levert de grootste individuele prestatiewinst (dobbelsteen: +2,0%), wat het belang van vroege ruisonderdrukking in de feature-pijplijn bevestigt. Ten derde, de hybride verliesfunctie (0,5 · BCE + 0,5 · Dice) balanceert pixel-niveau classificatienauwkeurigheid met regio-niveau overlap-optimalisatie. Deze combinatie is vooral relevant voor poliepsegmentatie, waar een onbalans tussen voorgrond en achtergrondklasse vaak voorkomt. De gelijke weging (λ = 0,5) wordt als standaard aangenomen; het aanpassen van deze verhouding kan nodig zijn voor datasets met verschillende klassenverdelingen (zie Probleemoplossing hieronder).
Aanpassingen en probleemoplossing
De volgende aanpassingen en richtlijnen voor probleemoplossing zijn gegeven om het protocol aan te passen aan verschillende experimentele omgevingen. Bij het toepassen van het protocol op datasets met verschillende beeldresoluties of polypgrootteverdelingen, kan de invoerresolutie (352 x 352) aangepast moeten worden. Grotere invoergroottes kunnen de detectie van kleine polypen verbeteren, ten koste van meer geheugenverbruik en verminderde inferentiesnelheid. Als het trainingsverlies niet binnen 50 epochs convergeert, overweeg dan de initiële leersnelheid te verlagen (bijvoorbeeld tot 5 x 10⁻5) of de lengte van de cosinus-annealingcyclus te verlengen. Als het model hoge vals-positieve percentages vertoont in gebieden met ernstige speculaire reflecties of mucosale plooien, kan het verhogen van het gewicht van de dobbelsteenverliescomponent (bijv. λ = 0,4 voor BCE, 0,6 voor dobbelstenen) de grensprecisie verbeteren ten koste van de nauwkeurigheid op pixelniveau. Omgekeerd, als het model kleine poliepen ondersegmenteert, kan het verhogen van het BCE-gewicht helpen. Het aantal rotatiehoeken in de PCM (momenteel acht, van 0° tot 315° in stappen van 45°) vertegenwoordigt een balans tussen directionele dekking en rekenkosten. Het reduceren tot vier hoeken (0°, 90°, 180°, 270°) vermindert de berekening, maar kan de gevoeligheid voor schuine poliepgrenzen verminderen. De reductieverhouding r = 16 in de kanaalaandachtstak van de DAM volgt de conventie die is vastgesteld door voorafgaande squeeze-and-excitatienetwerken32; Kleinere verhoudingen (bijv. r = 8) verhogen de modelcapaciteit, maar kunnen leiden tot overfitting op kleine datasets. Voor datasets die aanzienlijk groter zijn dan Kvasir-SEG, overweeg de batchgrootte en trainings-epochs dienovereenkomstig te vergroten, en controleer validatiemetrics om het juiste stoppunt te bepalen.
Betekenis ten opzichte van alternatieve methoden
De PWD-Net-architectuur pakt specifieke beperkingen van bestaande benaderingen aan via drie complementaire modules. In vergelijking met methoden die vertrouwen op standaard vierkante convolutiekernen, biedt de PCM richtingsgevoeligheid via meerhoekige gedraaide kernen, waardoor een betere aanpassing aan de onregelmatige en diverse morfologie van colorectale poliepen mogelijk is. In vergelijking met enkeldimensionale aandachtsmechanismen (bijv. kanaal-only aandacht in squeeze-and-excitation networks33), modelleert de DAM gezamenlijk kanaal- en ruimtelijke betekenis, en biedt het een meer uitgebreide ruisonderdrukking in de complexe coloscopieomgeving. In vergelijking met op Transformers gebaseerde architecturen zoals TransUNet34 en Polyp-PVT35, die sterke globale modellering bieden maar tegen hogere rekenkosten, behaalt PWD-Net concurrerende prestaties met een relatief compacte modelgrootte (9,1M parameters) en een praktische inferentiesnelheid (63 FPS), zoals gedocumenteerd in Tabel 3.
Het moet worden opgemerkt dat de vergelijkingen in deze studie (Tabel 3) onder gecontroleerde omstandigheden worden uitgevoerd met identieke datasplitsingen, voorverwerking en evaluatieprotocollen. De waargenomen prestatieverschillen zijn specifiek voor de Kvasir-SEG testset (100 afbeeldingen) die in deze studie werd gebruikt en zijn mogelijk niet direct te generaliseren naar andere datasets of klinische omgevingen. Een bredere vergelijking waarbij aanvullende vastgestelde baselines (bijv. PraNet36, ResUNet++37) worden opgenomen onder gestandaardiseerde multi-dataset benchmarks, zou het bewijs verder versterken en is gepland voor toekomstig werk. Recent werk aan duale encoder-decoder architecturen voor polypsegmentatie38 heeft het potentieel aangetoond van parallelle coderings- en decoderpaden. De PWD-Net-architectuur verschilt doordat ze zich richt op roterende geometrische modellering en dual-attention filtering binnen één encoder-decoder pijplijn, die een complementaire ontwerpfilosofie vertegenwoordigt.
Verschillende belangrijke beperkingen van deze studie moeten worden erkend. Ten eerste, wat betreft de experimentele reikwijdte, rapporteert de huidige studie de resultaten uitsluitend op de Kvasir-SEG dataset met een enkele willekeurige splitsing van 800 training, 100 validatie- en 100 testbeelden. De testsetgrootte (100 afbeeldingen) is relatief klein, en er wordt slechts één trainingsrun gerapporteerd zonder herhaalde experimenten of kruisvalidatie. Daardoor kunnen de gerapporteerde prestatie-metrics onderhevig zijn aan variatie die verband houdt met de specifieke data-split. Toekomstig werk zou k-voudige kruisvalidatie of meerdere willekeurige splitsingen met gerapporteerde standaarddeviaties moeten bevatten om robuustere prestatieschattingen te bieden. Ten tweede introduceert de PCM extra rekenkracht door multi-angle kernelrotatie en aggregatie. Hoewel het totale model compact blijft (9,1 miljoen parameters), kan de inzet op middelen beperkte apparaten in klinische omgevingen verdere optimalisatie vereisen via technieken zoals kennisdestillatie of modelsnoei. Ten derde wordt het model uitsluitend getraind en geëvalueerd op statische beelden, terwijl klinische coloscopie realtime videostreams omvat waarin het uiterlijk, de grootte en het perspectief van de polypen dynamisch veranderen over opeenvolgende frames. Hoewel de inferentiesnelheid van 63 FPS compatibel is met realtime framerates, vormt deze metriek op zichzelf geen klinische validatie. Prospectieve validatie op endoscopische videogegevens, lezersstudies en downstream klinische eindpuntanalyses zou nodig zijn voordat enige claims over klinische paraatheid kunnen worden gedaan 39,40,41. Het huidige werk moet worden begrepen als een methodologische bijdrage in plaats van als een klinisch gevalideerd systeem.
Ten vierde reikt het klinische translatiepad voor door AI geassisteerde poliepsegmentatie veel verder dan segmentatienauwkeurigheid. Recente reviews hebben benadrukt dat geavanceerde beeldvormings- en analysetools geïntegreerd moeten worden in bredere endoluminale workflows, waaronder classificatie van laesies, stadiëring en behandelplanning. Het huidige protocol richt zich uitsluitend op binaire poliepsegmentatie en behandelt pathologische42-classificatie (bijv. adenomateuze versus hyperplastische poliepen) of maligniteitsrisicobeoordeling, die essentieel zijn voor het begeleiden van klinische beslissingen. Ten vijfde zijn de datasets die in deze studie worden gebruikt voornamelijk afkomstig van coloscopieonderzoeken bij volwassenen. Gegevens over pediatrische poliepen, poliepen die geassocieerd zijn met inflammatoire darmziekten en andere speciale pathologische typen zijn niet vertegenwoordigd. De generaliseerbaarheid van het model naar deze populaties is nog niet getest. Ten zesde, hoewel ablatie-experimenten en kwalitatieve visualisaties worden aangeboden om de functie van elke module te illustreren, blijft de interpreteerbaarheid van het model beperkt. Het besluitvormingsproces van deep learning-modellen is niet volledig transparant, wat het vertrouwen en de adoptie van clinici kan beïnvloeden. Toekomstig werk zou gradiëntgebaseerde visualisatietechnieken kunnen bevatten om meer intuïtieve verklaringen van modelvoorspellingente bieden 43.
Ondanks de hierboven genoemde beperkingen biedt het PWD-Net protocol een reproduceerbaar kader voor poliepsegmentatie dat als basis kan dienen voor verdere ontwikkeling. Mogelijke richtingen zijn: het uitbreiden van het model naar videogebaseerde coloscopie-analyse door het integreren van temporele modelleringstechnieken; het toevoegen van een classificatietak voor end-to-end segmentatie en pathologische typering; het uitbreiden van evaluatie naar grotere en meer diverse multicenter-datasets; en het verkennen van integratie binnen endoluminale robotplatforms, waar AI-ondersteunde beeldanalyse steeds meer wordt erkend als een belangrijke ondersteunende technologie44,45. Het aanvullende codepakket dat bij dit protocol wordt geleverd, is bedoeld om de reproductie en aanpassing van de methode door andere onderzoeksgroepen te vergemakkelijken.
De auteurs hebben niets te onthullen.
Deze studie werd gefinancierd door het National Key R&D Program of China (programmanummers 2022YFC3500200 en 2022YFC3500204).
| Name | Company | Catalog Number | Comments |
|---|---|---|---|
| Adam Optimizer | — | — | Opgenomen in PyTorch |
| Albumentations | Albumentations Team | v1.0+ | Data augmentatie bibliotheek |
| CUDA Toolkit | NVIDIA | v11.3+ | GPU versnelling |
| Kvasir-SEG dataset | SimulaMet | — | https://datasets.simula.no/kvasir-seg/ |
| Matplotlib | Matplotlib Community | v3.4+ | Visualisatie van trainingscurves |
| NumPy | NumPy Community | v1.21+ | Numerieke berekening |
| NVIDIA Tesla P100 | NVIDIA | P100-PCIE-16GB | GPU voor training en inferentie |
| OpenCV | OpenCV Community | v4.5+ | Beeldvoorverwerking |
| Python | Python Software Foundation | v3.8+ | Programmeertaal |
| PyTorch | Meta Platforms | v1.12+ | Deep learning framework |
| ResNet-50 voorgetrainde gewichten | PyTorch Model Zoo | — | ImageNet-1K voorgetraind |
| Ubuntu | Canonical | 18.04+ | Besturingssysteem |
Request permission to reuse the text or figures of this JoVE article
Request Permission