MixKNet: una rete a forma di U modificata con convoluzione del canale ibrido per la segmentazione di immagini mediche

Sommario

Questo studio presenta una variante leggera di U-Net con una migliore precisione di segmentazione utilizzando la convoluzione ibrida e l'attenzione del canale, ottenendo risultati all'avanguardia su MoNuseg e GlaS con meno parametri.

Abstract

La tecnologia di elaborazione delle immagini computeriche basata su reti neurali artificiali si è sviluppata rapidamente negli ultimi anni e ha trovato applicazioni diffuse in diversi campi. Nell'elaborazione delle immagini mediche, UNet e le sue varianti hanno dimostrato un grande successo nel rilevamento delle lesioni, nella segmentazione cellulare e nelle attività di segmentazione dei polipi. Questa ricerca presenta una rete a forma di U modificata con parametri di rete ridotti ottenuti diminuendo la profondità della rete e aumentando i canali di rete per migliorare la capacità di apprendimento del modello. Per contrastare la riduzione della capacità di apprendimento causata dalla compressione della profondità, viene introdotto un modulo convoluzionale a canale ibrido per sostituire il modulo convoluzionale della rete originale. Il modello introduce un meccanismo di attenzione del canale tra il livello e il livello di convoluzione del punto per migliorare la capacità pratica di estrazione delle caratteristiche del canale. L'articolo conclude inoltre che l'utilizzo della convoluzione a profondità mista può risolvere efficacemente l'intervallo di dimensioni dell'obiettivo di segmentazione, rendendo difficile l'adattamento di un modello a più set di dati. Il modello proposto raggiunge risultati all'avanguardia su due popolari set di dati pubblici, MoNuseg e GlaS, con un aumento medio dei dadi rispettivamente dell'1,0% e dell'1,37%. I parametri totali del modello modificato sono stati ridotti a 1,71 milioni, con una riduzione di 38,6 volte rispetto a UCtransNet, con 65,6 milioni di parametri.

Introduzione

La segmentazione delle immagini mediche è fondamentale in varie applicazioni cliniche, tra cui la diagnosi, la pianificazione del trattamento e il monitoraggio della malattia. I metodi tradizionali di elaborazione delle immagini basati su algoritmi di ingegneria delle funzionalità non sono più adatti a gestire i grandi volumi di dati generati nei moderni ambienti sanitari. Fortunatamente, il progresso della tecnologia delle reti neurali artificiali e i miglioramenti nelle capacità hardware dei computer hanno reso possibile l'addestramento e l'implementazione di modelli di reti neurali su larga scala. Di conseguenza, gli algoritmi di elaborazione della visione artificiale basati su modelli di apprendimento automatico vengono continuamente sviluppati e applicati in vari campi.

La struttura del modello più rappresentativa nella segmentazione semantica delle immagini mediche è UNet¹ con un'architettura di codifica-decodifica. Il modello utilizza innanzitutto un encoder multilivello per estrarre le caratteristiche di scale diverse dall'immagine di input. Quindi, il decodificatore esegue l'upsampling passo dopo passo, combinando le caratteristiche semantiche emesse dall'encoder del livello corrispondente come connessione di salto. Tuttavia, le prestazioni dell'architettura UNet possono essere ulteriormente migliorate applicando diversi metodi. Ad esempio, i meccanismi di attenzione hanno dimostrato di essere efficaci nel migliorare le prestazioni delle reti neurali convoluzionali. Questi meccanismi possono enfatizzare selettivamente le caratteristiche essenziali dei dati di input, portando a un migliore apprendimento della rappresentazione e all'accuratezza della segmentazione.

Attualmente, molti ricercatori si concentrano sulla fusione efficace delle caratteristiche estratte dall'encoder nella fase di decodifica. Alcune delle varianti più comuni di UNet includono Attention UNet², Recurrent UNet³ e V-Net⁴. Questi approcci impiegano meccanismi di attenzione⁵, come l'attenzione spaziale, per evidenziare le regioni informative delle mappe delle caratteristiche e sopprimere le regioni non informative. Inoltre, alcune varianti incorporano reti neurali ricorrenti per modellare la natura sequenziale delle immagini mediche e migliorare le rappresentazioni delle caratteristiche. I modelli di pre-addestramento, come VGG⁶, ResNet⁷ e DenseNet⁸, sono stati ampiamente utilizzati per migliorare le prestazioni delle reti a forma di U sfruttando le loro ricche conoscenze apprese da set di dati su larga scala. Inoltre, i meccanismi dei trasformatori, come l'auto-attenzione e l'attenzione multi-testa, sono stati introdotti nelle dipendenze dei modelli a lungo raggio e acquisiscono informazioni contestuali globali, portando a migliori prestazioni di segmentazione.

Tuttavia, sebbene queste varianti siano migliorate rispetto all'UNet¹ originale, presentano ancora alcune limitazioni nella gestione di immagini mediche complesse con scale e forme variabili. Inoltre, l'aumento della complessità di queste varianti porta spesso a costi computazionali più elevati e tempi di addestramento più lunghi, il che ne limita l'applicabilità in contesti pratici.

Per migliorare l'architettura UNet¹ , viene proposto un modello modificato denominato MixKNet (Mix Kernel Size U-shape Net), che riduce la profondità della rete aumentando il numero di canali per migliorare la capacità di apprendimento. Tuttavia, la riduzione della profondità può portare a un calo delle prestazioni complessive. Per mitigare questo problema, viene introdotto un modulo convoluzionale a canale ibrido, che sostituisce il modulo neurale convoluzionale originale. Questo modulo incorpora un meccanismo di attenzione del canale tra gli strati di convoluzione in profondità e in punto, con l'obiettivo di rafforzare la capacità del modello di estrarre caratteristiche di canale efficaci.

Per guidare l'applicabilità pratica, è importante notare che il metodo proposto è stato valutato su set di dati di immagini mediche su scala relativamente piccola, con risoluzioni di immagini individuali che vanno da 500 × 500 a 1000 × 1000 pixel. Per l'addestramento del modello, tutte le immagini sono state ridimensionate a 224 × 224 pixel. L'implementazione è stata effettuata utilizzando PyTorch su una singola GPU NVIDIA RTX 3090. Questi parametri operativi suggeriscono che il metodo è computazionalmente fattibile per configurazioni sperimentali moderate e adattabile a set di dati di dimensioni limitate.

In conclusione, questo articolo presenta una nuova modifica alla struttura della rete a forma di U e introduce un modulo di convoluzione del canale ibrido insieme a un meccanismo di attenzione del canale, entrambi i quali migliorano le prestazioni di segmentazione su set di dati di immagini mediche. I principali contributi di questo lavoro sono i seguenti: (1) Proposta di una struttura di rete a forma di U modificata con un modulo di convoluzione ibrido a conoscenza profonda che sostituisce il modulo neurale convoluzionale originale. (2) Introduzione di un meccanismo di attenzione del canale tra il livello di convoluzione profondo e quello puntiforme per migliorare l'efficace capacità di estrazione delle caratteristiche del canale del modello. (3) Ottenere risultati all'avanguardia contemporaneamente su due popolari set di dati pubblici nel set di dati di segmentazione nucleare MoNuseg⁹ con un numero significativamente inferiore di parametri del modello (rispetto a UCtransNet¹⁰ con 64 milioni di parametri) e prestazioni migliorate sul set di dati di segmentazione della ghiandola GlaS¹¹ .

Il resto di questo articolo è organizzato come segue. La fase 2 fornisce una revisione completa degli studi precedenti su UNet¹ e le sue variazioni nella segmentazione delle immagini mediche. Vengono esaminati i punti di forza e i limiti degli approcci esistenti, insieme al lavoro correlato sui meccanismi di attenzione, sulle reti convoluzionali miste in profondità e sulle loro applicazioni nei modelli di segmentazione. Il passaggio 3 descrive in dettaglio l'architettura del modello MixKNet proposto, incluse le modifiche alla struttura UNet, l'integrazione di un meccanismo di attenzione del canale e l'uso della convoluzione a profondità mista. La fase 4 riporta i risultati di esperimenti approfonditi, accompagnati da una discussione e da uno studio di ablazione per valutare i contributi di ciascun componente. Infine, la fase 5 conclude il documento e delinea le potenziali direzioni per la ricerca futura.

Questa sezione inizia con una revisione di studi precedenti su UNet e le sue varianti nella segmentazione delle immagini mediche, delineando i punti di forza e i limiti dei metodi esistenti. Inoltre, vengono discusse le ricerche correlate sui meccanismi di attenzione e le loro applicazioni nei modelli di segmentazione. Vengono esaminati anche i recenti sviluppi che coinvolgono tecniche di convoluzione in profondità per migliorare le prestazioni di segmentazione. Un'analisi comparativa del MixKNet proposto (c) e di altri modelli è presentata nella Figura 1, dove le linee tratteggiate indicano le connessioni di salto.

UNet e le sue varianti
L'architettura UNet è stata proposta per la prima volta da Ronneberger et al. nel 2015¹ e da allora è stata ampiamente utilizzata nella segmentazione delle immagini mediche. Il modello è costituito da un percorso di codifica e da un percorso di decodifica. L'encoder estrae le caratteristiche di alto livello dall'immagine di input mentre il decodificatore esegue l'upsampling e combina le caratteristiche per generare una mappa di segmentazione. Da allora, sono state apportate varie modifiche all'architettura UNet per migliorarne le prestazioni nella segmentazione delle immagini mediche. Una delle modifiche più comuni è l'introduzione di connessioni di salto, che hanno dimostrato di migliorare l'accuratezza della segmentazione. Zhou et ^al.12 hanno proposto una variante UNet che utilizza connessioni di salto dense, consentendo al modello di preservare meglio le informazioni spaziali.

Un'altra modifica popolare all'architettura UNet è l'aggiunta di meccanismi di attenzione. Questi meccanismi possono aiutare il modello a enfatizzare selettivamente le caratteristiche più importanti, portando a un migliore apprendimento della rappresentazione e all'accuratezza della segmentazione. Alcuni esempi di varianti con meccanismi di attenzione includono Attention UNet², ResUNet con porte^{di attenzione 13} e Dense-UNet con porte^{di attenzione 14}. Oltre alle modifiche di cui sopra, sono state proposte molte altre varianti dell'architettura UNet per la segmentazione delle immagini mediche. UCTransNet¹⁰ è una variante dell'architettura U-Net che incorpora connessioni skip e un modulo Transformer. Le connessioni skip in UCTransNet¹⁰ sono state ripensate da una prospettiva di canale, che consente un migliore riutilizzo delle funzionalità e riduce il numero di parametri. Il modulo Transformer viene aggiunto per acquisire le dipendenze a lungo raggio e migliorare la qualità della traduzione. UCTransNet¹⁰ ha dimostrato di raggiungere risultati all'avanguardia in diversi benchmark di traduzione automatica. Zihan et al. hanno proposto un modello di deep learning chiamato LViT¹⁵, che hanno applicato alle attività di analisi delle immagini mediche. Per estendere la versione semi-supervisionata di LViT¹⁵ e compensare la carenza di qualità nei dati delle immagini, hanno proposto il meccanismo di iterazione esponenziale delle pseudo etichette (EPI). Inoltre, per preservare le caratteristiche locali delle immagini, hanno proposto il Pixel-Level Attention Module (PLAM), che si concentra selettivamente su importanti caratteristiche dell'immagine.

Meccanismo di attenzione
I meccanismi di attenzione sono stati ampiamente studiati nell'apprendimento automatico, in particolare nell'elaborazione del linguaggio naturale e nella visione artificiale. Negli ultimi anni, i meccanismi di attenzione sono stati applicati anche alle attività di analisi delle immagini mediche, compresa la segmentazione delle immagini. Bahdanau et ^al.16 hanno introdotto un meccanismo di attenzione nella traduzione automatica neurale per migliorare la qualità della traduzione. Il meccanismo consente al modello di concentrarsi in modo selettivo su parti rilevanti della sequenza di input, migliorando la qualità della traduzione. Da allora, sono stati proposti vari meccanismi di attenzione per compiti di analisi delle immagini. Un tipo comune di meccanismo di attenzione è il meccanismo di attenzione spaziale, che prevede l'applicazione di un peso a ciascun pixel nella mappa delle funzionalità in base alla sua importanza. Ad esempio, Guo et ^al.17 hanno proposto un meccanismo di attenzione spaziale per il compito di segmentazione dei vasi retinici. Il meccanismo utilizza un meccanismo di gating per regolare il peso delle caratteristiche spaziali, migliorando la capacità del modello di distinguere tra i pixel del recipiente e quelli non del vaso. Un altro tipo di meccanismo di attenzione è l'attenzione del canale, che si concentra sulla regolazione dei pesi delle mappe delle funzioni tra i canali. Hu et ^al.18 hanno proposto una rete di compressione ed eccitazione (SENet) che applica l'attenzione ai canali alle mappe delle caratteristiche, migliorando le prestazioni del compito di classificazione delle immagini. Più recentemente, i meccanismi di attenzione sono stati combinati con reti neurali convoluzionali (CNN) per compiti di segmentazione delle immagini. Ad esempio, Chen et ^al.19 hanno proposto una rete guidata dall'attenzione per la segmentazione del tumore cerebrale che combina meccanismi di attenzione spaziale e di canale.

I recenti progressi nell'apprendimento semi-supervisionato e multimodale per l'analisi delle immagini mediche e il telerilevamento hanno dimostrato promettenti miglioramenti delle prestazioni. Yang et ^al.20 hanno proposto UMSCS, un nuovo framework di segmentazione multimodale non accoppiato che sfrutta l'apprendimento generativo intermodale e le strategie semi-supervisionate. Zhang et al. hanno introdotto diverse tecniche all'avanguardia: un modello di coerenza a tre rami con evidenza per la segmentazione semi-supervisionata²¹, un framework di apprendimento prototipico auto-consapevole e cross-sample per la segmentazione di immagini mediche²² e un approccio di ottimizzazione delle caratteristiche gerarchiche tempo-frequenza per il riconoscimento del jamming radar ad apertura sintetica (SAR) nel dominio aerospaziale²³. Questi lavori evidenziano collettivamente l'importanza della supervisione ibrida e della modellazione delle caratteristiche sensibili al dominio nelle attività di imaging sia medico che ingegneristico.

Convoluzione in profondità
La convoluzione in profondità è progettata per catturare le correlazioni in base al canale nelle mappe delle funzioni di input e ha dimostrato di migliorare l'efficienza e l'accuratezza delle reti neurali convoluzionali.

Uno dei primi e più influenti modelli di convoluzione in profondità è MobileNet²⁴, proposto da Howard et al. nel 2017. MobileNet utilizza la convoluzione separabile in profondità, che applica una convoluzione in profondità seguita da una convoluzione in senso puntuale, per ridurre il numero di parametri e il calcolo necessari per i livelli convoluzionali. Ciò consente a MobileNet di ottenere una precisione all'avanguardia nelle attività di classificazione delle immagini, utilizzando un numero significativamente inferiore di parametri rispetto alle reti neurali convoluzionali tradizionali. Dall'introduzione di MobileNet, sono state proposte numerose altre architetture di convoluzione in profondità, tra cui ShuffleNet²⁵, Xception²⁶ e ResNeXt²⁷. Questi modelli variano nella loro specifica implementazione della convoluzione profonda, ma tutti condividono l'obiettivo di ridurre la complessità computazionale dei livelli convoluzionali mantenendo o migliorando l'accuratezza. La convoluzione profonda è stata applicata anche al compito della segmentazione semantica, con modelli come PSPNet²⁸ che utilizzano la convoluzione separabile in profondità per ridurre i requisiti di calcolo e memoria dei livelli convoluzionali su larga scala. MixNet²⁹ estende ulteriormente l'idea di convoluzione profonda introducendo una convoluzione profonda mista, che utilizza più dimensioni del kernel per catturare caratteristiche su scale diverse. È stato dimostrato che supera altri modelli all'avanguardia pur mantenendo parametri e FLOP comparabili. Questi modelli hanno dimostrato miglioramenti significativi in termini di accuratezza ed efficienza rispetto alle reti neurali convoluzionali tradizionali in varie attività di segmentazione semantica.

Protocollo

Questa sezione descrive l'architettura MixKNet proposta per la segmentazione delle immagini mediche. Il modello MixKNet estende l'architettura UNet, incorporando meccanismi di attenzione e livelli di convoluzione misti in profondità. Il software utilizzato in questo studio è elencato nella Tabella dei materiali.

1. Architettura generale

1. L'architettura MixKNet, illustrata nella Figura 2, segue la struttura standard UNet, costituita da un codificatore e un decodificatore. Impostare la forma di input su 224 × 224 × 3. Nel codificatore usare due moduli DownBlock, ognuno dei quali include una convoluzione in profondità 1×1, un livello di pooling massimo 2×2 e una convoluzione multikernel (MDConv) con dimensioni del kernel, ad esempio [1, 3, 5] o [3-13].
2. Nel decoder, utilizzare due moduli UpBlock, ognuno dei quali esegue l'upsampling bilineare, salta la concatenazione della connessione, una convoluzione in profondità 1×1 e una convoluzione multi-kernel.
3. Usa le attivazioni ReLU dopo ogni blocco convoluzionale. Applicare una convoluzione finale 1×1 per produrre l'output, seguita da un'attivazione Sigmoid per la segmentazione binaria, oppure lasciare inattivata per Softmax esterno in attività multiclasse.

2. Forma a U appiattita

NOTA: Ridurre la profondità dell'architettura della rete neurale per ridurre la complessità computazionale e le dimensioni del modello, pur tenendo presente che ciò potrebbe ridurre la capacità di apprendere rappresentazioni di dati complesse.

1. Ridurre un'architettura UNet a quattro livelli a una versione a due livelli, come illustrato nella Figura 3, per ridurre il numero di parametri del modello mantenendo i componenti di codifica e decodifica principali.
   1. Costruire l'architettura appiattita rimuovendo i livelli 3 e 4 dai percorsi del codificatore e del decodificatore e mantenere le connessioni delle funzionalità al livello 2.
   2. Regolare le operazioni di downsampling e upsampling di conseguenza in modo che corrispondano alla profondità ridotta: utilizzare solo un passaggio di downsampling prima del collo di bottiglia e un passaggio di upsampling dopo.
      NOTA: questa riduzione della profondità può ridurre la capacità di apprendimento del modello, in quanto potrebbe non catturare relazioni complesse tra input e output. L'aumento del numero di canali di convoluzione di base in ciascun livello del modello può aiutare a superare questa limitazione migliorando la capacità del modello di apprendere le caratteristiche discriminanti. Con più canali di convoluzione, il modello può acquisire modelli e relazioni più complessi nei dati di input, compensando la profondità ridotta e migliorando le prestazioni.
2. Si consideri che l'aumento del numero di canali di convoluzione può anche aumentare la complessità computazionale del modello e l'utilizzo della memoria, presentando un compromesso con l'addestramento e la velocità di inferenza. Trova un equilibrio appropriato tra la capacità del modello e l'efficienza computazionale.

3. Mescolare le dimensioni del kernel per l'encoder

1. Per migliorare le prestazioni dell'encoder, utilizzare un approccio di dimensioni kernel miste nel modulo DC-CA (Depthwise Convolution and Channel Attention), come illustrato nella Figura 4. Invece di fare affidamento su una singola dimensione del kernel, applica più convoluzioni in profondità in parallelo con dimensioni del kernel variabili (ad esempio, 1, 3, 5, 7, 9, 11, 13) per estrarre caratteristiche in più campi recettivi.
2. Applicare la normalizzazione batch e l'attivazione ReLU a ogni ramo singolarmente prima della concatenazione. Concatenare gli output di ogni ramo del kernel lungo la dimensione del canale.
3. Utilizza una convoluzione 1×1 puntuale dopo la concatenazione per fondere le caratteristiche e proiettarle su un numero fisso di canali di output, mantenendo la coerenza con la dimensione di input prevista del layer successivo.
   NOTA: Lo strato di convoluzione in profondità misto è costituito da più convoluzioni in profondità con dimensioni del kernel variabili, seguite da una convoluzione in senso puntuale. Questo design consente l'acquisizione di caratteristiche su scale diverse, il che è fondamentale nelle attività di segmentazione delle immagini mediche. Il primo modulo impiega tre dimensioni del kernel, 1, 3 e 5, per aumentare il campo ricettivo, mentre il secondo modulo utilizza kernel di dimensioni maggiori e più gruppi, in particolare 3, 5, 7, 9, 11 e 13.

4. Attenzione al canale

1. Integrare un meccanismo di attenzione del canale nel modulo DC-CA per migliorare la rappresentazione delle caratteristiche.
   1. Usa una convoluzione 1×1 con spaziatura "uguale" per generare mappe di attenzione a livello di canale. Applica il pooling della media globale tra le dimensioni spaziali per produrre un descrittore compatto per ogni canale.
   2. Utilizza una rete convoluzionale leggera composta da due convoluzioni 1×1 con un'attivazione ReLU intermedia. Evita la condivisione del peso tra i canali: impara pesi di attenzione unici per canale.
   3. Applicare un'attivazione sigmoidale all'output finale per ottenere punteggi di attenzione normalizzati. Riponderare le mappe delle funzioni di input tramite la moltiplicazione per canale.
      NOTA: Sia il tensore di input x. L'attenzione del canale viene implementata tramite l'espressione seguente:
      (attenzione)_tensor = σ(conv(ReLU(conv(x)))) (1)
      dove σ rappresenta la funzione di attivazione sigmoidea, conv è l'operazione di convoluzione e ReLU è la funzione di attivazione dell'unità lineare rettificata.
2. Ottenere la mappa di attenzione eseguendo un'operazione di pooling medio adattivo sul tensore di attenzione, seguita dall'espansione in modo che corrisponda alla dimensione del tensore di output dopo la convoluzione con una diversa dimensione del kernel y:
   attenzione = expand(avg_pool([attenzione]_tensor),dimensione(y)) (2)
3. Calcola il tensore di output z eseguendo la moltiplicazione per elemento del tensore di input y con la mappa di attenzione:
   z = z * attenzione (3)
   dove * rappresenta la moltiplicazione per elemento

5. Insiemi di dati

NOTA: In questo studio vengono utilizzati due set di dati di immagini mediche disponibili pubblicamente, come presentato nella Tabella 1 e nella Tabella 2: GlaS (Sirinukunwattana et al.11) e MoNuSeg (Kumar et ^al.9).

1. Utilizza il set di dati Gland Segmentation (Sirinukunwattana et ^al.11), acquisito utilizzando uno scanner patologico digitale e annotato manualmente per segmentare le singole strutture ghiandolari all'interno di campioni di tessuto.
   NOTA: Il set di dati è costituito da 165 immagini, ciascuna con una risoluzione di 500 × 500 pixel, insieme alle corrispondenti maschere di segmentazione della verità sul campo. Il set di dati MoNuSeg (Kumar et ^al.9) comprende 51 immagini di nuclei microscopici, ciascuna con una risoluzione di 1000 × 1000 pixel.

6. Dettagli di attuazione

1. Implementa il modello utilizzando PyTorch su una singola GPU NVIDIA RTX 3090. Usa Ubuntu 22.04 come sistema operativo.
2. Ridimensiona tutte le immagini di input a una dimensione fissa di 224 × 224 pixel. Applica tecniche di aumento dei dati per migliorare la diversità della formazione.
   1. Applica i potenziamenti in modo casuale nel seguente ordine: capovolgimento orizzontale → capovolgimento verticale → rotazione → correzione gamma → trasformazione logaritmica → ridimensionamento casuale.
   2. Applica capovolgimenti orizzontali casuali con una probabilità di 0,5, capovolgimenti verticali con una probabilità di 0,5 e rotazioni entro ±15 gradi con una probabilità di 0,5.
   3. Applicare la correzione gamma con una probabilità di 0,3, la trasformazione logaritmica con una probabilità di 0,3 e la scala casuale con un fattore di scala compreso tra 0,9 e 1,1, applicato con una probabilità di 0,3.
   4. Normalizza le immagini utilizzando valori medi di [0,485, 0,456, 0,406] e deviazioni standard di [0,229, 0,224, 0,225].
3. Addestra il modello utilizzando l'ottimizzatore Adam con una velocità di apprendimento di 0,001 e una dimensione del batch di 4. Utilizzare la tecnica di programmazione della velocità di apprendimento Coseine Annealing with Warm Restarts per introdurre variabilità nella pianificazione della velocità di apprendimento e prevenire la convergenza verso l'optimum locale.
   NOTA: Utilizzare il torch.optim.lr_scheduler integrato di PyTorch. CosineAnnealingWarmRestarts scheduler. L'ottimizzatore e l'utilità di pianificazione sono stati implementati come segue:
   ottimizzatore = torch.optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-5)
   Scheduler = torch.optim.lr_scheduler. CosineAnnealingWarmRiavvii(
   ottimizzatore, T_0=10, T_mult=2, eta_min=1e-6)
   Qui, T_0=10 denota il numero di epoche prima del primo riavvio, T_mult=2 raddoppia il periodo di riavvio dopo ogni ciclo e eta_min=1e-6 imposta la velocità di apprendimento minima. Aggiorna la velocità di apprendimento alla fine di ogni epoca chiamando scheduler.step().
4. Usa l'entropia incrociata binaria come funzione di perdita. Applicare l'arresto anticipato per evitare l'overfitting. Addestrare il modello per un massimo di 5000 epoche.
5. Valuta le prestazioni del modello utilizzando la media dell'intersezione sull'unione (mIoU) e il coefficiente dei dadi.
   Dadi =(2|A∩B|)/(|A|+|B|) (4)
   IoU=(|A∩B|)/(|A∪B|) (5)
   NOTA: Il mIoU è il rapporto tra l'intersezione tra le maschere di segmentazione previste e quelle di verità di base e la loro unione. Allo stesso tempo, il coefficiente dei dadi è il rapporto tra il doppio dell'intersezione e la somma delle maschere di segmentazione previste e di verità di base.
6. Conduci una valutazione rigorosa su piccoli set di dati utilizzando tre cicli di convalida incrociata di 5 volte, per un totale di 15 valutazioni. Mescola in modo casuale le divisioni di convalida incrociata in ogni round per garantire la variabilità tra le pieghe. Stratificare le riduzioni in base alle distribuzioni di classe per mantenere l'equilibrio delle etichette all'interno di ciascuna piega.
7. Calcola le prestazioni medie tra le riduzioni per mitigare il rischio di convergenza verso l'ottimo locale. Eseguire un test statistico per dimostrare che l'approccio proposto consente di ottenere miglioramenti statisticamente significativi rispetto a metodi comparabili.
8. Mostra le previsioni di convalida rappresentative durante l'addestramento nella Figura 5 per illustrare il progressivo miglioramento della qualità della segmentazione. Al termine dell'addestramento, caricare il checkpoint del modello con le prestazioni migliori in base alle prestazioni di convalida (ad esempio, il punteggio mIoU e Dice più alto).
   1. Esegui il modello sul set di convalida per generare maschere di segmentazione previste utilizzando i parametri salvati.
   2. Visualizza i risultati utilizzando Matplotlib visualizzando l'immagine di input, la maschera di verità di base e la maschera prevista in un formato affiancato.
   3. Evidenzia la superiorità del metodo proposto nelle prestazioni di segmentazione contrassegnando le regioni rappresentative con caselle rosse nella visualizzazione.

Risultati

Confronto con metodi all'avanguardia
L'architettura di MixKNet è stata valutata su due set di dati di segmentazione di immagini mediche, GlaS e MoNuSeg, e confrontata con metodi all'avanguardia nel campo. La valutazione è stata condotta riportando i punteggi dei dadi e degli IoU del metodo proposto e di diversi modelli comparabili, come mostrato nella Tabella 3. I risultati indicano che l'architettura MixKNet supera gli altri modelli, ottenendo i punte...

Discussione

Questo studio presenta MixKNet, una nuova modifica dell'architettura UNet¹ per la segmentazione delle immagini mediche, che integra la convoluzione a profondità mista e un meccanismo di attenzione del canale per migliorare le prestazioni di segmentazione riducendo significativamente la complessità computazionale. La convoluzione del canale ibrido combina più kernel convoluzionali che operano su gruppi di canali separati. Questo design consente alla rete di cattura...

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Sistema operativo Linux (Ubuntu 22.04)	Varie (Comunità Open Source)	N/A(Versione 22.04 LTS)	Sistema operativo open source per lo sviluppo https://releases.ubuntu.com/22.04/
NVIDIA RTX 3090 GPU	NVIDIA	3090	GPU ad alte prestazioni per il deep learning https://www.nvidia.com/en-us/geforce/graphics-cards/30-series/rtx-3090/
Python	Python Software Foundation	N/A (Versione ≥ 3.8)	Linguaggio di programmazione per lo sviluppo AI/ML https://www.python.org/
PyTorch	Meta AI	N/A (Versione 1.13)	Framework di apprendimento automatico open source https://pytorch.org/
Visual Studio Code (VS Code)	Microsoft	N/A	Editor di codice leggero e potente https://code.visualstudio.com/