$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Acquisizione dati
Per convalidare il nostro toolbox, abbiamo analizzato due distinte reti tubulari nel tessuto epatico di topo adulto: i canalicoli biliari (BC) e le reti sinusoidali. Per ogni struttura, per l'addestramento è stata utilizzata un'immagine al microscopio 3D di un singolo animale, mentre due immagini indipendenti di animali diversi sono state utilizzate esclusivamente per i test. Tutte le immagini del fegato sono state acquisite con una risoluzione isotropa dei voxel di 0,3 μm/voxel, garantendo un campionamento coerente nelle tre dimensioni spaziali. Il set di dati, originariamente pubblicato su Morales-Navarrete et al.9, è stato curato utilizzando Labkit25, fornendo maschere binarie di alta qualità delle strutture tubolari utilizzate come verità di base per l'apprendimento supervisionato. Per la rete sinusoidale, abbiamo generato due tipi di maschere binarie: una che delinea i bordi del tubo (rappresentazione cava) e un'altra che cattura il volume tubolare riempito, consentendo diverse strategie di allenamento a seconda dell'applicazione.
Inoltre, abbiamo valutato la nostra cassetta degli attrezzi su un set di dati esterno di vasi sanguigni dell'intero cervello di Mus musculus adulto, fornito nell'ambito della sfida SELMA3D 2024. Questo set di dati è costituito da immagini di microscopia 3D a foglio di luce acquisite in condizioni di alloggiamento standard (12 ore di luce/12 ore di buio per 3 mesi) ed è disponibile tramite le immagini BioStudies (S-BIAD1197)26. Cinque immagini cerebrali sono state utilizzate per l'addestramento e diciannove per i test. Gli stack anisotropi originali sono stati ricampionati a dimensioni di voxel isotropi utilizzando l'interpolazione lineare nelle Fiji per garantire la compatibilità con la nostra pipeline di analisi.
Preelaborazione
Per affrontare il numero limitato di immagini 3D originali, abbiamo applicato tecniche di aumento dei dati che hanno introdotto artefatti di imaging realistici e simulato rapporti segnale/rumore variabili che vanno da 15 a 1. Questo approccio è stato fondamentale per migliorare la generalizzabilità e la robustezza dei modelli.
L'immagine di prova è stata suddivisa in patch non sovrapposte di 64 x 64 x 64 voxel per valutare le prestazioni del modello a livello regionale e per valutare la robustezza in diversi contesti spaziali all'interno dello stesso volume 3D.
Architettura del modello
Abbiamo implementato e confrontato due architetture di reti neurali convoluzionali su misura per la segmentazione 3D:
Un 3D U-Net17 standard, composto da blocchi encoder-decoder simmetrici con pooling massimo 2×2×2, strati convoluzionali con attivazioni ReLU e una convoluzione finale 1 x 1 x 1 seguita da una funzione sigmoidale per la classificazione binaria.
Un Attention U-Net27, che incorpora un meccanismo di attenzione che evidenzia dinamicamente le caratteristiche salienti e sopprime lo sfondo irrilevante, migliorando la segmentazione di strutture complesse e variabili come le reti tubulari epatiche.
Protocollo di allenamento
Entrambe le architetture sono state addestrate utilizzando le librerie TensorFlow e Keras su un cluster di calcolo ad alte prestazioni dotato di 32 core CPU, 128 GB di RAM e due GPU NVIDIA A100 SXM4 da 40 GB. L'Attention U-Net ha richiesto più tempo di addestramento a causa della sua complessità architettonica, soprattutto quando si utilizzano i set di dati aumentati (vedi Tabella 1).
Metriche di valutazione
Le prestazioni del modello sono state valutate quantitativamente sulle immagini di test trattenute utilizzando metriche di segmentazione standard: coefficiente dei dadi, intersezione sull'unione (IoU), punteggio F1, somiglianza del volume e sensibilità e specificità.
I risultati per BC, strutture sinusoidali e vasi sono riassunti in Figura 2, Figura 3, Figura 4 e Figura 5. Inoltre, la Tabella 2 presenta un confronto delle prestazioni con i metodi classici consolidati per la segmentazione tubulare, tra cui Otsu e la soglia adattativa. I nostri modelli, in particolare l'Attention U-Net addestrato su dati aumentati, hanno costantemente sovraperformato questi metodi tradizionali in tutte le metriche.
Analisi statistica e robustezza
L'analisi di intere immagini e delle patch di voxel 64 x 64 x 64 (Tabella 3) nel set di test ci ha permesso di quantificare anche la variabilità spaziale nelle previsioni dei modelli tra le regioni. Tutti i modelli hanno dimostrato un'elevata precisione, con l'Attention U-Net che ha mostrato prestazioni costantemente più elevate, in particolare nel punteggio F1 e nel coefficiente dei dadi. I risultati qualitativi, mostrati nelle Figure 2A, B, 3A, B, Figure 4A, B, Figure 5A, B, nonché nei Video 1, Video 2, Video 3 e Video 4, supportano questi risultati, illustrando una delineazione precisa delle strutture tubolari nella maggior parte delle regioni dei dati di prova.
Spiegazione delle anomalie nelle metriche delle prestazioni
I valori più bassi dei box plot per l'analisi delle patch (Figura supplementare S1, Figura supplementare S2, Figura supplementare S3, Figura supplementare S4 e Figura supplementare S5), indicano la presenza di valori anomali delle prestazioni in un sottoinsieme di patch di test. Allo stesso modo, la segmentazione non ottimale nei fotogrammi finali dei video può essere attribuita a due fattori chiave:
Effetti al contorno: le prestazioni della segmentazione spesso peggiorano ai bordi dell'immagine, dove le strutture parziali sono sottorappresentate o catturate in modo incompleto, con conseguente maggiore incertezza e potenziale classificazione errata.
Degradazione della qualità dell'immagine nei piani z più profondi: nonostante le dimensioni isotrope dei voxel, fattori biologici e tecnici come l'attenuazione del segnale, la diffusione della luce e il contrasto ridotto nella direzione z portano a una riduzione della qualità dell'immagine verso la parte inferiore del volume. Questa degradazione complica la delineazione accurata dei confini e contribuisce alle incongruenze di segmentazione.
Questi fattori sono sfide intrinseche nell'imaging biologico 3D e sono particolarmente impattanti nelle regioni distanti dal piano di imaging o contenenti confini di struttura ambigui.
In sintesi, i nostri risultati dimostrano che i modelli di segmentazione basati sul deep learning, in particolare l'Attention U-Net addestrato con dati aumentati, offrono una delineazione robusta e accurata di strutture tubolari complesse in immagini di microscopia epatica 3D. Sfruttando set di dati curati, strategie di aumento realistiche e meccanismi di attenzione, i modelli hanno ottenuto prestazioni superiori rispetto ai metodi classici come il thresholding. La valutazione regionale utilizzando patch voxel da 64³ ha confermato la coerenza e la generalizzabilità dell'approccio tra diverse regioni dell'immagine e complessità strutturali. Sebbene persistano alcune limitazioni, principalmente dovute agli effetti al contorno e al degrado dell'immagine del piano z, il nostro studio evidenzia l'efficacia delle architetture basate sull'attenzione e fornisce una soluzione open source convalidata per la segmentazione tubolare 3D ad alta precisione nell'imaging biomedico.

Figura 1: Flusso di lavoro per la segmentazione 3D di strutture tubulari in immagini di microscopia a fluorescenza utilizzando i modelli U-Net e Attention U-Net. (A) Preparazione dei dati: sezioni schematiche 2D di immagini di microscopia a fluorescenza 3D di tessuto epatico di topo, che mostrano le immagini originali e le corrispondenti maschere binarie. (B) Aumento dei dati: aumento basato sulla simulazione dei dati preparati, generando immagini con rapporti segnale/rumore variabili (ad esempio, SNR = 15 e SNR = 1). (C) Addestramento del modello: addestramento basato su patch di modelli U-Net e Attention U-Net utilizzando sia dati originali che aumentati. Per l'allenamento vengono generate patch di immagini e maschere di dimensioni 64 x 64 x 64. (D) Valutazione del modello: le metriche quantitative delle prestazioni, tra cui il richiamo e il punteggio F1, vengono calcolate per ciascun modello per valutare l'accuratezza della segmentazione sui set di dati di test. (E) Inferenza del modello: Applicazione del modello addestrato su immagini invisibili per generare maschere di segmentazione previste. Abbreviazione: SNR = rapporto segnale/rumore. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 2: Valutazione dei modelli U-Net e Attention U-Net per la segmentazione della rete dei canalicoli biliari da immagini di microscopia a fluorescenza 3D di tessuto epatico di topo. (A) Sezioni 2D rappresentative (sezione centrale) di immagini di microscopia a fluorescenza 3D, che mostrano l'immagine originale e la corrispondente maschera di verità sul terreno per BC nel tessuto epatico di topo. Le immagini in alto a destra forniscono una vista ingrandita dei riquadri evidenziati in ogni sezione. (B) Maschere di segmentazione previste generate da U-Net, Attention U-Net e le loro versioni aumentate. La riga superiore evidenzia i veri positivi (strutture correttamente segmentate), quella inferiore mostra i falsi positivi (strutture identificate in modo errato) e i falsi negativi (strutture mancanti) per ogni modello. (C) Metriche di valutazione quantitativa per ciascun modello, tra cui accuratezza, punteggio F1, precisione, richiamo, somiglianza del volume e coefficiente dei dadi. La valutazione è stata eseguita nelle patch estruse dall'immagine 3D. Le barre di errore indicano le deviazioni standard tra le immagini di test. Barra di scala: 60 μm; Barra scala interna: 30 μm. Abbreviazione: BC = canali biliari. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 3: Valutazione dei modelli U-Net e Attention U-Net per la segmentazione della rete sinusoidale da immagini di microscopia a fluorescenza 3D di tessuto epatico di topo. (A) Sezioni 2D rappresentative (sezione centrale) di immagini di microscopia a fluorescenza 3D, che mostrano l'immagine originale e la corrispondente maschera di verità di base per i sinusoidi nel tessuto epatico di topo. Le immagini in alto a destra forniscono una vista ingrandita dei riquadri evidenziati in ogni sezione. (B) Maschere di segmentazione previste generate da U-Net, Attention U-Net e le loro versioni aumentate. La riga superiore evidenzia i veri positivi (strutture correttamente segmentate), quella inferiore mostra i falsi positivi (strutture identificate in modo errato) e i falsi negativi (strutture mancanti) per ogni modello. (C) Metriche di valutazione quantitativa per ciascun modello, tra cui accuratezza, punteggio F1, precisione, richiamo, somiglianza del volume e coefficiente dei dadi. La valutazione è stata eseguita nelle patch estruse dall'immagine 3D. Le barre di errore indicano le deviazioni standard tra le immagini di test. Barra di scala: 60 μm; Barra della scala interna: 30 μm. Fare clic qui per visualizzare una versione più grande di questa figura.

Figura 4: Valutazione dei modelli U-Net e Attention U-Net per la segmentazione della rete sinusoidale da immagini di microscopia a fluorescenza 3D di tessuto epatico di topo, considerando la maschera come provette riempite. (A) Sezioni centrali 2D rappresentative di immagini di microscopia a fluorescenza 3D, che mostrano l'immagine originale e la corrispondente maschera di verità sul campo per i sinusoidi nel tessuto epatico di topo. Le immagini in alto a destra forniscono una vista ingrandita dei riquadri evidenziati in ogni sezione. (B) Maschere di segmentazione previste generate da U-Net, Attention U-Net e le loro versioni aumentate. Mentre la riga superiore evidenzia i veri positivi (strutture correttamente segmentate), quella inferiore mostra i falsi positivi (strutture identificate in modo errato) e i falsi negativi (strutture mancanti) per ogni modello. (C) Metriche di valutazione quantitativa per ciascun modello, tra cui accuratezza, punteggio F1, precisione, richiamo, somiglianza del volume e coefficiente dei dadi. La valutazione è stata eseguita nelle patch estruse dall'immagine 3D. Le barre di errore indicano le deviazioni standard tra le immagini di test. Barra di scala: 60 μm; Barra della scala interna: 30 μm. Fare clic qui per visualizzare una versione più grande di questa figura.

Figura 5: Valutazione dei modelli U-Net e Attention U-Net per la segmentazione della rete vascolare nel cervello di topo da immagini di microscopia 3D a foglio di luce utilizzando maschere a tubo pieno. (A) Sezioni centrali 2D rappresentative estratte da immagini di microscopia 3D a foglio di luce del cervello del topo, che mostrano l'immagine originale e la corrispondente maschera di verità sul terreno per i vasi sanguigni. Le viste ingrandite dei riquadri selezionati vengono mostrate nell'angolo in alto a destra di ciascun pannello. Maschere di segmentazione previste generate da U-Net, Attention U-Net e le loro versioni aumentate. La riga superiore evidenzia i veri positivi (strutture dei vasi segmentate correttamente), mentre la riga inferiore illustra i falsi positivi (regioni segmentate in modo errato) e i falsi negativi (strutture dei vasi mancanti) per ciascun modello. (C) Valutazione quantitativa delle prestazioni del modello utilizzando metriche quali accuratezza, punteggio F1, precisione, richiamo, somiglianza del volume e coefficiente dei dadi. Le valutazioni sono state eseguite su patch 3D estratte dai volumi di test. Le barre di errore rappresentano le deviazioni standard nelle 19 immagini di test. Clicca qui per visualizzare una versione più grande di questa figura.
Video 1: Animazione Z-Stack delle maschere previste per la rete BC. Il video mostra una sequenza animata attraverso lo z-stack di maschere di segmentazione previste per i canalicoli biliari nel tessuto epatico di topo, generate da U-Net, Attention U-Net e le loro versioni aumentate. Ogni sezione 2D evidenzia i veri positivi (bianco), i falsi positivi (verde) e i falsi negativi (magenta) per ogni modello, spostandosi attraverso l'intera pila. Abbreviazione: BC = canali biliari. Clicca qui per scaricare questo video.
Video 2: Animazione Z-Stack di maschere previste per la rete sinusoidale. Il video mostra una sequenza animata attraverso lo z-stack di maschere di segmentazione previste per i sinusoidi nel tessuto epatico di topo, generate da U-Net, Attention U-Net e le loro versioni aumentate. Ogni sezione 2D evidenzia i veri positivi (bianco), i falsi positivi (verde) e i falsi negativi (magenta) per ogni modello, spostandosi attraverso l'intera pila. Clicca qui per scaricare questo video.
Video 3: Animazione Z-Stack di maschere previste per la rete sinusoidale come tubi riempiti. Il video mostra una sequenza animata attraverso lo z-stack di maschere di segmentazione previste per la rete sinusoidale come tubi riempiti nel tessuto epatico di topo, generata da U-Net, Attention U-Net e le loro versioni aumentate. Ogni sezione 2D evidenzia i veri positivi (bianco), i falsi positivi (verde) e i falsi negativi (magenta) per ogni modello, spostandosi attraverso l'intera pila. Clicca qui per scaricare questo video.
Video 4: Animazione Z-Stack delle maschere previste per i vasi cerebrali. Il video mostra una sequenza animata attraverso lo z-stack di maschere di segmentazione previste per le navi, generate da U-Net, Attention U-Net e le loro versioni aumentate. Ogni sezione 2D evidenzia i veri positivi (bianco), i falsi positivi (verde) e i falsi negativi (magenta) per ogni modello, spostandosi attraverso l'intera pila. Clicca qui per scaricare questo video.
Tabella 1: Tempo di formazione per U-Net 3D e Attention U-Net 3D Models su set di dati di canalicoli biliari e sinusoidi con e senza aumento dei dati. Tempo di addestramento per modelli U-Net 3D e Attention U-Net 3D su canalicoli biliari e set di dati sinusoidi con e senza aumento dei dati. La tabella elenca il numero di patch per ogni set di dati e il tempo di training corrispondente in minuti. L'aumento dei dati aumenta il numero di patch da 1353 a 10824, portando a un aumento significativo del tempo di addestramento. Il modello Attention U-Net richiede costantemente più tempo di addestramento rispetto al modello U-Net, in particolare con set di dati aumentati, a causa della sua ulteriore complessità nel concentrarsi sulle caratteristiche rilevanti all'interno dei dati. Abbreviazione: BC = canali biliari. Clicca qui per scaricare questa tabella.
Tabella 2: Valutazione quantitativa dei modelli U-Net 3D e Attention U-Net 3D in quattro set di dati utilizzando la segmentazione dell'intera immagine. Questa tabella riporta le prestazioni di ciascun modello e di metodi classici come Otsu e la soglia adattiva, su quattro diversi set di dati: canalicoli biliari, reti sinusoidali (rappresentazioni cave e piene) e vascolarizzazione dell'intero cervello, utilizzando immagini 3D intere per la valutazione. Per ogni combinazione di modello e set di dati, viene elencato il numero di immagini di test, insieme alle metriche delle prestazioni: accuratezza, precisione, richiamo (sensibilità), specificità, punteggio F1, coefficiente di dadi, IoU e somiglianza del volume. Queste metriche forniscono una valutazione completa della qualità della segmentazione in termini sia di correttezza voxel che di accordo volumetrico tra previsioni e verità di base. Abbreviazioni: BC = canalicoli biliari; IoU = Intersezione su Unione. Clicca qui per scaricare questa tabella.
Tabella 3: Valutazione quantitativa dei modelli U-Net 3D e Attention U-Net 3D in quattro set di dati utilizzando patch 64 x 64 x 64 . Questa tabella riassume le prestazioni dei modelli U-Net 3D e Attention U-Net 3D su quattro set di dati: canalicoli biliari, reti sinusoidali (maschere cave e piene) e vascolarizzazione dell'intero cervello sulla base della valutazione in patch di immagini 3D di dimensioni 64×64×64 voxel. Per ogni combinazione modello-set di dati, il numero di patch di test è elencato insieme alle metriche chiave delle prestazioni: accuratezza, precisione, richiamo (sensibilità), specificità, punteggio F1, coefficiente dei dadi, intersezione rispetto all'unione e somiglianza del volume. Queste metriche a livello di patch offrono informazioni localizzate sulle prestazioni del modello e sono particolarmente utili per identificare l'accuratezza della segmentazione spazialmente eterogenea tra i volumi. Abbreviazioni: BC = canalicoli biliari; IoU = Intersezione su Unione. Clicca qui per scaricare questa tabella.
Figura supplementare S1: Prestazioni di segmentazione a livello di patch dei modelli 3D U-Net e Attention U-Net per la segmentazione dei canalicoli biliari. I grafici illustrano le prestazioni quantitative dei modelli 3D U-Net e Attention U-Net su set di dati dei canalicoli biliari, valutati utilizzando patch di immagini 3D di dimensioni 64 x 64 x 64 voxel. Le metriche mostrate includono Accuratezza, Precisione, Richiamo (sensibilità), Specificità, Punteggio F1, Coefficiente dei dadi, Intersezione rispetto all'unione e Somiglianza del volume. I risultati riflettono la variabilità tra le aree, offrendo una visione localizzata delle prestazioni del modello ed evidenziando l'eterogeneità spaziale all'interno dei volumi di tessuto epatico 3D. Abbreviazioni: BC = canalicoli biliari; IoU = Intersezione su Unione. Clicca qui per scaricare questo file.
Figura supplementare S2: Prestazioni di segmentazione a livello di patch dei modelli 3D U-Net e Attention U-Net per la segmentazione sinusoidale. I grafici illustrano le prestazioni quantitative dei modelli 3D U-Net e Attention U-Net su set di dati sinusoidali, valutati utilizzando patch di immagini 3D di dimensioni 64 x 64 x 64 voxel. Le metriche mostrate includono Accuratezza, Precisione, Richiamo (sensibilità), Specificità, Punteggio F1, Coefficiente dei dadi, Intersezione rispetto all'unione e Somiglianza del volume. I risultati riflettono la variabilità tra le aree, offrendo una visione localizzata delle prestazioni del modello ed evidenziando l'eterogeneità spaziale all'interno dei volumi di tessuto epatico 3D. Abbreviazione: IoU = Intersezione sull'Unione. Clicca qui per scaricare questo file.
Figura S3 supplementare: Prestazioni di segmentazione a livello di patch dei modelli 3D U-Net e Attention U-Net per sinusoidi come segmentazione di tubi riempiti. I grafici illustrano le prestazioni quantitative dei modelli 3D U-Net e Attention U-Net su sinusoidi come set di dati di tubi riempiti, valutati utilizzando patch di immagini 3D di dimensioni 64 x 64 x 64 voxel. Le metriche mostrate includono Accuratezza, Precisione, Richiamo (sensibilità), Specificità, Punteggio F1, Coefficiente dei dadi, Intersezione rispetto all'unione e Somiglianza del volume. I risultati riflettono la variabilità tra le aree, offrendo una visione localizzata delle prestazioni del modello ed evidenziando l'eterogeneità spaziale all'interno dei volumi di tessuto epatico 3D. Abbreviazione: IoU = Intersezione sull'Unione. Clicca qui per scaricare questo file.
Figura S4 supplementare: Prestazioni di segmentazione a livello di patch dei modelli 3D U-Net e Attention U-Net per la vascolarizzazione cerebrale da immagini di microscopia a foglio di luce. I grafici illustrano le prestazioni quantitative dei modelli 3D U-Net e Attention U-Net su set di dati di vascolarizzazione dell'intero cervello, valutati utilizzando patch di immagini 3D di dimensioni 64 x 64 x 64 voxel. Le metriche mostrate includono Accuratezza, Precisione, Richiamo (sensibilità), Specificità, Punteggio F1, Coefficiente dei dadi, Intersezione rispetto all'unione e Somiglianza del volume. I risultati riflettono la variabilità tra le aree, offrendo una visione localizzata delle prestazioni del modello ed evidenziando l'eterogeneità spaziale all'interno dei volumi di tessuto epatico 3D. Abbreviazione: IoU = Intersezione sull'Unione. Clicca qui per scaricare questo file.
Figura S5 supplementare: Sovrapposizione dei risultati della segmentazione sulle immagini originali al microscopio a fluorescenza 3D dei canalicoli biliari. Vengono mostrate sezioni di immagini rappresentative da set di dati di microscopia a fluorescenza 3D dei canalicoli biliari nel fegato di topo con maschere di segmentazione sovrapposte in rosso. Le maschere previste dai modelli 3D U-Net e Attention U-Net vengono sovrapposte alle immagini originali al microscopio in scala di grigi per valutare visivamente l'accuratezza della segmentazione. Vengono presentate dieci immagini di esempio per illustrare la capacità dei modelli di catturare diverse caratteristiche morfologiche e gestire la variabilità del segnale in diverse regioni tissutali. Clicca qui per scaricare questo file.