Method Article

Un protocollo open source per la segmentazione basata sul deep learning di strutture tubolari in immagini di microscopia a fluorescenza 3D

DOI:

10.3791/68004

November 14th, 2025

In This Article

Summary

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questo protocollo introduce una cassetta degli attrezzi open-source che offre una pipeline completa per la segmentazione di strutture tubolari in immagini di microscopia a fluorescenza tridimensionali (3D). Utilizzando il deep learning con l'aumento dei dati basato sulla simulazione, addestra i modelli U-Net e Attention U-Net, fornisce valutazioni qualitative e quantitative e include notebook di facile utilizzo per l'addestramento, l'inferenza e la visualizzazione.

Abstract

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La segmentazione delle strutture tubulari in tessuti biologici densi da immagini di microscopia a fluorescenza 3D è fondamentale per lo studio di tessuti complessi, ma rimane impegnativa a causa della complessità dell'immagine, della variabilità e dei problemi di qualità. Qui, presentiamo una cassetta degli attrezzi open-source e di facile utilizzo per la segmentazione end-to-end di strutture tubolari in immagini 3D, accessibile ai ricercatori senza una formazione formale sulla programmazione. Il toolbox presenta notebook Jupyter interattivi che implementano due architetture di deep learning semplici ma efficienti - 3D U-Net e 3D U-Net con meccanismi di attenzione - per una segmentazione 3D precisa delle reti tubolari. Un'innovazione chiave è la nostra strategia di aumento dei dati basata sulla simulazione, che migliora le prestazioni del modello anche con dati di addestramento minimi (solo un'immagine 3D). Utilizzando maschere fornite dall'utente, il protocollo genera immagini di microscopia artificiale con rapporti segnale/rumore variabili e simula artefatti di imaging realistici, tra cui colorazione irregolare, convoluzione della funzione di diffusione dei punti, variazioni di intensità assiale e rumore di Poisson e gaussiano. Il protocollo guida sistematicamente gli utenti attraverso l'aumento dei dati, l'addestramento dei modelli, la valutazione qualitativa e quantitativa sui set di test e l'inferenza su nuove immagini. Convalidiamo il toolbox analizzando due reti tubolari morfologicamente distinte nel tessuto epatico di topo - i canalicoli biliari e le reti sinusoidali - dimostrando che entrambe le architetture si comportano bene, con l'attenzione U-Net che supera leggermente l'U-Net standard quando addestrata con dati aumentati. Il nostro toolbox completo, eseguibile su unità di elaborazione grafica (GPU) locali, cluster di calcolo ad alte prestazioni o piattaforme cloud, contribuisce alla democratizzazione dell'analisi avanzata delle immagini per un ampio spettro di ricercatori.

Introduction

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

L'analisi quantitativa delle strutture tubulari nei tessuti biologici, come i vasi sanguigni, le reti neuronali e i dotti biliari nel fegato, è fondamentale per comprendere i processi fisiologici e patologici, tra cui l'angiogenesi, le metastasi tumorali e lo sviluppo degli organi 1,2,3. La microscopia a fluorescenza tridimensionale (3D) è emersa come uno strumento fondamentale per l'imaging di queste reti complesse, offrendo un'elevata risoluzione spaziale e consentendo la visualizzazione di complesse architetture tissutali nel loro contesto nativo 4,5,6,7. Tuttavia, segmentare accuratamente le strutture tubolari da tessuti biologici densi rimane una sfida formidabile a causa degli artefatti di imaging, della variabilità del segnale e della morfologia eterogenea inerente ai campioni biologici. I metodi di segmentazione tradizionali, come la soglia di soglia, l'aumento della regione e gli algoritmi basati su modelli, spesso richiedono un ampio intervento manuale e una meticolosa regolazione dei parametri, che può richiedere molto tempo e essere soggettiva, soprattutto per tessuti 3D complessi come il fegato 8,9,10,11,12 . Questi approcci spesso non sono robusti rispetto alla variabilità insita nei campioni biologici e nelle condizioni di imaging, limitando la loro generalizzabilità tra diversi set di dati e configurazioni sperimentali. Strumenti software come ImageJ13 e TiQuant8 sono stati sviluppati per assistere nell'analisi e nella quantificazione dei tessuti; tuttavia, potrebbero non avere la flessibilità o la scalabilità necessarie per ricostruzioni 3D complete di reti tubolari complesse in modo completamente automatico.

Il deep learning ha rivoluzionato l'analisi delle immagini biomediche automatizzando le attività di segmentazione con elevata precisione ed efficienza 14,15,16. Le reti neurali convoluzionali (CNN), in particolare le architetture di codifica-decodifica come U-Net, hanno dimostrato prestazioni eccezionali in varie applicazioni di imaging biomedico 17,18,19. Inoltre, l'estensione di U-Net ai dati 3D (3D U-Net) consente un'elaborazione efficace delle immagini volumetriche, catturando il contesto spaziale in tutte e tre le dimensioni e migliorando l'accuratezza della segmentazione per strutture complesse20. L'incorporazione di meccanismi di attenzione in queste architetture (Attention U-Net) migliora ulteriormente le prestazioni consentendo alla rete di concentrarsi sulle caratteristiche salienti sopprimendo il rumore di fondo irrilevante 18,21,22. Nonostante il loro potenziale, l'implementazione di modelli di deep learning per la segmentazione 3D pone sfide significative. L'addestramento di questi modelli richiede in genere una notevole esperienza di programmazione, l'accesso a potenti risorse computazionali e grandi set di dati annotati, che potrebbero non essere prontamente disponibili per tutti i ricercatori. L'annotazione delle immagini 3D è particolarmente laboriosa, poiché spesso comporta l'etichettatura manuale di strutture complesse su numerose sezioni, che può essere proibitiva per set di dati di grandi dimensioni. Mentre le tecniche di aumento dei dati possono alleviare la necessità di dati di addestramento estesi aumentando artificialmente la diversità dei set di dati attraverso trasformazioni come la rotazione, il ridimensionamento e il capovolgimento, i metodi di aumento tradizionali potrebbero non catturare completamente la variabilità e la complessità delle immagini biologiche, in particolare quelle che coinvolgono strutture 3D complesse.

Per affrontare queste limitazioni, introduciamo una cassetta degli attrezzi open-source e di facile utilizzo per la segmentazione end-to-end di strutture tubolari in immagini di microscopia 3D. Questo toolbox utilizza notebook Jupyter interattivi e implementa due robusti metodi di deep learning - 3D U-Net17,20 e 3D U-Net con meccanismi di attenzione18,21 - per una segmentazione accurata di strutture tubolari 3D senza richiedere ampie conoscenze di programmazione. Un'innovazione chiave del nostro protocollo è una strategia di aumento dei dati basata sulla simulazione che migliora le prestazioni del modello anche con dati di addestramento minimi, come una sola immagine 3D. Sfruttando le maschere fornite dall'utente, il protocollo genera immagini di microscopia artificiale con rapporti segnale/rumore variabili e simula artefatti di imaging realistici, tra cui colorazione irregolare, convoluzione con la funzione di diffusione del punto (PSF) dei microscopi confocali, variazioni di intensità assiale dovute alla penetrazione o alla diffusione di anticorpi e la presenza di rumore di Poisson e gaussiano. Questo aumento basato sulla simulazione non solo aumenta la quantità di dati di addestramento, ma arricchisce anche il set di dati con variazioni realistiche, migliorando la generalizzabilità del modello ai dati non visibili. Il protocollo guida sistematicamente gli utenti attraverso l'aumento dei dati, l'addestramento dei modelli, la valutazione qualitativa e quantitativa delle previsioni dei modelli sui set di test e l'inferenza su nuove immagini (Figura 1). Convalidiamo l'utilità del nostro toolbox analizzando due reti tubulari morfologicamente distinte nel tessuto epatico di topo: i canalicoli biliari e le reti sinusoidali. Queste reti presentano diverse caratteristiche strutturali e sfide di imaging, fornendo un solido banco di prova per i nostri metodi.

Mentre la maggior parte degli studi esistenti si concentra sull'analisi delle immagini 2D, limitando la comprensione di architetture 3D complesse, il nostro approccio enfatizza la segmentazione 3D per catturare l'intera complessità delle strutture tissutali. Integrando architetture di deep learning consolidate e potenti con un'interfaccia user-friendly, il nostro toolbox contribuisce alla democratizzazione dell'accesso a strumenti di analisi delle immagini all'avanguardia. La nostra pipeline può essere eseguita su GPU locali, cluster di calcolo ad alte prestazioni o piattaforme cloud come Google Colab, rendendo l'analisi avanzata delle immagini accessibile a una gamma più ampia di ricercatori, indipendentemente dalle risorse computazionali. Questo lavoro contribuisce al campo fornendo una soluzione accessibile e completa per la segmentazione 3D delle strutture tubulari, facilitando le analisi quantitative che sono essenziali per far progredire la nostra comprensione della funzione dei tessuti e dei meccanismi di malattia.

Protocol

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Installazione e configurazione della cassetta degli attrezzi

  1. Download della casella degli strumenti da GitHub
    1. Apri un browser web e vai al repository GitHub del toolbox: https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation 
    2. Scaricalo utilizzando Git clone (opzione A). Assicurarsi che Git sia installato sul sistema; In caso contrario, scaricalo da https://git-scm.com/downloads e installalo. Apri un terminale (Unix/Linux/macOS) o un prompt dei comandi (Windows) e vai alla directory in cui deve essere memorizzata la casella degli strumenti. Clonare il repository digitando:
      Git clone https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation.git
    3. Scaricalo dal file ZIP (opzione B). Nella pagina GitHub fare clic sul pulsante verde Codice e selezionare Scarica ZIP. Salva il file ZIP nella directory preferita ed estrai il contenuto del file ZIP.
  2. Configurazione dell'ambiente Conda
    1. Installa Anaconda o Miniconda. Se non è già installato, scarica Anaconda da:
      https://www.anaconda.com/download o Miniconda da https://docs.anaconda.com/miniconda/. Seguire le istruzioni di installazione per il sistema operativo in uso.
    2. Apri un terminale o un prompt dei comandi. Creare un nuovo ambiente Conda denominato img_seg_env con Python 3.10 digitando:
      conda create -n img_seg_env python=3.10
    3. Attivare l'ambiente Conda digitando:
      Conda attiva img_seg_env
      o attiva img_seg_env per Windows
  3. Installare le dipendenze necessarie utilizzando requirements.txt. Assicurati di essere nella directory principale della casella degli strumenti. Installa i pacchetti Python necessari utilizzando pip digitando:
    pip install -r requirements.txt
    NOTA: questo comando legge il file requirements.txt e installa tutti i pacchetti necessari
    1. Verificare che siano installati pacchetti come numpy, scipy, matplotlib, tensorflow e jupyter . Verificare la corretta installazione ed elencare i pacchetti installati digitando:
      Elenco pip
  4. Avvio di Jupyter Notebook
    1. Mentre si è ancora nell'ambiente Conda attivato, avviare Jupyter Notebook digitando:
      taccuino jupyter
    2. Se è preferibile JupyterLab , che offre un'interfaccia avanzata, eseguire:
      Laboratorio Jupyter
    3. Accesso all'interfaccia di Jupyter : attendere l'apertura automatica di un browser Web, visualizzando l'interfaccia di Jupyter . Se non si apre automaticamente, prendi l'URL fornito nel terminale (ad es. http://localhost:8888/tree) e aprilo manualmente nel browser web.
    4. Nell'interfaccia di Jupyter , passare alla directory contenente i notebook Jupyter forniti con la casella degli strumenti (ad esempio, /path/to/3DMicroscopyImageSegmentation-main/).

2. Preparazione dei dati (Figura 1A)

  1. Generazione di dati immagine di strutture tubolari
    1. Ottieni le immagini al microscopio 3D
      1. Scarica le immagini 3D pubblicamente disponibili del tessuto epatico di topo da: https://zenodo.org/records/14029574 Il set di dati include immagini confocali 3D dei canalicoli biliari (BC) e delle reti sinusoidali ritagliate dalle immagini originali da9. In alternativa, utilizza una serie di immagini generate.
    2. Ottieni la PSF 3D
      1. Scarica un'immagine PSF (Point Spread Function) reale da https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation/blob/main/data/raw/PSF.tif In alternativa, genera una PSF teorica utilizzando DeconvolutionLab223 con i parametri del microscopio.
    3. Utilizzare il seguente metodo di segmentazione per generare maschere binarie delle strutture tubolari:
      1. Segmentazione semi-automatica con MorpholibJ nelle Fiji
        1. Apri Figi. Caricare l'immagine al microscopio.
        2. Vai al menu Processo | Binario | MakeBinary, scegliere Otsu come metodo e premere OK.
        3. Apri il plug-in MorpholibJ e vai su Plug-in | MorfolibJ | Filtraggio | Filtri morfologici (3D).
        4. Scegli l'operazione di chiusura, imposta la forma dell'elemento su Sfera (funziona meglio per le strutture tubolari) e scegli un raggio adatto nei voxel. Fare clic su Mostra elemento per visualizzare l'elemento strutturante. Per le strutture tubolari, provare valori compresi tra 3 e 8 pixel.
          NOTA: un raggio più grande può introdurre artefatti.
        5. Salva il risultato come "image_closing.tif" facendo clic su File | Salva con nome... | Diverbio....
          NOTA: Assicurarsi che ogni maschera generata corrisponda al file immagine originale corretto, con nomi di file corrispondenti. Esempi di maschere precalcolate possono essere scaricate da: https://doi.org/10.5281/zenodo.14029574
    4. Cura manualmente le maschere.
      1. Scarica e installa Labkit24 seguendo le istruzioni all'indirizzo: https://github.com/juglab/labkit-ui. Apri ogni maschera preliminare e utilizza gli strumenti di disegno e cancellazione per correggere manualmente gli errori di segmentazione aggiungendo o rimuovendo regioni per delineare con precisione le strutture tubolari. Salva la maschera curata, mantenendo lo stesso nome file dell'immagine originale.
      2. Utilizzo di Napari25
        1. Aprire un prompt dei comandi e attivare l'ambiente Napari (se non è già attivo):
          Conda attiva napari_env
        2. Lancio napari:
          Napari
        3. Trascina e rilascia sia l'immagine al microscopio che la maschera binaria corrispondente in napari.
        4. Converti la maschera binaria in un livello etichetta facendo clic con il pulsante destro del mouse sul nome del livello maschera e selezionando Converti in etichette.
        5. Impostare la larghezza del contorno su 1 e iniziare la polimerizzazione. Per riempire i buchi, utilizzare lo strumento Puntatore per selezionare il valore della maschera. Attiva lo strumento Secchio di riempimento e fai clic all'interno del foro.
          NOTA: Se l'intera immagine è riempita, è probabile che la struttura presenti uno spazio vuoto. Usa il pennello per chiudere il contorno prima di provare di nuovo con lo strumento Secchio di riempimento .
        6. Una volta completata la cura, salva la maschera corretta accedendo a File | Salvataggio dei livelli selezionati | TIFF. Apri la maschera corretta nelle Figi e convertila in formato a 8 bit facendo clic su Immagine | Tipologia | 8 bit. Salvare l'immagine finale a 8 bit.
  2. Organizzazione del set di dati
    1. Creare la struttura di directory del set di dati.
      1. Scegli una directory in cui verrà archiviato il set di dati (ad esempio, /path/to/your/dataset). Creare la seguente struttura di cartelle:
        Dataset/
        ├── training_data/
        │ ├── immagini/
        │ │ ├── img1.tif
        │ │ ├── img2.tif
        │   │   └── ...
        │ "mascherine/
        │ ├── img1.tif
        │ ├── img2.tif
        │       └── ...
        └── test_data/
        ├── immagini/
        │ ├── imgtest1.tif
        │ ├── imgtest2.tif
        │   └── ...
        "maschere/
        ├── imgtest1.tif
        ├── imgtest2.tif
        └── ...
    2. Organizza le immagini e le maschere.
      1. Dati di addestramento
        1. Posiziona le immagini di microscopia 3D destinate all'addestramento in dataset/training_data/images/. Assicurati che i nomi dei file siano coerenti (ad esempio, img1.tif, img2.tif).
        2. Posiziona le maschere binarie curate corrispondenti in dataset/training_data/masks/, assicurandoti che i nomi dei file corrispondano a quelli nella cartella delle immagini (ad esempio, img1.tif, img2.tif).
      2. Dati del test
        1. Posiziona le immagini di microscopia 3D destinate al test in dataset/test_data/images/. Utilizza nomi di file coerenti che non si sovrappongano ai dati di training.
        2. Posiziona le maschere binarie curate corrispondenti in dataset/test_data/masks/. Assicurati che i nomi dei file corrispondano a quelli nella cartella delle immagini di test.

3. Esecuzione dell'intera pipeline (Figura 1B-E)

  1. Aprire il blocco appunti di Jupyter.
    1. Attivare il img_seg_env ambiente Conda digitando:
      Conda attiva img_seg_env
    2. Passare alla cartella principale del progetto:
      cd /percorso/del/codiceImageSegmentation/
    3. Avviare l'interfaccia di Jupyter digitando jupyter lab o jupyter notebook.
    4. Nel Web browser aprire il blocco appunti denominato process_images.ipynb.
  2. Configurazione dell'ambiente
    1. Importa le librerie e configura l'accesso alla GPU.
      NOTA: Nella prima e nella seconda cella del notebook, le librerie vengono importate e TensorFlow è configurato per utilizzare la GPU con la crescita della memoria abilitata. Ciò garantisce che TensorFlow non alloci tutta la memoria GPU contemporaneamente e sia compatibile con più attività. Non modificare il contenuto della cella. Esegui le celle premendo il pulsante di riproduzione .
  3. Configurazione dei parametri di input
    1. Individua la cella di configurazione dell'input e modificala in base al set di dati:
      source_dir = '/percorso/dei/dati/BC/'
      psf_path = '/percorso/di/PSF.tif'
      code_dir = '/percorso/del/codice/'
      out_dir = '/percorso/del/risultato/'
      out_name = 'BC'
    2. Eseguire la cella 3 premendo il pulsante di riproduzione .
    3. Non modificare il contenuto della cella. Eseguire la cella premendo il pulsante di riproduzione nella cella 4.
  4. Generazione di patch
    1. Eseguire la cella Crea set di dati per generare patch di training e test. Non modificare il contenuto delle celle. Esegui le celle premendo il pulsante di riproduzione .
  5. Addestramento del modello
    1. Esegui la cella Train models per addestrare UNet3D con tre impostazioni di aumento: NESSUNA, STANDARD e Basato su simulazione.
    2. Sostituisci 'UNet3D' con 'UNet3D', 'AttentionUNet3D' per addestrare l'UNet3D con attenzione. Se necessario, modificare le impostazioni di allenamento in config.py (vedere il passaggio 3.9).
  6. Generazione di previsioni
    1. Eseguire la cella Genera previsioni per produrre maschere di segmentazione sui dati di test. Non modificare il contenuto in queste celle. Esegui le celle premendo il pulsante di riproduzione .
  7. Valutazione e generazione di grafici
    1. Eseguire la cella Genera grafici per generare boxplot delle metriche di valutazione.
  8. Revisione e interpretazione dei risultati
    1. Controllare gli output nei percorsi definiti da out_images_path e out_plots_path.
    2. Esamina i boxplot confrontando i modelli e le strategie di aumento su metriche a livello di patch e di immagine intera.
  9. Personalizzazione tramite config.py
    1. Modificare i seguenti parametri chiave in config.py per personalizzare la pipeline:
      PATCH_SIZE = (64, 64, 64)
      PATCH_STEP = 64
      LEARNING_RATE = 1e-4
      BATCH_SIZE = 1
      NUM_EPOCHS = 50
      VALIDATION_SPLIT = 0,2
      EARLY_STOPPING_PATIENCE = 10
      AVAILABLE_MODELS = ["UNet3D", "AttentionUNet3D"]
      INTENSITY_PARAMS = { "background_level": 0.1, "local_variation_scale": 5, "z_decay_rate": 0.999, "noise_std": 0.1, "poisson_scale": 1.0, "intensity_scale": 1000.0, "snr_targets": [15, 10, 5, 4, 3, 2, 1]}
  10. Risoluzione dei problemi
    1. Per gli errori di memoria insufficiente, ridurre BATCH_SIZE o PATCH_SIZE in config.py.
    2. In caso di problemi con la GPU, assicurarsi che sia disponibile memoria sufficiente o ridurre le dimensioni del batch.
  11. Conferma finale
    1. Al termine della pipeline, cercare il seguente messaggio stampato:
      Tutti i calcoli sono stati completati con successo
    2. Consigliamo vivamente di eseguire TensorFlow su un sistema Linux o Windows dotato di una GPU NVIDIA che supporta CUDA. In caso di problemi con l'installazione di tensorflow con CUDA, seguire il processo di installazione ufficiale: https://www.tensorflow.org/install/pip

Results

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Acquisizione dati
Per convalidare il nostro toolbox, abbiamo analizzato due distinte reti tubulari nel tessuto epatico di topo adulto: i canalicoli biliari (BC) e le reti sinusoidali. Per ogni struttura, per l'addestramento è stata utilizzata un'immagine al microscopio 3D di un singolo animale, mentre due immagini indipendenti di animali diversi sono state utilizzate esclusivamente per i test. Tutte le immagini del fegato sono state acquisite con una risoluzione isotropa dei voxel di 0,3 μm/voxel, garantendo un campionamento coerente nelle tre dimensioni spaziali. Il set di dati, originariamente pubblicato su Morales-Navarrete et al.9, è stato curato utilizzando Labkit25, fornendo maschere binarie di alta qualità delle strutture tubolari utilizzate come verità di base per l'apprendimento supervisionato. Per la rete sinusoidale, abbiamo generato due tipi di maschere binarie: una che delinea i bordi del tubo (rappresentazione cava) e un'altra che cattura il volume tubolare riempito, consentendo diverse strategie di allenamento a seconda dell'applicazione.

Inoltre, abbiamo valutato la nostra cassetta degli attrezzi su un set di dati esterno di vasi sanguigni dell'intero cervello di Mus musculus adulto, fornito nell'ambito della sfida SELMA3D 2024. Questo set di dati è costituito da immagini di microscopia 3D a foglio di luce acquisite in condizioni di alloggiamento standard (12 ore di luce/12 ore di buio per 3 mesi) ed è disponibile tramite le immagini BioStudies (S-BIAD1197)26. Cinque immagini cerebrali sono state utilizzate per l'addestramento e diciannove per i test. Gli stack anisotropi originali sono stati ricampionati a dimensioni di voxel isotropi utilizzando l'interpolazione lineare nelle Fiji per garantire la compatibilità con la nostra pipeline di analisi.

Preelaborazione
Per affrontare il numero limitato di immagini 3D originali, abbiamo applicato tecniche di aumento dei dati che hanno introdotto artefatti di imaging realistici e simulato rapporti segnale/rumore variabili che vanno da 15 a 1. Questo approccio è stato fondamentale per migliorare la generalizzabilità e la robustezza dei modelli.

L'immagine di prova è stata suddivisa in patch non sovrapposte di 64 x 64 x 64 voxel per valutare le prestazioni del modello a livello regionale e per valutare la robustezza in diversi contesti spaziali all'interno dello stesso volume 3D.

Architettura del modello
Abbiamo implementato e confrontato due architetture di reti neurali convoluzionali su misura per la segmentazione 3D:

Un 3D U-Net17 standard, composto da blocchi encoder-decoder simmetrici con pooling massimo 2×2×2, strati convoluzionali con attivazioni ReLU e una convoluzione finale 1 x 1 x 1 seguita da una funzione sigmoidale per la classificazione binaria.

Un Attention U-Net27, che incorpora un meccanismo di attenzione che evidenzia dinamicamente le caratteristiche salienti e sopprime lo sfondo irrilevante, migliorando la segmentazione di strutture complesse e variabili come le reti tubulari epatiche.

Protocollo di allenamento
Entrambe le architetture sono state addestrate utilizzando le librerie TensorFlow e Keras su un cluster di calcolo ad alte prestazioni dotato di 32 core CPU, 128 GB di RAM e due GPU NVIDIA A100 SXM4 da 40 GB. L'Attention U-Net ha richiesto più tempo di addestramento a causa della sua complessità architettonica, soprattutto quando si utilizzano i set di dati aumentati (vedi Tabella 1).

Metriche di valutazione
Le prestazioni del modello sono state valutate quantitativamente sulle immagini di test trattenute utilizzando metriche di segmentazione standard: coefficiente dei dadi, intersezione sull'unione (IoU), punteggio F1, somiglianza del volume e sensibilità e specificità.

I risultati per BC, strutture sinusoidali e vasi sono riassunti in Figura 2, Figura 3, Figura 4 e Figura 5. Inoltre, la Tabella 2 presenta un confronto delle prestazioni con i metodi classici consolidati per la segmentazione tubulare, tra cui Otsu e la soglia adattativa. I nostri modelli, in particolare l'Attention U-Net addestrato su dati aumentati, hanno costantemente sovraperformato questi metodi tradizionali in tutte le metriche.

Analisi statistica e robustezza
L'analisi di intere immagini e delle patch di voxel 64 x 64 x 64 (Tabella 3) nel set di test ci ha permesso di quantificare anche la variabilità spaziale nelle previsioni dei modelli tra le regioni. Tutti i modelli hanno dimostrato un'elevata precisione, con l'Attention U-Net che ha mostrato prestazioni costantemente più elevate, in particolare nel punteggio F1 e nel coefficiente dei dadi. I risultati qualitativi, mostrati nelle Figure 2A, B, 3A, B, Figure 4A, B, Figure 5A, B, nonché nei Video 1, Video 2, Video 3 e Video 4, supportano questi risultati, illustrando una delineazione precisa delle strutture tubolari nella maggior parte delle regioni dei dati di prova.

Spiegazione delle anomalie nelle metriche delle prestazioni
I valori più bassi dei box plot per l'analisi delle patch (Figura supplementare S1, Figura supplementare S2, Figura supplementare S3, Figura supplementare S4 e Figura supplementare S5), indicano la presenza di valori anomali delle prestazioni in un sottoinsieme di patch di test. Allo stesso modo, la segmentazione non ottimale nei fotogrammi finali dei video può essere attribuita a due fattori chiave:

Effetti al contorno: le prestazioni della segmentazione spesso peggiorano ai bordi dell'immagine, dove le strutture parziali sono sottorappresentate o catturate in modo incompleto, con conseguente maggiore incertezza e potenziale classificazione errata.

Degradazione della qualità dell'immagine nei piani z più profondi: nonostante le dimensioni isotrope dei voxel, fattori biologici e tecnici come l'attenuazione del segnale, la diffusione della luce e il contrasto ridotto nella direzione z portano a una riduzione della qualità dell'immagine verso la parte inferiore del volume. Questa degradazione complica la delineazione accurata dei confini e contribuisce alle incongruenze di segmentazione.

Questi fattori sono sfide intrinseche nell'imaging biologico 3D e sono particolarmente impattanti nelle regioni distanti dal piano di imaging o contenenti confini di struttura ambigui.

In sintesi, i nostri risultati dimostrano che i modelli di segmentazione basati sul deep learning, in particolare l'Attention U-Net addestrato con dati aumentati, offrono una delineazione robusta e accurata di strutture tubolari complesse in immagini di microscopia epatica 3D. Sfruttando set di dati curati, strategie di aumento realistiche e meccanismi di attenzione, i modelli hanno ottenuto prestazioni superiori rispetto ai metodi classici come il thresholding. La valutazione regionale utilizzando patch voxel da 64³ ha confermato la coerenza e la generalizzabilità dell'approccio tra diverse regioni dell'immagine e complessità strutturali. Sebbene persistano alcune limitazioni, principalmente dovute agli effetti al contorno e al degrado dell'immagine del piano z, il nostro studio evidenzia l'efficacia delle architetture basate sull'attenzione e fornisce una soluzione open source convalidata per la segmentazione tubolare 3D ad alta precisione nell'imaging biomedico.

figure-results-1
Figura 1: Flusso di lavoro per la segmentazione 3D di strutture tubulari in immagini di microscopia a fluorescenza utilizzando i modelli U-Net e Attention U-Net. (A) Preparazione dei dati: sezioni schematiche 2D di immagini di microscopia a fluorescenza 3D di tessuto epatico di topo, che mostrano le immagini originali e le corrispondenti maschere binarie. (B) Aumento dei dati: aumento basato sulla simulazione dei dati preparati, generando immagini con rapporti segnale/rumore variabili (ad esempio, SNR = 15 e SNR = 1). (C) Addestramento del modello: addestramento basato su patch di modelli U-Net e Attention U-Net utilizzando sia dati originali che aumentati. Per l'allenamento vengono generate patch di immagini e maschere di dimensioni 64 x 64 x 64. (D) Valutazione del modello: le metriche quantitative delle prestazioni, tra cui il richiamo e il punteggio F1, vengono calcolate per ciascun modello per valutare l'accuratezza della segmentazione sui set di dati di test. (E) Inferenza del modello: Applicazione del modello addestrato su immagini invisibili per generare maschere di segmentazione previste. Abbreviazione: SNR = rapporto segnale/rumore. Clicca qui per visualizzare una versione più grande di questa figura.

figure-results-2
Figura 2: Valutazione dei modelli U-Net e Attention U-Net per la segmentazione della rete dei canalicoli biliari da immagini di microscopia a fluorescenza 3D di tessuto epatico di topo. (A) Sezioni 2D rappresentative (sezione centrale) di immagini di microscopia a fluorescenza 3D, che mostrano l'immagine originale e la corrispondente maschera di verità sul terreno per BC nel tessuto epatico di topo. Le immagini in alto a destra forniscono una vista ingrandita dei riquadri evidenziati in ogni sezione. (B) Maschere di segmentazione previste generate da U-Net, Attention U-Net e le loro versioni aumentate. La riga superiore evidenzia i veri positivi (strutture correttamente segmentate), quella inferiore mostra i falsi positivi (strutture identificate in modo errato) e i falsi negativi (strutture mancanti) per ogni modello. (C) Metriche di valutazione quantitativa per ciascun modello, tra cui accuratezza, punteggio F1, precisione, richiamo, somiglianza del volume e coefficiente dei dadi. La valutazione è stata eseguita nelle patch estruse dall'immagine 3D. Le barre di errore indicano le deviazioni standard tra le immagini di test. Barra di scala: 60 μm; Barra scala interna: 30 μm. Abbreviazione: BC = canali biliari. Clicca qui per visualizzare una versione più grande di questa figura.

figure-results-3
Figura 3: Valutazione dei modelli U-Net e Attention U-Net per la segmentazione della rete sinusoidale da immagini di microscopia a fluorescenza 3D di tessuto epatico di topo. (A) Sezioni 2D rappresentative (sezione centrale) di immagini di microscopia a fluorescenza 3D, che mostrano l'immagine originale e la corrispondente maschera di verità di base per i sinusoidi nel tessuto epatico di topo. Le immagini in alto a destra forniscono una vista ingrandita dei riquadri evidenziati in ogni sezione. (B) Maschere di segmentazione previste generate da U-Net, Attention U-Net e le loro versioni aumentate. La riga superiore evidenzia i veri positivi (strutture correttamente segmentate), quella inferiore mostra i falsi positivi (strutture identificate in modo errato) e i falsi negativi (strutture mancanti) per ogni modello. (C) Metriche di valutazione quantitativa per ciascun modello, tra cui accuratezza, punteggio F1, precisione, richiamo, somiglianza del volume e coefficiente dei dadi. La valutazione è stata eseguita nelle patch estruse dall'immagine 3D. Le barre di errore indicano le deviazioni standard tra le immagini di test. Barra di scala: 60 μm; Barra della scala interna: 30 μm. Fare clic qui per visualizzare una versione più grande di questa figura.

figure-results-4
Figura 4: Valutazione dei modelli U-Net e Attention U-Net per la segmentazione della rete sinusoidale da immagini di microscopia a fluorescenza 3D di tessuto epatico di topo, considerando la maschera come provette riempite. (A) Sezioni centrali 2D rappresentative di immagini di microscopia a fluorescenza 3D, che mostrano l'immagine originale e la corrispondente maschera di verità sul campo per i sinusoidi nel tessuto epatico di topo. Le immagini in alto a destra forniscono una vista ingrandita dei riquadri evidenziati in ogni sezione. (B) Maschere di segmentazione previste generate da U-Net, Attention U-Net e le loro versioni aumentate. Mentre la riga superiore evidenzia i veri positivi (strutture correttamente segmentate), quella inferiore mostra i falsi positivi (strutture identificate in modo errato) e i falsi negativi (strutture mancanti) per ogni modello. (C) Metriche di valutazione quantitativa per ciascun modello, tra cui accuratezza, punteggio F1, precisione, richiamo, somiglianza del volume e coefficiente dei dadi. La valutazione è stata eseguita nelle patch estruse dall'immagine 3D. Le barre di errore indicano le deviazioni standard tra le immagini di test. Barra di scala: 60 μm; Barra della scala interna: 30 μm. Fare clic qui per visualizzare una versione più grande di questa figura.

figure-results-5
Figura 5: Valutazione dei modelli U-Net e Attention U-Net per la segmentazione della rete vascolare nel cervello di topo da immagini di microscopia 3D a foglio di luce utilizzando maschere a tubo pieno. (A) Sezioni centrali 2D rappresentative estratte da immagini di microscopia 3D a foglio di luce del cervello del topo, che mostrano l'immagine originale e la corrispondente maschera di verità sul terreno per i vasi sanguigni. Le viste ingrandite dei riquadri selezionati vengono mostrate nell'angolo in alto a destra di ciascun pannello. Maschere di segmentazione previste generate da U-Net, Attention U-Net e le loro versioni aumentate. La riga superiore evidenzia i veri positivi (strutture dei vasi segmentate correttamente), mentre la riga inferiore illustra i falsi positivi (regioni segmentate in modo errato) e i falsi negativi (strutture dei vasi mancanti) per ciascun modello. (C) Valutazione quantitativa delle prestazioni del modello utilizzando metriche quali accuratezza, punteggio F1, precisione, richiamo, somiglianza del volume e coefficiente dei dadi. Le valutazioni sono state eseguite su patch 3D estratte dai volumi di test. Le barre di errore rappresentano le deviazioni standard nelle 19 immagini di test. Clicca qui per visualizzare una versione più grande di questa figura.

Video 1: Animazione Z-Stack delle maschere previste per la rete BC. Il video mostra una sequenza animata attraverso lo z-stack di maschere di segmentazione previste per i canalicoli biliari nel tessuto epatico di topo, generate da U-Net, Attention U-Net e le loro versioni aumentate. Ogni sezione 2D evidenzia i veri positivi (bianco), i falsi positivi (verde) e i falsi negativi (magenta) per ogni modello, spostandosi attraverso l'intera pila. Abbreviazione: BC = canali biliari. Clicca qui per scaricare questo video.

Video 2: Animazione Z-Stack di maschere previste per la rete sinusoidale. Il video mostra una sequenza animata attraverso lo z-stack di maschere di segmentazione previste per i sinusoidi nel tessuto epatico di topo, generate da U-Net, Attention U-Net e le loro versioni aumentate. Ogni sezione 2D evidenzia i veri positivi (bianco), i falsi positivi (verde) e i falsi negativi (magenta) per ogni modello, spostandosi attraverso l'intera pila. Clicca qui per scaricare questo video.

Video 3: Animazione Z-Stack di maschere previste per la rete sinusoidale come tubi riempiti. Il video mostra una sequenza animata attraverso lo z-stack di maschere di segmentazione previste per la rete sinusoidale come tubi riempiti nel tessuto epatico di topo, generata da U-Net, Attention U-Net e le loro versioni aumentate. Ogni sezione 2D evidenzia i veri positivi (bianco), i falsi positivi (verde) e i falsi negativi (magenta) per ogni modello, spostandosi attraverso l'intera pila. Clicca qui per scaricare questo video.

Video 4: Animazione Z-Stack delle maschere previste per i vasi cerebrali. Il video mostra una sequenza animata attraverso lo z-stack di maschere di segmentazione previste per le navi, generate da U-Net, Attention U-Net e le loro versioni aumentate. Ogni sezione 2D evidenzia i veri positivi (bianco), i falsi positivi (verde) e i falsi negativi (magenta) per ogni modello, spostandosi attraverso l'intera pila. Clicca qui per scaricare questo video.

Tabella 1: Tempo di formazione per U-Net 3D e Attention U-Net 3D Models su set di dati di canalicoli biliari e sinusoidi con e senza aumento dei dati. Tempo di addestramento per modelli U-Net 3D e Attention U-Net 3D su canalicoli biliari e set di dati sinusoidi con e senza aumento dei dati. La tabella elenca il numero di patch per ogni set di dati e il tempo di training corrispondente in minuti. L'aumento dei dati aumenta il numero di patch da 1353 a 10824, portando a un aumento significativo del tempo di addestramento. Il modello Attention U-Net richiede costantemente più tempo di addestramento rispetto al modello U-Net, in particolare con set di dati aumentati, a causa della sua ulteriore complessità nel concentrarsi sulle caratteristiche rilevanti all'interno dei dati. Abbreviazione: BC = canali biliari. Clicca qui per scaricare questa tabella.

Tabella 2: Valutazione quantitativa dei modelli U-Net 3D e Attention U-Net 3D in quattro set di dati utilizzando la segmentazione dell'intera immagine. Questa tabella riporta le prestazioni di ciascun modello e di metodi classici come Otsu e la soglia adattiva, su quattro diversi set di dati: canalicoli biliari, reti sinusoidali (rappresentazioni cave e piene) e vascolarizzazione dell'intero cervello, utilizzando immagini 3D intere per la valutazione. Per ogni combinazione di modello e set di dati, viene elencato il numero di immagini di test, insieme alle metriche delle prestazioni: accuratezza, precisione, richiamo (sensibilità), specificità, punteggio F1, coefficiente di dadi, IoU e somiglianza del volume. Queste metriche forniscono una valutazione completa della qualità della segmentazione in termini sia di correttezza voxel che di accordo volumetrico tra previsioni e verità di base. Abbreviazioni: BC = canalicoli biliari; IoU = Intersezione su Unione. Clicca qui per scaricare questa tabella.

Tabella 3: Valutazione quantitativa dei modelli U-Net 3D e Attention U-Net 3D in quattro set di dati utilizzando patch 64 x 64 x 64 . Questa tabella riassume le prestazioni dei modelli U-Net 3D e Attention U-Net 3D su quattro set di dati: canalicoli biliari, reti sinusoidali (maschere cave e piene) e vascolarizzazione dell'intero cervello sulla base della valutazione in patch di immagini 3D di dimensioni 64×64×64 voxel. Per ogni combinazione modello-set di dati, il numero di patch di test è elencato insieme alle metriche chiave delle prestazioni: accuratezza, precisione, richiamo (sensibilità), specificità, punteggio F1, coefficiente dei dadi, intersezione rispetto all'unione e somiglianza del volume. Queste metriche a livello di patch offrono informazioni localizzate sulle prestazioni del modello e sono particolarmente utili per identificare l'accuratezza della segmentazione spazialmente eterogenea tra i volumi. Abbreviazioni: BC = canalicoli biliari; IoU = Intersezione su Unione. Clicca qui per scaricare questa tabella.

Figura supplementare S1: Prestazioni di segmentazione a livello di patch dei modelli 3D U-Net e Attention U-Net per la segmentazione dei canalicoli biliari. I grafici illustrano le prestazioni quantitative dei modelli 3D U-Net e Attention U-Net su set di dati dei canalicoli biliari, valutati utilizzando patch di immagini 3D di dimensioni 64 x 64 x 64 voxel. Le metriche mostrate includono Accuratezza, Precisione, Richiamo (sensibilità), Specificità, Punteggio F1, Coefficiente dei dadi, Intersezione rispetto all'unione e Somiglianza del volume. I risultati riflettono la variabilità tra le aree, offrendo una visione localizzata delle prestazioni del modello ed evidenziando l'eterogeneità spaziale all'interno dei volumi di tessuto epatico 3D. Abbreviazioni: BC = canalicoli biliari; IoU = Intersezione su Unione. Clicca qui per scaricare questo file.

Figura supplementare S2: Prestazioni di segmentazione a livello di patch dei modelli 3D U-Net e Attention U-Net per la segmentazione sinusoidale. I grafici illustrano le prestazioni quantitative dei modelli 3D U-Net e Attention U-Net su set di dati sinusoidali, valutati utilizzando patch di immagini 3D di dimensioni 64 x 64 x 64 voxel. Le metriche mostrate includono Accuratezza, Precisione, Richiamo (sensibilità), Specificità, Punteggio F1, Coefficiente dei dadi, Intersezione rispetto all'unione e Somiglianza del volume. I risultati riflettono la variabilità tra le aree, offrendo una visione localizzata delle prestazioni del modello ed evidenziando l'eterogeneità spaziale all'interno dei volumi di tessuto epatico 3D. Abbreviazione: IoU = Intersezione sull'Unione. Clicca qui per scaricare questo file.

Figura S3 supplementare: Prestazioni di segmentazione a livello di patch dei modelli 3D U-Net e Attention U-Net per sinusoidi come segmentazione di tubi riempiti. I grafici illustrano le prestazioni quantitative dei modelli 3D U-Net e Attention U-Net su sinusoidi come set di dati di tubi riempiti, valutati utilizzando patch di immagini 3D di dimensioni 64 x 64 x 64 voxel. Le metriche mostrate includono Accuratezza, Precisione, Richiamo (sensibilità), Specificità, Punteggio F1, Coefficiente dei dadi, Intersezione rispetto all'unione e Somiglianza del volume. I risultati riflettono la variabilità tra le aree, offrendo una visione localizzata delle prestazioni del modello ed evidenziando l'eterogeneità spaziale all'interno dei volumi di tessuto epatico 3D. Abbreviazione: IoU = Intersezione sull'Unione. Clicca qui per scaricare questo file.

Figura S4 supplementare: Prestazioni di segmentazione a livello di patch dei modelli 3D U-Net e Attention U-Net per la vascolarizzazione cerebrale da immagini di microscopia a foglio di luce. I grafici illustrano le prestazioni quantitative dei modelli 3D U-Net e Attention U-Net su set di dati di vascolarizzazione dell'intero cervello, valutati utilizzando patch di immagini 3D di dimensioni 64 x 64 x 64 voxel. Le metriche mostrate includono Accuratezza, Precisione, Richiamo (sensibilità), Specificità, Punteggio F1, Coefficiente dei dadi, Intersezione rispetto all'unione e Somiglianza del volume. I risultati riflettono la variabilità tra le aree, offrendo una visione localizzata delle prestazioni del modello ed evidenziando l'eterogeneità spaziale all'interno dei volumi di tessuto epatico 3D. Abbreviazione: IoU = Intersezione sull'Unione. Clicca qui per scaricare questo file.

Figura S5 supplementare: Sovrapposizione dei risultati della segmentazione sulle immagini originali al microscopio a fluorescenza 3D dei canalicoli biliari. Vengono mostrate sezioni di immagini rappresentative da set di dati di microscopia a fluorescenza 3D dei canalicoli biliari nel fegato di topo con maschere di segmentazione sovrapposte in rosso. Le maschere previste dai modelli 3D U-Net e Attention U-Net vengono sovrapposte alle immagini originali al microscopio in scala di grigi per valutare visivamente l'accuratezza della segmentazione. Vengono presentate dieci immagini di esempio per illustrare la capacità dei modelli di catturare diverse caratteristiche morfologiche e gestire la variabilità del segnale in diverse regioni tissutali. Clicca qui per scaricare questo file.

Discussion

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questo protocollo offre un approccio semplice ma potente e accessibile per la segmentazione basata sul deep learning di strutture tubulari in immagini di microscopia a fluorescenza 3D, colmando il divario tra complessità tecnica e usabilità nell'analisi delle bioimmagini. Integrando l'aumento dei dati basato sulla simulazione, i notebook Jupyter interattivi e le efficienti architetture U-Net, forniamo uno strumento open source in grado di eseguire segmentazioni ad alta precisione su strutture tissutali complesse, come i canalicoli biliari e le reti sinusoidali. Questo toolbox affronta le sfide chiave nelle attività di segmentazione 3D, in particolare nella gestione della scarsità e della variabilità dei dati nelle condizioni di imaging, rendendolo un'aggiunta versatile al panorama dell'analisi delle bioimmagini.

Una componente cruciale del nostro protocollo è l'aumento dei dati basato sulla simulazione, che migliora le prestazioni del modello anche con un numero limitato di immagini annotate, una limitazione comune negli studi biologici. Generando dati aumentati che imitano artefatti di imaging realistici, come la convoluzione della funzione di diffusione dei punti, il decadimento dell'intensità assiale e il rumore di Poisson e gaussiano, il toolbox produce modelli robusti in una vasta gamma di condizioni di imaging. Questo approccio aumenta efficacemente la diversità dei dati, migliorando la generalizzabilità dei modelli e fornendo un vantaggio chiave rispetto alle tradizionali tecniche di aumento dei dati, che potrebbero non catturare completamente l'eterogeneità presente nei campioni biologici. Tuttavia, questo è limitato dalle caratteristiche morfologiche intrinsecamente codificate nella maschera inizialmente fornita. La dipendenza da maschere pre-segmentate per la generazione iniziale dei dati di addestramento introduce potenziali distorsioni se le maschere non sono completamente rappresentative delle strutture biologiche in questione. Pertanto, c'è ancora una questione aperta su come generare un aumento realistico dei dati nello spazio morfologico, che può essere potenzialmente importante per studiare tessuti con alterazioni come la progressione della malattia.

Il nostro metodo utilizza due modelli di codificatore-decodificatore, 3D U-Net e Attention U-Net, selezionati per le loro elevate prestazioni nelle attività di imaging biomedico. Mentre il 3D U-Net fornisce un'architettura di segmentazione semplice ma potente, l'Attention U-Net migliora la precisione concentrandosi selettivamente sulle caratteristiche rilevanti e sopprimendo il rumore. Entrambi i modelli sono inclusi nella cassetta degli attrezzi, consentendo agli utenti di scegliere in base ai requisiti specifici del set di dati. I nostri risultati mostrano che il modello Attention U-Net raggiunge metriche di prestazioni più elevate in tutti i set di dati, in particolare per strutture impegnative come la rete sinusoidale, dove la complessità aggiuntiva dei meccanismi di attenzione aiuta a mitigare gli effetti dei bassi rapporti segnale/rumore e della variabilità strutturale. Tuttavia, è importante notare che le esigenze computazionali di Attention U-Net sono più elevate, il che può influire sulla sua accessibilità per gli utenti con risorse GPU limitate. Inoltre, data la natura open source della pipeline, se necessario, è possibile aggiungere facilmente altre architetture più complesse per studi futuri.

Il nostro protocollo offre una pipeline all-in-one e di facile utilizzo che integra i passaggi essenziali per la segmentazione 3D in un'unica configurazione. Questo design semplificato è un vantaggio chiave, in quanto semplifica l'accesso a strumenti di segmentazione avanzati senza richiedere competenze nella programmazione o nella regolazione dei parametri. Inoltre, la nostra strategia di aumento dei dati basata sulla simulazione migliora la robustezza del modello, riducendo la dipendenza da ampie annotazioni manuali e migliorando la generalizzabilità del modello in diverse condizioni di imaging. A differenza dei metodi di segmentazione classici, che spesso si basano su algoritmi di soglia o di crescita della regione che richiedono un'attenta messa a punto28,29, il nostro approccio di deep learning richiede un intervento manuale minimo. Ciò contribuisce a democratizzare la segmentazione riproducibile e di alta qualità di strutture 3D complesse, rendendola accessibile a una gamma più ampia di ricercatori, compresi quelli senza una vasta esperienza computazionale.

Oltre alle reti tubolari, la flessibilità del protocollo consente un facile adattamento per la segmentazione di altre strutture biologiche. I miglioramenti futuri potrebbero includere l'integrazione dell'apprendimento auto-supervisionato30 o dell'apprendimento di trasferimento31, che riduce ulteriormente la necessità di dati annotati mantenendo un'elevata precisione di segmentazione. Queste strategie potrebbero anche estendere l'applicabilità a diverse modalità di imaging, come la microscopia multifotone o a foglio di luce.

Nonostante i suoi punti di forza, il protocollo presenta diversi limiti che dovrebbero essere riconosciuti. Innanzitutto, la dimensione del set di dati rimane relativamente piccola, comprendendo solo pochi volumi annotati per struttura. Sebbene l'aumento dei dati mitighi parzialmente questo problema, il rischio di overfitting è ancora presente, in particolare quando si applicano modelli ottimizzati a set di dati con variazioni invisibili nella preparazione del campione o nelle condizioni di imaging. In secondo luogo, sebbene i nostri risultati indichino una buona generalizzazione tra diverse patch e animali, non abbiamo ancora testato il toolbox su set di dati provenienti da altri organi o modalità di microscopia, che possono mostrare caratteristiche strutturali e di rumore distinte. Ciò limita l'immediata generalizzabilità del nostro approccio. Infine, la nostra strategia di valutazione, sebbene solida a livello di patch, potrebbe beneficiare di metriche aggiuntive per la coerenza topologica, che sono rilevanti per le strutture di rete. Il lavoro futuro affronterà queste limitazioni ampliando il set di dati, incorporando tecniche di adattamento del dominio32 e valutando la pipeline in contesti biologici più ampi.

Riassumendo, questo protocollo rappresenta una soluzione accessibile e completa per la segmentazione 3D di alta qualità di strutture tubolari nel bioimaging. Combinando architetture di modelli efficaci, strategie di aumento dei dati e un'interfaccia interattiva e facile da usare, il nostro toolbox ha il potenziale per espandere la portata e l'impatto del deep learning nell'analisi delle bioimmagini, consentendo ai ricercatori di tutto il mondo di sfruttare queste tecniche alla ricerca di una comprensione più profonda della struttura e della funzione biologica.

Disclosures

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gli autori dichiarano di non avere conflitti di interesse. ChatGPT 4.0 è stato utilizzato per riformulare alcune sezioni del manoscritto e correggere gli errori grammaticali. Gli autori hanno verificato attentamente la coerenza scientifica del testo generato.

Acknowledgements

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gli autori riconoscono il supporto di ANID, VRID-UdeC e Facoltà di Scienze Biologiche-UdeC, con i numeri di sovvenzione ANID Fondecyt regular 1251048, 2024001079INV e FCB-I-2024-01 a FS-M. Ringraziamo la Corporación Ecuatoriana para el Desarrollo de la Investigación y la Academia (CEDIA) per aver fornito l'accesso alle sue risorse di calcolo ad alte prestazioni e al supporto tecnico, che ha permesso il lavoro computazionale per questo studio. Ringraziamo anche i contributori degli strumenti open-source utilizzati in questo lavoro.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Figihttps://imagej.net/software/fiji/downloads
Repository GitHubhttps://github.com/hernanmorales-navarrete/3DMicroscopyImage
Segmentazione/albero/principale
Labkithttps://imagej.net/plugins/labkit/
Repository Zenodo10.5281/zenodo.14029574

References

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Adler, M., Chavan, A. R., Medzhitov, R. Tissue biology: In search of a new paradigm. Annu Rev Cell Dev Biol. 39 (1), 67-89 (2023).
  2. Góra, A., Pliszka, D., Mukherjee, S., Ramakrishna, S. Tubular tissues and organs of human body-challenges in regenerative medicine. J Nanosci Nanotechnol. 16 (1), 19-39 (2016).
  3. Takahashi, K., et al. An analysis modality for vascular structures combining tissue-clearing technology and topological data analysis. Nat Commun. 13 (1), 5239(2022).
  4. Chen, B. C., et al. Lattice light-sheet microscopy: Imaging molecules to embryos at high spatiotemporal resolution. Science. 346 (6208), 1257998-1257998 (2014).
  5. Richardson, D. S., Lichtman, J. W. Clarifying tissue clearing. Cell. 162 (2), 246-257 (2015).
  6. França, C. M., et al. 3D-imaging of whole neuronal and vascular networks of the human dental pulp via CLARITY and light sheet microscopy. Sci Rep. 9 (1), 10860(2019).
  7. Nicolas, N., Dinet, V., Roux, E. 3D imaging and morphometric descriptors of vascular networks on optically cleared organs. iScience. 26 (10), 108007(2023).
  8. Friebel, A., et al. TiQuant: Software for tissue analysis, quantification and surface reconstruction. Bioinformatics. 31 (19), 3234-3236 (2015).
  9. Morales-Navarrete, H., et al. A versatile pipeline for the multi-scale digital reconstruction and quantitative analysis of 3D tissue architecture. eLife. 4, e11214(2015).
  10. Segovia-Miranda, F., et al. Three-dimensional spatially resolved geometrical and functional models of human liver tissue reveal new aspects of NAFLD progression. Nat Med. 25 (12), 1885-1893 (2019).
  11. Martínez-Torres, D., et al. Phenotypic characterization of liver tissue heterogeneity through a next-generation 3D single-cell atlas. Sci Rep. 14 (1), 2823(2024).
  12. Automatic recognition and characterization of different non-parenchymal cells in liver tissue. Morales-Navarrete, H., Nonaka, H., Segovia-Miranda, F., Zerial, M., Kalaidzidis, Y. 2016 IEEE 13th International Symposium on Biomedical Imaging (ISBI), , 536-540 (2016).
  13. Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nat Methods. 9 (7), 671-675 (2012).
  14. LeCun, Y., Bengio, Y., Hinton, G. Deep learning. Nature. 521 (7553), 436-444 (2015).
  15. Laine, R. F., Jacquemet, G., Krull, A. Imaging in focus: An introduction to denoising bioimages in the era of deep learning. Int J Biochem Cell Biol. 140, 106077(2021).
  16. Hallou, A., Yevick, H. G., Dumitrascu, B., Uhlmann, V. Deep learning for bioimage analysis in developmental biology. Development. 148 (18), dev199616(2021).
  17. Ronneberger, O., Fischer, P., Brox, T. U-Net: Convolutional networks for biomedical image segmentation. arXiv. , (2015).
  18. Oktay, O., et al. Attention U-Net: Learning where to look for the pancreas. arXiv. , (2018).
  19. Bettancourt, N., et al. Virtual tissue microstructure reconstruction across species using generative deep learning. PLoS One. 19 (7), e0306073(2024).
  20. Medical image computing and computer-assisted intervention. Lect Notes Comput Sci. Çiçek, Ö, Abdulkadir, A., Lienkamp, S. S., Brox, T., Ronneberger, O. 19th international conference, Athens, Greece, October 17-21, 2016, proceedings, part II, , 424-432 (2016).
  21. Vaswani, A., et al. Attention is all you need. arXiv. , (2017).
  22. Schlemper, J., et al. Attention gated networks: Learning to leverage salient regions in medical images. Med Image Anal. 53, 197-207 (2019).
  23. Sage, D., et al. DeconvolutionLab2: An open-source software for deconvolution microscopy. Methods. 115, 28-41 (2017).
  24. Arzt, M., et al. LABKIT: Labeling and segmentation toolkit for big image data. Front Comput Sci. 4, (2022).
  25. Napari contributors. napari: a multi-dimensional image viewer for python. , (2019).
  26. Chen, Y., Paetzold, J. C. 3D light-sheet microscopy data for SELMA3D 2024 challenge - Training subset with no annotations - whole brain images. BioStudies. , S-BIAD1197 (2024).
  27. Islam, M., Vibashan, V. S., Jose, V. J. M., Wijethilake, N., Utkarsh, U., Ren, H. Brain tumor segmentation and survival prediction using 3D attention UNet. arXiv. , (2021).
  28. Medical image computing and computer-assisted intervention. Lect Notes Comput Sci. Frangi, A. F., Niessen, W. J., Vincken, K. L., Viergever, M. A. MICCAI'98, first international conference, October 11-13, 1998, Cambridge, MA, USA, , 130-137 (1998).
  29. Otsu, N. A threshold selection method from gray-level histograms. IEEE Trans Syst Man Cybern. 9 (1), 62-66 (1979).
  30. Zhou, Z., Sodha, V., Pang, J., Gotway, M. B., Liang, J. Models genesis. Med Image Anal. 67, 101840(2021).
  31. Tajbakhsh, N., et al. Convolutional neural networks for medical image analysis: Full training or fine tuning. arXiv. , (2017).
  32. Wang, M., Deng, W. Deep visual domain adaptation: A survey. Neurocomputing. 312, 135-153 (2018).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Deep Learning SegmentationTubular Structure Segmentation3D Fluorescence Microscopy3D U NetAttention U NetData AugmentationImage Analysis ToolboxSimulation Based AugmentationMouse Liver TissueJupyter Notebooks

Related Articles