Een open-source protocol voor op deep learning gebaseerde segmentatie van buisvormige structuren in 3D-fluorescentiemicroscopiebeelden

Summary

Dit protocol introduceert een open-source toolbox die een complete pijplijn biedt voor het segmenteren van buisvormige structuren in driedimensionale (3D) fluorescentiemicroscopiebeelden. Door gebruik te maken van deep learning met op simulatie gebaseerde gegevensvergroting, traint het U-Net- en Attention U-Net-modellen, biedt het kwalitatieve en kwantitatieve evaluaties en bevat het gebruiksvriendelijke notebooks voor training, inferentie en visualisatie.

Abstract

Het segmenteren van buisvormige structuren in dichte biologische weefsels uit 3D-fluorescentiemicroscopiebeelden is van cruciaal belang voor het bestuderen van complex weefsel, maar blijft een uitdaging vanwege de complexiteit, variabiliteit en kwaliteitsproblemen van het beeld. Hier introduceren we een open-source, gebruiksvriendelijke toolbox voor end-to-end segmentatie van buisvormige structuren in 3D-beelden, toegankelijk voor onderzoekers zonder formele programmeertraining. De toolbox bevat interactieve Jupyter-notebooks die twee eenvoudige maar efficiënte deep learning-architecturen implementeren - 3D U-Net en 3D U-Net met aandachtsmechanismen - voor nauwkeurige 3D-segmentatie van buisvormige netwerken. Een belangrijke innovatie is onze op simulatie gebaseerde data-augmentatiestrategie, die de modelprestaties verbetert, zelfs met minimale trainingsgegevens (slechts één 3D-beeld). Door gebruik te maken van door de gebruiker verstrekte maskers, genereert het protocol kunstmatige microscopiebeelden met verschillende signaal-ruisverhoudingen en simuleert het realistische beeldartefacten, waaronder ongelijkmatige kleuring, convolutie van de puntspreidingsfunctie, variaties in axiale intensiteit en Poisson- en Gaussiaanse ruis. Het protocol leidt gebruikers systematisch door gegevensvergroting, modeltraining, kwalitatieve en kwantitatieve evaluatie op testsets en gevolgtrekking op nieuwe afbeeldingen. We valideren de toolbox door twee morfologisch verschillende buisvormige netwerken in het leverweefsel van muizen te analyseren - de galcanaliculi en sinusoïdale netwerken - die aantonen dat beide architecturen goed presteren, waarbij de aandacht U-Net iets beter presteert dan het standaard U-Net wanneer het wordt getraind met augmented data. Onze uitgebreide toolbox, uitvoerbaar op lokale Graphics Processing Units (GPU's), high-performance computing-clusters of cloudplatforms, draagt bij aan de democratisering van geavanceerde beeldanalyse voor een breed spectrum van onderzoekers.

Introduction

Kwantitatieve analyse van buisvormige structuren in biologische weefsels, zoals bloedvaten, neuronale netwerken en galwegen in de lever, is van fundamenteel belang voor het begrijpen van fysiologische en pathologische processen, waaronder angiogenese, tumormetastase en orgaanontwikkeling ^1,2,3. Driedimensionale (3D) fluorescentiemicroscopie is naar voren gekomen als een cruciaal hulpmiddel voor het in beeld brengen van deze complexe netwerken, biedt een hoge ruimtelijke resolutie en maakt de visualisatie van ingewikkelde weefselarchitecturen in hun oorspronkelijke context^mogelijk 4,5,6,7. Het nauwkeurig segmenteren van buisvormige structuren uit dichte biologische weefsels blijft echter een formidabele uitdaging vanwege beeldvormingsartefacten, signaalvariabiliteit en de heterogene morfologie die inherent is aan biologische monsters. Traditionele segmentatiemethoden, zoals drempelmeting, regiogroei en modelgebaseerde algoritmen, vereisen vaak uitgebreide handmatige interventie en nauwgezette parameterafstemming, wat zowel tijdrovend als subjectief kan zijn, vooral voor complex 3D-weefsel zoals lever 8,9,10,11,12 . Deze benaderingen zijn vaak niet robuust voor de variabiliteit die inherent is aan biologische monsters en beeldvormingsomstandigheden, waardoor hun generaliseerbaarheid over verschillende datasets en experimentele opstellingen wordt beperkt. Softwaretools zoals ImageJ¹³ en TiQuant⁸ zijn ontwikkeld om te helpen bij weefselanalyse en kwantificering; het kan echter zijn dat ze niet de flexibiliteit of schaalbaarheid hebben die nodig is voor uitgebreide 3D-reconstructies van complexe buisvormige netwerken op een volledig geautomatiseerde manier.

Deep learning heeft een revolutie teweeggebracht in de biomedische beeldanalyse door segmentatietaken met hoge nauwkeurigheid en efficiëntie te automatiseren 14,15,16. Convolutionele neurale netwerken (CNN's), met name encoder-decoderarchitecturen zoals het U-Net, hebben uitzonderlijke prestaties geleverd in verschillende biomedische beeldvormingstoepassingen 17,18,19. Bovendien maakt de uitbreiding van U-Net naar 3D-gegevens (3D U-Net) een effectieve verwerking van volumetrische beelden mogelijk, waarbij de ruimtelijke context in alle drie de dimensies wordt vastgelegd en de segmentatienauwkeurigheid voor complexe structuren wordt verbeterd²⁰. Het opnemen van aandachtsmechanismen in deze architecturen (Attention U-Net) verbetert de prestaties verder door het netwerk in staat te stellen zich te concentreren op opvallende kenmerken en tegelijkertijd irrelevante achtergrondruis te onderdrukken 18,21,22. Ondanks hun potentieel brengt het implementeren van deep learning-modellen voor 3D-segmentatie aanzienlijke uitdagingen met zich mee. Het trainen van deze modellen vereist doorgaans substantiële programmeerexpertise, toegang tot krachtige rekenbronnen en grote geannoteerde datasets, die mogelijk niet direct beschikbaar zijn voor alle onderzoekers. Het annoteren van 3D-afbeeldingen is bijzonder arbeidsintensief, waarbij vaak complexe structuren over meerdere segmenten handmatig moeten worden gelabeld, wat onbetaalbaar kan zijn voor grote datasets. Hoewel data-augmentatietechnieken de behoefte aan uitgebreide trainingsgegevens kunnen verlichten door de diversiteit van de dataset kunstmatig te vergroten door middel van transformaties zoals roteren, schalen en spiegelen, vangen traditionele augmentatiemethoden de variabiliteit en complexiteit van biologische beelden mogelijk niet volledig op, vooral die met ingewikkelde 3D-structuren.

Om deze beperkingen aan te pakken, introduceren we een open-source, gebruiksvriendelijke toolbox voor de end-to-end segmentatie van buisvormige structuren in 3D-microscopiebeelden. Deze toolbox maakt gebruik van interactieve Jupyter-notebooks en implementeert twee robuuste deep learning-methoden - 3D U-Net^17,20 en 3D U-Net met aandachtsmechanismen^18,21 - voor nauwkeurige segmentatie van 3D-buisvormige structuren zonder uitgebreide programmeerkennis. Een belangrijke innovatie van ons protocol is een op simulatie gebaseerde strategie voor gegevensvergroting die de modelprestaties verbetert, zelfs met minimale trainingsgegevens - slechts één 3D-beeld. Door gebruik te maken van door de gebruiker geleverde maskers, genereert het protocol kunstmatige microscopiebeelden met verschillende signaal-ruisverhoudingen en simuleert het realistische beeldvormingsartefacten, waaronder ongelijkmatige kleuring, convolutie met de puntspreidingsfunctie (PSF) van confocale microscopen, axiale intensiteitsvariaties als gevolg van penetratie of verstrooiing van antilichamen, en de aanwezigheid van Poisson- en Gaussiaanse ruis. Deze op simulatie gebaseerde augmentatie verhoogt niet alleen de hoeveelheid trainingsgegevens, maar verrijkt de dataset ook met realistische variaties, waardoor de generaliseerbaarheid van het model naar onzichtbare gegevens wordt verbeterd. Het protocol leidt gebruikers systematisch door gegevensvergroting, modeltraining, kwalitatieve en kwantitatieve evaluatie van modelvoorspellingen op testsets en gevolgtrekking op nieuwe afbeeldingen (Figuur 1). We valideren het nut van onze gereedschapskist door twee morfologisch verschillende buisvormige netwerken in leverweefsel van muizen te analyseren: de galcanaliculi en de sinusoïdale netwerken. Deze netwerken vertonen verschillende structurele kenmerken en beeldvormingsuitdagingen, en bieden een robuust testbed voor onze methoden.

Terwijl de meeste bestaande onderzoeken zich richten op 2D-beeldanalyse, waardoor het begrip van complexe 3D-architecturen wordt beperkt, legt onze aanpak de nadruk op 3D-segmentatie om de volledige complexiteit van weefselstructuren vast te leggen. Door gevestigde en krachtige deep learning-architecturen te integreren met een gebruiksvriendelijke interface, draagt onze toolbox bij aan de democratisering van de toegang tot state-of-the-art beeldanalysetools. Onze pijplijn kan worden uitgevoerd op lokale GPU's, high-performance computing-clusters of cloudplatforms zoals Google Colab, waardoor geavanceerde beeldanalyse toegankelijk wordt voor een breder scala aan onderzoekers, ongeacht de rekenkracht. Dit werk draagt bij aan het veld door een toegankelijke en uitgebreide oplossing te bieden voor 3D-segmentatie van buisvormige structuren, waardoor kwantitatieve analyses worden mogelijk die essentieel zijn voor het vergroten van ons begrip van weefselfunctie en ziektemechanismen.

Protocol

1. Installatie en configuratie van de toolbox

1. De toolbox downloaden van GitHub
   1. Open een webbrowser en navigeer naar de GitHub-repository van de toolbox: https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation 
   2. Download het met behulp van Git clone (optie A). Zorg ervoor dat Git op het systeem is geïnstalleerd; Als dit niet het geval is, downloadt u het van https://git-scm.com/downloads en installeert u het. Open een terminal (Unix/Linux/macOS) of Command Prompt (Windows) en navigeer naar de directory waar de toolbox moet worden opgeslagen. Kloon de repository door het volgende te typen:
      git kloon https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation.git
   3. Download het ZIP-bestand (optie B). Klik op de GitHub-pagina op de groene codeknop en selecteer ZIP downloaden. Sla het ZIP-bestand op in de gewenste map en pak de inhoud van het ZIP-bestand uit.
2. De Conda-omgeving instellen
   1. Installeer Anaconda of Miniconda. Als het nog niet is geïnstalleerd, download dan Anaconda van:
      https://www.anaconda.com/download of Miniconda uit https://docs.anaconda.com/miniconda/. Volg de installatie-instructies voor het gebruikte besturingssysteem.
   2. Open een terminal of opdrachtprompt. Maak een nieuwe Conda-omgeving met de naam img_seg_env met Python 3.10 door het volgende te typen:
      Conda maken -n img_seg_env python=3.10
   3. Activeer de Conda-omgeving door het volgende te typen:
      Conda activeert img_seg_env
      of activeer img_seg_env voor Windows
3. Installeer de vereiste afhankelijkheden met behulp van requirements.txt. Zorg ervoor dat u zich in de hoofdmap van de toolbox bevindt. Installeer de vereiste Python-pakketten met behulp van pip door het volgende te typen:
   pip installeren -r requirements.txt
   OPMERKING: Met deze opdracht wordt het requirements.txt bestand gelezen en worden alle benodigde pakketten geïnstalleerd
   1. Controleer of pakketten zoals numpy, scipy, matplotlib, tensorflow en jupyter zijn geïnstalleerd. Controleer of de installatie is gelukt en vermeld de geïnstalleerde pakketten door het volgende te typen:
      PIP lijst
4. Lancering van Jupyter Notebook
   1. Terwijl u zich nog in de geactiveerde Conda-omgeving bevindt, start u Jupyter Notebook door het volgende te typen:
      Jupyter notitieboekje
   2. Als JupyterLab de voorkeur heeft, dat een verbeterde interface biedt, voert u het volgende uit:
      Jupyter Lab
   3. Toegang tot de Jupyter-interface : Wacht tot een webbrowser automatisch wordt geopend en de Jupyter-interface wordt weergegeven. Als het niet automatisch wordt geopend, neemt u de URL die in de terminal is opgegeven (bijv. http://localhost:8888/tree) en opent u deze handmatig in de webbrowser.
   4. Navigeer in de Jupyter-interface naar de map met de Jupyter-notebooks die bij de toolbox zijn geleverd (bijvoorbeeld /path/to/3DMicroscopyImageSegmentation-main/).

2. Voorbereiding van de gegevens (figuur 1A)

1. Genereren van beeldgegevens van buisvormige structuren
   1. Verkrijg de 3D-microscopiebeelden
      1. Download de openbaar beschikbare 3D-afbeeldingen van leverweefsel van muizen van: https://zenodo.org/records/14029574 De dataset bevat 3D-confocale afbeeldingen van galcanaliculi (BC) en sinusvormige netwerken die zijn bijgesneden van de originele afbeeldingen van⁹. U kunt ook een reeks gegenereerde afbeeldingen gebruiken.
   2. Verkrijg de 3D PSF
      1. Download een afbeelding van de Real Point Spread Function (PSF) van https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation/blob/main/data/raw/PSF.tif U kunt ook een theoretische PSF genereren met behulp van DeconvolutionLab2²³ met de parameters van de microscoop.
   3. Gebruik de volgende segmentatiemethode om binaire maskers van de buisvormige structuren te genereren:
      1. Semi-automatische segmentatie met behulp van MorpholibJ in Fiji
         1. Open Fiji. Laad de microscopie-afbeelding.
         2. Ga naar het menu Proces | Binair | MakeBinary, kies Otsu als methode en druk op OK.
         3. Open de plugin MorpholibJ en navigeer naar Plugins | MorpholibJ | Filteren | Morfologische filters (3D).
         4. Kies de sluitbewerking, stel de elementvorm in op Bal (werkt het beste voor buisvormige constructies) en kies een geschikte straal in voxels. Klik op Element weergeven om het structureringselement te visualiseren. Probeer voor buisvormige structuren waarden van 3 tot 8 pixels.
            OPMERKING: Een grotere straal kan artefacten introduceren.
         5. Sla het resultaat op als 'image_closing.tif' door te klikken op Bestand | Opslaan als... | Tiff....
            OPMERKING: Zorg ervoor dat elk gegenereerd masker overeenkomt met het juiste originele afbeeldingsbestand, met overeenkomende bestandsnamen. Voorbeelden van vooraf berekende maskers kunnen worden gedownload van: https://doi.org/10.5281/zenodo.14029574
   4. Stel de maskers handmatig samen.
      1. Download en installeer Labkit²⁴ door de instructies te volgen op: https://github.com/juglab/labkit-ui. Open elk voorlopig masker en gebruik de teken- en wisgereedschappen om segmentatiefouten handmatig te corrigeren door regio's toe te voegen of te verwijderen om de buisvormige structuren nauwkeurig af te bakenen. Sla het samengestelde masker op en behoud dezelfde bestandsnaam als de originele afbeelding.
      2. Napari²⁵ gebruiken
         1. Open een opdrachtprompt en activeer de Napari-omgeving (indien nog niet actief):
            Conda activeert napari_env
         2. Lancering napari:
            Napari
         3. Sleep zowel de microscopieafbeelding als het bijbehorende binaire masker naar napari.
         4. Converteer het binaire masker naar een labellaag door met de rechtermuisknop op de naam van de maskerlaag te klikken en selecteer Converteren naar labels.
         5. Stel de contourbreedte in op 1 en begin met cureren. Als u gaten wilt vullen, gebruikt u het gereedschap Kiezen om de maskerwaarde te selecteren. Activeer het gereedschap Emmer vullen en klik in het gat.
            OPMERKING: Als de hele afbeelding is gevuld, heeft de structuur waarschijnlijk een opening. Gebruik het penseel om de grens te sluiten voordat u het gereedschap Vulbak opnieuw probeert.
         6. Zodra de curatie is voltooid, slaat u het gecorrigeerde masker op door naar Bestand | Geselecteerde lagen opslaan | TIFF. Open het gecorrigeerde masker in Fiji en converteer het naar 8-bits formaat door te klikken op Afbeelding | Soort | 8-bits. Sla de uiteindelijke 8-bits afbeelding op.
2. De gegevensset ordenen
   1. Maak de mappenstructuur van de gegevensset.
      1. Kies een map waarin de gegevensset wordt opgeslagen (bijvoorbeeld /path/to/your/dataset). Maak de volgende mappenstructuur:
         Dataset/
         ├── training_data/
         │ ├── afbeeldingen/
         │ │ ├── img1.tif
         │ │ ├── img2.tif
         │   │   └── ...
         │ └── maskers/
         │ ├── img1.tif
         │ ├── img2.tif
         │       └── ...
         └── test_data/
         ├── afbeeldingen/
         │ ├── imgtest1.tif
         │ ├── imgtest2.tif
         │   └── ...
         └── maskers/
         ├── imgtest1.tif
         ├── imgtest2.tif
         └── ...
   2. Organiseer de afbeeldingen en maskers.
      1. Trainingsgegevens
         1. Plaats de 3D-microscopiebeelden die bedoeld zijn voor training in dataset/training_data/images/. Zorg ervoor dat bestandsnamen consistent zijn (bijv. img1.tif, img2.tif).
         2. Plaats de bijbehorende gecureerde binaire maskers in dataset/training_data/masks/ en zorg ervoor dat de bestandsnamen overeenkomen met die in de map met afbeeldingen (bijv. img1.tif, img2.tif).
      2. Testgegevens
         1. Plaats de 3D-microscopiebeelden die bedoeld zijn voor testen in dataset/test_data/images/. Gebruik consistente bestandsnamen die niet overlappen met de trainingsgegevens.
         2. Plaats de bijbehorende gecureerde binaire maskers in dataset/test_data/masks/. Zorg ervoor dat de bestandsnamen overeenkomen met die in de map met testafbeeldingen.

3. De volledige pijplijn uitvoeren (Figuur 1B-E)

1. Open het Jupyter-notitieblok.
   1. Activeer de Conda-omgeving img_seg_env door het volgende te typen:
      Conda activeert img_seg_env
   2. Navigeer naar de hoofdmap van het project:
      cd /pad/naar/ImageSegmentationcode/
   3. Start de Jupyter-interface door jupyter lab of jupyter notebook te typen.
   4. Open in de webbrowser het notitieblok met de naam process_images.ipynb.
2. De omgeving inrichten
   1. Importeer bibliotheken en configureer GPU-toegang.
      OPMERKING: In de eerste en tweede notebookcel worden bibliotheken geïmporteerd en wordt TensorFlow geconfigureerd om de GPU te gebruiken met geheugengroei ingeschakeld. Dit zorgt ervoor dat TensorFlow niet al het GPU-geheugen in één keer toewijst en compatibel is met meerdere taken. Wijzig de inhoud in de cel niet. Voer de cellen uit door op de afspeelknop te drukken.
3. Invoerparameters configureren
   1. Zoek de invoerconfiguratiecel en wijzig deze op basis van de gegevensset:
      source_dir = '/pad/naar/data/BC/'
      psf_path = '/pad/naar/PSF.tif'
      code_dir = '/pad/naar/code/'
      out_dir = '/pad/naar/uitvoer/'
      out_name = 'BC'
   2. Voer de cel 3 uit door op de afspeelknop te drukken.
   3. Wijzig de inhoud in de cel niet. Voer de cel uit door op de afspeelknop in de cel 4 te drukken.
4. Patch genereren
   1. Voer de cel Gegevenssets maken uit om trainings- en testpatches te genereren. Wijzig de inhoud in de cellen niet. Voer de cellen uit door op de afspeelknop te drukken.
5. Model training
   1. Voer de cel Modellen trainen uit om UNet3D te trainen met drie augmentatie-instellingen: GEEN, STANDAARD en Op basis van simulatie.
   2. Vervang 'UNet3D' door 'UNet3D', 'AttentionUNet3D' om de UNet3D met aandacht te trainen. Pas de trainingsinstellingen indien nodig config.py aan (zie stap 3.9).
6. Voorspellingen genereren
   1. Voer de cel Voorspellingen genereren uit om segmentatiemaskers te maken op testgegevens. Verander de inhoud in de cellen niet. Voer de cellen uit door op de afspeelknop te drukken.
7. Evaluatie en plotgeneratie
   1. Voer de cel Grafieken genereren uit om boxplots met evaluatiestatistieken te genereren.
8. Resultaten bekijken en interpreteren
   1. Controleer de uitvoer in de paden die zijn gedefinieerd door out_images_path en out_plots_path.
   2. Onderzoek boxplots waarin modellen en augmentatiestrategieën worden vergeleken op patchniveau en full-image metrics.
9. Maatwerk via config.py
   1. Wijzig de volgende belangrijke parameters in config.py om de pijplijn aan te passen:
      PATCH_SIZE = (64, 64, 64)
      PATCH_STEP = 64
      LEARNING_RATE = 1e-4
      BATCH_SIZE = 1
      NUM_EPOCHS = 50
      VALIDATION_SPLIT = 0,2
      EARLY_STOPPING_PATIENCE = 10
      AVAILABLE_MODELS = ["UNet3D", "AttentieUNet3D"]
      INTENSITY_PARAMS = { "background_level": 0.1, "local_variation_scale": 5, "z_decay_rate": 0.999, "noise_std": 0.1, "poisson_scale": 1.0, "intensity_scale": 1000.0, "snr_targets": [15, 10, 5, 4, 3, 2, 1]}
10. Probleemoplossing
    1. Verminder bij fouten met een tekort aan geheugen BATCH_SIZE of PATCH_SIZE in config.py.
    2. Zorg er bij GPU-problemen voor dat er voldoende geheugen beschikbaar is of verklein de batchgrootte.
11. Definitieve bevestiging
    1. Wanneer de pijplijn is voltooid, zoekt u naar het volgende afgedrukte bericht:
       Alle berekeningen zijn succesvol afgerond
    2. We raden ten zeerste aan om TensorFlow uit te voeren op een Linux- of Windows-systeem dat is uitgerust met een NVIDIA GPU die CUDA ondersteunt. Als u problemen ondervindt bij het installeren van tensorflow met CUDA, volgt u het officiële installatieproces: https://www.tensorflow.org/install/pip

Results

Data-acquisitie
Om onze toolbox te valideren, analyseerden we twee verschillende buisvormige netwerken in volwassen muizenleverweefsel: galcanaliculi (BC) en sinusoïdale netwerken. Voor elke structuur werd één 3D-microscopiebeeld van een enkel dier gebruikt voor training, terwijl twee onafhankelijke beelden van verschillende dieren uitsluitend werden gebruikt voor testen. Alle leverbeelden werden verkregen met een isotrope voxelresolutie van 0,3 μm/voxel, wat zorgt voor een consistente bemonstering over de drie ruimtelijke dimensies. De dataset, oorspronkelijk gepubliceerd in Morales-Navarrete et ^al.9, is samengesteld met behulp van Labkit²⁵, die hoogwaardige binaire maskers biedt van de buisvormige structuren die worden gebruikt als grondwaarheid voor begeleid leren. Voor het sinusvormige netwerk hebben we twee soorten binaire maskers gegenereerd: een die de buisranden schetst (holle weergave) en een andere die het gevulde buisvormige volume vastlegt, waardoor verschillende trainingsstrategieën mogelijk zijn, afhankelijk van de toepassing.

Daarnaast hebben we onze toolbox geëvalueerd op een externe dataset van bloedvaten in de hele hersenen van volwassen Mus musculus, verstrekt als onderdeel van de SELMA3D 2024-uitdaging. Deze dataset bestaat uit 3D light-sheet microscopiebeelden die zijn verkregen onder standaard huisvestingsomstandigheden (12 uur licht/12 uur donkercyclus gedurende 3 maanden) en is beschikbaar via BioStudies (S-BIAD1197) beelden²⁶. Vijf hersenbeelden werden gebruikt voor training en negentien voor testen. De oorspronkelijke anisotrope stacks werden in Fiji opnieuw bemonsterd tot isotrope voxelafmetingen met behulp van lineaire interpolatie om compatibiliteit met onze analysepijplijn te garanderen.

Preprocessing
Om het beperkte aantal originele 3D-beelden aan te pakken, hebben we data-augmentatietechnieken toegepast die realistische beeldartefacten introduceerden en verschillende signaal-ruisverhoudingen simuleerden, variërend van 15 tot 1. Deze aanpak was van cruciaal belang voor het verbeteren van de generaliseerbaarheid en robuustheid van de modellen.

Het testbeeld werd onderverdeeld in niet-overlappende patches van 64 x 64 x 64 voxels om de modelprestaties op regionaal niveau te beoordelen en om de robuustheid in verschillende ruimtelijke contexten binnen hetzelfde 3D-volume te evalueren.

Model architectuur
We hebben twee convolutionele neurale netwerkarchitecturen geïmplementeerd en vergeleken die op maat zijn gemaakt voor 3D-segmentatie:

Een standaard 3D U-Net¹⁷, samengesteld uit symmetrische encoder-decoderblokken met 2×2×2 max pooling, convolutionele lagen met ReLU-activeringen en een uiteindelijke 1 x 1 x 1 convolutie gevolgd door een sigmoïde functie voor binaire classificatie.

Een Attention U-Net²⁷, dat een aandachtsmechanisme bevat dat opvallende kenmerken dynamisch benadrukt en irrelevante achtergronden onderdrukt, waardoor de segmentatie van complexe en variabele structuren zoals tubulaire netwerken in de lever wordt verbeterd.

Protocol voor de opleiding
Beide architecturen werden getraind met behulp van de TensorFlow- en Keras-bibliotheken op een high-performance computing-cluster uitgerust met 32 CPU-kernen, 128 GB RAM en twee NVIDIA A100 SXM4 40 GB GPU's. Het Attention U-Net vereiste meer trainingstijd vanwege de architecturale complexiteit, vooral bij het gebruik van de uitgebreide datasets (zie tabel 1).

Evaluatie metriek
De modelprestaties werden kwantitatief beoordeeld op de uitgehouden testbeelden met behulp van standaard segmentatiestatistieken: dobbelsteencoëfficiënt, kruising over unie (IoU), F1-score, volumegelijkenis en gevoeligheid en specificiteit.

De resultaten voor BC, sinusvormige structuren en bloedvaten zijn samengevat in Figuur 2, Figuur 3, Figuur 4 en Figuur 5. Bovendien geeft tabel 2 een prestatievergelijking met gevestigde klassieke methoden voor buissegmentatie, waaronder Otsu en adaptieve drempels. Onze modellen, met name het Attention U-Net dat is getraind op augmented data, presteerden consequent beter dan deze traditionele methoden in alle statistieken.

Statistische analyse en robuustheid
De analyse van hele afbeeldingen en de 64 x 64 x 64 voxel-patches (Tabel 3) in de testset stelde ons in staat om ook ruimtelijke variabiliteit in modelvoorspellingen tussen regio's te kwantificeren. Alle modellen vertoonden een hoge nauwkeurigheid, waarbij het Attention U-Net consistent hogere prestaties liet zien, met name in de F1-score en de dobbelsteencoëfficiënt. Kwalitatieve resultaten, weergegeven in Figuur 2A,B, Figuur 3A,B, Figuur 4A,B, Figuur 5A,B, evenals Video 1, Video 2, Video 3 en Video 4, ondersteunen deze bevindingen en illustreren een nauwkeurige afbakening van buisvormige structuren in de meeste delen van de testgegevens.

Uitleg van afwijkingen in prestatiestatistieken
De lagere waarden van de boxplots voor de patchanalyse (aanvullende figuur S1, aanvullende figuur S2, aanvullende figuur S3, aanvullende figuur S4 en aanvullende figuur S5) geven de aanwezigheid van prestatie-uitschieters aan in een subset van testpatches. Evenzo kan de suboptimale segmentatie in de uiteindelijke frames van video's worden toegeschreven aan twee belangrijke factoren:

Grenseffecten: De segmentatieprestaties verslechteren vaak aan de beeldgrenzen waar gedeeltelijke structuren ondervertegenwoordigd zijn of onvolledig worden vastgelegd, wat leidt tot grotere onzekerheid en mogelijke verkeerde classificatie.

Verslechtering van de beeldkwaliteit in diepere z-vlakken: Ondanks de isotrope voxelgrootte leiden biologische en technische factoren zoals signaalverzwakking, lichtverstrooiing en verminderd contrast in de z-richting tot een verminderde beeldkwaliteit naar de onderkant van het volume. Deze degradatie bemoeilijkt een nauwkeurige grensafbakening en draagt bij aan segmentatie-inconsistenties.

Deze factoren zijn inherente uitdagingen bij biologische 3D-beeldvorming en hebben met name een impact in regio's die ver van het beeldvormingsvlak verwijderd zijn of dubbelzinnige structuurgrenzen bevatten.

Samenvattend tonen onze resultaten aan dat op deep learning gebaseerde segmentatiemodellen, met name het Attention U-Net dat is getraind met augmented data, een robuuste en nauwkeurige afbakening bieden van complexe buisvormige structuren in 3D-levermicroscopiebeelden. Door gebruik te maken van gecureerde datasets, realistische augmentatiestrategieën en aandachtsmechanismen, bereikten de modellen superieure prestaties in vergelijking met klassieke methoden zoals drempelmeting. De regionale evaluatie met behulp van 64³ voxel-patches bevestigde de consistentie en generaliseerbaarheid van de aanpak over verschillende beeldregio's en structurele complexiteiten. Hoewel er nog steeds enkele beperkingen zijn, voornamelijk als gevolg van grenseffecten en degradatie van het z-vlakbeeld, benadrukt onze studie de effectiviteit van op aandacht gebaseerde architecturen en biedt het een gevalideerde, open-source oplossing voor zeer nauwkeurige 3D buissegmentatie in biomedische beeldvorming.

Figuur 1: Workflow voor de 3D-segmentatie van buisvormige structuren in fluorescentiemicroscopiebeelden met behulp van U-Net en Attention U-Net modellen. (A) Gegevensvoorbereiding: Schematische 2D-secties van 3D-fluorescentiemicroscopiebeelden van leverweefsel van muizen, met de originele beelden en bijbehorende binaire maskers. (B) Gegevensvergroting: op simulatie gebaseerde vergroting van de voorbereide gegevens, waarbij beelden worden gegenereerd met verschillende signaal-ruisverhoudingen (bijv. SNR = 15 en SNR = 1). (C) Modeltraining: Patch-gebaseerde training van U-Net en Attention U-Net modellen met behulp van zowel originele als uitgebreide gegevens. Afbeeldings- en maskerpatches met een formaat van 64 x 64 x 64 worden gegenereerd voor training. (D) Modelevaluatie: Kwantitatieve prestatiestatistieken, waaronder Recall en F1-score, worden voor elk model berekend om de segmentatienauwkeurigheid van testdatasets te beoordelen. (E) Modelinferentie: Toepassing van het getrainde model op onzichtbare beelden om voorspelde segmentatiemaskers te genereren. Afkorting: SNR = signaal-ruisverhouding. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2: Evaluatie van U-Net en Attention U-Net modellen voor segmentatie van het Gal Canaliculi netwerk op basis van 3D fluorescentiemicroscopiebeelden van leverweefsel van muizen. (A) Representatieve 2D-secties (middelste sectie) van 3D-fluorescentiemicroscopiebeelden, met het originele beeld en het bijbehorende grondwaarheidsmasker voor BC in leverweefsel van muizen. De afbeeldingen rechtsboven bieden een ingezoomde weergave van de inzetstukken die in elke sectie zijn gemarkeerd. (B) Voorspelde segmentatiemaskers gegenereerd door het U-Net, Attention U-Net en hun uitgebreide versies. De bovenste rij markeert True Positives (correct gesegmenteerde structuren), de onderste toont False Positives (onjuist geïdentificeerde structuren) en False Negatives (gemiste structuren) voor elk model. (C) Kwantitatieve evaluatiestatistieken voor elk model, waaronder nauwkeurigheid, F1-score, precisie, herinnering, volumegelijkenis en dobbelsteencoëfficiënt. De evaluatie werd uitgevoerd in de patches die uit het 3D-beeld waren geëxtrudeerd. Foutbalken geven standaarddeviaties aan in testafbeeldingen. Schaal balk: 60 μm; Inzet schaalbalk: 30 μm. Afkorting: BC = gal canaliculi. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3: Evaluatie van U-Net en Attention U-Net modellen voor segmentatie van het sinusoïdale netwerk op basis van 3D fluorescentiemicroscopiebeelden van leverweefsel van muizen. (A) Representatieve 2D-secties (middelste sectie) van 3D-fluorescentiemicroscopiebeelden, met het originele beeld en het bijbehorende grondwaarheidsmasker voor sinusoïden in leverweefsel van muizen. De afbeeldingen rechtsboven bieden een ingezoomde weergave van de inzetstukken die in elke sectie zijn gemarkeerd. (B) Voorspelde segmentatiemaskers gegenereerd door het U-Net, Attention U-Net en hun uitgebreide versies. De bovenste rij markeert True Positives (correct gesegmenteerde structuren), de onderste toont False Positives (onjuist geïdentificeerde structuren) en False Negatives (gemiste structuren) voor elk model. (C) Kwantitatieve evaluatiestatistieken voor elk model, waaronder nauwkeurigheid, F1-score, precisie, herinnering, volumegelijkenis en dobbelsteencoëfficiënt. De evaluatie werd uitgevoerd in de patches die uit het 3D-beeld waren geëxtrudeerd. Foutbalken geven standaarddeviaties aan in testafbeeldingen. Schaal balk: 60 μm; Inzet schaalbalk: 30 μm. Klik hier om een grotere versie van deze afbeelding te bekijken.

Figuur 4: Evaluatie van U-Net en Attention U-Net modellen voor segmentatie van het sinusvormige netwerk op basis van 3D fluorescentiemicroscopiebeelden van muizenleverweefsel, waarbij het masker wordt beschouwd als gevulde buisjes. (A) Representatieve 2D-middensecties van 3D-fluorescentiemicroscopiebeelden, met het originele beeld en het bijbehorende grondwaarheidsmasker voor sinusoïden in leverweefsel van muizen. De afbeeldingen rechtsboven bieden een ingezoomde weergave van de inzetstukken die in elke sectie zijn gemarkeerd. (B) Voorspelde segmentatiemaskers gegenereerd door het U-Net, Attention U-Net en hun uitgebreide versies. Terwijl de bovenste rij True Positives (correct gesegmenteerde structuren) markeert, toont de onderste False Positives (onjuist geïdentificeerde structuren) en False Negatives (gemiste structuren) voor elk model. (C) Kwantitatieve evaluatiestatistieken voor elk model, waaronder nauwkeurigheid, F1-score, precisie, herinnering, volumegelijkenis en dobbelsteencoëfficiënt. De evaluatie werd uitgevoerd in de patches die uit het 3D-beeld waren geëxtrudeerd. Foutbalken geven standaarddeviaties aan in testafbeeldingen. Schaal balk: 60 μm; Inzet schaalbalk: 30 μm. Klik hier om een grotere versie van deze afbeelding te bekijken.

Figuur 5: Evaluatie van U-Net en Attention U-Net modellen voor segmentatie van het vasculaire netwerk in muizenhersenen op basis van 3D light-sheet microscopiebeelden met behulp van gevulde buismaskers. (A) Representatieve 2D-middensecties geëxtraheerd uit 3D light-sheet microscopiebeelden van muizenhersenen, met het originele beeld en het bijbehorende grondwaarheidsmasker voor bloedvaten. Ingezoomde weergaven van geselecteerde inzetstukken worden weergegeven in de rechterbovenhoek van elk paneel. Voorspelde segmentatiemaskers gegenereerd door U-Net, Attention U-Net en hun uitgebreide versies. De bovenste rij markeert True Positives (correct gesegmenteerde scheepsstructuren), terwijl de onderste rij False Positives (onjuist gesegmenteerde gebieden) en False Negatives (gemiste scheepsstructuren) voor elk model illustreert. (C) Kwantitatieve evaluatie van modelprestaties met behulp van statistieken zoals nauwkeurigheid, F1-score, precisie, terugroepactie, volumegelijkenis en dobbelsteencoëfficiënt. Evaluaties werden uitgevoerd op 3D-patches die uit de testvolumes waren geëxtraheerd. Foutbalken vertegenwoordigen standaarddeviaties in de 19 testafbeeldingen. Klik hier om een grotere versie van deze figuur te bekijken.

Video 1: Z-Stack-animatie van voorspelde maskers voor het BC-netwerk. De video toont een geanimeerde sequentie door de z-stack van voorspelde segmentatiemaskers voor galcanaliculi in leverweefsel van muizen, gegenereerd door U-Net, Attention U-Net en hun verbeterde versies. Elke 2D-sectie markeert True Positives (wit), False Positives (groen) en False Negatives (magenta) voor elk model, waarbij u door de hele stapel beweegt. Afkorting: BC = gal canaliculi. Klik hier om deze video te downloaden.

Video 2: Z-Stack-animatie van voorspelde maskers voor het sinusvormige netwerk. De video toont een geanimeerde sequentie door de z-stack van voorspelde segmentatiemaskers voor sinusoïden in leverweefsel van muizen, gegenereerd door U-Net, Attention U-Net en hun verbeterde versies. Elke 2D-sectie markeert True Positives (wit), False Positives (groen) en False Negatives (magenta) voor elk model, waarbij u door de hele stapel beweegt. Klik hier om deze video te downloaden.

Video 3: Z-Stack-animatie van voorspelde maskers voor het sinusvormige netwerk als gevulde buizen. De video toont een geanimeerde sequentie door de z-stack van voorspelde segmentatiemaskers voor het sinusvormige netwerk als gevulde buisjes in leverweefsel van muizen, gegenereerd door U-Net, Attention U-Net en hun verbeterde versies. Elke 2D-sectie markeert True Positives (wit), False Positives (groen) en False Negatives (magenta) voor elk model, waarbij u door de hele stapel beweegt. Klik hier om deze video te downloaden.

Video 4: Z-Stack animatie van voorspelde maskers voor de hersenvaten. De video toont een geanimeerde sequentie door de z-stack van voorspelde segmentatiemaskers voor schepen, gegenereerd door U-Net, Attention U-Net en hun verbeterde versies. Elke 2D-sectie markeert True Positives (wit), False Positives (groen) en False Negatives (magenta) voor elk model, waarbij u door de hele stapel beweegt. Klik hier om deze video te downloaden.

Tabel 1: Trainingstijd voor U-Net 3D en Attention U-Net 3D Modellen op Gal Canaliculi en Sinusoïde datasets met en zonder data-augmentatie. Trainingstijd voor U-Net 3D en Attention U-Net 3D-modellen op galcanaliculi en sinusoïde datasets met en zonder data-augmentatie. De tabel geeft een overzicht van het aantal patches voor elke dataset en de bijbehorende trainingstijd in minuten. Gegevensvergroting verhoogt het aantal patches van 1353 naar 10824, wat leidt tot een aanzienlijke toename van de trainingstijd. Het Attention U-Net-model vereist consequent meer trainingstijd dan het U-Net-model, vooral met uitgebreide datasets, vanwege de extra complexiteit bij het focussen op relevante functies in de gegevens. Afkorting: BC = gal canaliculi. Klik hier om deze tabel te downloaden.

Tabel 2: Kwantitatieve evaluatie van U-Net 3D- en Attention U-Net 3D-modellen in vier datasets met behulp van segmentatie van het hele beeld. Deze tabel rapporteert de prestaties van elk model, evenals klassieke methoden zoals Otsu en adaptieve drempelwaarden, op vier verschillende datasets: galcanaliculi, sinusvormige netwerken (holle en gevulde representaties) en vasculatuur van de hele hersenen, met behulp van volledige 3D-beelden voor evaluatie. Voor elke combinatie van model en dataset wordt het aantal testafbeeldingen vermeld, samen met prestatiestatistieken: nauwkeurigheid, precisie, terugroepen (gevoeligheid), specificiteit, F1-score, dobbelsteencoëfficiënt, IoU en volumegelijkenis. Deze metrieken bieden een uitgebreide beoordeling van de segmentatiekwaliteit in termen van zowel voxelgewijze correctheid als volumetrische overeenkomst tussen voorspellingen en grondwaarheid. Afkortingen: BC = gal canaliculi; IoU = Kruispunt over Unie. Klik hier om deze tabel te downloaden.

Tabel 3: Kwantitatieve evaluatie van U-Net 3D- en Attention U-Net 3D-modellen in vier datasets met behulp van 64 x 64 x 64 patches. Deze tabel geeft een overzicht van de prestaties van U-Net 3D- en Attention U-Net 3D-modellen op vier datasets - galkanalen, sinusvormige netwerken (holle en gevulde maskers) en vaatstelsel van de hele hersenen - op basis van evaluatie in 3D-beeldvlakken met een grootte van 64×64×64 voxels. Voor elke combinatie van model en dataset wordt het aantal testpatches vermeld naast de belangrijkste prestatiestatistieken: Nauwkeurigheid, Precisie, Terugroepen (Gevoeligheid), Specificiteit, F1-score, Dobbelsteencoëfficiënt, Kruising over Unie en Volumegelijkenis. Deze metrische gegevens op patchniveau bieden gelokaliseerd inzicht in de prestaties van het model en zijn vooral handig voor het identificeren van ruimtelijk heterogene segmentatienauwkeurigheid over volumes. Afkortingen: BC = gal canaliculi; IoU = Kruispunt over Unie. Klik hier om deze tabel te downloaden.

Aanvullende figuur S1: Segmentatieprestaties op patchniveau van 3D U-Net- en Attentie-U-Net-modellen voor segmentatie van galcanaliculi. Grafieken illustreren de kwantitatieve prestaties van de 3D U-Net en Attention U-Net modellen op gal canaliculi datasets, geëvalueerd met behulp van 3D-beeldvlakken van grootte 64 x 64 x 64 voxels. De getoonde statistieken zijn onder meer Nauwkeurigheid, Precisie, Recall (Gevoeligheid), Specificiteit, F1-score, Dobbelsteencoëfficiënt, Intersection over Union en Volume Similarity. De resultaten weerspiegelen de variabiliteit tussen patches, bieden gelokaliseerd inzicht in de modelprestaties en benadrukken ruimtelijke heterogeniteit binnen 3D-leverweefselvolumes. Afkortingen: BC = gal canaliculi; IoU = Kruispunt over Unie. Klik hier om dit bestand te downloaden.

Aanvullende figuur S2: Segmentatieprestaties op patchniveau van 3D U-Net- en Attentie-U-Net-modellen voor sinusoïde segmentatie. Grafieken illustreren de kwantitatieve prestaties van de 3D U-Net en Attention U-Net modellen op sinusoïde datasets, geëvalueerd met behulp van 3D-beeldpatches van 64 x 64 x 64 x 64 voxels. De getoonde statistieken zijn onder meer Nauwkeurigheid, Precisie, Recall (Gevoeligheid), Specificiteit, F1-score, Dobbelsteencoëfficiënt, Intersection over Union en Volume Similarity. De resultaten weerspiegelen de variabiliteit tussen patches, bieden gelokaliseerd inzicht in de modelprestaties en benadrukken ruimtelijke heterogeniteit binnen 3D-leverweefselvolumes. Afkorting: IoU = Kruispunt over Unie. Klik hier om dit bestand te downloaden.

Aanvullende figuur S3: Segmentatieprestaties op patchniveau van 3D U-Net en Let op U-Net-modellen voor sinusoïden als segmentatie van gevulde buizen. Grafieken illustreren de kwantitatieve prestaties van de 3D U-Net en Attention U-Net modellen op sinusoïden als gevulde buisjes datasets, geëvalueerd met behulp van 3D-beeldpatches van 64 x 64 x 64 x 64 voxels. De getoonde statistieken zijn onder meer Nauwkeurigheid, Precisie, Recall (Gevoeligheid), Specificiteit, F1-score, Dobbelsteencoëfficiënt, Intersection over Union en Volume Similarity. De resultaten weerspiegelen de variabiliteit tussen patches, bieden gelokaliseerd inzicht in de modelprestaties en benadrukken ruimtelijke heterogeniteit binnen 3D-leverweefselvolumes. Afkorting: IoU = Kruispunt over Unie. Klik hier om dit bestand te downloaden.

Aanvullende figuur S4: Segmentatieprestaties op patchniveau van 3D U-Net en Attention U-Net modellen voor hersenvasculatuur van light-sheet microscopiebeelden. Grafieken illustreren de kwantitatieve prestaties van de 3D U-Net- en Attention U-Net-modellen op datasets van het vaatstelsel van de hele hersenen, geëvalueerd met behulp van 3D-beeldpatches met voxels van 64 x 64 x 64 x 64. De getoonde statistieken zijn onder meer Nauwkeurigheid, Precisie, Recall (Gevoeligheid), Specificiteit, F1-score, Dobbelsteencoëfficiënt, Intersection over Union en Volume Similarity. De resultaten weerspiegelen de variabiliteit tussen patches, bieden gelokaliseerd inzicht in de modelprestaties en benadrukken ruimtelijke heterogeniteit binnen 3D-leverweefselvolumes. Afkorting: IoU = Kruispunt over Unie. Klik hier om dit bestand te downloaden.

Aanvullende figuur S5: Overlay van segmentatieresultaten op originele 3D-fluorescentiemicroscopiebeelden van galkanalen. Representatieve beeldsegmenten van 3D-fluorescentiemicroscopiedatasets van galcanaliculi in de lever van muizen worden weergegeven met segmentatiemaskers bedekt in rood. Voorspelde maskers van de 3D U-Net- en Attention U-Net-modellen worden over de originele grijswaardenmicroscopiebeelden heen gelegd om de segmentatienauwkeurigheid visueel te beoordelen. Er worden tien voorbeeldafbeeldingen gepresenteerd om het vermogen van de modellen te illustreren om diverse morfologische kenmerken vast te leggen en signaalvariabiliteit over verschillende weefselgebieden te verwerken. Klik hier om dit bestand te downloaden.

Discussion

Dit protocol biedt een eenvoudige, maar krachtige en toegankelijke benadering voor op deep learning gebaseerde segmentatie van buisvormige structuren in 3D-fluorescentiemicroscopiebeelden, waardoor de kloof tussen technische complexiteit en bruikbaarheid bij bioimage-analyse wordt overbrugd. Door de integratie van op simulatie gebaseerde gegevensvergroting, interactieve Jupyter-notebooks en efficiënte U-Net-architecturen, bieden we een open-source tool die in staat is om zeer nauwkeurige segmentatie uit te voeren op complexe weefselstructuren, zoals galcanaliculi en sinusvormige netwerken. Deze toolbox pakt de belangrijkste uitdagingen aan bij 3D-segmentatietaken, met name bij het omgaan met gegevensschaarste en variabiliteit in beeldvormingsomstandigheden, waardoor het een veelzijdige aanvulling is op het landschap van bioimage-analyse.

Een cruciaal onderdeel van ons protocol is de op simulatie gebaseerde gegevensvergroting, die de modelprestaties verbetert, zelfs met een beperkt aantal geannoteerde afbeeldingen - een veel voorkomende beperking in biologische studies. Door augmented data te genereren die realistische beeldartefacten nabootst, zoals puntspreidingsfunctieconvolutie, axiaal intensiteitsverval en Poisson- en Gaussiaanse ruis, produceert de toolbox modellen die robuust zijn voor een reeks beeldvormingsomstandigheden. Deze aanpak vergroot effectief de gegevensdiversiteit, verbetert de generaliseerbaarheid van de modellen en biedt een belangrijk voordeel ten opzichte van traditionele gegevensvergrotingstechnieken, die de heterogeniteit in biologische monsters mogelijk niet volledig weergeven. Dit wordt echter beperkt door de morfologische kenmerken die intrinsiek zijn gecodeerd in het oorspronkelijk voorziene masker. Het vertrouwen op voorgesegmenteerde maskers voor het genereren van initiële trainingsgegevens introduceert mogelijke vertekeningen als maskers niet volledig representatief zijn voor de biologische structuren in kwestie. Daarom is er nog steeds een open vraag over hoe realistische gegevensvergroting in de morfologische ruimte kan worden gegenereerd, wat potentieel belangrijk kan zijn voor het bestuderen van weefsels met veranderingen zoals ziekteprogressie.

Onze methode maakt gebruik van twee encoder-decodermodellen, 3D U-Net en Attention U-Net, geselecteerd vanwege hun hoge prestaties in biomedische beeldvormingstaken. Terwijl het 3D U-Net een eenvoudige maar krachtige segmentatiearchitectuur biedt, verbetert het Attention U-Net de precisie door selectief te focussen op relevante functies en ruis te onderdrukken. Beide modellen zijn opgenomen in de toolbox, zodat gebruikers kunnen kiezen op basis van hun specifieke datasetvereisten. Onze resultaten tonen aan dat het Attention U-Net-model hogere prestatiestatistieken behaalt in alle datasets, met name voor uitdagende structuren zoals het sinusvormige netwerk, waar de extra complexiteit van aandachtsmechanismen helpt de effecten van lage signaal-ruisverhoudingen en structurele variabiliteit te verminderen. Desalniettemin is het belangrijk op te merken dat de computationele eisen van het Attention U-Net hoger zijn, wat van invloed kan zijn op de toegankelijkheid voor gebruikers met beperkte GPU-bronnen. Gezien het open-source karakter van de pijplijn kunnen bovendien indien nodig eenvoudig andere, complexere architecturen worden toegevoegd voor toekomstige studies.

Ons protocol biedt een alles-in-één, gebruiksvriendelijke pijplijn die essentiële stappen voor 3D-segmentatie integreert in één enkele opstelling. Dit gestroomlijnde ontwerp is een belangrijk voordeel, omdat het de toegang tot geavanceerde segmentatietools vereenvoudigt zonder dat er expertise op het gebied van programmeren of parameteraanpassingen nodig is. Bovendien verbetert onze op simulatie gebaseerde strategie voor gegevensvergroting de robuustheid van het model, waardoor de afhankelijkheid van uitgebreide handmatige annotaties wordt verminderd en de generaliseerbaarheid van het model in diverse beeldvormingsomstandigheden wordt verbeterd. In tegenstelling tot klassieke segmentatiemethoden, die vaak gebaseerd zijn op drempel- of regio-groeiende algoritmen die zorgvuldige afstemming vereisen, ^28,29, vereist onze deep learning-aanpak minimale handmatige tussenkomst. Dit draagt bij aan het democratiseren van hoogwaardige, reproduceerbare segmentatie van complexe 3D-structuren, waardoor het toegankelijk wordt voor een breder scala aan onderzoekers, inclusief degenen zonder uitgebreide rekenervaring.

Naast buisvormige netwerken maakt de flexibiliteit van het protocol een gemakkelijke aanpassing mogelijk voor het segmenteren van andere biologische structuren. Toekomstige verbeteringen kunnen de integratie van self-supervised learning³⁰ of transfer learning³¹ zijn, waardoor de behoefte aan geannoteerde gegevens verder wordt verminderd met behoud van een hoge segmentatienauwkeurigheid. Deze strategieën kunnen ook de toepasbaarheid uitbreiden naar diverse beeldvormingsmodaliteiten, zoals multifoton- of lightsheet-microscopie.

Ondanks zijn sterke punten heeft het protocol verschillende beperkingen die moeten worden erkend. Ten eerste blijft de omvang van de dataset relatief klein, met slechts een paar geannoteerde volumes per structuur. Hoewel data-augmentatie dit probleem gedeeltelijk verzacht, is het risico van overfitting nog steeds aanwezig, vooral bij het toepassen van verfijnde modellen op datasets met onzichtbare variaties in monstervoorbereiding of beeldvormingsomstandigheden. Ten tweede, hoewel onze resultaten wijzen op een goede generalisatie over verschillende plekken en dieren, hebben we de toolbox nog niet getest op datasets van andere organen of microscopiemodaliteiten, die verschillende structurele en ruiskenmerken kunnen vertonen. Dit beperkt de onmiddellijke generaliseerbaarheid van onze aanpak. Ten slotte zou onze evaluatiestrategie, hoewel robuust op patchniveau, baat kunnen hebben bij aanvullende statistieken voor topologische consistentie, die relevant zijn voor netwerkachtige structuren. Toekomstig werk zal deze beperkingen aanpakken door de dataset uit te breiden, domeinaanpassingstechnieken³² op te nemen en de pijplijn in bredere biologische contexten te evalueren.

Samenvattend vertegenwoordigt dit protocol een toegankelijke en uitgebreide oplossing voor hoogwaardige 3D-segmentatie van buisvormige structuren in bioimaging. Door effectieve modelarchitecturen, strategieën voor gegevensvergroting en een interactieve, gebruiksvriendelijke interface te combineren, heeft onze toolbox het potentieel om het bereik en de impact van deep learning in bioimage-analyse uit te breiden, waardoor onderzoekers over de hele wereld deze technieken kunnen gebruiken bij het nastreven van een beter begrip van de biologische structuur en functie.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Fiji			https://imagej.net/software/fiji/downloads
GitHub repository			https://github.com/hernanmorales-navarrete/3DMicroscopyImage Segmentation/tree/main
Labkit			https://imagej.net/plugins/labkit/
Zenodo repository			10.5281/zenodo.14029574