Ein Open-Source-Protokoll für die Deep-Learning-basierte Segmentierung von röhrenförmigen Strukturen in 3D-Fluoreszenzmikroskopiebildern

Summary

Dieses Protokoll führt eine Open-Source-Toolbox ein, die eine vollständige Pipeline für die Segmentierung röhrenförmiger Strukturen in dreidimensionalen (3D) Fluoreszenzmikroskopiebildern bietet. Durch den Einsatz von Deep Learning mit simulationsbasierter Datenerweiterung trainiert es U-Net- und Attention-U-Net-Modelle, bietet qualitative und quantitative Auswertungen und enthält benutzerfreundliche Notebooks für Training, Inferenz und Visualisierung.

Abstract

Die Segmentierung röhrenförmiger Strukturen in dichten biologischen Geweben aus 3D-Fluoreszenzmikroskopie-Bildern ist für die Untersuchung komplexer Gewebe von entscheidender Bedeutung, bleibt aber aufgrund der Bildkomplexität, Variabilität und Qualitätsprobleme eine Herausforderung. Hier stellen wir eine benutzerfreundliche Open-Source-Toolbox für die End-to-End-Segmentierung von röhrenförmigen Strukturen in 3D-Bildern vor, die für Forscher ohne formale Programmierausbildung zugänglich ist. Die Toolbox enthält interaktive Jupyter-Notebooks, die zwei einfache, aber effiziente Deep-Learning-Architekturen implementieren - 3D U-Net und 3D U-Net mit Aufmerksamkeitsmechanismen - für eine präzise 3D-Segmentierung von röhrenförmigen Netzwerken. Eine wichtige Innovation ist unsere simulationsbasierte Datenerweiterungsstrategie, die die Modellleistung auch bei minimalen Trainingsdaten (nur ein 3D-Bild) verbessert. Unter Verwendung von benutzerdefinierten Masken erzeugt das Protokoll künstliche Mikroskopiebilder mit unterschiedlichen Signal-Rausch-Verhältnissen und simuliert realistische Bildgebungsartefakte, einschließlich ungleichmäßiger Färbung, Faltung der Punktspreizungsfunktion, axialer Intensitätsschwankungen sowie Poisson- und Gaußschem Rauschen. Das Protokoll führt die Benutzer systematisch durch die Datenerweiterung, das Modelltraining, die qualitative und quantitative Bewertung von Testsätzen und die Inferenz auf neuen Bildern. Wir validieren die Toolbox, indem wir zwei morphologisch unterschiedliche röhrenförmige Netzwerke im Lebergewebe von Mäusen analysieren - die Gallenkanäle und sinusförmigen Netzwerke -- und zeigen, dass beide Architekturen gut funktionieren, wobei das Aufmerksamkeits-U-Net das Standard-U-Net leicht übertrifft, wenn es mit erweiterten Daten trainiert wird. Unsere umfassende Toolbox, die auf lokalen Grafikprozessoren (GPUs), High-Performance-Computing-Clustern oder Cloud-Plattformen ausgeführt werden kann, trägt zur Demokratisierung der fortschrittlichen Bildanalyse für ein breites Spektrum von Forschern bei.

Introduction

Die quantitative Analyse tubulärer Strukturen in biologischen Geweben wie Blutgefäßen, neuronalen Netzwerken und Gallengängen in der Leber ist von grundlegender Bedeutung für das Verständnis physiologischer und pathologischer Prozesse, einschließlich Angiogenese, Tumormetastasierung und Organentwicklung ^1,2,3. Die dreidimensionale (3D) Fluoreszenzmikroskopie hat sich zu einem zentralen Werkzeug für die Bildgebung dieser komplexen Netzwerke entwickelt, da sie eine hohe räumliche Auflösung bietet und die Visualisierung komplexer Gewebearchitekturen in ihrem ursprünglichen Kontext ermöglicht 4,5,6,7. Die genaue Segmentierung röhrenförmiger Strukturen aus dichtem biologischem Gewebe bleibt jedoch aufgrund von bildgebenden Artefakten, Signalvariabilität und der heterogenen Morphologie, die biologischen Proben innewohnt, eine gewaltige Herausforderung. Traditionelle Segmentierungsmethoden wie Schwellenwerte, Region-Growing und modellbasierte Algorithmen erfordern oft umfangreiche manuelle Eingriffe und eine sorgfältige Parameterabstimmung, die sowohl zeitaufwändig als auch subjektiv sein können, insbesondere bei komplexem 3D-Gewebe wie Leber ^8,9,10,11,12. Diese Ansätze sind häufig nicht robust gegenüber der Variabilität, die biologischen Proben und Bildgebungsbedingungen innewohnt, was ihre Verallgemeinerbarkeit über verschiedene Datensätze und Versuchsaufbauten hinweg einschränkt. Software-Tools wie ImageJ¹³ und TiQuant⁸ wurden entwickelt, um die Gewebeanalyse und -quantifizierung zu unterstützen. Es kann jedoch sein, dass ihnen die Flexibilität oder Skalierbarkeit fehlt, die für umfassende 3D-Rekonstruktionen komplexer röhrenförmiger Netzwerke auf vollautomatische Weise erforderlich ist.

Deep Learning hat die biomedizinische Bildanalyse revolutioniert, indem es Segmentierungsaufgaben mit hoher Genauigkeit und Effizienz automatisiert^hat 14,15,16. Convolutional Neural Networks (CNNs), insbesondere Encoder-Decoder-Architekturen wie das U-Net, haben in verschiedenen biomedizinischen Bildgebungsanwendungen eine außergewöhnliche Leistung bewiesen 17,18,19. Darüber hinaus ermöglicht die Erweiterung von U-Net auf 3D-Daten (3D U-Net) eine effektive Verarbeitung volumetrischer Bilder, die Erfassung des räumlichen Kontexts in allen drei Dimensionen und die Verbesserung der Segmentierungsgenauigkeit für komplexe Strukturen²⁰. Die Integration von Aufmerksamkeitsmechanismen in diese Architekturen (Attention U-Net) verbessert die Leistung weiter, indem das Netzwerk in die Lage versetzt wird, sich auf hervorstechende Merkmale zu konzentrieren und gleichzeitig irrelevante Hintergrundgeräusche zu unterdrücken 18,21,22. Trotz ihres Potenzials stellt die Implementierung von Deep-Learning-Modellen für die 3D-Segmentierung erhebliche Herausforderungen dar. Das Training dieser Modelle erfordert in der Regel umfangreiche Programmierkenntnisse, Zugang zu leistungsstarken Rechenressourcen und großen annotierten Datensätzen, die möglicherweise nicht allen Forschern ohne weiteres zur Verfügung stehen. Das Annotieren von 3D-Bildern ist besonders arbeitsintensiv und erfordert oft die manuelle Beschriftung komplexer Strukturen über mehrere Schichten hinweg, was bei großen Datensätzen unerschwinglich sein kann. Während Datenerweiterungstechniken den Bedarf an umfangreichen Trainingsdaten verringern können, indem sie die Vielfalt der Datensätze durch Transformationen wie Drehen, Skalieren und Spiegeln künstlich erhöhen, erfassen herkömmliche Augmentationsmethoden die Variabilität und Komplexität biologischer Bilder möglicherweise nicht vollständig, insbesondere solche mit komplizierten 3D-Strukturen.

Um diese Einschränkungen zu beheben, stellen wir eine benutzerfreundliche Open-Source-Toolbox für die End-to-End-Segmentierung von röhrenförmigen Strukturen in 3D-Mikroskopiebildern vor. Diese Toolbox verwendet interaktive Jupyter-Notebooks und implementiert zwei robuste Deep-Learning-Methoden -- 3D U-Net ^17,20 und 3D U-Net mit Aufmerksamkeitsmechanismen^18,21 -- für eine genaue Segmentierung von 3D-Rohrstrukturen, ohne dass umfangreiche Programmierkenntnisse erforderlich sind. Eine wichtige Innovation unseres Protokolls ist eine simulationsbasierte Datenerweiterungsstrategie, die die Modellleistung selbst bei minimalen Trainingsdaten verbessert – mit nur einem 3D-Bild. Durch die Nutzung von vom Benutzer bereitgestellten Masken erzeugt das Protokoll künstliche Mikroskopiebilder mit unterschiedlichen Signal-Rausch-Verhältnissen und simuliert realistische Bildgebungsartefakte, einschließlich ungleichmäßiger Färbung, Faltung mit der Punktspreizungsfunktion (PSF) von konfokalen Mikroskopen, Schwankungen der axialen Intensität aufgrund von Antikörperpenetration oder -streuung und das Vorhandensein von Poisson- und Gaußschem Rauschen. Diese simulationsbasierte Erweiterung erhöht nicht nur die Menge der Trainingsdaten, sondern reichert den Datensatz auch mit realistischen Variationen an, wodurch die Generalisierbarkeit des Modells auf unsichtbare Daten verbessert wird. Das Protokoll führt die Benutzer systematisch durch die Datenerweiterung, das Modelltraining, die qualitative und quantitative Bewertung von Modellvorhersagen auf Testsätzen und die Inferenz auf neuen Bildern (Abbildung 1). Wir validieren den Nutzen unseres Werkzeugkastens, indem wir zwei morphologisch unterschiedliche röhrenförmige Netzwerke im Lebergewebe der Maus analysieren: die Gallenkanäle und die sinusförmigen Netzwerke. Diese Netzwerke weisen unterschiedliche strukturelle Eigenschaften und bildgebende Herausforderungen auf und bieten eine robuste Testumgebung für unsere Methoden.

Während sich die meisten bestehenden Studien auf die 2D-Bildanalyse konzentrieren, was das Verständnis komplexer 3D-Architekturen einschränkt, liegt unser Ansatz auf der 3D-Segmentierung, um die volle Komplexität von Gewebestrukturen zu erfassen. Durch die Integration etablierter und leistungsstarker Deep-Learning-Architekturen mit einer benutzerfreundlichen Oberfläche trägt unsere Toolbox zur Demokratisierung des Zugangs zu modernsten Bildanalysewerkzeugen bei. Unsere Pipeline kann auf lokalen GPUs, High-Performance-Computing-Clustern oder Cloud-Plattformen wie Google Colab ausgeführt werden, wodurch die fortschrittliche Bildanalyse für ein breiteres Spektrum von Forschern unabhängig von den Rechenressourcen zugänglich wird. Diese Arbeit leistet einen Beitrag zu diesem Feld, indem sie eine zugängliche und umfassende Lösung für die 3D-Segmentierung von röhrenförmigen Strukturen bereitstellt und quantitative Analysen ermöglicht, die für unser besseres Verständnis der Gewebefunktion und der Krankheitsmechanismen unerlässlich sind.

Protocol

1. Installation und Einrichtung der Toolbox

1. Herunterladen der Toolbox von GitHub
   1. Öffnen Sie einen Webbrowser, und navigieren Sie zum GitHub-Repository der Toolbox: https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation 
   2. Laden Sie es mit dem Git-Klon herunter (Option A). Stellen Sie sicher, dass Git auf dem System installiert ist. Wenn nicht, laden Sie es von https://git-scm.com/downloads herunter und installieren Sie es. Öffnen Sie ein Terminal (Unix/Linux/macOS) oder eine Eingabeaufforderung (Windows) und navigieren Sie zu dem Verzeichnis, in dem die Toolbox gespeichert werden soll. Klonen Sie das Repository, indem Sie Folgendes eingeben:
      git clone https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation.git
   3. Laden Sie es als ZIP-Datei herunter (Option B). Klicken Sie auf der GitHub-Seite auf die grüne Schaltfläche Code und wählen Sie ZIP herunterladen aus. Speichern Sie die ZIP-Datei im bevorzugten Verzeichnis und extrahieren Sie den Inhalt der ZIP-Datei.
2. Einrichten der Conda-Umgebung
   1. Installieren Sie Anaconda oder Miniconda. Falls noch nicht installiert, laden Sie Anaconda herunter von:
      https://www.anaconda.com/download oder Miniconda aus https://docs.anaconda.com/miniconda/. Befolgen Sie die Installationsanweisungen für das verwendete Betriebssystem.
   2. Öffnen Sie ein Terminal oder eine Eingabeaufforderung. Erstellen Sie eine neue Conda-Umgebung mit dem Namen img_seg_env mit Python 3.10, indem Sie Folgendes eingeben:
      conda create -n img_seg_env python=3.10
   3. Aktivieren Sie die Conda-Umgebung, indem Sie Folgendes eingeben:
      Conda Activate img_seg_env
      oder aktivieren Sie img_seg_env für Windows
3. Installieren Sie die erforderlichen Abhängigkeiten mit requirements.txt. Stellen Sie sicher, dass Sie sich im Stammverzeichnis der Toolbox befinden. Installieren Sie die erforderlichen Python-Pakete mit pip, indem Sie Folgendes eingeben:
   pip install -r requirements.txt
   HINWEIS: Dieser Befehl liest die requirements.txt Datei und installiert alle erforderlichen Pakete
   1. Vergewissern Sie sich, dass Pakete wie numpy, scipy, matplotlib, tensorflow und jupyter installiert sind. Überprüfen Sie die erfolgreiche Installation, und listen Sie die installierten Pakete auf, indem Sie Folgendes eingeben:
      pip-Liste
4. Starten von Jupyter Notebook
   1. Während Sie sich noch in der aktivierten Conda-Umgebung befinden, starten Sie Jupyter Notebook , indem Sie Folgendes eingeben:
      Jupyter Notebook
   2. Wenn JupyterLab bevorzugt wird, das eine erweiterte Schnittstelle bietet, führen Sie Folgendes aus:
      Jupyter Labor
   3. Zugriff auf die Jupyter-Schnittstelle : Warten Sie, bis sich automatisch ein Webbrowser öffnet, in dem die Jupyter-Oberfläche angezeigt wird. Wenn es sich nicht automatisch öffnet, nehmen Sie die im Terminal angegebene URL (z. B. http://localhost:8888/tree) und öffnen Sie sie manuell im Webbrowser.
   4. Navigieren Sie in der Jupyter-Benutzeroberfläche zu dem Verzeichnis, das die Jupyter-Notebooks enthält, die mit der Toolbox bereitgestellt werden (z. B. /path/to/3DMicroscopyImageSegmentation-main/).

2. Datenaufbereitung (Abbildung 1A)

1. Generierung von Bilddaten von röhrenförmigen Strukturen
2. Organisieren des Datensatzes
   1. Erstellen Sie die Verzeichnisstruktur des Datasets.
      1. Wählen Sie ein Verzeichnis, in dem das Dataset gespeichert werden soll (z. B. /path/to/your/dataset). Erstellen Sie die folgende Ordnerstruktur:
         Dataset/
         ├── training_data/
         │ ├── Bilder/
         │ │ ├── img1.tif
         │ │ ├── img2.tif
         │   │   └── ...
         │ └── Masken/
         │ ├── img1.tif
         │ ├── img2.tif
         │       └── ...
         └── test_data/
         ├── Bilder/
         │ ├── imgtest1.tif
         │ ├── imgtest2.tif
         │   └── ...
         └── Masken/
         ├── imgtest1.tif
         ├── imgtest2.tif
         └── ...
   2. Organisieren Sie die Bilder und Masken.
      1. Trainingsdaten
         1. Platzieren Sie die 3D-Mikroskopiebilder, die für das Training bestimmt sind, in dataset/training_data/images/. Stellen Sie sicher, dass die Dateinamen konsistent sind (z. B. img1.tif img2.tif).
         2. Platzieren Sie die entsprechenden kuratierten Binärmasken in dataset/training_data/masks/, und stellen Sie sicher, dass die Dateinamen mit denen im Ordner images übereinstimmen (z. B. img1.tif img2.tif).
      2. Testdaten
         1. Platzieren Sie die 3D-Mikroskopiebilder, die zum Testen bestimmt sind, in dataset/test_data/images/. Verwenden Sie konsistente Dateinamen, die sich nicht mit den Trainingsdaten überschneiden.
         2. Platzieren Sie die entsprechenden kuratierten Binärmasken in dataset/test_data/masks/. Stellen Sie sicher, dass die Dateinamen mit denen im Ordner "Testbilder" übereinstimmen.

3. Ausführen der vollständigen Pipeline (Abbildung 1B-E)

1. Öffnen Sie das Jupyter-Notebook.
   1. Aktivieren Sie die Conda-Umgebung img_seg_env, indem Sie Folgendes eingeben:
      Conda Activate img_seg_env
   2. Navigieren Sie zum Stammordner des Projekts:
      cd /pfad/zu/ImageSegmentationcode/
   3. Starten Sie die Jupyter-Schnittstelle, indem Sie jupyter lab oder jupyter notebook eingeben.
   4. Öffnen Sie im Webbrowser das Notebook mit dem Namen process_images.ipynb.
2. Einrichten der Umgebung
   1. Importieren Sie Bibliotheken und konfigurieren Sie den GPU-Zugriff.
      HINWEIS: In der ersten und zweiten Notebook-Zelle werden Bibliotheken importiert und TensorFlow ist so konfiguriert, dass die GPU mit aktivierter Speichererweiterung verwendet wird. Dadurch wird sichergestellt, dass TensorFlow nicht den gesamten GPU-Speicher auf einmal zuweist und mit mehreren Aufgaben kompatibel ist. Ändern Sie nicht den Inhalt der Zelle. Führen Sie die Zellen aus, indem Sie die Play-Taste drücken.
3. Konfigurieren von Eingabeparametern
   1. Suchen Sie die Eingabekonfigurationszelle und ändern Sie sie entsprechend dem Datensatz:
      source_dir = '/Pfad/zum/Daten/BC/'
      psf_path = '/Pfad/zum/PSF.tif'
      code_dir = '/Pfad/zum/Code/'
      out_dir = '/Pfad/zum/Ausgang/'
      out_name = 'BC'
   2. Führen Sie die Zelle 3 aus, indem Sie die Play-Taste drücken.
   3. Ändern Sie nicht den Inhalt der Zelle. Führen Sie die Zelle aus, indem Sie die Play-Taste in der Zelle 4 drücken.
4. Patch-Generierung
   1. Führen Sie die Zelle Create datasets aus , um Trainings- und Test-Patches zu generieren. Ändern Sie nicht den Inhalt in den Zellen. Führen Sie die Zellen aus, indem Sie die Play-Taste drücken.
5. Modell-Training
   1. Führen Sie die Zelle Modelle trainieren aus, um UNet3D mit drei Erweiterungseinstellungen zu trainieren: NONE, STANDARD und Simulationsbasiert.
   2. Ersetzen Sie 'UNet3D' durch 'UNet3D', 'AttentionUNet3D', um das UNet3D mit Aufmerksamkeit zu trainieren. Ändern Sie bei Bedarf die Trainingseinstellungen in config.py (siehe Schritt 3.9).
6. Generieren von Vorhersagen
   1. Führen Sie die Zelle Vorhersagen generieren aus, um Segmentierungsmasken für Testdaten zu erstellen. Ändern Sie nicht den Inhalt in diesen Zellen. Führen Sie die Zellen aus, indem Sie die Play-Taste drücken.
7. Auswertung und Plotgenerierung
   1. Führen Sie die Zelle Diagramme generieren aus, um Boxplots mit Auswertungsmetriken zu generieren.
8. Überprüfung und Interpretation der Ergebnisse
   1. Überprüfen Sie die Ausgaben in den Pfaden, die durch out_images_path und out_plots_path definiert sind.
   2. Untersuchen Sie Boxplots, in denen Modelle und Augmentationsstrategien auf Patch-Ebene und Vollbildmetriken verglichen werden.
9. Anpassung über config.py
   1. Ändern Sie die folgenden Schlüsselparameter in config.py, um die Pipeline anzupassen:
      PATCH_SIZE = (64, 64, 64)
      PATCH_STEP = 64
      LEARNING_RATE = 1e-4
      BATCH_SIZE = 1
      NUM_EPOCHS = 50
      VALIDATION_SPLIT = 0,2
      EARLY_STOPPING_PATIENCE = 10
      AVAILABLE_MODELS = ["UNet3D", "AchtungUNet3D"]
      INTENSITY_PARAMS = { "background_level": 0.1, "local_variation_scale": 5, "z_decay_rate": 0.999, "noise_std": 0.1, "poisson_scale": 1.0, "intensity_scale": 1000.0, "snr_targets": [15, 10, 5, 4, 3, 2, 1]}
10. Fehlerbehebung
    1. Reduzieren Sie bei Fehlern mit unzureichendem Arbeitsspeicher BATCH_SIZE oder PATCH_SIZE in config.py.
    2. Stellen Sie bei GPU-Problemen sicher, dass genügend Arbeitsspeicher verfügbar ist, oder reduzieren Sie die Batchgröße.
11. Abschließende Bestätigung
    1. Wenn die Pipeline abgeschlossen ist, suchen Sie nach der folgenden gedruckten Nachricht:
       Alle Berechnungen sind erfolgreich abgeschlossen
    2. Es wird dringend empfohlen, TensorFlow auf einem Linux- oder Windows-System auszuführen, das mit einer NVIDIA-GPU ausgestattet ist, die CUDA unterstützt. Wenn Sie Probleme bei der Installation von Tensorflow mit CUDA haben, befolgen Sie den offiziellen Installationsprozess: https://www.tensorflow.org/install/pip

Results

Datenerfassung
Um unsere Toolbox zu validieren, analysierten wir zwei unterschiedliche tubuläre Netzwerke in adultem Lebergewebe von Mäusen: Gallenkanäle (BC) und sinusförmige Netzwerke. Für jede Struktur wurde ein 3D-Mikroskopiebild eines einzelnen Tieres für das Training verwendet, während zwei unabhängige Bilder von verschiedenen Tieren ausschließlich für Tests verwendet wurden. Alle Leberbilder wurden mit einer isotropen Voxelauflösung von 0,3 μm/Voxel aufgenommen, um eine konsistente Probenahme über die drei räumlichen Dimensionen zu gewährleisten. Der Datensatz, der ursprünglich in Morales-Navarrete et ^al.9 veröffentlicht wurde, wurde mit Labkit²⁵ kuratiert und liefert hochwertige binäre Masken der röhrenförmigen Strukturen, die als Grundwahrheit für überwachtes Lernen verwendet werden. Für das sinusförmige Netzwerk haben wir zwei Arten von binären Masken generiert: eine, die die Röhrenränder umreißt (hohle Darstellung) und eine andere, die das gefüllte röhrenförmige Volumen erfasst, was je nach Anwendung unterschiedliche Trainingsstrategien ermöglicht.

Darüber hinaus haben wir unsere Toolbox anhand eines externen Datensatzes von Ganzhirnblutgefäßen aus dem Mus musculus von Erwachsenen evaluiert, der im Rahmen der SELMA3D 2024 Challenge zur Verfügung gestellt wurde. Dieser Datensatz besteht aus 3D-Lichtblattmikroskopiebildern, die unter Standard-Haltungsbedingungen (12 h Licht/12 h Dunkelzyklus für 3 Monate) aufgenommen wurden, und ist über BioStudies (S-BIAD1197) Bilder²⁶ verfügbar. Fünf Gehirnbilder wurden für das Training und neunzehn für Tests verwendet. Die ursprünglichen anisotropen Stacks wurden mittels linearer Interpolation in Fidschi auf isotrope Voxeldimensionen neu abgetastet, um die Kompatibilität mit unserer Analysepipeline zu gewährleisten.

Vorverarbeitung
Um die begrenzte Anzahl von Original-3D-Bildern zu bewältigen, haben wir Datenerweiterungstechniken angewendet, die realistische Bildgebungsartefakte einführten und unterschiedliche Signal-Rausch-Verhältnisse von 15 bis 1 simulierten. Dieser Ansatz war entscheidend für die Verbesserung der Generalisierbarkeit und Robustheit der Modelle.

Das Testbild wurde in nicht überlappende Patches von 64 x 64 x 64 Voxeln unterteilt, um die Modellleistung auf regionaler Ebene zu bewerten und die Robustheit in verschiedenen räumlichen Kontexten innerhalb desselben 3D-Volumens zu bewerten.

Modell-Architektur
Wir haben zwei Convolutional Neural Network-Architekturen implementiert und verglichen, die auf die 3D-Segmentierung zugeschnitten sind:

Ein standardmäßiges 3D-U-Net¹⁷, bestehend aus symmetrischen Encoder-Decoder-Blöcken mit 2×2×2 max. Pooling, Faltungsschichten mit ReLU-Aktivierungen und einer abschließenden 1 x 1 x 1-Faltung, gefolgt von einer Sigmoid-Funktion für die binäre Klassifizierung.

Ein Attention U-Net²⁷, das einen Aufmerksamkeitsmechanismus enthält, der hervorstechende Merkmale dynamisch hervorhebt und irrelevante Hintergründe unterdrückt, wodurch die Segmentierung komplexer und variabler Strukturen wie z. B. tubulärer Lebernetzwerke verbessert wird.

Trainingsprotokoll
Beide Architekturen wurden mit den Bibliotheken TensorFlow und Keras auf einem High-Performance-Computing-Cluster trainiert, der mit 32 CPU-Kernen, 128 GB RAM und zwei NVIDIA A100 SXM4 40 GB GPUs ausgestattet war. Das Attention U-Net erforderte aufgrund seiner architektonischen Komplexität mehr Trainingszeit, insbesondere bei der Verwendung der erweiterten Datensätze (siehe Tabelle 1).

Bewertungsmetriken
Die Modellleistung wurde quantitativ anhand der zurückgehaltenen Testbilder unter Verwendung von Standardsegmentierungsmetriken bewertet: Würfelkoeffizient, Schnittmenge über Union (IoU), F1-Score, Volumenähnlichkeit sowie Sensitivität und Spezifität.

Die Ergebnisse für BC, sinusförmige Strukturen und Gefäße sind in Abbildung 2, Abbildung 3, Abbildung 4 und Abbildung 5 zusammengefasst. Darüber hinaus zeigt Tabelle 2 einen Leistungsvergleich mit etablierten klassischen Methoden der tubulären Segmentierung, einschließlich Otsu und adaptivem Thresholding. Unsere Modelle, insbesondere das auf Augmented Data trainierte Attention U-Net, übertrafen diese traditionellen Methoden bei allen Metriken durchweg.

Statistische Analyse und Robustheit
Die Analyse ganzer Bilder sowie der 64 x 64 x 64 Voxel-Patches (Tabelle 3) im Testsatz ermöglichte es uns, auch die räumliche Variabilität in den Modellvorhersagen über Regionen hinweg zu quantifizieren. Alle Modelle zeigten eine hohe Genauigkeit, wobei das Attention U-Net eine durchweg höhere Leistung zeigte, insbesondere beim F1-Score und beim Würfelkoeffizienten. Qualitative Ergebnisse, die in Abbildung 2A, B, 3A, B, 4A, B, 5A, B sowie Video 1, Video 2, Video 3 und Video 4 dargestellt sind, unterstützen diese Ergebnisse und veranschaulichen eine präzise Abgrenzung der röhrenförmigen Strukturen in den meisten Bereichen der Testdaten.

Erklärung von Anomalien in Performance-Metriken
Die niedrigeren Werte der Boxplots für die Patch-Analyse (Ergänzende Abbildung S1, Ergänzende Abbildung S2, Ergänzende Abbildung S3, Ergänzende Abbildung S4 und Ergänzende Abbildung S5) weisen auf das Vorhandensein von Leistungsausreißern in einer Teilmenge von Test-Patches hin. Ebenso kann die suboptimale Segmentierung in den finalen Frames von Videos auf zwei Schlüsselfaktoren zurückgeführt werden:

Randeffekte: Die Segmentierungsleistung verschlechtert sich häufig an den Bildgrenzen, wenn Teilstrukturen unterrepräsentiert oder unvollständig erfasst sind, was zu größerer Unsicherheit und potenzieller Fehlklassifizierung führt.

Verschlechterung der Bildqualität in tieferen Z-Ebenen: Trotz der isotropen Voxelgröße führen biologische und technische Faktoren wie Signaldämpfung, Lichtstreuung und reduzierter Kontrast in z-Richtung zu einer verringerten Bildqualität am unteren Rand des Volumens. Diese Verschlechterung erschwert die genaue Grenzabgrenzung und trägt zu Inkonsistenzen bei der Segmentierung bei.

Diese Faktoren stellen inhärente Herausforderungen in der biologischen 3D-Bildgebung dar und sind besonders in Regionen von Bedeutung, die von der Bildgebungsebene entfernt sind oder mehrdeutige Strukturgrenzen aufweisen.

Zusammenfassend zeigen unsere Ergebnisse, dass Deep-Learning-basierte Segmentierungsmodelle, insbesondere das Attention U-Net, das mit erweiterten Daten trainiert wurde, eine robuste und genaue Abgrenzung komplexer röhrenförmiger Strukturen in 3D-Lebermikroskopiebildern bieten. Durch die Nutzung kuratierter Datensätze, realistischer Augmentationsstrategien und Aufmerksamkeitsmechanismen erreichten die Modelle eine überlegene Leistung im Vergleich zu klassischen Methoden wie dem Thresholding. Die regionale Evaluierung mit 64³-Voxel-Patches bestätigte die Konsistenz und Generalisierbarkeit des Ansatzes über verschiedene Bildbereiche und strukturelle Komplexitäten hinweg. Obwohl einige Einschränkungen bestehen bleiben - hauptsächlich aufgrund von Randeffekten und Bildverschlechterung in der Z-Ebene - unterstreicht unsere Studie die Wirksamkeit aufmerksamkeitsbasierter Architekturen und bietet eine validierte Open-Source-Lösung für die hochpräzise 3D-tubuläre Segmentierung in der biomedizinischen Bildgebung.

Abbildung 1: Arbeitsablauf für die 3D-Segmentierung von röhrenförmigen Strukturen in Fluoreszenzmikroskopiebildern mit U-Net- und Attention U-Net-Modellen. (A) Datenaufbereitung: Schematische 2D-Schnitte von 3D-Fluoreszenzmikroskopie-Bildern von Lebergewebe von Mäusen, die die Originalbilder und entsprechende binäre Masken zeigen. (B) Datenaugmentation: Simulationsbasierte Augmentation der aufbereiteten Daten, wodurch Bilder mit unterschiedlichen Signal-Rausch-Verhältnissen (z. B. SNR = 15 und SNR = 1) erzeugt werden. (C) Modelltraining: Patch-basiertes Training von U-Net- und Attention U-Net-Modellen unter Verwendung von Original- und erweiterten Daten. Für das Training werden Bild- und Maskenfelder in der Größe 64 x 64 x 64 generiert. (D) Modellbewertung: Quantitative Leistungsmetriken, einschließlich Recall und F1-Score, werden für jedes Modell berechnet, um die Segmentierungsgenauigkeit von Testdatensätzen zu bewerten. (E) Modellinferenz: Anwendung des trainierten Modells auf ungesehene Bilder, um vorhergesagte Segmentierungsmasken zu generieren. Abkürzung: SNR = Signal-Rausch-Verhältnis. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 2: Evaluierung von U-Net- und Attention U-Net-Modellen zur Segmentierung des Gallen-Canaliculi-Netzwerks aus 3D-Fluoreszenzmikroskopie-Bildern von Mauslebergewebe. (A) Repräsentative 2D-Schnitte (mittlerer Abschnitt) von 3D-Fluoreszenzmikroskopiebildern, die das Originalbild und die entsprechende Ground-Truth-Maske für BC in Lebergewebe der Maus zeigen. Die Bilder oben rechts zeigen eine vergrößerte Ansicht der Einschübe, die in den einzelnen Abschnitten hervorgehoben sind. (B) Vorhergesagte Segmentierungsmasken, die von U-Net, Attention U-Net und deren erweiterten Versionen generiert werden. Die obere Zeile markiert True Positives (korrekt segmentierte Strukturen), die untere zeigt False Positives (falsch identifizierte Strukturen) und False Negatives (fehlende Strukturen) für jedes Modell. (C) Quantitative Bewertungsmetriken für jedes Modell, einschließlich Genauigkeit, F1-Score, Präzision, Erinnerung, Volumenähnlichkeit und Würfelkoeffizient. Die Auswertung wurde in den aus dem 3D-Bild extrudierten Patches durchgeführt. Fehlerbalken kennzeichnen Standardabweichungen zwischen Testbildern. Maßstab: 60 μm; Eingelassener Maßstabsbalken: 30 μm. Abkürzung: BC = Gallenkanäle. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 3: Evaluierung von U-Net- und Attention-U-Net-Modellen zur Segmentierung des sinusförmigen Netzwerks aus 3D-Fluoreszenzmikroskopie-Bildern von Lebergewebe von Mäusen. (A) Repräsentative 2D-Schnitte (mittlerer Schnitt) von 3D-Fluoreszenzmikroskopiebildern, die das Originalbild und die entsprechende Ground-Truth-Maske für Sinusoide im Lebergewebe der Maus zeigen. Die Bilder oben rechts zeigen eine vergrößerte Ansicht der Einschübe, die in den einzelnen Abschnitten hervorgehoben sind. (B) Vorhergesagte Segmentierungsmasken, die von U-Net, Attention U-Net und deren erweiterten Versionen generiert werden. Die obere Zeile markiert True Positives (korrekt segmentierte Strukturen), die untere zeigt False Positives (falsch identifizierte Strukturen) und False Negatives (fehlende Strukturen) für jedes Modell. (C) Quantitative Bewertungsmetriken für jedes Modell, einschließlich Genauigkeit, F1-Score, Präzision, Erinnerung, Volumenähnlichkeit und Würfelkoeffizient. Die Auswertung wurde in den aus dem 3D-Bild extrudierten Patches durchgeführt. Fehlerbalken kennzeichnen Standardabweichungen zwischen Testbildern. Maßstab: 60 μm; Eingesetzter Maßstabsbalken: 30 μm. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 4: Auswertung von U-Net- und Attention U-Net-Modellen zur Segmentierung des sinusförmigen Netzwerks aus 3D-Fluoreszenzmikroskopie-Bildern von Mauslebergewebe, wobei die Maske als gefüllte Röhrchen betrachtet wird. (A) Repräsentative 2D-Mittelschnitte von 3D-Fluoreszenzmikroskopiebildern, die das Originalbild und die entsprechende Ground-Truth-Maske für Sinusoide in Lebergewebe der Maus zeigen. Die Bilder oben rechts zeigen eine vergrößerte Ansicht der Einschübe, die in den einzelnen Abschnitten hervorgehoben sind. (B) Vorhergesagte Segmentierungsmasken, die von U-Net, Attention U-Net und deren erweiterten Versionen generiert werden. Während in der oberen Zeile True Positives (korrekt segmentierte Strukturen) hervorgehoben werden, werden in der unteren Zeile False Positives (falsch identifizierte Strukturen) und False Negatives (fehlende Strukturen) für jedes Modell angezeigt. (C) Quantitative Bewertungsmetriken für jedes Modell, einschließlich Genauigkeit, F1-Score, Präzision, Erinnerung, Volumenähnlichkeit und Würfelkoeffizient. Die Auswertung wurde in den aus dem 3D-Bild extrudierten Patches durchgeführt. Fehlerbalken kennzeichnen Standardabweichungen zwischen Testbildern. Maßstab: 60 μm; Eingesetzter Maßstabsbalken: 30 μm. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 5: Evaluierung von U-Net- und Attention U-Net-Modellen zur Segmentierung des Gefäßnetzwerks im Gehirn von Mäusen aus 3D-Lichtblattmikroskopie-Bildern unter Verwendung von gefüllten Röhrenmasken. (A) Repräsentative 2D-Mittelschnitte, die aus 3D-Lichtblattmikroskopie-Bildern des Gehirns von Mäusen extrahiert wurden und das Originalbild und die entsprechende Ground-Truth-Maske für Blutgefäße zeigen. Vergrößerte Ansichten ausgewählter Einschübe werden in der oberen rechten Ecke jedes Bedienfelds angezeigt. Vorhergesagte Segmentierungsmasken, die von U-Net, Attention U-Net und deren erweiterten Versionen generiert wurden. In der oberen Zeile werden True Positives (korrekt segmentierte Schiffsstrukturen) hervorgehoben, während in der unteren Zeile False Positives (falsch segmentierte Regionen) und False Negatives (übersehene Schiffsstrukturen) für jedes Modell dargestellt werden. (C) Quantitative Bewertung der Modellleistung anhand von Metriken wie Genauigkeit, F1-Score, Präzision, Erinnerung, Volumenähnlichkeit und Würfelkoeffizient. Die Auswertungen wurden an 3D-Patches durchgeführt, die aus den Testvolumina extrahiert wurden. Fehlerbalken stellen Standardabweichungen über die 19 Testbilder dar. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Video 1: Z-Stack-Animation von vorhergesagten Masken für das BC-Netzwerk. Das Video zeigt eine animierte Sequenz durch den Z-Stack von vorhergesagten Segmentierungsmasken für Gallenkanäle in Lebergewebe von Mäusen, die von U-Net, Attention U-Net und ihren erweiterten Versionen generiert wurden. Jeder 2D-Abschnitt hebt True Positives (weiß), False Positives (grün) und False Negatives (magenta) für jedes Modell hervor, das sich durch den gesamten Stack zieht. Abkürzung: BC = Gallenkanäle. Bitte klicken Sie hier, um dieses Video herunterzuladen.

Video 2: Z-Stack-Animation von vorhergesagten Masken für das sinusförmige Netzwerk. Das Video zeigt eine animierte Sequenz durch den Z-Stack von vorhergesagten Segmentierungsmasken für Sinusoide in Lebergewebe von Mäusen, die von U-Net, Attention U-Net und deren erweiterten Versionen generiert wurden. Jeder 2D-Abschnitt hebt True Positives (weiß), False Positives (grün) und False Negatives (magenta) für jedes Modell hervor, das sich durch den gesamten Stack zieht. Bitte klicken Sie hier, um dieses Video herunterzuladen.

Video 3: Z-Stack-Animation von vorhergesagten Masken für das sinusförmige Netzwerk als gefüllte Röhren. Das Video zeigt eine animierte Sequenz durch den Z-Stack von vorhergesagten Segmentierungsmasken für das sinusförmige Netzwerk als gefüllte Röhren in Lebergewebe von Mäusen, generiert von U-Net, Attention U-Net und deren erweiterten Versionen. Jeder 2D-Abschnitt hebt True Positives (weiß), False Positives (grün) und False Negatives (magenta) für jedes Modell hervor, das sich durch den gesamten Stack zieht. Bitte klicken Sie hier, um dieses Video herunterzuladen.

Video 4: Z-Stack-Animation von vorhergesagten Masken für die Hirngefäße. Das Video zeigt eine animierte Sequenz durch den Z-Stapel von vorhergesagten Segmentierungsmasken für Schiffe, die von U-Net, Attention U-Net und deren erweiterten Versionen generiert wurden. Jeder 2D-Abschnitt hebt True Positives (weiß), False Positives (grün) und False Negatives (magenta) für jedes Modell hervor, das sich durch den gesamten Stack zieht. Bitte klicken Sie hier, um dieses Video herunterzuladen.

Tabelle 1: Trainingszeit für U-Net 3D- und Attention U-Net 3D-Modelle auf Gallenkanaliculi- und Sinusoid-Datensätzen mit und ohne Datenaugmentation. Trainingszeit für U-Net 3D und Attention U-Net 3D-Modelle auf Gallenkanalikuli und Sinusoid-Datensätzen mit und ohne Datenaugmentation. In der Tabelle sind die Anzahl der Patches für jedes Dataset und die entsprechende Trainingszeit in Minuten aufgeführt. Durch die Datenerweiterung wird die Anzahl der Patches von 1353 auf 10824 erhöht, was zu einer deutlichen Verlängerung der Trainingszeit führt. Das Attention U-Net-Modell benötigt durchweg mehr Trainingszeit als das U-Net-Modell, insbesondere bei erweiterten Datensätzen, da es bei der Fokussierung auf relevante Merkmale innerhalb der Daten besonders komplex ist. Abkürzung: BC = Gallenkanäle. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.

Tabelle 2: Quantitative Bewertung der U-Net 3D- und Attention U-Net 3D-Modelle über vier Datensätze unter Verwendung der Ganzbildsegmentierung. Diese Tabelle zeigt die Leistung jedes Modells sowie klassische Methoden wie Otsu und adaptives Thresholding an vier verschiedenen Datensätzen: Gallenkanäle, sinusförmige Netzwerke (hohle und gefüllte Repräsentationen) und Ganzhirngefäße, wobei ganze 3D-Bilder zur Auswertung verwendet werden. Für jede Kombination aus Modell und Datensatz wird die Anzahl der Testbilder zusammen mit Leistungsmetriken aufgelistet: Genauigkeit, Präzision, Abruf (Sensitivität), Spezifität, F1-Score, Würfelkoeffizient, IoU und Volumenähnlichkeit. Diese Metriken bieten eine umfassende Bewertung der Segmentierungsqualität sowohl in Bezug auf die voxelweise Korrektheit als auch auf die volumetrische Übereinstimmung zwischen Vorhersagen und Ground Truth. Abkürzungen: BC = Gallenkanäle; IoU = Schnittpunkt über Union. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.

Tabelle 3: Quantitative Bewertung von U-Net 3D- und Attention U-Net 3D-Modellen über vier Datensätze mit 64 x 64 x 64 Patches. Diese Tabelle fasst die Leistung von U-Net 3D- und Attention U-Net 3D-Modellen an vier Datensätzen zusammen – Gallenkanäle, sinusförmige Netzwerke (hohle und gefüllte Masken) und Gefäße des gesamten Gehirns – basierend auf der Auswertung in 3D-Bildfeldern mit einer Größe von 64×64×64 Voxeln. Für jede Kombination aus Modell und Datensatz wird die Anzahl der Test-Patches zusammen mit den wichtigsten Leistungsmetriken aufgeführt: Genauigkeit, Präzision, Abruf (Sensitivität), Spezifität, F1-Score, Würfelkoeffizient, Schnittmenge über Union und Volumenähnlichkeit. Diese Metriken auf Patch-Ebene bieten einen lokalisierten Einblick in die Modellleistung und sind besonders nützlich für die Identifizierung räumlich heterogener Segmentierungsgenauigkeit über Volumes hinweg. Abkürzungen: BC = Gallenkanäle; IoU = Schnittpunkt über Union. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.

Ergänzende Abbildung S1: Segmentierungsleistung auf Patch-Ebene von 3D-U-Net- und Attention U-Net-Modellen für die Segmentierung von Gallenkanalen. Die Grafiken veranschaulichen die quantitative Leistung der 3D-U-Net- und Attention-U-Net-Modelle auf Gallenkanaliculi-Datensätzen, die unter Verwendung von 3D-Bildfeldern mit einer Größe von 64 x 64 x 64 Voxeln ausgewertet wurden. Zu den angezeigten Metriken gehören Genauigkeit, Präzision, Recall (Sensitivität), Spezifität, F1-Score, Würfelkoeffizient, Schnittmenge über Union und Volumenähnlichkeit. Die Ergebnisse spiegeln die Variabilität zwischen den Patches wider, bieten einen lokalisierten Einblick in die Modellleistung und verdeutlichen die räumliche Heterogenität innerhalb des 3D-Lebergewebevolumens. Abkürzungen: BC = Gallenkanäle; IoU = Schnittpunkt über Union. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Abbildung S2: Segmentierungsleistung auf Patch-Ebene von 3D-U-Net- und Attention U-Net-Modellen für die sinusförmige Segmentierung. Die Grafiken veranschaulichen die quantitative Leistung der 3D-Modelle U-Net und Attention U-Net auf sinusförmigen Datensätzen, die unter Verwendung von 3D-Bildfeldern mit einer Größe von 64 x 64 x 64 Voxeln ausgewertet wurden. Zu den angezeigten Metriken gehören Genauigkeit, Präzision, Recall (Sensitivität), Spezifität, F1-Score, Würfelkoeffizient, Schnittmenge über Union und Volumenähnlichkeit. Die Ergebnisse spiegeln die Variabilität zwischen den Patches wider, bieten einen lokalisierten Einblick in die Modellleistung und verdeutlichen die räumliche Heterogenität innerhalb des 3D-Lebergewebevolumens. Abkürzung: IoU = Schnittpunkt über Union. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Abbildung S3: Segmentierungsleistung auf Patch-Ebene von 3D-U-Net- und Attention U-Net-Modellen für Sinuskurven als Segmentierung gefüllter Röhren. Die Grafiken veranschaulichen die quantitative Leistung der 3D-Modelle U-Net und Attention U-Net auf Sinuskurven als gefüllte Röhrendatensätze, die unter Verwendung von 3D-Bildfeldern mit einer Größe von 64 x 64 x 64 Voxeln ausgewertet wurden. Zu den angezeigten Metriken gehören Genauigkeit, Präzision, Recall (Sensitivität), Spezifität, F1-Score, Würfelkoeffizient, Schnittmenge über Union und Volumenähnlichkeit. Die Ergebnisse spiegeln die Variabilität zwischen den Patches wider, bieten einen lokalisierten Einblick in die Modellleistung und verdeutlichen die räumliche Heterogenität innerhalb des 3D-Lebergewebevolumens. Abkürzung: IoU = Schnittpunkt über Union. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Abbildung S4: Segmentierungsleistung auf Patch-Ebene von 3D-U-Net- und Attention-U-Net-Modellen für Hirngefäße aus Lichtblattmikroskopiebildern. Die Grafiken veranschaulichen die quantitative Leistung der 3D-Modelle U-Net und Attention U-Net an Gefäßdatensätzen des gesamten Gehirns, die unter Verwendung von 3D-Bildfeldern mit einer Größe von 64 x 64 x 64 Voxeln ausgewertet wurden. Zu den angezeigten Metriken gehören Genauigkeit, Präzision, Recall (Sensitivität), Spezifität, F1-Score, Würfelkoeffizient, Schnittmenge über Union und Volumenähnlichkeit. Die Ergebnisse spiegeln die Variabilität zwischen den Patches wider, bieten einen lokalisierten Einblick in die Modellleistung und verdeutlichen die räumliche Heterogenität innerhalb des 3D-Lebergewebevolumens. Abkürzung: IoU = Schnittpunkt über Union. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Abbildung S5: Überlagerung der Segmentierungsergebnisse mit originalen 3D-Fluoreszenzmikroskopie-Bildern von Gallenkanälen. Repräsentative Bildschnitte aus 3D-Fluoreszenzmikroskopie-Datensätzen von Gallenkanälen in der Leber von Mäusen sind mit rot überlagerten Segmentierungsmasken dargestellt. Vorhergesagte Masken aus den 3D-U-Net- und Attention-U-Net-Modellen werden mit den ursprünglichen Graustufenmikroskopiebildern überlagert, um die Segmentierungsgenauigkeit visuell zu beurteilen. Zehn Beispielbilder werden vorgestellt, um die Fähigkeit der Modelle zu veranschaulichen, verschiedene morphologische Merkmale zu erfassen und mit Signalvariabilität über verschiedene Geweberegionen hinweg umzugehen. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Discussion

Dieses Protokoll bietet einen einfachen, aber leistungsstarken und zugänglichen Ansatz für die Deep-Learning-basierte Segmentierung von röhrenförmigen Strukturen in 3D-Fluoreszenzmikroskopiebildern und schließt damit die Lücke zwischen technischer Komplexität und Benutzerfreundlichkeit in der Biobildanalyse. Durch die Integration von simulationsbasierter Datenaugmentation, interaktiven Jupyter-Notebooks und effizienten U-Net-Architekturen bieten wir ein Open-Source-Tool, das in der Lage ist, eine hochgenaue Segmentierung komplexer Gewebestrukturen wie Gallenkanäle und sinusförmiger Netzwerke durchzuführen. Diese Toolbox adressiert die wichtigsten Herausforderungen bei 3D-Segmentierungsaufgaben, insbesondere beim Umgang mit Datenknappheit und Variabilität bei den Bildgebungsbedingungen, was sie zu einer vielseitigen Ergänzung der Biobildanalyselandschaft macht.

Eine entscheidende Komponente unseres Protokolls ist die simulationsbasierte Datenerweiterung, die die Modellleistung auch bei einer begrenzten Anzahl von annotierten Bildern verbessert - eine häufige Einschränkung in biologischen Studien. Durch die Generierung erweiterter Daten, die realistische Bildgebungsartefakte nachahmen, wie z. B. Faltung der Punktspreizungsfunktion, axialer Intensitätsabfall sowie Poisson- und Gaußsches Rauschen, erstellt die Toolbox Modelle, die unter einer Reihe von Bildgebungsbedingungen robust sind. Dieser Ansatz erhöht effektiv die Datenvielfalt, verbessert die Generalisierbarkeit der Modelle und bietet einen entscheidenden Vorteil gegenüber herkömmlichen Datenerweiterungstechniken, die die in biologischen Proben vorhandene Heterogenität möglicherweise nicht vollständig erfassen. Dies ist jedoch durch die morphologischen Merkmale begrenzt, die in der ursprünglich bereitgestellten Maske intrinsisch kodiert sind. Die Abhängigkeit von vorsegmentierten Masken für die anfängliche Generierung von Trainingsdaten führt zu potenziellen Verzerrungen, wenn die Masken nicht vollständig repräsentativ für die betreffenden biologischen Strukturen sind. Daher ist noch die Frage offen, wie eine realistische Datenaugmentation im morphologischen Raum generiert werden kann, die für die Untersuchung von Geweben mit Veränderungen wie dem Fortschreiten der Krankheit potenziell wichtig sein kann.

Unser Verfahren verwendet zwei Encoder-Decoder-Modelle, 3D U-Net und Attention U-Net, die aufgrund ihrer hohen Leistung bei biomedizinischen Bildgebungsaufgaben ausgewählt wurden. Während das 3D-U-Net eine unkomplizierte und dennoch leistungsstarke Segmentierungsarchitektur bietet, verbessert das Attention U-Net die Präzision, indem es sich selektiv auf relevante Merkmale konzentriert und Rauschen unterdrückt. Beide Modelle sind in der Toolbox enthalten, so dass Benutzer basierend auf ihren spezifischen Datensatzanforderungen auswählen können. Unsere Ergebnisse zeigen, dass das Attention U-Net-Modell eine höhere Leistung bei allen Datensätzen erzielt, insbesondere bei anspruchsvollen Strukturen wie dem sinusförmigen Netzwerk, bei denen die zusätzliche Komplexität der Aufmerksamkeitsmechanismen dazu beiträgt, die Auswirkungen niedriger Signal-Rausch-Verhältnisse und struktureller Variabilität zu mildern. Nichtsdestotrotz ist es wichtig zu beachten, dass die Rechenanforderungen des Attention U-Net höher sind, was die Zugänglichkeit für Benutzer mit begrenzten GPU-Ressourcen beeinträchtigen kann. Darüber hinaus können aufgrund des Open-Source-Charakters der Pipeline bei Bedarf problemlos andere, komplexere Architekturen für zukünftige Studien hinzugefügt werden.

Unser Protokoll bietet eine benutzerfreundliche All-in-One-Pipeline, die wesentliche Schritte für die 3D-Segmentierung in einem einzigen Setup integriert. Dieses optimierte Design ist ein entscheidender Vorteil, da es den Zugriff auf fortschrittliche Segmentierungstools vereinfacht, ohne dass Fachwissen in der Programmierung oder Parameteranpassung erforderlich ist. Darüber hinaus erhöht unsere simulationsbasierte Datenerweiterungsstrategie die Robustheit des Modells, reduziert die Abhängigkeit von umfangreichen manuellen Annotationen und verbessert die Generalisierbarkeit des Modells unter verschiedenen Bildgebungsbedingungen. Im Gegensatz zu klassischen Segmentierungsmethoden, die oft auf Schwellenwerten oder regionswachsenden Algorithmen beruhen, die eine sorgfältige Feinabstimmung erfordern^28,29, erfordert unser Deep-Learning-Ansatz nur minimale manuelle Eingriffe. Dies trägt dazu bei, eine qualitativ hochwertige, reproduzierbare Segmentierung komplexer 3D-Strukturen zu demokratisieren und sie einem breiteren Spektrum von Forschern zugänglich zu machen, auch für solche ohne umfangreiche Rechenerfahrung.

Über röhrenförmige Netzwerke hinaus ermöglicht die Flexibilität des Protokolls eine einfache Anpassung an die Segmentierung anderer biologischer Strukturen. Zukünftige Verbesserungen könnten die Integration von selbstüberwachtem Lernen³⁰ oder Transferlernen³¹ umfassen, was den Bedarf an annotierten Daten weiter reduziert und gleichzeitig eine hohe Segmentierungsgenauigkeit beibehält. Diese Strategien könnten auch die Anwendbarkeit auf verschiedene Bildgebungsmodalitäten wie Multiphotonen- oder Lichtblattmikroskopie erweitern.

Trotz seiner Stärken weist das Protokoll einige Einschränkungen auf, die anerkannt werden sollten. Erstens bleibt die Größe des Datensatzes relativ klein und umfasst nur wenige annotierte Volumina pro Struktur. Während die Datenerweiterung dieses Problem teilweise abmildert, besteht immer noch das Risiko einer Überanpassung, insbesondere bei der Anwendung fein abgestimmter Modelle auf Datensätze mit unsichtbaren Schwankungen in der Probenvorbereitung oder den Bildgebungsbedingungen. Zweitens, obwohl unsere Ergebnisse auf eine gute Verallgemeinerung über verschiedene Patches und Tiere hindeuten, haben wir die Toolbox noch nicht an Datensätzen aus anderen Organen oder Mikroskopiemodalitäten getestet, die unterschiedliche Struktur- und Geräuscheigenschaften aufweisen können. Dies schränkt die unmittelbare Generalisierbarkeit unseres Ansatzes ein. Schließlich könnte unsere Evaluierungsstrategie, obwohl sie auf Patch-Ebene robust ist, von zusätzlichen Metriken für topologische Konsistenz profitieren, die für netzwerkähnliche Strukturen relevant sind. Zukünftige Arbeiten werden diese Einschränkungen beheben, indem sie den Datensatz erweitern, Domänenanpassungstechniken³² einbeziehen und die Pipeline in breiteren biologischen Kontexten evaluieren.

Zusammenfassend lässt sich sagen, dass dieses Protokoll eine zugängliche und umfassende Lösung für die hochwertige 3D-Segmentierung von röhrenförmigen Strukturen im Bioimaging darstellt. Durch die Kombination effektiver Modellarchitekturen, Datenerweiterungsstrategien und einer interaktiven, benutzerfreundlichen Oberfläche hat unsere Toolbox das Potenzial, die Reichweite und den Einfluss von Deep Learning in der Biobildanalyse zu erweitern und es Forschern weltweit zu ermöglichen, diese Techniken zu nutzen, um ein tieferes Verständnis der biologischen Struktur und Funktion zu erlangen.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Fidschi			https://imagej.net/software/fiji/downloads
GitHub-Repository			https://github.com/hernanmorales-navarrete/3DMicroscopyImage Segmentierung/Baum/Haupt
Labkit			https://imagej.net/plugins/labkit/
Zenodo Repository			10.5281/zenodo.14029574