Otwarty protokół do segmentacji struktur rurkowych opartych na uczeniu głębokim w obrazach mikroskopii fluorescencyjnej 3D

Summary

Protokół ten wprowadza otwartoźródłowy zestaw narzędzi oferujący kompletny pipeline do segmentowania struktur rurkowych w trójwymiarowych (3D) obrazach mikroskopii fluorescencyjnej. Wykorzystując głębokie uczenie z symulacyjnym uzupełnianiem danych, trenuje modele U-Net i Attention U-Net, oferuje oceny jakościowe i ilościowe oraz zawiera przyjazne dla użytkownika notatniki do treningu, wnioskowania i wizualizacji przez cały czas.

Abstract

Segmentowanie struktur rurkowych w gęstych tkankach biologicznych na podstawie obrazów mikroskopii fluorescencyjnej 3D jest kluczowe dla badania złożonych tkanek, ale pozostaje wyzwaniem ze względu na złożoność obrazów, zmienność i problemy z jakością. Przedstawiamy tutaj otwartoźródłowy, przyjazny użytkownikowi zestaw narzędzi do segmentacji struktur rurkowych w obrazach 3D, dostępny dla badaczy bez formalnego wykształcenia programistycznego. Zestaw narzędzi zawiera interaktywne notebooki Jupyter implementujące dwie proste, ale efektywne architektury głębokiego uczenia — 3D U-Net i 3D U-Net z mechanizmami uwagi — do precyzyjnej segmentacji 3D sieci rurowych. Kluczową innowacją jest nasza strategia rozszerzania danych oparta na symulacji, która zwiększa wydajność modelu nawet przy minimalnej liczbie danych treningowych (zaledwie jeden obraz 3D). Wykorzystując maski dostarczone przez użytkownika, protokół generuje obrazy mikroskopii sztucznej o różnych stosunkach sygnału do szumu i symuluje realistyczne artefakty obrazowania, w tym nierównomierne barwienie, konwolucję funkcji rozpraszania punktowego, zmiany intensywności osiowej oraz szum Poissona i Gaussa. Protokół systematycznie prowadzi użytkowników przez rozszerzanie danych, trenowanie modelu, jakościową i ilościową ocenę zestawów testowych oraz wnioskowanie na podstawie nowych obrazów. Weryfikujemy zestaw narzędzi, analizując dwie morfologicznie różne sieci rurkowe w tkance wątroby myszy – kanały żółciowe i sieci sinusoidalne – wykazując, że obie architektury działają dobrze, a U-Net w zakresie uwagi nieco przewyższa standardowy U-Net po trenowaniu na rozszerzonych danych. Nasz kompleksowy zestaw narzędzi, możliwy do wykonania na lokalnych jednostkach graficznych (GPU), klastrzach wysokowydajnych lub platformach chmurowych, przyczynia się do demokratyzacji zaawansowanej analizy obrazów dla szerokiego grona badaczy.

Introduction

Ilościowa analiza struktur rurkowych w tkankach biologicznych, takich jak naczynia krwionośne, sieci neuronalne i przewody żółciowe w wątrobie, jest podstawowa dla zrozumienia procesów fizjologicznych i patologicznych, w tym angiogenezy, przerzutów nowotworowych oraz rozwoju narządów ^1,2,3. Trójwymiarowa (3D) mikroskopia fluorescencyjna stała się kluczowym narzędziem do obrazowania tych złożonych sieci, oferując wysoką rozdzielczość przestrzenną i umożliwiając wizualizację złożonych architektur tkanek w ich natywnym kontekście 4,5,6,7. Jednak dokładne segmentowanie struktur rurkowych z gęstych tkanek biologicznych pozostaje poważnym wyzwaniem ze względu na artefakty obrazowe, zmienność sygnału oraz heterogeniczną morfologię charakterystyczną dla okazów biologicznych. Tradycyjne metody segmentacji, takie jak progowanie, rozwój regionów oraz algorytmy oparte na modelach, często wymagają rozległej ręcznej interwencji i skrupulatnego strojenia parametrów, co może być zarówno czasochłonne, jak i subiektywne, zwłaszcza w przypadku złożonych tkanek 3D, takich jak wątroba 8,9,10,11,12 . Takie podejścia często nie są odporne na zmienność wynikającą z próbek biologicznych i warunków obrazowania, co ogranicza ich uogólnialność w różnych zbiorach danych i konfiguracjach eksperymentalnych. Opracowano narzędzia programistyczne takie jak ImageJ¹³ i TiQuant⁸, które wspomagają analizę i ilościfikację tkanek; jednak mogą brakować im elastyczności lub skalowalności potrzebnej do kompleksowych rekonstrukcji 3D złożonych sieci rurowych w sposób w pełni automatyczny.

Głębokie uczenie zrewolucjonizowało analizę obrazów biomedycznych, automatyzując zadania segmentacji z wysoką dokładnością i efektywnością 14,15,16. Konwolucyjne sieci neuronowe (CNN), szczególnie architektury enkoder-dekoder, takie jak U-Net, wykazały wyjątkową wydajność w różnych aplikacjach obrazowania biomedycznego 17,18,19. Ponadto rozszerzenie U-Net na dane 3D (3D U-Net) umożliwia efektywne przetwarzanie obrazów wolumetrycznych, uchwycając kontekst przestrzenny we wszystkich trzech wymiarach oraz poprawiając dokładność segmentacji dla złożonych struktur²⁰. Wprowadzenie mechanizmów uwagi do tych architektur (Attention U-Net) dodatkowo zwiększa wydajność, umożliwiając sieci skupienie się na istotnych cechach przy jednoczesnym tłumieniu nieistotnych szumów tła 18,21,22. Pomimo potencjału, wdrożenie modeli głębokiego uczenia do segmentacji 3D stanowi poważne wyzwania. Trenowanie tych modeli zazwyczaj wymaga znacznej wiedzy programistycznej, dostępu do potężnych zasobów obliczeniowych oraz dużych adnotowanych zbiorów danych, które mogą nie być łatwo dostępne dla wszystkich badaczy. Adnotowanie obrazów 3D jest szczególnie pracochłonne, często wiąże się z ręcznym oznaczaniem złożonych struktur na wielu przekrojach, co może być trudne dla dużych zbiorów danych. Chociaż techniki augmentacji danych mogą zredukować potrzebę posiadania rozbudowanych danych treningowych poprzez sztuczne zwiększanie różnorodności zbiorów danych poprzez transformacje takie jak rotacja, skalowanie czy flipping, tradycyjne metody augmentacji mogą nie oddawać w pełni zmienności i złożoności obrazów biologicznych, zwłaszcza tych wymagających skomplikowanych struktur 3D.

Aby rozwiązać te ograniczenia, wprowadzamy otwartoźródłowy, przyjazny użytkownikowi zestaw narzędzi do segmentacji struktur rurkowych w mikroskopii 3D. Ten zestaw narzędzi wykorzystuje interaktywne notatniki Jupyter i implementuje dwie zaawansowane metody głębokiego uczenia — 3D U-Net ^17,20 oraz 3D U-Net z mechanizmami uwagi^18,21 — umożliwiając precyzyjną segmentację trójwymiarowych struktur rurkowych bez konieczności rozległej wiedzy programistycznej. Kluczową innowacją naszego protokołu jest strategia uzupełniania danych oparta na symulacji, która zwiększa wydajność modelu nawet przy minimalnej liczbie danych treningowych — zaledwie jednym obrazie 3D. Wykorzystując maski dostarczane przez użytkownika, protokół generuje obrazy mikroskopii sztucznej o różnych stosunkach sygnału do szumu oraz symuluje realistyczne artefakty obrazowania, w tym nierównomierne barwienie, splot funkcji rozpraszania punktów (PSF) mikroskopów konfokalnych, zmiany intensywności osiowej spowodowane penetracją lub rozpraszaniem przeciwciał oraz obecność szumu Poissona i Gaussa. To uzupełnienie oparte na symulacji nie tylko zwiększa ilość danych treningowych, ale także wzbogaca zbiór o realistyczne wariacje, poprawiając uogólnialność modelu na dane niewidzialne. Protokół systematycznie prowadzi użytkowników przez rozszerzanie danych, trenowanie modelu, jakościową i ilościową ocenę prognoz modeli na zestawach testowych oraz wnioskowanie na nowych obrazach (Rysunek 1). Sprawdzamy użyteczność naszego zestawu narzędzi, analizując dwie morfologicznie odrębne sieci rurkowe w tkance wątroby myszy: kanałów żółciowych oraz sieci sinusoidalnych. Te sieci stawiają różne cechy strukturalne i wyzwania obrazowania, zapewniając solidne pole testowe dla naszych metod.

Podczas gdy większość istniejących badań koncentruje się na analizie obrazów 2D, ograniczając zrozumienie złożonych architektur 3D, nasze podejście kładzie nacisk na segmentację 3D, aby uchwycić pełną złożoność struktur tkanek. Integrując dobrze ugruntowane i wydajne architektury głębokiego uczenia z przyjaznym interfejsem, nasz zestaw narzędzi przyczynia się do demokratyzacji dostępu do najnowocześniejszych narzędzi do analizy obrazów. Nasz pipeline może być realizowany na lokalnych GPU, klastrach wysokowydajnych lub platformach chmurowych, takich jak Google Colab, co umożliwia dostęp do zaawansowanej analizy obrazów dla szerszego grona badaczy, niezależnie od zasobów obliczeniowych. Prace te przyczyniają się do rozwoju tej dziedziny, oferując dostępne i kompleksowe rozwiązanie segmentacji 3D struktur rurkowych, ułatwiając analizy ilościowe niezbędne do pogłębienia naszej wiedzy o funkcji tkanek i mechanizmach chorób.

Protocol

1. Montaż i konfiguracja skrzynki narzędziowej

1. Pobieranie zestawu narzędzi z GitHuba
   1. Otwórz przeglądarkę internetową i przejdź do repozytorium GitHub w Toolbox: https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation
   2. Pobierz ją za pomocą klona Gita (opcja A). Upewnij się, że Git jest zainstalowany w systemie; Jeśli nie, pobierz ją z https://git-scm.com/downloads i zainstaluj. Otwórz terminal (Unix/Linux/macOS) lub wiersz poleceń (Windows) i przejdź do katalogu, w którym ma być przechowywany zestaw narzędzi. Sklonuj repozytorium wpisując:
      Git Clone https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation.git
   3. Pobierz plik ZIP (opcja B). Na stronie GitHub kliknij zielony przycisk Kod i wybierz Pobierz ZIP. Zapisz plik ZIP do preferowanego katalogu i rozpakuj zawartość pliku ZIP.
2. Tworzenie środowiska Conda
   1. Zainstaluj Anacondę lub Minicondę. Jeśli nie masz jeszcze zainstalowanego, pobierz Anacondę z:
      https://www.anaconda.com/download albo Miniconda z https://docs.anaconda.com/miniconda/. Postępuj zgodnie z instrukcjami instalacji używanego systemu operacyjnego.
   2. Otwórz terminal lub wiersz poleceń. Stwórz nowe środowisko Conda o nazwie img_seg_env w Pythonie 3.10, wpisując:
      conda create -n img_seg_env python=3.10
   3. Aktywuj środowisko Conda, wpisując:
      CONDA aktywuj img_seg_env
      lub aktywuj img_seg_env dla Windows
3. Zainstaluj wymagane zależności za pomocą requirements.txt. Upewnij się, że jesteś w katalogu głównym skrzynki narzędzi. Zainstaluj wymagane pakiety Pythona za pomocą , wpisując:
   instalacja -r requirements.txt
   UWAGA: To polecenie odczytuje plik requirements.txt i instaluje wszystkie niezbędne pakiety
   1. Potwierdź, że zainstalowano pakiety takie jak numpy, scipy, matplotlib, tensorflow i jupyter . Zweryfikowaj pomyślną instalację i wypisz zainstalowane pakiety, wpisując:
      Lista
4. Uruchomienie Jupyter Notebook
   1. Będąc jeszcze aktywowanym środowiskiem Conda, uruchom Jupyter Notebook , wpisując:
      Jupyter Notebook
   2. Jeśli preferowany jest JupyterLab , który oferuje ulepszony interfejs, uruchom następująco:
      Jupyter Lab
   3. Dostęp do interfejsu Jupyter : Czekaj, aż przeglądarka internetowa automatycznie się otworzy, wyświetlając interfejs Jupyter . Jeśli nie otwiera się automatycznie, weź podany adres URL (np. http://localhost:8888/tree) i otwórz go ręcznie w przeglądarce internetowej.
   4. W interfejsie Jupyter przejdź do katalogu zawierającego notatniki Jupyter dołączone do zestawu narzędzi (np. /path/to/3DMicroscopyImageSegmentation-main/).

2. Przygotowanie danych (Rysunek 1A)

1. Generowanie danych obrazowych struktur rurkowych
   1. Uzyskaj obrazy z mikroskopii 3D
      1. Pobierz publicznie dostępne obrazy 3D tkanki wątroby myszy od: https://zenodo.org/records/14029574 Zbiór danych zawiera 3D konfokalne obrazy kanałów żółciowych (BC) oraz sieci sinusoidalnych, przycięte z oryginalnych obrazów z⁹. Alternatywnie, użyj zestawu wygenerowanych obrazów.
   2. Uzyskaj 3D PSF
      1. Pobierz obraz rzeczywistej funkcji rozpraszania punktowego (PSF) z https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation/blob/main/data/raw/PSF.tif Alternatywnie, wygeneruj teoretyczny PSF za pomocą DeconvolutionLab2²³ z parametrami mikroskopu.
   3. Użyj następującej metody segmentacji do generowania masek binarnych struktur rurkowych:
      1. Segmentacja półautomatyczna z wykorzystaniem MorpholibJ na Fidżi
         1. Otwórz Fidżi. Załaduj obraz z mikroskopii.
         2. Przejdź do menu Proces | Binarny | MakeBinary, wybierz Otsu jako metodę i naciśnij OK.
         3. Otwórz wtyczkę MorpholibJ i przejdź do Wtyczki | MorpholibJ | Filtrowanie | Filtry morfologiczne (3D).
         4. Wybierz operację Zamykanie, ustaw kształt elementu na Ball (najlepiej sprawdza się w strukturach rurowych) i wybierz odpowiedni promień w wokselach. Kliknij Pokaż element , aby zwizualizować element strukturalny. Dla struktur tubowych spróbuj wartości od 3 do 8 pikseli.
            UWAGA: Większy promień może wprowadzać artefakty.
         5. Zapisz wynik jako 'image_closing.tif', klikając na File | Zapisz jako... | Tiff....
            UWAGA: Upewnij się, że każda wygenerowana maska odpowiada właściwemu oryginalnemu plikowi obrazu, z dopasowanymi nazwami plików. Przykładowe maski wstępnie obliczone można pobrać z: https://doi.org/10.5281/zenodo.14029574
   4. Ręcznie dobieraj maski.
      1. Pobierz i zainstaluj Labkit²⁴, postępując zgodnie z instrukcjami pod: https://github.com/juglab/labkit-ui. Otwórz każdą maskę wstępną i użyj narzędzi do rysowania oraz usuwania, aby ręcznie poprawić błędy segmentacji, dodając lub usuwając obszary, aby dokładnie wyznaczyć struktury rurowe. Zapisz wyselekcjonowaną maskę, zachowując tę samą nazwę pliku co oryginalny obraz.
      2. Używając Napari²⁵
         1. Otwórz wiersz poleceń i aktywuj środowisko Napari (jeśli nie jest już aktywne):
            CONDA AKTYWUJ napari_env
         2. Launch napari:
            Napari
         3. Przeciągnij i upuść zarówno obraz mikroskopowy, jak i odpowiadającą mu maskę binarną do napari.
         4. Przekonwertuj maskę binarną na warstwę etykiet, klikając prawym przyciskiem myszy na nazwę warstwy maski i wybierając Konwersję na etykiety.
         5. Ustaw szerokość konturu na 1 i rozpocznij kurację. Aby wypełnić, użyj narzędzia Pick , aby wybrać wartość maski. Aktywuj narzędzie Fill Bucket i kliknij do środka otworu.
            UWAGA: Jeśli cały obraz jest wypełniony, struktura prawdopodobnie ma szczelinę. Użyj pędzla, aby zamknąć granicę, zanim ponownie spróbujesz narzędzia Fill Bucket .
         6. Po zakończeniu kuracji zapisz poprawioną maskę, przechodząc do pliku | Zapisz wybrane warstwy | TIFF. Otwórz poprawioną maskę na Fidżi i przekonwertuj ją na format 8-bitowy, klikając na Obraz | Typ | 8-bitowy. Zapisz ostateczny obraz 8-bitowy.
2. Organizacja zbioru danych
   1. Stwórz strukturę katalogu zbioru danych.
      1. Wybierz katalog, w którym będzie przechowywany zbiór danych (np. /path/to/your/dataset). Stwórz następującą strukturę folderów:
         Dataset/
         ├── training_data/
         │ ├── obrazy/
         │ │ ├── img1.tif
         │ │ ├── img2.tif
         │   │   └── ...
         │ └── maski/
         │ ├── img1.tif
         │ ├── img2.tif
         │       └── ...
         └── test_data/
         ├── obrazy/
         │ ├── imgtest1.tif
         │ ├── imgtest2.tif
             │   └── ...
         └── maski/
         ├── imgtest1.tif
         ├── imgtest2.tif
                 └── ...
   2. Uporządkuj obrazy i maski.
      1. Dane treningowe
         1. Umieść obrazy mikroskopii 3D przeznaczone do treningu w zbiorze danych/training_data/obrazach/. Upewnij się, że nazwy plików są spójne (np. img1.tif, img2.tif).
         2. Umieść odpowiednie wyselekcjonowane maski binarne w zestawie danych/training_data/masks/, dbając o to, by nazwy plików odpowiadały tym z folderu obrazów (np. img1.tif, img2.tif).
      2. Dane testowe
         1. Umieść obrazy mikroskopii 3D przeznaczone do testowania w zbiorze danych/test_data/obrazy/. Używaj spójnych nazw plików, które nie pokrywają się z danymi treningowymi.
         2. Umieść odpowiednie wyselekcjonowane maski binarne w dataset/test_data/masks/. Upewnij się, że nazwy plików zgadzają się z tymi z folderu zdjęć testowych.

3. Uruchamianie całego potoku (Rysunek 1B-E)

1. Otwórz zeszyt Jupytera.
   1. Aktywuj środowisko Conda img_seg_env, wpisując:
      CONDA aktywuj img_seg_env
   2. Przejdź do folderu głównego projektu:
      cd /path/to/ImageSegmentationcode/
   3. Rozpocznij interfejs Jupyter, wpisując jupyter lab lub jupyter notebook.
   4. W przeglądarce otworzyć notatnik o nazwie process_images.ipynb.
2. Tworzenie środowiska
   1. Importuj biblioteki i konfiguruj dostęp do GPU.
      UWAGA: W pierwszej i drugiej komórce notebooku importowane są biblioteki, a TensorFlow skonfigurowany jest do korzystania z GPU z włączonym wzrostem pamięci. Dzięki temu TensorFlow nie alokuje całej pamięci GPU naraz i jest kompatybilny z wieloma zadaniami. Nie zmieniaj zawartości w komórce. Wykonaj komórki, naciskając przycisk odtwarzania .
3. Konfiguracja parametrów wejściowych
   1. Zlokalizuj komórkę konfiguracji wejściowej i zmodyfikuj zgodnie z zestawem danych:
      source_dir = '/ścieżka/do/danych/BC/'
      psf_path = '/ścieżka/do/PSF.tif'
      code_dir = '/ścieżka/do/kodu/'
      out_dir = '/ścieżka/do/wyjście/'
      out_name = 'BC'
   2. Wykonaj komórkę 3, naciskając przycisk odtwarzania .
   3. Nie zmieniaj zawartości w komórce. Wykonaj komórkę, naciskając przycisk odtwarzania w polu 4.
4. Generowanie patchy
   1. Wykonaj komórkę Create datasets , aby wygenerować poprawki treningowe i testowe. Nie zmieniaj treści w komórkach. Wykonaj komórki, naciskając przycisk odtwarzania .
5. Trening modelu
   1. Wykonaj komórkę Train models w celu trenowania UNet3D z trzema ustawieniami augmentacji: ŻADNYM, STANDARDOWYM oraz opartym na symulacji.
   2. Zamień 'UNet3D' na 'UNet3D', 'AttentionUNet3D', aby trenować UNet3D z uwagą. Zmodyfikuj ustawienia treningowe w config.py, jeśli to konieczne (patrz krok 3.9).
6. Generowanie prognoz
   1. Uruchom komórkę Generuj Przewidywania , aby uzyskać maski segmentacyjne na danych testowych. Nie zmieniaj treści w tych komórkach. Wykonaj komórki, naciskając przycisk odtwarzania .
7. Ocena i generowanie wykresów
   1. Wykonaj komórkę Generuj wykresy , aby wygenerować wykresy pudełkowe metryk oceny.
8. Przegląd i interpretacja wyników
   1. Sprawdź wyjścia na ścieżkach zdefiniowanych przez out_images_path i out_plots_path.
   2. Przeanalizuj wykresy pudełkowe porównujące modele i strategie augmentacji na poziomie patch i pełnym obrazem.
9. Personalizacja za pomocą config.py
   1. Zmodyfikuj następujące kluczowe parametry w config.py, aby dostosować pipeline:
      PATCH_SIZE = (64, 64, 64)
      PATCH_STEP = 64
      LEARNING_RATE = 1e-4
      BATCH_SIZE = 1
      NUM_EPOCHS = 50
      VALIDATION_SPLIT = 0,2
      EARLY_STOPPING_PATIENCE = 10
      AVAILABLE_MODELS = ["UNet3D", "AttentionUNet3D"]
      INTENSITY_PARAMS = { "background_level": 0.1, "local_variation_scale": 5, "z_decay_rate": 0.999, "noise_std": 0.1, "poisson_scale": 1.0, "intensity_scale": 1000.0, "snr_targets": [15, 10, 5, 4, 3, 2, 1]}
10. Rozwiązywanie problemów
    1. W przypadku błędów związanych z brakiem pamięci zmniejsz BATCH_SIZE lub PATCH_SIZE w config.py.
    2. W przypadku problemów z GPU upewnij się, że jest wystarczająco dużo pamięci lub zmniejsz rozmiar partii.
11. Ostateczne potwierdzenie
    1. Po zakończeniu potoku szukaj następującej wydrukowanej wiadomości:
       Wszystkie obliczenia zostały pomyślnie zakończone
    2. Gorąco zalecamy uruchamianie TensorFlow na systemie Linux lub Windows wyposażonym w kartę NVIDIA obsługującą CUDA. Jeśli masz problemy z instalacją tensorflow z CUDA, postępuj zgodnie z oficjalnym procesem instalacji: https://www.tensorflow.org/install/

Results

Pozyskiwanie danych
Aby zweryfikować nasz zestaw narzędzi, przeanalizowaliśmy dwie odrębne sieci rurkowate w tkance wątroby dorosłych myszy: kanały żółciowe (BC) oraz sieci sinusoidalne. Dla każdej struktury do treningu używano jednego obrazu mikroskopii 3D z pojedynczego zwierzęcia, natomiast dwa niezależne obrazy z różnych zwierząt wykorzystywano wyłącznie do testów. Wszystkie obrazy wątroby zostały wykonane z izotropową rozdzielczością wokselową 0,3 μm/woksel, co zapewniło spójne pobieranie próbek w trzech wymiarach przestrzennych. Zbiór danych, pierwotnie opublikowany w Morales-Navarrete i ^in.9, został opracowany przy użyciu Labkit²⁵, dostarczając wysokiej jakości binarne maski struktur rurkowych wykorzystywanych jako podstawowe podstawy nauki nadzorowanej. Dla sieci sinusoidalnej wygenerowaliśmy dwa typy masek binarnych: jedną wyznaczającą granice rurki (reprezentacja pusta), a drugą uchwycającą wypełnioną objętość rurki, umożliwiającą różne strategie treningu w zależności od zastosowania.

Dodatkowo oceniliśmy nasz zestaw narzędzi na zewnętrznym zestawie danych naczyń krwionośnych całego mózgu dorosłych Mus musculus, udostępnionym w ramach wyzwania SELMA3D 2024. Zbiór danych składa się z trójwymiarowych obrazów z mikroskopii świetlnej wykonanej w standardowych warunkach obudowy (12-godzinny cykl światła/12-godzinny ciemny cykl przez 3 miesiące) i jest dostępny za pomocą obrazów BioStudies (S-BIAD1197)²⁶. Do treningu użyto pięciu obrazów mózgu, a do testów dziewiętnaście. Oryginalne stosy anizotropowe zostały ponownie zredukowane do wymiarów izotropowych wokseli za pomocą liniowej interpolacji na Fidżi, aby zapewnić kompatybilność z naszym pipeline'em analitycznym.

Wstępnego przetwarzania
Aby sprostać ograniczonej liczbie oryginalnych obrazów 3D, zastosowaliśmy techniki augmentacji danych, które wprowadziły realistyczne artefakty obrazowania i symulowały zmienne stosunki sygnału do szumu w zakresie od 15 do 1. To podejście było kluczowe dla zwiększenia uogólnialności i odporności modeli.

Obraz testowy został podzielony na niepokrywające się fragmenty wokseli o wymiarach 64 x 64 x 64, aby ocenić wydajność modelu na poziomie regionalnym oraz oszacować odporność w różnych kontekstach przestrzennych w obrębie tej samej objętości 3D.

Architektura modelu
Zaimplementowaliśmy i porównaliśmy dwie splotowe architektury sieci neuronowych dostosowane do segmentacji 3D:

Standardowy 3D U-Net¹⁷, składający się z symetrycznych bloków enkoder-dekoder z maksymalnym poolingiem 2×2×2, warstw splotowych z aktywacjami ReLU oraz końcowej konwolucji 1 x 1 x 1, po której następuje funkcja sigmoidalna do klasyfikacji binarnej.

Attention U-Net²⁷, który zawiera mechanizm uwagi dynamicznie podkreślający wyraźne cechy i tłumiąc nieistotne tło, poprawiając segmentację złożonych i zmiennych struktur, takich jak sieci rurowodowodowe wątroby.

Protokół szkolenia
Obie architektury były trenowane na bibliotekach TensorFlow i Keras na klastrze wysokowydajnym wyposażonym w 32 rdzenie CPU, 128 GB RAM oraz dwie karty NVIDIA A100 SXM4 o pojemności 40 GB. Attention U-Net wymagał więcej czasu treningowego ze względu na złożoność architektury, zwłaszcza przy użyciu rozszerzonych zbiorów danych (patrz Tabela 1).

Metryki oceny
Wydajność modelu była ilościowo oceniana na testowych obrazach za pomocą standardowych metryk segmentacji: współczynnika kostek, przecięcia przez sumę (IoU), wyniku F1, podobieństwa objętości oraz czułości i specyficzności.

Wyniki dotyczące BC, struktur sinusoidalnych i naczyń są podsumowane na Rysunku 2, Rysunku 3, Rysunku 4 oraz Rysunku 5. Dodatkowo, Tabela 2 przedstawia porównanie wydajności z ugruntowanymi klasycznymi metodami segmentacji rurkowej, w tym Otsu i progowaniem adaptacyjnym. Nasze modele, szczególnie Attention U-Net trenowany na danych rozszerzonych, konsekwentnie przewyższały te tradycyjne metody we wszystkich metrykach.

Analiza statystyczna i odporność
Analiza całych obrazów oraz 64 x 64 x 64 pikselowe fragmenty wokselowe (Tabela 3) w zbiorze testowym pozwoliła nam również ilościowo określić zmienność przestrzenną w prognozach modelu między regionami. Wszystkie modele wykazały wysoką dokładność, przy czym Attention U-Net wykazywał konsekwentnie wyższe wyniki, szczególnie w wyniku F1 i współczynniku kości. Wyniki jakościowe, pokazane na rysunkach 2A,B, 3A,B, 4A,B, 5A,B, a także na wideo 1, wideo 2, wideo 3 i wideo 4, potwierdzają te wyniki, ilustrując precyzyjne wyznaczenie struktur rurkowych w większości obszarów danych testowych.

Wyjaśnienie anomalii w metrykach wydajności
Niższe wartości wykresów pudełkowych do analizy poprawek (Rysunek Uzupełniający S1, Rysunek Uzupełniający S2, Rysunek Uzupełniający S3, Rysunek Uzupełniający S4 oraz Rysunek Uzupełniający S5) wskazują na obecność wartości odchylających wydajności w podzbiorze poprawek testowych. Podobnie, nieoptymalną segmentację w końcowych klatkach filmów można przypisać dwóm kluczowym czynnikom:

Efekty brzegowe: Wydajność segmentacji często pogarsza się na granicach obrazu, gdzie struktury częściowe są niedostatecznie reprezentowane lub niecałkowicie uchwycone, co prowadzi do większej niepewności i potencjalnej błędnej klasyfikacji.

Pogorszenie jakości obrazu w głębszych płaszczyznach z: Pomimo izotropowego rozmiaru woksela, czynniki biologiczne i techniczne, takie jak tłumienie sygnału, rozpraszanie światła oraz zmniejszony kontrast w kierunku z, powodują obniżenie jakości obrazu na dole objętości. To degradacja utrudnia dokładne wyznaczanie granic i przyczynia się do niespójności segmentacji.

Czynniki te stanowią wrodzone wyzwania w biologicznym obrazowaniu 3D i mają szczególny wpływ na obszary oddalone od płaszczyzny obrazowania lub zawierające niejednoznaczne granice struktur.

Podsumowując, nasze wyniki pokazują, że modele segmentacji oparte na głębokim uczeniu, szczególnie Attention U-Net trenowany na rozszerzonych danych, oferują solidne i precyzyjne wyznaczanie złożonych struktur rurkowych w mikroskopii 3D. Dzięki wykorzystaniu starannie wyselekcjonowanych zbiorów danych, realistycznych strategii augmentacji oraz mechanizmów uwagi, modele osiągnęły lepsze wyniki w porównaniu z klasycznymi metodami, takimi jak progowanie. Regionalna ocena z użyciem łatek wokselowych o pojemności 64³ potwierdziła spójność i uogólnialność podejścia na różne obszary obrazu i złożoność strukturalną. Chociaż pewne ograniczenia pozostają – głównie spowodowane efektami brzegowymi i degradacją obrazu w płaszczyźnie z – nasze badanie podkreśla skuteczność architektur opartych na uwadze i dostarcza zweryfikowanego, otwartego rozwiązania dla precyzyjnej segmentacji rurkowej 3D w obrazowaniu biomedycznym.

Rysunek 1: Workflow segmentacji 3D struktur rurkowych w obrazach mikroskopii fluorescencyjnej z wykorzystaniem modeli U-Net i Attention U-Net. (A) Przygotowanie danych: Schematyczne przekroje 2D obrazów z mikroskopii fluorescencyjnej 3D tkanki wątroby myszy, pokazujące oryginalne obrazy oraz odpowiadające im maski binarne. (B) Augmentacja danych: Symulacyjne rozszerzanie przygotowanych danych, generujące obrazy o zmiennych stosunkach sygnału do szumu (np. SNR = 15 i SNR = 1). (C) Trening modelu: Trening oparty na poprawkach modeli U-Net i Attention U-Net, wykorzystujący zarówno dane oryginalne, jak i rozszerzone. Do treningu generowane są obrazy i maski łatki o rozmiarze 64 x 64 x 64. (D) Ocena modelu: Dla każdego modelu obliczane są ilościowe wskaźniki wydajności, w tym Recall i F1 Score, aby ocenić dokładność segmentacji na zestawach danych testowych. (E) Wnioskowanie modelowe: Zastosowanie wytrenowanego modelu na niewidocznych obrazach w celu generowania przewidywanych masek segmentacji. Skrót: SNR = stosunek sygnału do szumu. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 2: Ocena modeli U-Net i Attention U-Net do segmentacji sieci kanałów żółciowych na podstawie mikroskopii fluorescencyjnej 3D tkanki wątroby myszy. (A) Reprezentatywne przekroje 2D (środkowa sekcja) obrazów mikroskopii fluorescencyjnej 3D, wyświetlające oryginalny obraz oraz odpowiadającą mu maskę prawdy podstawowej dla BC w tkance wątroby myszy. Zdjęcia w prawym górnym rogu oferują powiększony widok wstawk wyróżnionych w każdej sekcji. (B) Przewidywane maski segmentacji generowane przez U-Net, Attention U-Net oraz ich rozszerzone wersje. Górny wiersz podkreśla True Positive (poprawnie segmentowane struktury), dolny pokazuje False Positives (błędnie zidentyfikowane struktury) oraz False Negative (przegapione struktury) dla każdego modelu. (C) Ilościowe metryki oceny dla każdego modelu, w tym dokładność, wynik F1, precyzja, przypomnienie, podobieństwo objętości oraz współczynnik kości. Ocena została przeprowadzona w łatkach wyciągniętych z obrazu 3D. Paski błędów oznaczają odchylenia standardowe na obrazach testowych. Pasek skali: 60 μm; Wbudowany pasek skalowy: 30 μm. Skrót: BC = bile canaliculi. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 3: Ocena modeli U-Net i Attention U-Net do segmentacji sieci sinusoidalnej na podstawie obrazów 3D mikroskopii fluorescencyjnej tkanki wątroby myszy. (A) Reprezentatywne przekroje 2D (środkowa sekcja) obrazów mikroskopii fluorescencyjnej 3D, wyświetlające oryginalny obraz oraz odpowiadającą mu maskę prawdy gruntu dla sinusoidów w tkance wątroby myszy. Zdjęcia w prawym górnym rogu oferują powiększony widok wstawk wyróżnionych w każdej sekcji. (B) Przewidywane maski segmentacji generowane przez U-Net, Attention U-Net oraz ich rozszerzone wersje. Górny wiersz podkreśla True Positive (poprawnie segmentowane struktury), dolny pokazuje False Positives (błędnie zidentyfikowane struktury) oraz False Negative (przegapione struktury) dla każdego modelu. (C) Ilościowe metryki oceny dla każdego modelu, w tym dokładność, wynik F1, precyzja, przypomnienie, podobieństwo objętości oraz współczynnik kości. Ocena została przeprowadzona w łatkach wyciągniętych z obrazu 3D. Paski błędów oznaczają odchylenia standardowe na obrazach testowych. Pasek skali: 60 μm; Wstawiony pasek skali: 30 μm. Proszę kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 4: Ocena modeli U-Net i Attention U-Net do segmentacji sieci sinusoidalnej na podstawie mikroskopii fluorescencyjnej 3D tkanki wątroby myszy, z uwzględnieniem maski jako wypełnionych rurek. (A) Reprezentatywne 2D środkowe sekcje obrazów z mikroskopii fluorescencyjnej 3D, wyświetlające oryginalny obraz oraz odpowiadającą mu maskę prawdy gruntowej dla sinusoidów w tkance wątroby myszy. Zdjęcia w prawym górnym rogu oferują powiększony widok wstawk wyróżnionych w każdej sekcji. (B) Przewidywane maski segmentacji generowane przez U-Net, Attention U-Net oraz ich rozszerzone wersje. Podczas gdy górny wiersz podkreśla True Positive (poprawnie segmentowane struktury), dolny pokazuje fałszywe pozytywy (błędnie zidentyfikowane struktury) oraz fałszywe negatywy (przegapione struktury) dla każdego modelu. (C) Ilościowe metryki oceny dla każdego modelu, w tym dokładność, wynik F1, precyzja, przypomnienie, podobieństwo objętości oraz współczynnik kości. Ocena została przeprowadzona w łatkach wyciągniętych z obrazu 3D. Paski błędów oznaczają odchylenia standardowe na obrazach testowych. Pasek skali: 60 μm; Wstawiony pasek skali: 30 μm. Proszę kliknąć tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 5: Ocena modeli U-Net i Attention U-Net do segmentacji sieci naczyniowej w mózgu myszy na podstawie obrazów mikroskopii świetlnej 3D z użyciem masek z wypełnionymi rurkami. (A) Reprezentatywne 2D przekroje środkowe wyodrębnione z 3D obrazów mózgu myszy z mikroskopii świetlnej, pokazujące oryginalny obraz oraz odpowiadającą mu maskę prawdy gruntu dla naczyń krwionośnych. Powiększone widoki wybranych wstawków są pokazane w prawym górnym rogu każdego panelu. Przewidywane maski segmentacyjne generowane przez U-Net, Attention U-Net oraz ich rozszerzone wersje. Górny wiersz podkreśla True Positive (poprawnie segmentowane struktury naczyń), natomiast dolny wiersz ilustruje fałszywie pozytywne (nieprawidłowo segmentowane regiony) oraz fałszywe negatywy (przegapione struktury naczyń) dla każdego modelu. (C) Ilościowa ocena wydajności modelu z wykorzystaniem wskaźników takich jak dokładność, wynik F1, precyzja, przypomnienie, podobieństwo objętości oraz współczynnik kości. Przeprowadzono oceny na łatkach 3D wyodrębnionych z woluminów testowych. Paski błędu reprezentują odchylenia standardowe na 19 obrazach testowych. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Film 1: Animacja przewidywanych masek w Z-Stack dla sieci BC. Film pokazuje animowaną sekwencję przez stos z przewidywanych masek segmentacyjnych kanałów żółciowych w tkance wątroby myszy, wygenerowaną przez U-Net, Attention U-Net oraz ich rozszerzone wersje. Każda sekcja 2D podkreśla True Positive (białe), Fałszywie pozytywne (zielone) oraz False Negative (magenta) dla każdego modelu, przechodząc przez cały stos. Skrót: BC = bile canaliculi. Kliknij tutaj, aby pobrać ten film.

Film 2: Animacja Z-Stack przewidywanych masek dla sieci sinusoidalnej. Film pokazuje animowaną sekwencję przez stos z przewidywanych masek segmentacyjnych dla sinusoidów w tkance wątroby myszy, generowaną przez U-Net, Attention U-Net oraz ich rozszerzone wersje. Każda sekcja 2D podkreśla True Positive (białe), Fałszywie pozytywne (zielone) oraz False Negative (magenta) dla każdego modelu, przechodząc przez cały stos. Kliknij tutaj, aby pobrać ten film.

Film 3: Animacja Z-Stack przewidywanych masek dla sieci sinusoidalnej jako wypełnionych rurek. Film pokazuje animowaną sekwencję przez stos z przewidywanych masek segmentacyjnych sieci sinusoidalnej jako wypełnione rurki w tkance wątroby myszy, generowane przez U-Net, Attention U-Net i ich rozszerzone wersje. Każda sekcja 2D podkreśla True Positive (białe), Fałszywie pozytywne (zielone) oraz False Negative (magenta) dla każdego modelu, przechodząc przez cały stos. Kliknij tutaj, aby pobrać ten film.

Film 4: Animacja Z-Stack przewidywanych masek dla naczyń mózgowych. Film pokazuje animowaną sekwencję przez stos z przewidywanych masek segmentacji dla statków, generowaną przez U-Net, Attention U-Net oraz ich rozszerzone wersje. Każda sekcja 2D podkreśla True Positive (białe), Fałszywie pozytywne (zielone) oraz False Negative (magenta) dla każdego modelu, przechodząc przez cały stos. Kliknij tutaj, aby pobrać ten film.

Tabela 1: Czas treningu dla modeli 3D U-Net 3D i Attention U-Net 3D na zbiorach danych kanałów żółciowych i sinusoidalnych z i bez augmentacji danych. Czas treningu dla modeli U-Net 3D i Attention U-Net 3D na zbiorach kanałów żółciowych i sinusoidalnych z i bez augmentacji danych. Tabela przedstawia liczbę poprawek dla każdego zbioru danych oraz odpowiadający im czas treningu w minutach. Augmentacja danych zwiększa liczbę poprawek z 1353 do 10824, co prowadzi do znacznego wydłużenia czasu treningu. Model Attention U-Net konsekwentnie wymaga więcej czasu treningowego niż model U-Net, zwłaszcza przy rozszerzonych zbiorach danych, ze względu na dodatkową złożoność skupienia się na istotnych cechach danych. Skrót: BC = bile canaliculi. Prosimy kliknąć tutaj, aby pobrać tę tabelę.

Tabela 2: Ilościowa ocena modeli U-Net 3D i Attention U-Net 3D na czterech zbiorach danych z wykorzystaniem segmentacji całego obrazu. Ta tabela przedstawia wydajność każdego modelu oraz klasycznych metod, takich jak Otsu i progowanie adaptacyjne, na czterech różnych zbiorach danych: kanałach żółciowych, sieciach sinusoidalnych (reprezentacje puste i wypełnione) oraz naczyniach całego mózgu, wykorzystując całe obrazy 3D do oceny. Dla każdej kombinacji modelu i zbioru danych podana jest liczba obrazów testowych wraz z metrykami wydajności: dokładność, precyzja, przypomnienie (czułość), specyficzność, wynik F1, współczynnik kości, IoU oraz podobieństwo objętości. Te metryki zapewniają kompleksową ocenę jakości segmentacji zarówno pod względem poprawności wokselowej, jak i zgodności wolumetrycznej między przewidywaniami a rzeczywistością terenową. Skróty: BC = bile canaliculi; IoU = Przecięcie nad Unią. Prosimy kliknąć tutaj, aby pobrać tę tabelę.

Tabela 3: Ilościowa ocena modeli U-Net 3D i Attention U-Net 3D na czterech zbiorach danych z wykorzystaniem łatek 64 x 64 x 64. Ta tabela podsumowuje wydajność modeli U-Net 3D i Attention U-Net 3D na czterech zbiorach danych – kanalikach żółciowych, sieciach sinusoidalnych (pustych i wypełnionych maskach) oraz naczyń całego mózgu – na podstawie oceny w łatkach 3D o rozmiarze 64×64×64 wokselach. Dla każdej kombinacji modelu i zbioru danych liczba patchy testowych jest podana obok kluczowych wskaźników wydajności: dokładność, precyzja, przypomnienie (wrażliwość), specyficzność, wynik F1, współczynnik kości, przecięcie przez sumę oraz podobieństwo objętości. Te metryki na poziomie patcha oferują lokalny wgląd w wydajność modelu i są szczególnie przydatne do identyfikacji przestrzennie heterogenicznej dokładności segmentacji pomiędzy woluminami. Skróty: BC = bile canaliculi; IoU = Przecięcie nad Unią. Prosimy kliknąć tutaj, aby pobrać tę tabelę.

Ilustracja uzupełniająca S1: Wydajność segmentacji na poziomie patch dla modeli 3D U-Net i Attention U-Net dla segmentacji kanałów żółciowych. Wykresy ilustrują ilościową wydajność modeli 3D U-Net i Attention U-Net na zbiorach danych kanałów żółciowych, ocenianych za pomocą fragmentów obrazów 3D o wymiarach 64 x 64 x 64 voxeli. Pokazane metryki obejmują dokładność, precyzję, przypomnienie (czułość), specyficzność, wynik F1, współczynnik kości, przecięcie przez sumę oraz podobieństwo objętości. Wyniki odzwierciedlają zmienność w zależności od fragmentów, oferując lokalizowany wgląd w wydajność modelu i podkreślając przestrzenną heterogeniczność w objętościach 3D tkanki wątroby. Skróty: BC = bile canaliculi; IoU = Przecięcie nad Unią. Proszę kliknąć tutaj, aby pobrać ten plik.

Ilustracja uzupełniająca S2: Wydajność segmentacji na poziomie patcha modeli 3D U-Net i Attention U-Net dla segmentacji sinusoidalnej. Wykresy ilustrują ilościową wydajność modeli 3D U-Net i Attention U-Net na zbiorach danych sinusoidalnych, ocenianych za pomocą fragmentów obrazów 3D o wymiarach 64 x 64 x 64 voxeli. Pokazane metryki obejmują dokładność, precyzję, przypomnienie (czułość), specyficzność, wynik F1, współczynnik kości, przecięcie przez sumę oraz podobieństwo objętości. Wyniki odzwierciedlają zmienność w zależności od fragmentów, oferując lokalizowany wgląd w wydajność modelu i podkreślając przestrzenną heterogeniczność w objętościach 3D tkanki wątroby. Skrót: IoU = Przecięcie nad Unią. Proszę kliknąć tutaj, aby pobrać ten plik.

Ilustracja uzupełniająca S3: Wydajność segmentacji na poziomie patcha modeli 3D U-Net i Attention U-Net dla segmentacji sinusoid jako wypełnionych rurek. Wykresy ilustrują ilościową wydajność modeli 3D U-Net i Attention U-Net na zbiorach danych sinusoid jako wypełnionych rurek, ocenianych za pomocą fragmentów obrazów 3D o rozmiarze 64 x 64 x 64 voxeli. Pokazane metryki obejmują dokładność, precyzję, przypomnienie (czułość), specyficzność, wynik F1, współczynnik kości, przecięcie przez sumę oraz podobieństwo objętości. Wyniki odzwierciedlają zmienność w zależności od fragmentów, oferując lokalizowany wgląd w wydajność modelu i podkreślając przestrzenną heterogeniczność w objętościach 3D tkanki wątroby. Skrót: IoU = Przecięcie nad Unią. Proszę kliknąć tutaj, aby pobrać ten plik.

Ilustracja uzupełniająca S4: Wydajność segmentacji na poziomie patcha modeli 3D U-Net i Attention U-Net dla naczyń mózgu na podstawie obrazów z mikroskopii świetlnej. Wykresy ilustrują ilościową wydajność modeli 3D U-Net i Attention U-Net na zbiorach danych o naczyniach całego mózgu, ocenianych za pomocą fragmentów obrazów 3D o wymiarach 64 x 64 x 64 x 64 woksele. Pokazane metryki obejmują dokładność, precyzję, przypomnienie (czułość), specyficzność, wynik F1, współczynnik kości, przecięcie przez sumę oraz podobieństwo objętości. Wyniki odzwierciedlają zmienność w zależności od fragmentów, oferując lokalizowany wgląd w wydajność modelu i podkreślając przestrzenną heterogeniczność w objętościach 3D tkanki wątroby. Skrót: IoU = Przecięcie nad Unią. Proszę kliknąć tutaj, aby pobrać ten plik.

Ilustracja uzupełniająca S5: Nałożenie wyników segmentacji na oryginalne obrazy z mikroskopii fluorescencyjnej 3D kanałów żółciowych. Reprezentatywne fragmenty obrazów z zestawów mikroskopii fluorescencyjnej 3D kanałów żółciowych wątroby myszy pokazane są z maskami segmentacyjnymi nałożonymi na czerwono. Przewidywane maski z modeli 3D U-Net i Attention U-Net są nakładane na oryginalne obrazy mikroskopii w skali szarości, aby wizualnie ocenić dokładność segmentacji. Przedstawiono dziesięć przykładowych obrazów, aby zilustrować zdolność modeli do uchwycenia różnorodnych cech morfologicznych oraz obsługi zmienności sygnałów w różnych obszarach tkanek. Proszę kliknąć tutaj, aby pobrać ten plik.

Discussion

Protokół ten oferuje proste, ale skuteczne i dostępne podejście do segmentacji struktur rurkowych opartych na głębokim uczeniu w mikroskopii fluorescencyjnej 3D, łącząc złożoność techniczną z użytecznością w analizie bioobrazów. Integrując symulacyjne uzupełnianie danych, interaktywne notatniki Jupyter oraz wydajne architektury U-Net, dostarczamy narzędzie otwartego oprogramowania zdolne do wysokiej dokładności segmentacji złożonych struktur tkanek, takich jak kanały żółciowe i sieci sinusoidalne. Ten zestaw narzędzi odpowiada na kluczowe wyzwania związane z zadaniami segmentacji 3D, zwłaszcza w zakresie niedoboru danych i zmienności warunków obrazowania, co czyni go wszechstronnym dodatkiem do krajobrazu bioobrazowego.

Kluczowym elementem naszego protokołu jest symulacyjne rozszerzanie danych, które poprawia wydajność modelu nawet przy ograniczonej liczbie obrazów z adnotacjami – co jest częstym ograniczeniem w badaniach biologicznych. Generując rozszerzone dane, które naśladują realistyczne artefakty obrazowania, takie jak splot funkcji rozrzutu punktowego, osiowy spadek intensywności oraz szum Poissona i Gaussa, zestaw narzędzi tworzy modele odporne w różnych warunkach obrazowania. Takie podejście skutecznie zwiększa różnorodność danych, poprawiając uogólnialność modeli i zapewniając kluczową przewagę nad tradycyjnymi technikami augmentacji danych, które mogą nie w pełni oddać heterogeniczności obecnej w próbkach biologicznych. Jednak jest to ograniczone przez cechy morfologiczne zakodowane w początkowo podanej masce. Poleganie na maskach presegmentowanych do początkowego generowania danych treningowych wprowadza potencjalne uprzedzenia, jeśli maski nie są w pełni reprezentatywne dla danych struktur biologicznych. Dlatego wciąż pozostaje otwarte pytanie, jak generować realistyczne uzupełnianie danych w przestrzeni morfologicznej, co może być potencjalnie istotne dla badania tkanek z zaburzeniami, takimi jak postęp choroby.

Nasza metoda wykorzystuje dwa modele enkodera-dekodera, 3D U-Net oraz Attention U-Net, wybrane ze względu na wysoką wydajność w zadaniach obrazowania biomedycznego. Podczas gdy 3D U-Net zapewnia prostą, lecz wydajną architekturę segmentacji, Attention U-Net poprawia precyzję, selektywnie skupiając się na istotnych cechach i tłumiąc szumy. Oba modele są zawarte w zestawie narzędzi, pozwalając użytkownikom wybierać w zależności od wymagań ich zbioru danych. Nasze wyniki pokazują, że model Attention U-Net osiąga wyższe wskaźniki wydajności w różnych zbiorach danych, szczególnie dla wymagających struktur, takich jak sieć sinusoidalna, gdzie dodatkowa złożoność mechanizmów uwagi pomaga złagodzić skutki niskich stosunków sygnału do szumu oraz zmienności strukturalnej. Niemniej jednak ważne jest, aby zauważyć, że wymagania obliczeniowe Attention U-Net są wyższe, co może wpłynąć na jego dostępność dla użytkowników z ograniczonymi zasobami GPU. Ponadto, biorąc pod uwagę otwartoźródłowy charakter pipeline'u, można łatwo dodać inne, bardziej złożone architektury do przyszłych badań, jeśli zajdzie taka potrzeba.

Nasz protokół oferuje kompleksowy, przyjazny dla użytkownika pipeline, który integruje niezbędne kroki segmentacji 3D w jednym zestawie. To uproszczone rozwiązanie jest kluczową zaletą, ponieważ upraszcza dostęp do zaawansowanych narzędzi segmentacji bez konieczności stosowania wiedzy z programowania czy regulacji parametrów. Dodatkowo, nasza strategia uzupełniania danych oparta na symulacji zwiększa odporność modelu, zmniejszając zależność od rozbudowanych ręcznych adnotacji i poprawiając uogólnialność modelu w różnych warunkach obrazowania. W przeciwieństwie do klasycznych metod segmentacji, które często opierają się na algorytmach progowania lub regionu rosnących wymagających starannego dostrojenia^28,29, nasze podejście do głębokiego uczenia wymaga minimalnej ręcznej interwencji. Przyczynia się to do demokratyzacji wysokiej jakości, powtarzalnej segmentacji złożonych struktur 3D, czyniąc ją dostępną dla szerszego grona badaczy, w tym tych bez rozległego doświadczenia obliczeniowego.

Poza sieciami rurkowymi, elastyczność protokołu umożliwia łatwą adaptację do segmentacji innych struktur biologicznych. Przyszłe ulepszenia mogą obejmować integrację samodzielnie nadzorowanego uczenia³⁰ lub transferowego³¹, co dodatkowo zmniejsza potrzebę stosowania danych adnotowanych, zachowując wysoką dokładność segmentacji. Strategie te mogą również rozszerzyć zastosowanie na różne metody obrazowania, takie jak mikroskopia wielofotonowa czy mikroskopia świetlna.

Pomimo swoich zalet, protokół ma kilka ograniczeń, które należy uwzględnić. Po pierwsze, rozmiar zbioru danych pozostaje stosunkowo niewielki, składając się z zaledwie kilku anotycznych tomów na strukturę. Chociaż augmentacja danych częściowo łagodzi ten problem, ryzyko nadmiernego dopasowania nadal występuje, szczególnie przy stosowaniu precyzyjnie dostrojonych modeli do zbiorów danych z niewidocznymi zmianami w przygotowaniu próbki lub warunkach obrazowania. Po drugie, choć nasze wyniki wskazują na dobrą uogólnienia na różne plamy i zwierzęta, nie testowaliśmy jeszcze zestawu narzędzi na zbiorach danych z innych organów lub modalnościach mikroskopii, które mogą wykazywać odrębne cechy strukturalne i hałasowe. To ogranicza natychmiastową uogólnialność naszego podejścia. Wreszcie, nasza strategia ewaluacji, choć solidna na poziomie patcha, mogłaby skorzystać z dodatkowych metryk dla spójności topologicznej, które są istotne dla struktur podobnych do sieci. Przyszłe prace zajmą się tymi ograniczeniami poprzez rozbudowę zbioru danych, zastosowanie technik adaptacji domenowej³² oraz ocenę pipeline'u w szerszych kontekstach biologicznych.

Podsumowując, protokół ten stanowi dostępne i kompleksowe rozwiązanie dla wysokiej jakości segmentacji 3D struktur rurkowych w bioobrazowaniu. Łącząc skuteczne architektury modeli, strategie augmentacji danych oraz interaktywny, przyjazny interfejs, nasz zestaw narzędzi ma potencjał rozszerzenia zasięgu i wpływu uczenia głębokiego w analizie bioobrazów, umożliwiając badaczom na całym świecie wykorzystanie tych technik w dążeniu do głębszego zrozumienia struktury i funkcji biologicznej.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Fidżi			https://imagej.net/software/fiji/downloads
Repozytorium GitHub			https://github.com/hernanmorales-navarrete/3DMicroscopyImage Segmentacja/drzewo/główny
Zestaw laboratoryjny			https://imagej.net/plugins/labkit/
Repozytorium Zenodo			10.5281/zenodo.14029574