3D Floresan Mikroskopi Görüntülerinde Boru Şeklindeki Yapıların Derin Öğrenme Tabanlı Segmentasyonu için Açık Kaynaklı Bir Protokol

Summary

Bu protokol, üç boyutlu (3D) floresan mikroskobu görüntülerinde boru şeklindeki yapıları bölümlere ayırmak için eksiksiz bir boru hattı sunan açık kaynaklı bir araç kutusu sunar. Simülasyon tabanlı veri artırma ile derin öğrenmeyi kullanarak, U-Net ve Attention U-Net modellerini eğitir, niteliksel ve niceliksel değerlendirmeler sağlar ve baştan sona eğitim, çıkarım ve görselleştirme için kullanıcı dostu not defterleri içerir.

Abstract

3D floresan mikroskobu görüntülerinden yoğun biyolojik dokulardaki boru şeklindeki yapıları bölümlere ayırmak, karmaşık dokuları incelemek için kritik öneme sahiptir, ancak görüntü karmaşıklığı, değişkenliği ve kalite sorunları nedeniyle zor olmaya devam etmektedir. Burada, resmi programlama eğitimi olmayan araştırmacıların erişebileceği, boru şeklindeki yapıların 3D görüntülerde uçtan uca segmentasyonu için açık kaynaklı, kullanıcı dostu bir araç kutusu sunuyoruz. Araç kutusu, boru şeklindeki ağların hassas 3D segmentasyonu için iki basit ama etkili derin öğrenme mimarisini (dikkat mekanizmalı 3D U-Net ve 3D U-Net) uygulayan etkileşimli Jupyter not defterlerine sahiptir. Önemli bir yenilik, minimum eğitim verisiyle (bir 3D görüntü kadar az) bile model performansını artıran simülasyon tabanlı veri artırma stratejimizdir. Kullanıcı tarafından sağlanan maskeleri kullanan protokol, değişen sinyal-gürültü oranlarına sahip yapay mikroskopi görüntüleri üretir ve düzensiz boyama, nokta yayılma fonksiyonu evrişimi, eksenel yoğunluk değişimleri ve Poisson ve Gauss gürültüsü dahil olmak üzere gerçekçi görüntüleme eserlerini simüle eder. Protokol, veri artırma, model eğitimi, test setleri üzerinde niteliksel ve niceliksel değerlendirme ve yeni görüntüler üzerinde çıkarım yapma yoluyla kullanıcılara sistematik olarak rehberlik eder. Fare karaciğer dokusundaki morfolojik olarak farklı iki tübüler ağı (safra kanalikülleri ve sinüzoidal ağlar) analiz ederek araç kutusunu doğruluyoruz ve her iki mimarinin de iyi performans gösterdiğini gösteriyoruz. Yerel Grafik İşlem Birimlerinde (GPU'lar), yüksek performanslı bilgi işlem kümelerinde veya bulut platformlarında yürütülebilen kapsamlı araç kutumuz, geniş bir araştırmacı yelpazesi için gelişmiş görüntü analizinin demokratikleşmesine katkıda bulunur.

Introduction

Karaciğerdeki kan damarları, nöronal ağlar ve safra kanalları gibi biyolojik dokulardaki tübüler yapıların kantitatif analizi, anjiyogenez, tümör metastazı ve organ gelişimi^dahil olmak üzere fizyolojik ve patolojik süreçleri anlamak için temeldir ^1,2,3. Üç boyutlu (3D) floresan mikroskobu, bu karmaşık ağları görüntülemek için çok önemli bir araç olarak ortaya çıkmış, yüksek uzamsal çözünürlük sunmuş ve karmaşık doku mimarilerinin doğal bağlamlarında görselleştirilmesini sağlamıştır 4,5,6,7. Bununla birlikte, boru şeklindeki yapıları yoğun biyolojik dokulardan doğru bir şekilde segmentlere ayırmak, görüntüleme artefaktları, sinyal değişkenliği ve biyolojik örneklerin doğasında bulunan heterojen morfoloji nedeniyle zorlu bir zorluk olmaya devam etmektedir. Eşikleme, bölge büyütme ve model tabanlı algoritmalar gibi geleneksel segmentasyon yöntemleri, özellikle karaciğer ^8,9,10,11,12 gibi karmaşık 3D dokular için hem zaman alıcı hem de öznel olabilen kapsamlı manuel müdahale ve titiz parametre ayarı gerektirir . Bu yaklaşımlar genellikle biyolojik numunelerin ve görüntüleme koşullarının doğasında bulunan değişkenliğe karşı dayanıklı değildir ve farklı veri kümeleri ve deney düzenekleri arasında genelleştirilebilirliklerini sınırlar. ImageJ¹³ ve TiQuant⁸ gibi yazılım araçları, doku analizi ve miktar tayinine yardımcı olmak için geliştirilmiştir; ancak karmaşık boru şeklindeki ağların tam otomatik bir şekilde kapsamlı 3 boyutlu yeniden yapılandırmaları için gereken esneklik veya ölçeklenebilirlikten yoksun olabilirler.

Derin öğrenme, segmentasyon görevlerini yüksek doğruluk ve verimlilikle otomatikleştirerek biyomedikal görüntü analizinde devrim yarattı 14,15,16. Evrişimli sinir ağları (CNN'ler), özellikle U-Net gibi kodlayıcı-kod çözücü mimarileri, çeşitli biyomedikal görüntüleme uygulamalarında olağanüstü performans göstermiştir 17,18,19. Ayrıca, U-Net'in 3D verilere (3D U-Net) genişletilmesi, hacimsel görüntülerin etkili bir şekilde işlenmesine, her üç boyutta da uzamsal bağlamın yakalanmasına ve karmaşık yapılar için segmentasyon doğruluğunun iyileştirilmesine olanak tanır²⁰. Dikkat mekanizmalarını bu mimarilere dahil etmek (Dikkat U-Net), alakasız arka plan gürültüsünü ^18,21,22 bastırırken ağın göze çarpan özelliklere odaklanmasını sağlayarak performansı daha da artırır. Potansiyellerine rağmen, 3D segmentasyon için derin öğrenme modellerinin uygulanması önemli zorluklar doğurmaktadır. Bu modellerin eğitimi genellikle önemli miktarda programlama uzmanlığı, güçlü hesaplama kaynaklarına erişim ve tüm araştırmacıların kolayca erişemeyeceği büyük açıklamalı veri kümeleri gerektirir. 3D görüntülere açıklama eklemek özellikle emek yoğundur ve genellikle karmaşık yapıların çok sayıda dilim boyunca manuel olarak etiketlenmesini içerir ve bu, büyük veri kümeleri için engelleyici olabilir. Veri artırma teknikleri, döndürme, ölçeklendirme ve çevirme gibi dönüşümler yoluyla veri kümesi çeşitliliğini yapay olarak artırarak kapsamlı eğitim verilerine olan ihtiyacı hafifletebilirken, geleneksel büyütme yöntemleri, özellikle karmaşık 3 boyutlu yapılar içeren biyolojik görüntülerin değişkenliğini ve karmaşıklığını tam olarak yakalayamayabilir.

Bu sınırlamaları gidermek için, 3D mikroskopi görüntülerinde boru şeklindeki yapıların uçtan uca segmentasyonu için açık kaynaklı, kullanıcı dostu bir araç kutusu sunuyoruz. Bu araç kutusu, etkileşimli Jupyter not defterleri kullanır ve kapsamlı programlama bilgisi gerektirmeden 3D boru şeklindeki yapıların doğru segmentasyonu için iki sağlam derin öğrenme yöntemi (dikkat mekanizmaları^17,20 olan 3D U-Net^18,21 ve 3D U-Net) uygular. Protokolümüzün önemli bir yeniliği, minimum eğitim verisiyle (bir 3D görüntü kadar az) bile model performansını artıran simülasyon tabanlı bir veri artırma stratejisidir. Protokol, kullanıcı tarafından sağlanan maskelerden yararlanarak, değişen sinyal-gürültü oranlarına sahip yapay mikroskopi görüntüleri üretir ve düzensiz boyama, konfokal mikroskopların nokta yayılma fonksiyonu (PSF) ile evrişim, antikor penetrasyonu veya saçılmasından kaynaklanan eksenel yoğunluk değişimleri ve Poisson ve Gauss gürültüsünün varlığı dahil olmak üzere gerçekçi görüntüleme artefaktlarını simüle eder. Bu simülasyon tabanlı büyütme, yalnızca eğitim verilerinin miktarını artırmakla kalmaz, aynı zamanda veri kümesini gerçekçi varyasyonlarla zenginleştirerek modelin görünmeyen verilere genellenebilirliğini artırır. Protokol, veri artırma, model eğitimi, test setleri üzerindeki model tahminlerinin niteliksel ve niceliksel değerlendirmesi ve yeni görüntülerden çıkarım yapma yoluyla kullanıcılara sistematik olarak rehberlik eder (Şekil 1). Fare karaciğer dokusunda morfolojik olarak farklı iki tübüler ağı analiz ederek araç kutumuzun faydasını doğruluyoruz: safra kanalikülleri ve sinüzoidal ağlar. Bu ağlar, farklı yapısal özellikler ve görüntüleme zorlukları sunarak yöntemlerimiz için sağlam bir test ortamı sağlar.

Mevcut çalışmaların çoğu, karmaşık 3D mimarilerin anlaşılmasını sınırlayan 2D görüntü analizine odaklanırken, yaklaşımımız doku yapılarının tüm karmaşıklığını yakalamak için 3D segmentasyonu vurgulamaktadır. Araç kutumuz, köklü ve güçlü derin öğrenme mimarilerini kullanıcı dostu bir arayüzle entegre ederek, en son teknolojiye sahip görüntü analiz araçlarına erişimin demokratikleşmesine katkıda bulunur. Boru hattımız yerel GPU'larda, yüksek performanslı bilgi işlem kümelerinde veya Google Colab gibi bulut platformlarında yürütülebilir ve gelişmiş görüntü analizini, hesaplama kaynaklarından bağımsız olarak daha geniş bir araştırmacı yelpazesi için erişilebilir hale getirir. Bu çalışma, boru şeklindeki yapıların 3 boyutlu segmentasyonu için erişilebilir ve kapsamlı bir çözüm sunarak, doku fonksiyonu ve hastalık mekanizmalarına ilişkin anlayışımızı ilerletmek için gerekli olan niceliksel analizleri kolaylaştırarak alana katkıda bulunmaktadır.

Protocol

1. Araç kutusunun kurulumu ve kurulumu

1. Araç kutusunu GitHub'dan indirme
   1. Bir web tarayıcısı açın ve araç kutusunun GitHub deposuna gidin: https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation 
   2. Git klonunu kullanarak indirin (seçenek A). Git'in sistemde yüklü olduğundan emin olun; Değilse, https://git-scm.com/downloads'den indirin ve kurun. Bir terminal (Unix/Linux/macOS) veya Komut İstemi (Windows) açın ve araç kutusunun saklanacağı dizine gidin. Depoyu şu şekilde kopyalayın:
      git klon https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation.git
   3. İndir ZIP dosyası (seçenek B). GitHub sayfasında yeşil Kod düğmesine tıklayın ve ZIP dosyasını indir'i seçin. ZIP dosyasını tercih edilen dizine kaydedin ve ZIP dosyasının içeriğini çıkarın.
2. Conda ortamını ayarlama
   1. Anaconda veya Miniconda'yı yükleyin. Henüz kurulu değilse, Anaconda'yı şuradan indirin:
      https://www.anaconda.com/download veya https://docs.anaconda.com/miniconda/'dan Miniconda. Kullanılan işletim sisteminin kurulum talimatlarını izleyin.
   2. Bir terminal veya Komut İstemi açın. Şunu yazarak Python 3.10 ile img_seg_env adlı yeni bir Conda ortamı oluşturun:
      conda create -n img_seg_env python=3.10
   3. Şunu yazarak Conda ortamını etkinleştirin:
      conda etkinleştirme img_seg_env
      veya Windows için img_seg_env'yi etkinleştirin
3. requirements.txt kullanarak gerekli bağımlılıkları yükleyin. Araç kutusunun kök dizininde olduğunuzdan emin olun. Gerekli Python paketlerini pip kullanarak şunu yazarak yükleyin:
   pip install -r requirements.txt
   NOT: Bu komut requirements.txt dosyasını okur ve gerekli tüm paketleri yükler
   1. numpy, scipy, matplotlib, tensorflow ve jupyter gibi paketlerin kurulu olduğunu onaylayın. Başarılı yüklemeyi doğrulayın ve şunu yazarak kurulu paketleri listeleyin:
      pip listesi
4. Jupyter Notebook'u Başlatma
   1. Hala etkinleştirilmiş Conda ortamındayken, şunu yazarak Jupyter Notebook'u başlatın:
      Jupyter Not Defteri
   2. Gelişmiş bir arayüz sunan JupyterLab tercih edilirse şunu çalıştırın:
      Jupyter Laboratuvarı
   3. Jupyter arayüzüne erişim: Jupyter arayüzünü görüntüleyen bir web tarayıcısının otomatik olarak açılmasını bekleyin. Otomatik olarak açılmazsa, terminalde sağlanan URL'yi (örneğin, http://localhost:8888/tree) alın ve web tarayıcısında manuel olarak açın.
   4. Jupyter arabiriminde, araç kutusuyla birlikte sağlanan Jupyter not defterlerini içeren dizine gidin (örneğin, /path/to/3DMicroscopyImageSegmentation-main/).

2. Veri hazırlama (Şekil 1A)

1. Boru şeklindeki yapıların görüntü verilerinin oluşturulması
   1. 3D mikroskopi görüntülerini elde edin
      1. Fare karaciğer dokusunun halka açık 3D görüntülerini şu adresten indirin: https://zenodo.org/records/14029574 Veri seti, safra kanaliküllerinin (BC) 3D konfokal görüntülerini ve^9'daki orijinal görüntülerden kırpılmış sinüzoidal ağları içerir. Alternatif olarak, oluşturulan bir dizi görüntü kullanın.
   2. 3D PSF'yi edinin
      1. https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation/blob/main/data/raw/PSF.tif'den gerçek bir nokta yayılma fonksiyonu (PSF) görüntüsü indirin Alternatif olarak, mikroskobun parametreleriyle DeconvolutionLab2²³ kullanarak teorik bir PSF oluşturun.
   3. Boru şeklindeki yapıların ikili maskelerini oluşturmak için aşağıdaki segmentasyon yöntemini kullanın:
      1. Fiji'de MorpholibJ kullanarak yarı otomatik segmentasyon
         1. Fiji'yi açın. Mikroskopi görüntüsünü yükleyin.
         2. Menüye git İşlem | İkili | MakeBinary, yöntem olarak Otsu'yu seçin ve Tamam'a basın.
         3. MorpholibJ eklentisini açın ve Eklentiler | MorfolibJ | Filtreleme | Morfolojik Filtreler (3D).
         4. Kapatma işlemini seçin, eleman şeklini Top olarak ayarlayın (boru şeklindeki yapılar için en iyi sonucu verir) ve voksellerde uygun bir yarıçap seçin. Yapılandırma öğesini görselleştirmek için Öğeyi göster'e tıklayın. Boru şeklindeki yapılar için 3 ila 8 piksel arasındaki değerleri deneyin.
            NOT: Daha büyük bir yarıçap artefaktlara neden olabilir.
         5. Dosya |image_closing.tif Farklı Kaydet... | Tıff....
            NOT: Oluşturulan her maskenin, eşleşen dosya adlarıyla doğru orijinal görüntü dosyasına karşılık geldiğinden emin olun. Örnek önceden hesaplanmış maskeler şuradan indirilebilir: https://doi.org/10.5281/zenodo.14029574
   4. Maskeleri manuel olarak düzenleyin.
      1. Labkit^24'ü şu adresteki talimatları izleyerek indirin ve kurun: https://github.com/juglab/labkit-ui. Her bir ön maskeyi açın ve boru şeklindeki yapıları doğru bir şekilde tanımlamak için bölgeler ekleyerek veya kaldırarak segmentasyon hatalarını manuel olarak düzeltmek için çizim ve silme araçlarını kullanın. Orijinal görüntüyle aynı dosya adını koruyarak seçilmiş maskeyi kaydedin.
      2. Napari^25'i kullanma
         1. Bir komut istemi açın ve Napari ortamını etkinleştirin (henüz etkin değilse):
            conda etkinleştirme napari_env
         2. Napari'yi başlatın:
            Napari
         3. Hem mikroskopi görüntüsünü hem de karşılık gelen ikili maskeyi napari'ye sürükleyip bırakın.
         4. Maske katmanı adına sağ tıklayarak ikili maskeyi bir etiket katmanına dönüştürün ve Etiketlere Dönüştür'ü seçin.
         5. Kontur genişliğini 1 olarak ayarlayın ve küratörlüğe başlayın. Delikleri doldurmak için, maske değerini seçmek üzere Çekme aracını kullanın. Doldurma Kovası aracını etkinleştirin ve deliğin içine tıklayın.
            NOT: Resmin tamamı doldurulmuşsa, yapıda büyük olasılıkla bir boşluk vardır. Doldurma Kovası aracını tekrar denemeden önce sınırı kapatmak için Boya Fırçası'nı kullanın.
         6. Kürasyon tamamlandıktan sonra, Dosya | Seçili Katmanları Kaydet | TIFF. Düzeltilen maskeyi Fiji'de açın ve Resim | Tür | 8 bit. Son 8 bitlik görüntüyü kaydedin.
2. Veri kümesini düzenleme
   1. Veri kümesi dizin yapısını oluşturun.
      1. Veri kümesinin depolanacağı dizini seçin (örneğin, /path/to/your/dataset). Aşağıdaki klasör yapısını oluşturun:
         Dataset/
         ├── training_data/
         │ ├── resimler/
         │ │ ├── img1.tif
         │ │ ├── img2.tif
         │   │   └── ...
         │ └── maskeler/
         │ ├── img1.tif
         │ ├── img2.tif
         │       └── ...
         └── test_data/
         ├── Görüntüler/
         │ ├── imgtest1.tif
         │ ├── imgtest2.tif
         │   └── ...
         └── maskeler/
         ├── imgtest1.tif
         ├── imgtest2.tif
         └── ...
   2. Görüntüleri ve maskeleri düzenleyin.
      1. Eğitim verileri
         1. Eğitim amaçlı 3B mikroskopi görüntülerini veri kümesine/training_data/görüntülere/ yerleştirin. Dosya adlarının tutarlı olduğundan emin olun (örneğin, img1.tif, img2.tif).
         2. İlgili seçilmiş ikili maskeleri dataset/training_data/masks/ içine yerleştirin ve dosya adlarının görüntüler klasöründekilerle eşleştiğinden emin olun (örneğin, img1.tif, img2.tif).
      2. Test verileri
         1. Test amaçlı 3D mikroskopi görüntülerini veri kümesine/test_data/images/ yerleştirin. Eğitim verileriyle çakışmayan tutarlı dosya adları kullanın.
         2. İlgili seçilmiş ikili maskeleri dataset/test_data/masks/ içine yerleştirin. Dosya adlarının test görüntüleri klasöründekilerle eşleştiğinden emin olun.

3. Tüm boru hattının çalıştırılması (Şekil 1B-E)

1. Jupyter not defterini açın.
   1. Şunu yazarak Conda ortamını img_seg_env etkinleştirin:
      conda etkinleştirme img_seg_env
   2. Projenin kök klasörüne gidin:
      cd /ImageSegmentationcode/ yolu/yolu
   3. Jupyter lab veya jupyter notebook yazarak Jupyter arayüzünü başlatın.
   4. Web tarayıcısında process_images.ipynb adlı not defterini açın.
2. Ortamın ayarlanması
   1. Kitaplıkları içe aktarın ve GPU erişimini yapılandırın.
      NOT: Birinci ve ikinci not defteri hücresinde kitaplıklar içe aktarılır ve TensorFlow, bellek büyümesi etkinken GPU'yu kullanacak şekilde yapılandırılır. Bu, TensorFlow'un tüm GPU belleğini aynı anda ayırmamasını ve birden fazla görevle uyumlu olmasını sağlar. Hücredeki içeriği değiştirmeyin. Oynat düğmesine basarak hücreleri çalıştırın.
3. Giriş parametrelerinin yapılandırılması
   1. Giriş yapılandırma hücresini bulun ve veri kümesine göre değiştirin:
      source_dir = '/veri/BC//yolu'
      psf_path = '/yol/PSF.tif'
      code_dir = '/kod/yolu/'
      out_dir = '/çıkış/yol/'
      out_name = 'MÖ'
   2. Oynat düğmesine basarak hücre 3'ü çalıştırın.
   3. Hücredeki içeriği değiştirmeyin. 4. hücredeki oynat düğmesine basarak hücreyi çalıştırın.
4. Yama oluşturma
   1. Eğitim ve test yamaları oluşturmak için Veri kümeleri oluştur hücresini yürütün. Hücrelerdeki içeriği değiştirmeyin. Oynat düğmesine basarak hücreleri çalıştırın.
5. Model eğitimi
   1. UNet3D'yi üç büyütme ayarıyla eğitmek için Modelleri eğit hücresini yürütün: HİÇBİRİ, STANDART ve Simülasyon tabanlı.
   2. UNet3D'yi dikkatle eğitmek için 'UNet3D' yerine 'UNet3D', 'AttentionUNet3D' yazın. Gerekirse config.py'de egzersiz ayarlarını değiştirin (bkz. adım 3.9).
6. Tahminler oluşturma
   1. Test verileri üzerinde segmentasyon maskeleri oluşturmak için Tahmin Oluştur hücresini çalıştırın. Hücrelerinizdeki içeriği değiştirmeyin. Oynat düğmesine basarak hücreleri çalıştırın.
7. Değerlendirme ve olay örgüsü oluşturma
   1. Değerlendirme metriklerinin kutu grafiklerini oluşturmak için Grafikler Oluştur hücresini yürütün.
8. Sonuçların gözden geçirilmesi ve yorumlanması
   1. out_images_path ve out_plots_path tarafından tanımlanan yollardaki çıkışları kontrol edin.
   2. Yama düzeyinde ve tam görüntü metriklerinde modelleri ve büyütme stratejilerini karşılaştıran kutu grafiklerini inceleyin.
9. config.py üzerinden özelleştirme
   1. İşlem hattını özelleştirmek için config.py olarak aşağıdaki temel parametreleri değiştirin:
      PATCH_SIZE = (64, 64, 64)
      PATCH_STEP = 64
      LEARNING_RATE = 1e-4
      BATCH_SIZE = 1
      NUM_EPOCHS = 50
      VALIDATION_SPLIT = 0.2
      EARLY_STOPPING_PATIENCE = 10
      AVAILABLE_MODELS = ["UNet3D", "DikkatUNet3D"]
      INTENSITY_PARAMS = { "background_level": 0.1, "local_variation_scale": 5, "z_decay_rate": 0.999, "noise_std": 0.1, "poisson_scale": 1.0, "intensity_scale": 1000.0, "snr_targets": [15, 10, 5, 4, 3, 2, 1]}
10. Sorun giderme
    1. Yetersiz bellek hataları için config.py BATCH_SIZE veya PATCH_SIZE azaltın.
    2. GPU sorunları için yeterli belleğin kullanılabilir olduğundan emin olun veya toplu iş boyutunu azaltın.
11. Son onay
    1. İşlem hattı tamamlandığında aşağıdaki yazdırılan iletiyi arayın:
       Tüm hesaplamalar başarıyla tamamlandı
    2. TensorFlow'u CUDA'yı destekleyen bir NVIDIA GPU ile donatılmış bir Linux veya Windows sisteminde çalıştırmanızı önemle tavsiye ederiz. Tensorflow'u CUDA ile kurarken sorun yaşıyorsanız resmi kurulum sürecini izleyin: https://www.tensorflow.org/install/pip

Results

Veri toplama
Araç kutumuzu doğrulamak için yetişkin fare karaciğer dokusunda iki farklı tübüler ağı analiz ettik: safra kanalikülleri (BC) ve sinüzoidal ağlar. Her yapı için, eğitim için tek bir hayvandan bir adet 3D mikroskopi görüntüsü kullanılırken, farklı hayvanlardan alınan iki bağımsız görüntü yalnızca test için kullanıldı. Tüm karaciğer görüntüleri, 0.3 μm/voksel izotropik voksel çözünürlüğü ile elde edildi ve üç uzaysal boyutta tutarlı örnekleme sağlandı. İlk olarak Morales-Navarrete ve ^ark.9'da yayınlanan veri seti, denetimli öğrenme için temel gerçek olarak kullanılan boru şeklindeki yapıların yüksek kaliteli ikili maskelerini sağlayan Labkit²⁵ kullanılarak küratörlüğünü yaptı. Sinüzoidal ağ için iki tür ikili maske oluşturduk: biri tüp sınırlarını özetleyen (içi boş gösterim) ve diğeri dolu boru şeklindeki hacmi yakalayarak uygulamaya bağlı olarak farklı eğitim stratejilerine olanak tanıyor.

Ek olarak, araç kutumuzu, SELMA3D 2024 mücadelesinin bir parçası olarak sağlanan, yetişkin Mus musculus'tan alınan tüm beyin kan damarlarından oluşan harici bir veri kümesi üzerinde değerlendirdik. Bu veri seti, standart barınma koşulları altında (3 ay boyunca 12 saat ışık/12 saat karanlık döngü) elde edilen 3D ışık tabakası mikroskobu görüntülerinden oluşur ve BioStudies (S-BIAD1197) görüntüleri²⁶ aracılığıyla kullanılabilir. Eğitim için beş beyin görüntüsü ve test için on dokuz beyin görüntüsü kullanıldı. Orijinal anizotropik yığınlar, analiz hattımızla uyumluluğu sağlamak için Fiji'de doğrusal enterpolasyon kullanılarak izotropik voksel boyutlarına göre yeniden örneklendi.

Ön
Sınırlı sayıda orijinal 3D görüntüyü ele almak için, gerçekçi görüntüleme artefaktları sunan ve 15 ila 1 arasında değişen sinyal-gürültü oranlarını simüle eden veri artırma teknikleri uyguladık. Bu yaklaşım, modellerin genellenebilirliğini ve sağlamlığını arttırmak için kritik öneme sahipti.

Test görüntüsü, bölgesel düzeyde model performansını değerlendirmek ve aynı 3B hacim içinde farklı uzamsal bağlamlarda sağlamlığı değerlendirmek için 64 x 64 x 64 vokselden oluşan örtüşmeyen yamalara bölündü.

Model mimarisi
3D segmentasyon için özel olarak tasarlanmış iki evrişimli sinir ağı mimarisini uyguladık ve karşılaştırdık:

2×2×2 maksimum havuzlama ile simetrik kodlayıcı-kod çözücü bloklarından, ReLU aktivasyonlarına sahip evrişimli katmanlardan ve son 1 x 1 x 1 evrişimden ve ardından ikili sınıflandırma için bir sigmoid işlevinden oluşan standart bir 3D U-Net 17.

Göze çarpan özellikleri dinamik olarak vurgulayan ve alakasız arka planı bastıran, karaciğer tübüler ağları gibi karmaşık ve değişken yapıların segmentasyonunu iyileştiren bir dikkat mekanizması içeren bir Dikkat U-Net²⁷.

Eğitim protokolü
Her iki mimari de 32 CPU çekirdeği, 128 GB RAM ve iki NVIDIA A100 SXM4 40 GB GPU ile donatılmış yüksek performanslı bir bilgi işlem kümesinde TensorFlow ve Keras kitaplıkları kullanılarak eğitildi. Attention U-Net, özellikle artırılmış veri kümelerini kullanırken mimari karmaşıklığı nedeniyle daha fazla eğitim süresi gerektirdi (bkz.

Değerlendirme metrikleri
Model performansı, standart segmentasyon metrikleri kullanılarak tutulan test görüntüleri üzerinde nicel olarak değerlendirildi: Zar katsayısı, Birleşme Üzerinden Kesişme (IoU), F1 puanı, Hacim benzerliği ve Duyarlılık ve özgüllük.

BC, sinüzoidal yapılar ve damarlar için sonuçlar Şekil 2, Şekil 3, Şekil 4 ve Şekil 5'te özetlenmiştir. Ek olarak, Tablo 2 , Otsu ve uyarlanabilir eşikleme dahil olmak üzere tübüler segmentasyon için yerleşik klasik yöntemlerle bir performans karşılaştırması sunmaktadır. Modellerimiz, özellikle de artırılmış veriler üzerinde eğitilmiş Attention U-Net, tüm ölçümlerde sürekli olarak bu geleneksel yöntemlerden daha iyi performans gösterdi.

İstatistiksel analiz ve sağlamlık
Test setindeki 64 x 64 x 64 voksel yamalarının (Tablo 3) yanı sıra tüm görüntülerin analizi, bölgeler arasındaki model tahminlerindeki uzamsal değişkenliği de ölçmemize izin verdi. Tüm modeller yüksek doğruluk gösterdi ve Attention U-Net, özellikle F1 puanı ve Zar katsayısında sürekli olarak daha yüksek performans gösterdi. Şekil 2A, B, Şekil 3A, B, Şekil 4A, B, Şekil 5A, B ve Video 1, Video 2, Video 3 ve Video 4'te gösterilen nitel sonuçlar, test verilerinin çoğu bölgesinde boru şeklindeki yapıların kesin olarak tanımlanmasını gösteren bu bulguları desteklemektedir.

Performans metriklerindeki anormalliklerin açıklaması
Yama analizi için kutu grafiklerinin daha düşük değerleri (Ek Şekil S1, Ek Şekil S2, Ek Şekil S3, Ek Şekil S4 ve Ek Şekil S5), test yamalarının bir alt kümesinde performans aykırı değerlerinin varlığını gösterir. Benzer şekilde, videoların son karelerindeki yetersiz segmentasyon iki temel faktöre bağlanabilir:

Sınır etkileri: Segmentasyon performansı genellikle kısmi yapıların yeterince temsil edilmediği veya eksik yakalandığı görüntü sınırlarında düşer, bu da daha fazla belirsizliğe ve potansiyel yanlış sınıflandırmaya yol açar.

Daha derin z düzlemlerinde görüntü kalitesinde bozulma: İzotropik voksel boyutuna rağmen, sinyal zayıflaması, ışık saçılımı ve z yönündeki kontrastın azalması gibi biyolojik ve teknik faktörler, ses seviyesinin alt kısmına doğru görüntü kalitesinin düşmesine neden olur. Bu bozulma, doğru sınır tanımlamasını zorlaştırır ve segmentasyon tutarsızlıklarına katkıda bulunur.

Bu faktörler, 3 boyutlu biyolojik görüntülemenin doğasında var olan zorluklardır ve özellikle görüntüleme düzleminden uzak veya belirsiz yapı sınırları içeren bölgelerde etkilidir.

Özetle, sonuçlarımız derin öğrenmeye dayalı segmentasyon modellerinin, özellikle de artırılmış verilerle eğitilmiş Attention U-Net'in, 3D karaciğer mikroskobu görüntülerinde karmaşık tübüler yapıların sağlam ve doğru bir şekilde tanımlanmasını sağladığını göstermektedir. Modeller, seçilmiş veri kümelerinden, gerçekçi artırma stratejilerinden ve dikkat mekanizmalarından yararlanarak, eşikleme gibi klasik yöntemlere kıyasla üstün performans elde etti. 64³ voksel yamaları kullanılarak yapılan bölgesel değerlendirme, yaklaşımın farklı görüntü bölgeleri ve yapısal karmaşıklıklar arasında tutarlılığını ve genelleştirilebilirliğini doğruladı. Esas olarak sınır etkileri ve z-düzlemi görüntü bozulması nedeniyle bazı sınırlamalar devam etse de, çalışmamız dikkat tabanlı mimarilerin etkinliğini vurgulamakta ve biyomedikal görüntülemede yüksek hassasiyetli 3D boru şeklinde segmentasyon için doğrulanmış, açık kaynaklı bir çözüm sunmaktadır.

Şekil 1: U-Net ve Attention U-Net modelleri kullanılarak floresan mikroskobu görüntülerinde boru şeklindeki yapıların 3D segmentasyonu için iş akışı. (A) Veri hazırlama: Fare karaciğer dokusunun 3D floresan mikroskobu görüntülerinin şematik 2D kesitleri, orijinal görüntüleri ve karşılık gelen ikili maskeleri gösterir. (B) Veri artırma: Hazırlanan verilerin simülasyon tabanlı olarak büyütülmesi, değişen sinyal-gürültü oranlarına sahip görüntüler üretilmesi (örneğin, SNR = 15 ve SNR = 1). (C) Model eğitimi: Hem orijinal hem de artırılmış verileri kullanarak U-Net ve Attention U-Net modellerinin yama tabanlı eğitimi. Eğitim için 64 x 64 x 64 boyutunda görüntü ve maske yamaları oluşturulur. (D) Model değerlendirmesi: Geri Çağırma ve F1 Puanı dahil olmak üzere nicel performans ölçümleri, test veri kümelerinde segmentasyon doğruluğunu değerlendirmek için her model için hesaplanır. (E) Model Çıkarımı: Tahmin edilen segmentasyon maskeleri oluşturmak için eğitilmiş modelin görünmeyen görüntülere uygulanması. Kısaltma: SNR = sinyal-gürültü oranı. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 2: Fare karaciğer dokusunun 3D floresan mikroskobu görüntülerinden Safra Kanalikülü ağının segmentasyonu için U-Net ve Dikkat U-Net modellerinin değerlendirilmesi. (A) Fare karaciğer dokusunda BC için orijinal görüntüyü ve karşılık gelen temel gerçek maskesini gösteren 3D floresan mikroskobu görüntülerinin temsili 2D bölümleri (orta bölüm). Sağ üstteki görüntüler, her bölümde vurgulanan eklerin yakınlaştırılmış bir görünümünü sağlar. (B) U-Net, Attention U-Net ve bunların artırılmış versiyonları tarafından oluşturulan tahmini segmentasyon maskeleri. Üst satır, her model için Gerçek Pozitifleri (doğru bölümlere ayrılmış yapılar) vurgular, alt satır, Yanlış Pozitifleri (yanlış tanımlanmış yapılar) ve Yanlış Negatifleri (kaçırılan yapılar) gösterir. (C) Doğruluk, F1 Puanı, Kesinlik, Geri Çağırma, Hacim Benzerliği ve Zar Katsayısı dahil olmak üzere her model için nicel değerlendirme ölçütleri. Değerlendirme, 3D görüntüden ekstrüde edilen yamalarda yapıldı. Hata çubukları, test görüntüleri arasındaki standart sapmaları gösterir. Ölçek çubuğu: 60 μm; İç ölçek çubuğu: 30 μm. Kısaltma: BC = safra kanalcıkları. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 3: Fare karaciğer dokusunun 3D floresan mikroskobu görüntülerinden sinüzoidal ağın segmentasyonu için U-Net ve Dikkat U-Net modellerinin değerlendirilmesi. (A) Fare karaciğer dokusundaki Sinüzoidler için orijinal görüntüyü ve karşılık gelen temel gerçek maskesini gösteren 3D floresan mikroskobu görüntülerinin temsili 2D bölümleri (orta bölüm). Sağ üstteki görüntüler, her bölümde vurgulanan eklerin yakınlaştırılmış bir görünümünü sağlar. (B) U-Net, Attention U-Net ve bunların artırılmış versiyonları tarafından oluşturulan tahmini segmentasyon maskeleri. Üst satır, her model için Gerçek Pozitifleri (doğru bölümlere ayrılmış yapılar) vurgular, alt satır, Yanlış Pozitifleri (yanlış tanımlanmış yapılar) ve Yanlış Negatifleri (kaçırılan yapılar) gösterir. (C) Doğruluk, F1 Puanı, Kesinlik, Geri Çağırma, Hacim Benzerliği ve Zar Katsayısı dahil olmak üzere her model için nicel değerlendirme ölçütleri. Değerlendirme, 3D görüntüden ekstrüde edilen yamalarda yapıldı. Hata çubukları, test görüntüleri arasındaki standart sapmaları gösterir. Ölçek çubuğu: 60 μm; İç ölçek çubuğu: 30 μm. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 4: Maskeyi dolu tüpler olarak kabul ederek, fare karaciğer dokusunun 3D floresan mikroskobu görüntülerinden sinüzoidal ağın segmentasyonu için U-Net ve Dikkat U-Net modellerinin değerlendirilmesi. (A) Fare karaciğer dokusundaki sinüzoidler için orijinal görüntüyü ve karşılık gelen temel gerçek maskesini gösteren 3D floresan mikroskobu görüntülerinin temsili 2D orta bölümleri. Sağ üstteki görüntüler, her bölümde vurgulanan eklerin yakınlaştırılmış bir görünümünü sağlar. (B) U-Net, Attention U-Net ve bunların artırılmış versiyonları tarafından oluşturulan tahmini segmentasyon maskeleri. Üst satırda Gerçek Pozitifler (doğru bölümlere ayrılmış yapılar) vurgulanırken, alt satırda her model için Yanlış Pozitifler (yanlış tanımlanmış yapılar) ve Yanlış Negatifler (kaçırılan yapılar) gösterilir. (C) Doğruluk, F1 Puanı, Kesinlik, Geri Çağırma, Hacim Benzerliği ve Zar Katsayısı dahil olmak üzere her model için nicel değerlendirme ölçütleri. Değerlendirme, 3D görüntüden ekstrüde edilen yamalarda yapıldı. Hata çubukları, test görüntüleri arasındaki standart sapmaları gösterir. Ölçek çubuğu: 60 μm; İç ölçek çubuğu: 30 μm. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Şekil 5: Doldurulmuş tüp maskeleri kullanılarak 3D ışık tabakası mikroskobu görüntülerinden fare beynindeki vasküler ağın segmentasyonu için U-Net ve Dikkat U-Net modellerinin değerlendirilmesi. (A) Fare beyninin 3D ışık tabakası mikroskopi görüntülerinden çıkarılan, orijinal görüntüyü ve kan damarları için karşılık gelen temel gerçek maskesini gösteren temsili 2D orta bölümler. Seçilen eklerin yakınlaştırılmış görünümleri her panelin sağ üst köşesinde gösterilir. U-Net, Attention U-Net ve bunların artırılmış sürümleri tarafından oluşturulan tahmini segmentasyon maskeleri. Üst satır, her model için Doğru Pozitifleri (doğru bölümlere ayrılmış kap yapıları) vurgularken, alt satır, her model için Yanlış Pozitifleri (yanlış bölümlenmiş bölgeler) ve Yanlış Negatifleri (kaçırılan kap yapıları) gösterir. (C) Doğruluk, F1 Puanı, Kesinlik, Geri Çağırma, Hacim Benzerliği ve Zar Katsayısı gibi metrikler kullanılarak model performansının nicel değerlendirmesi. Değerlendirmeler, test hacimlerinden çıkarılan 3D yamalar üzerinde yapıldı. Hata çubukları, 19 test görüntüsündeki standart sapmaları temsil eder. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Video 1: BC ağı için tahmin edilen maskelerin Z-Stack animasyonu. Video, U-Net, Attention U-Net ve bunların artırılmış versiyonları tarafından oluşturulan, fare karaciğer dokusunda safra kanalikülleri için tahmin edilen segmentasyon maskelerinin z-yığını aracılığıyla animasyonlu bir dizi göstermektedir. Her 2B bölüm, her model için Gerçek Pozitifleri (beyaz), Yanlış Pozitifleri (yeşil) ve Yanlış Negatifleri (macenta) vurgulayarak tüm yığın boyunca hareket eder. Kısaltma: BC = safra kanalcıkları. Bu videoyu indirmek için lütfen buraya tıklayın.

Video 2: Sinüzoidal ağ için tahmin edilen maskelerin Z-Stack animasyonu. Video, U-Net, Attention U-Net ve bunların artırılmış versiyonları tarafından oluşturulan, fare karaciğer dokusundaki Sinüzoidler için tahmin edilen segmentasyon maskelerinin z-yığını aracılığıyla animasyonlu bir dizi göstermektedir. Her 2B bölüm, her model için Gerçek Pozitifleri (beyaz), Yanlış Pozitifleri (yeşil) ve Yanlış Negatifleri (macenta) vurgulayarak tüm yığın boyunca hareket eder. Bu videoyu indirmek için lütfen buraya tıklayın.

Video 3: Dolu tüpler olarak Sinüzoidal ağ için tahmin edilen maskelerin Z-Stack animasyonu. Video, U-Net, Attention U-Net ve bunların artırılmış versiyonları tarafından oluşturulan, fare karaciğer dokusunda doldurulmuş tüpler olarak Sinüzoidal ağ için tahmin edilen segmentasyon maskelerinin z-yığını aracılığıyla animasyonlu bir dizi göstermektedir. Her 2B bölüm, her model için Gerçek Pozitifleri (beyaz), Yanlış Pozitifleri (yeşil) ve Yanlış Negatifleri (macenta) vurgulayarak tüm yığın boyunca hareket eder. Bu videoyu indirmek için lütfen buraya tıklayın.

Video 4: Beyin damarları için tahmin edilen maskelerin Z-Stack animasyonu. Video, U-Net, Attention U-Net ve bunların artırılmış versiyonları tarafından oluşturulan, gemiler için tahmin edilen segmentasyon maskelerinin z-yığını aracılığıyla animasyonlu bir dizi gösteriyor. Her 2B bölüm, her model için Gerçek Pozitifleri (beyaz), Yanlış Pozitifleri (yeşil) ve Yanlış Negatifleri (macenta) vurgulayarak tüm yığın boyunca hareket eder. Bu videoyu indirmek için lütfen buraya tıklayın.

Tablo 1: Veri artırmalı ve büyütmesiz Safra Kanalı ve Sinüzoid veri kümeleri üzerinde U-Net 3D ve Dikkat U-Net 3D Modelleri için eğitim süresi. U-Net 3D ve Attention için eğitim süresi Veri artırmalı ve büyütmesiz safra kanalikülleri ve sinüzoid veri kümeleri üzerinde U-Net 3D modelleri. Tabloda, her veri kümesi için düzeltme eki sayısı ve dakika cinsinden karşılık gelen eğitim süresi listelenir. Veri artırma, yama sayısını 1353'ten 10824'e çıkararak eğitim süresinde önemli bir artışa yol açar. Attention U-Net modeli, verilerdeki ilgili özelliklere odaklanmadaki ek karmaşıklığı nedeniyle, özellikle artırılmış veri kümelerinde sürekli olarak U-Net modelinden daha fazla eğitim süresi gerektirir. Kısaltma: BC = safra kanalcıkları. Bu Tabloyu indirmek için lütfen buraya tıklayın.

Tablo 2: Tüm görüntü segmentasyonu kullanılarak dört veri kümesinde U-Net 3D ve Attention U-Net 3D modellerinin nicel değerlendirmesi. Bu tablo, değerlendirme için tüm 3D görüntüleri kullanarak dört farklı veri kümesi üzerinde her modelin yanı sıra Otsu ve uyarlanabilir eşikleme gibi klasik yöntemlerin performansını rapor eder: safra kanalikülleri, sinüzoidal ağlar (içi boş ve dolu temsiller) ve tüm beyin damar sistemi. Model ve veri kümesinin her birleşimi için, performans ölçümleriyle birlikte test görüntülerinin sayısı listelenir: Doğruluk, Kesinlik, Geri Çağırma (Duyarlılık), Özgüllük, F1 Puanı, Zar Katsayısı, IoU ve Hacim Benzerliği. Bu ölçümler, hem voksel açısından doğruluk hem de tahminler ile temel gerçek arasındaki hacimsel uyum açısından segmentasyon kalitesinin kapsamlı bir değerlendirmesini sağlar. Kısaltmalar: BC = safra kanalcıkları; IoU = Birlik Üzerindeki Kesişim. Bu Tabloyu indirmek için lütfen buraya tıklayın.

Tablo 3: U-Net 3D ve Attention U-Net 3D modellerinin 64 x 64 x 64 yama kullanılarak dört veri kümesinde nicel değerlendirmesi. Bu tablo, U-Net 3D ve Attention U-Net 3D modellerinin dört veri kümesi (safra kanalcıkları, sinüzoidal ağlar (içi boş ve dolu maskeler) ve tüm beyin damar sistemi üzerindeki performansını 64×64×64 voksel boyutundaki 3D görüntü yamalarında değerlendirmeye dayalı olarak özetlemektedir. Her model-veri kümesi kombinasyonu için, test yamalarının sayısı temel performans ölçümlerinin yanında listelenir: Doğruluk, Kesinlik, Geri Çağırma (Duyarlılık), Özgüllük, F1 Puanı, Zar Katsayısı, Birleşme Üzerinden Kesişme ve Hacim Benzerliği. Bu yama düzeyindeki ölçümler, model performansına ilişkin yerelleştirilmiş bilgiler sunar ve özellikle birimler arasında mekansal olarak heterojen segmentasyon doğruluğunu belirlemek için kullanışlıdır. Kısaltmalar: BC = safra kanalcıkları; IoU = Birlik Üzerindeki Kesişim. Bu Tabloyu indirmek için lütfen buraya tıklayın.

Ek Şekil S1: Safra kanalikül segmentasyonu için 3D U-Net ve Attention U-Net modellerinin yama düzeyinde segmentasyon performansı. Grafikler, 64 x 64 x 64 voksel boyutunda 3B görüntü yamaları kullanılarak değerlendirilen safra kanalikülü veri kümeleri üzerindeki 3B U-Net ve Dikkat U-Net modellerinin nicel performansını göstermektedir. Gösterilen metrikler arasında Doğruluk, Kesinlik, Geri Çağırma (Duyarlılık), Özgüllük, F1 Puanı, Zar Katsayısı, Birleşme Üzerinden Kesişme ve Hacim Benzerliği yer alır. Sonuçlar, yamalar arasındaki değişkenliği yansıtarak model performansına ilişkin yerelleştirilmiş bilgiler sunar ve 3 boyutlu karaciğer dokusu hacimlerindeki mekansal heterojenliği vurgular. Kısaltmalar: BC = safra kanalcıkları; IoU = Birlik Üzerindeki Kesişim. Bu Dosyayı indirmek için lütfen buraya tıklayın.

Ek Şekil S2: Sinüzoid segmentasyon için 3D U-Net ve Attention U-Net modellerinin yama düzeyinde segmentasyon performansı. Grafikler, 64 x 64 x 64 voksel boyutunda 3B görüntü yamaları kullanılarak değerlendirilen sinüzoid veri kümeleri üzerindeki 3B U-Net ve Dikkat U-Net modellerinin nicel performansını göstermektedir. Gösterilen metrikler arasında Doğruluk, Kesinlik, Geri Çağırma (Duyarlılık), Özgüllük, F1 Puanı, Zar Katsayısı, Birleşme Üzerinden Kesişme ve Hacim Benzerliği yer alır. Sonuçlar, yamalar arasındaki değişkenliği yansıtarak model performansına ilişkin yerelleştirilmiş bilgiler sunar ve 3 boyutlu karaciğer dokusu hacimlerindeki mekansal heterojenliği vurgular. Kısaltma: IoU = Birlik Üzerindeki Kesişme. Bu Dosyayı indirmek için lütfen buraya tıklayın.

Ek Şekil S3: Dolu tüp segmentasyonu olarak sinüzoidler için 3D U-Net ve Attention U-Net modellerinin yama düzeyinde segmentasyon performansı. Grafikler, 64 x 64 x 64 voksel boyutunda 3D görüntü yamaları kullanılarak değerlendirilen, dolu tüpler veri kümeleri olarak sinüzoidler üzerindeki 3D U-Net ve Attention U-Net modellerinin nicel performansını göstermektedir. Gösterilen metrikler arasında Doğruluk, Kesinlik, Geri Çağırma (Duyarlılık), Özgüllük, F1 Puanı, Zar Katsayısı, Birleşme Üzerinden Kesişme ve Hacim Benzerliği yer alır. Sonuçlar, yamalar arasındaki değişkenliği yansıtarak model performansına ilişkin yerelleştirilmiş bilgiler sunar ve 3 boyutlu karaciğer dokusu hacimlerindeki mekansal heterojenliği vurgular. Kısaltma: IoU = Birlik Üzerindeki Kesişme. Bu Dosyayı indirmek için lütfen buraya tıklayın.

Ek Şekil S4: Işık tabakası mikroskobu görüntülerinden beyin damar sistemi için 3D U-Net ve Dikkat U-Net modellerinin yama düzeyinde segmentasyon performansı. Grafikler, 64 x 64 x 64 voksel boyutunda 3D görüntü yamaları kullanılarak değerlendirilen tüm beyin damar sistemi veri kümeleri üzerindeki 3D U-Net ve Attention U-Net modellerinin nicel performansını göstermektedir. Gösterilen metrikler arasında Doğruluk, Kesinlik, Geri Çağırma (Duyarlılık), Özgüllük, F1 Puanı, Zar Katsayısı, Birleşme Üzerinden Kesişme ve Hacim Benzerliği yer alır. Sonuçlar, yamalar arasındaki değişkenliği yansıtarak model performansına ilişkin yerelleştirilmiş bilgiler sunar ve 3 boyutlu karaciğer dokusu hacimlerindeki mekansal heterojenliği vurgular. Kısaltma: IoU = Birlik Üzerindeki Kesişme. Bu Dosyayı indirmek için lütfen buraya tıklayın.

Ek Şekil S5: Safra kanaliküllerinin orijinal 3D floresan mikroskobu görüntüleri üzerine segmentasyon sonuçlarının üst üste bindirilmesi. Fare karaciğerindeki safra kanaliküllerinin 3D floresan mikroskobu veri kümelerinden temsili görüntü dilimleri, kırmızı ile kaplanmış segmentasyon maskeleri ile gösterilir. 3D U-Net ve Attention U-Net modellerinden tahmin edilen maskeler, segmentasyon doğruluğunu görsel olarak değerlendirmek için orijinal gri tonlamalı mikroskopi görüntülerinin üzerine bindirilir. Modellerin çeşitli morfolojik özellikleri yakalama ve farklı doku bölgelerindeki sinyal değişkenliğini ele alma yeteneğini göstermek için on örnek görüntü sunulmuştur. Bu Dosyayı indirmek için lütfen buraya tıklayın.

Discussion

Bu protokol, 3D floresan mikroskobu görüntülerinde boru şeklindeki yapıların derin öğrenmeye dayalı segmentasyonu için basit ama güçlü ve erişilebilir bir yaklaşım sunarak biyogörüntü analizinde teknik karmaşıklık ile kullanılabilirlik arasındaki boşluğu doldurur. Simülasyon tabanlı veri artırmayı, etkileşimli Jupyter not defterlerini ve verimli U-Net mimarilerini entegre ederek, safra kanalcıkları ve sinüzoidal ağlar gibi karmaşık doku yapıları üzerinde yüksek doğrulukta segmentasyon gerçekleştirebilen açık kaynaklı bir araç sağlıyoruz. Bu araç kutusu, 3D segmentasyon görevlerindeki, özellikle de veri kıtlığı ve görüntüleme koşullarındaki değişkenliğin ele alınmasındaki temel zorlukları ele alarak, onu biyogörüntü analizi ortamına çok yönlü bir katkı haline getiriyor.

Protokolümüzün önemli bir bileşeni, biyolojik çalışmalarda yaygın bir sınırlama olan sınırlı sayıda açıklamalı görüntüyle bile model performansını artıran simülasyon tabanlı veri artırmadır. Araç kutusu, nokta yayılma fonksiyonu evrişimi, eksenel yoğunluk azalması ve Poisson ve Gauss gürültüsü gibi gerçekçi görüntüleme kusurlarını taklit eden artırılmış veriler üreterek, çeşitli görüntüleme koşullarında sağlam modeller üretir. Bu yaklaşım, veri çeşitliliğini etkili bir şekilde artırır, modellerin genelleştirilebilirliğini geliştirir ve biyolojik örneklerde mevcut olan heterojenliği tam olarak yakalayamayabilecek geleneksel veri artırma tekniklerine göre önemli bir avantaj sağlar. Ancak bu, başlangıçta sağlanan maskede içsel olarak kodlanmış morfolojik özelliklerle sınırlıdır. İlk eğitim verilerinin oluşturulması için önceden bölümlere ayrılmış maskelere güvenmek, maskelerin söz konusu biyolojik yapıları tam olarak temsil etmemesi durumunda potansiyel önyargılara yol açar. Bu nedenle, morfolojik alanda gerçekçi veri artışının nasıl oluşturulacağı konusunda hala açık bir soru vardır ve bu, hastalığın ilerlemesi gibi değişikliklere sahip dokuları incelemek için potansiyel olarak önemli olabilir.

Yöntemimiz, biyomedikal görüntüleme görevlerinde yüksek performansları nedeniyle seçilen iki kodlayıcı-kod çözücü modeli, 3D U-Net ve Attention U-Net kullanır. 3D U-Net basit ama güçlü bir segmentasyon mimarisi sağlarken, Attention U-Net ilgili özelliklere seçici olarak odaklanarak ve gürültüyü bastırarak hassasiyeti artırır. Her iki model de araç kutusuna dahil edilmiştir ve kullanıcıların kendi özel veri kümesi gereksinimlerine göre seçim yapmalarına olanak tanır. Sonuçlarımız, Attention U-Net modelinin, özellikle dikkat mekanizmalarının ek karmaşıklığının düşük sinyal-gürültü oranlarının ve yapısal değişkenliğin etkilerini hafifletmeye yardımcı olduğu sinüzoidal ağ gibi zorlu yapılar için veri kümeleri arasında daha yüksek performans ölçümleri elde ettiğini göstermektedir. Bununla birlikte, Attention U-Net'in hesaplama taleplerinin daha yüksek olduğunu ve bunun da sınırlı GPU kaynaklarına sahip kullanıcılar için erişilebilirliğini etkileyebileceğini unutmamak önemlidir. Ayrıca, boru hattının açık kaynaklı doğası göz önüne alındığında, gerekirse gelecekteki çalışmalar için diğer daha karmaşık mimariler kolayca eklenebilir.

Protokolümüz, 3D segmentasyon için gerekli adımları tek bir kurulumda birleştiren hepsi bir arada, kullanıcı dostu bir boru hattı sunar. Bu kolaylaştırılmış tasarım, programlama veya parametre ayarlamalarında uzmanlık gerektirmeden gelişmiş segmentasyon araçlarına erişimi kolaylaştırdığı için önemli bir avantajdır. Ek olarak, simülasyon tabanlı veri artırma stratejimiz model sağlamlığını artırır, kapsamlı manuel açıklamalara olan bağımlılığı azaltır ve çeşitli görüntüleme koşullarında modelin genellenebilirliğini geliştirir. Genellikle dikkatli ince ayar gerektiren eşikleme veya bölge büyütme algoritmalarına dayanan klasik segmentasyon yöntemlerinin aksine^28,29, derin öğrenme yaklaşımımız minimum manuel müdahale gerektirir. Bu, karmaşık 3 boyutlu yapıların yüksek kaliteli, tekrarlanabilir segmentasyonunun demokratikleştirilmesine katkıda bulunarak, kapsamlı hesaplama deneyimi olmayanlar da dahil olmak üzere daha geniş bir araştırmacı yelpazesinin erişebilmesini sağlar.

Boru şeklindeki ağların ötesinde, protokolün esnekliği, diğer biyolojik yapıların bölümlere ayrılması için kolay adaptasyona izin verir. Gelecekteki geliştirmeler, yüksek segmentasyon doğruluğunu korurken açıklamalı verilere olan ihtiyacı daha da azaltan kendi kendini denetleyen öğrenmenin³⁰ veya transfer öğreniminin³¹ entegrasyonunu içerebilir. Bu stratejiler aynı zamanda çoklu foton veya ışık tabakası mikroskobu gibi çeşitli görüntüleme yöntemlerine uygulanabilirliği de genişletebilir.

Güçlü yönlerine rağmen, protokolün kabul edilmesi gereken birkaç sınırlaması vardır. İlk olarak, veri kümesi boyutu nispeten küçük kalır ve yapı başına yalnızca birkaç açıklamalı birimden oluşur. Veri artırma bu sorunu kısmen azaltsa da, özellikle numune hazırlama veya görüntüleme koşullarında görünmeyen değişikliklere sahip veri kümelerine ince ayarlı modeller uygulanırken aşırı uyum riski hala mevcuttur. İkincisi, sonuçlarımız farklı yamalar ve hayvanlar arasında iyi bir genelleme gösterse de, araç kutusunu, farklı yapısal ve gürültü özellikleri sergileyebilen diğer organlardan veya mikroskopi yöntemlerinden alınan veri kümeleri üzerinde henüz test etmedik. Bu, yaklaşımımızın hemen genellenebilirliğini sınırlar. Son olarak, değerlendirme stratejimiz yama düzeyinde sağlam olsa da, ağ benzeri yapılarla ilgili topolojik tutarlılık için ek ölçümlerden yararlanabilir. Gelecekteki çalışmalar, veri kümesini genişleterek, alan uyarlama tekniklerini³² dahil ederek ve boru hattını daha geniş biyolojik bağlamlarda değerlendirerek bu sınırlamaları ele alacaktır.

Özetle, bu protokol biyogörüntülemede boru şeklindeki yapıların yüksek kaliteli 3 boyutlu segmentasyonu için erişilebilir ve kapsamlı bir çözümü temsil etmektedir. Etkili model mimarilerini, veri artırma stratejilerini ve etkileşimli, kullanıcı dostu bir arayüzü birleştiren araç kutumuz, biyogörüntü analizinde derin öğrenmenin erişimini ve etkisini genişletme potansiyeline sahiptir ve dünya çapındaki araştırmacıların biyolojik yapı ve işlevi daha derinlemesine anlamak için bu tekniklerden yararlanmasına olanak tanır.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Fiji			https://imagej.net/software/fiji/downloads
GitHub repository			https://github.com/hernanmorales-navarrete/3DMicroscopyImage Segmentasyon/ağaç/ana
Labkit			https://imagej.net/plugins/labkit/
Zenodo deposu			10.5281/zenodo.14029574