Method Article

Un protocole open-source pour la segmentation basée sur l’apprentissage profond de structures tubulaires dans des images de microscopie à fluorescence 3D

DOI:

10.3791/68004

November 14th, 2025

In This Article

Summary

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ce protocole introduit une boîte à outils open-source offrant un pipeline complet pour la segmentation de structures tubulaires dans des images de microscopie à fluorescence tridimensionnelle (3D). En utilisant l’apprentissage profond avec l’augmentation des données basée sur la simulation, il forme les modèles U-Net et Attention U-Net, fournit des évaluations qualitatives et quantitatives et comprend des blocs-notes conviviaux pour l’entraînement, l’inférence et la visualisation tout au long du processus.

Abstract

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La segmentation des structures tubulaires dans les tissus biologiques denses à partir d’images de microscopie à fluorescence 3D est essentielle pour étudier des tissus complexes, mais reste difficile en raison de la complexité, de la variabilité et des problèmes de qualité des images. Ici, nous présentons une boîte à outils open-source et conviviale pour la segmentation de bout en bout des structures tubulaires en images 3D, accessible aux chercheurs sans formation formelle en programmation. La boîte à outils comprend des notebooks Jupyter interactifs mettant en œuvre deux architectures d’apprentissage profond simples mais efficaces - 3D U-Net et 3D U-Net avec mécanismes d’attention - pour une segmentation 3D précise des réseaux tubulaires. L’une des principales innovations est notre stratégie d’augmentation des données basée sur la simulation, qui améliore les performances du modèle même avec des données d’entraînement minimales (aussi peu qu’une seule image 3D). À l’aide de masques fournis par l’utilisateur, le protocole génère des images de microscopie artificielle avec des rapports signal/bruit variables et simule des artefacts d’imagerie réalistes, notamment la coloration inégale, la convolution de la fonction d’étalement de points, les variations d’intensité axiale et les bruits de Poisson et de Gauss. Le protocole guide systématiquement les utilisateurs à travers l’augmentation des données, l’entraînement du modèle, l’évaluation qualitative et quantitative sur des ensembles de tests et l’inférence sur de nouvelles images. Nous validons la boîte à outils en analysant deux réseaux tubulaires morphologiquement distincts dans le tissu hépatique de souris - les réseaux biliaires, canaliculaires et sinusoïdaux - démontrant que les deux architectures fonctionnent bien, l’attention U-Net surpassant légèrement l’U-Net standard lorsqu’il est entraîné avec des données augmentées. Notre boîte à outils complète, exécutable sur des unités de traitement graphique (GPU) locales, des clusters de calcul haute performance ou des plateformes cloud, contribue à la démocratisation de l’analyse d’images avancée pour un large éventail de chercheurs.

Introduction

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

L’analyse quantitative des structures tubulaires dans les tissus biologiques, telles que les vaisseaux sanguins, les réseaux neuronaux et les voies biliaires du foie, est fondamentale pour comprendre les processus physiologiques et pathologiques, y compris l’angiogenèse, les métastases tumorales et le développement des organes 1,2,3. La microscopie à fluorescence tridimensionnelle (3D) est apparue comme un outil essentiel pour l’imagerie de ces réseaux complexes, offrant une haute résolution spatiale et permettant de visualiser des architectures tissulaires complexes dans leur contexte natif 4,5,6,7. Cependant, la segmentation précise des structures tubulaires à partir de tissus biologiques denses reste un formidable défi en raison des artefacts d’imagerie, de la variabilité du signal et de la morphologie hétérogène inhérente aux échantillons biologiques. Les méthodes de segmentation traditionnelles, telles que le seuillage, la croissance de régions et les algorithmes basés sur des modèles, nécessitent souvent une intervention manuelle importante et un réglage méticuleux des paramètres, ce qui peut être à la fois long et subjectif, en particulier pour les tissus 3D complexes tels que le foie 8,9,10,11,12 . Ces approches ne sont souvent pas robustes à la variabilité inhérente aux échantillons biologiques et aux conditions d’imagerie, ce qui limite leur généralisabilité à différents ensembles de données et configurations expérimentales. Des outils logiciels tels que ImageJ13 et TiQuant8 ont été développés pour aider à l’analyse et à la quantification des tissus. cependant, ils peuvent manquer de la flexibilité ou de l’évolutivité nécessaires pour des reconstructions 3D complètes de réseaux tubulaires complexes de manière entièrement automatique.

L’apprentissage profond a révolutionné l’analyse d’images biomédicales en automatisant les tâches de segmentation avec une précision et une efficacité élevées 14,15,16. Les réseaux neuronaux convolutifs (CNN), en particulier les architectures encodeur-décodeur comme U-Net, ont démontré des performances exceptionnelles dans diverses applications d’imagerie biomédicale 17,18,19. De plus, l’extension d’U-Net aux données 3D (3D U-Net) permet un traitement efficace des images volumétriques, en capturant le contexte spatial dans les trois dimensions et en améliorant la précision de la segmentation des structures complexes20. L’intégration de mécanismes d’attention dans ces architectures (Attention U-Net) améliore encore les performances en permettant au réseau de se concentrer sur les caractéristiques saillantes tout en supprimant les bruits de fond non pertinents 18,21,22. Malgré leur potentiel, la mise en œuvre de modèles d’apprentissage profond pour la segmentation 3D pose des défis importants. L’entraînement de ces modèles nécessite généralement une expertise substantielle en programmation, l’accès à de puissantes ressources de calcul et à de grands ensembles de données annotées, qui peuvent ne pas être facilement accessibles à tous les chercheurs. L’annotation d’images 3D est particulièrement laborieuse, impliquant souvent l’étiquetage manuel de structures complexes sur de nombreuses tranches, ce qui peut être prohibitif pour de grands ensembles de données. Alors que les techniques d’augmentation des données peuvent réduire le besoin de données d’entraînement étendues en augmentant artificiellement la diversité des ensembles de données grâce à des transformations telles que la rotation, la mise à l’échelle et le retournement, les méthodes d’augmentation traditionnelles peuvent ne pas capturer pleinement la variabilité et la complexité des images biologiques, en particulier celles impliquant des structures 3D complexes.

Pour remédier à ces limitations, nous introduisons une boîte à outils open source et conviviale pour la segmentation de bout en bout des structures tubulaires dans les images de microscopie 3D. Cette boîte à outils utilise des notebooks Jupyter interactifs et met en œuvre deux méthodes robustes d’apprentissage profond - 3D U-Net17,20 et 3D U-Net avec mécanismes d’attention18,21 - pour une segmentation précise des structures tubulaires 3D sans nécessiter de connaissances approfondies en programmation. L’une des principales innovations de notre protocole est une stratégie d’augmentation des données basée sur la simulation qui améliore les performances du modèle, même avec des données d’entraînement minimales, à partir d’une seule image 3D. En exploitant les masques fournis par l’utilisateur, le protocole génère des images de microscopie artificielle avec des rapports signal/bruit variables et simule des artefacts d’imagerie réalistes, notamment une coloration inégale, une convolution avec la fonction d’étalement de points (PSF) des microscopes confocaux, des variations d’intensité axiale dues à la pénétration ou à la diffusion d’anticorps et la présence de bruit de Poisson et de Gaussian. Cette augmentation basée sur la simulation augmente non seulement la quantité de données d’entraînement, mais enrichit également l’ensemble de données avec des variations réalistes, améliorant ainsi la généralisabilité du modèle à des données invisibles. Le protocole guide systématiquement les utilisateurs à travers l’augmentation des données, l’entraînement du modèle, l’évaluation qualitative et quantitative des prédictions du modèle sur des ensembles de test et l’inférence sur de nouvelles images (Figure 1). Nous validons l’utilité de notre boîte à outils en analysant deux réseaux tubulaires morphologiquement distincts dans le tissu hépatique de souris : les canalicules biliaires et les réseaux sinusoïdaux. Ces réseaux présentent des caractéristiques structurelles et des défis d’imagerie différents, fournissant un banc d’essai robuste pour nos méthodes.

Alors que la plupart des études existantes se concentrent sur l’analyse d’images 2D, limitant la compréhension d’architectures 3D complexes, notre approche met l’accent sur la segmentation 3D pour capturer toute la complexité des structures tissulaires. En intégrant des architectures d’apprentissage profond bien établies et puissantes à une interface conviviale, notre boîte à outils contribue à la démocratisation de l’accès à des outils d’analyse d’images à la pointe de la technologie. Notre pipeline peut être exécuté sur des GPU locaux, des clusters de calcul haute performance ou des plates-formes cloud comme Google Colab, ce qui rend l’analyse d’images avancée accessible à un plus large éventail de chercheurs, quelles que soient les ressources de calcul. Ce travail contribue au domaine en fournissant une solution accessible et complète pour la segmentation 3D des structures tubulaires, facilitant ainsi les analyses quantitatives essentielles pour faire progresser notre compréhension de la fonction tissulaire et des mécanismes pathologiques.

Protocol

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Installation et configuration de la boîte à outils

  1. Téléchargement de la boîte à outils depuis GitHub
    1. Ouvrez un navigateur Web et accédez au référentiel GitHub de la boîte à outils : https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation 
    2. Téléchargez-le à l’aide de Git clone (option A). Assurez-vous que Git est installé sur le système ; Si ce n’est pas le cas, téléchargez-le à partir de https://git-scm.com/downloads et installez-le. Ouvrez un terminal (Unix/Linux/macOS) ou une invite de commande (Windows) et naviguez jusqu’au répertoire où la boîte à outils doit être stockée. Clonez le dépôt en tapant :
      git clone https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation.git
    3. Téléchargez-le dans le fichier ZIP (option B). Sur la page GitHub, cliquez sur le bouton vert Code et sélectionnez Télécharger ZIP. Enregistrez le fichier ZIP dans le répertoire de votre choix et extrayez le contenu du fichier ZIP.
  2. Configuration de l’environnement Conda
    1. Installez Anaconda ou Miniconda. Si ce n’est pas déjà fait, téléchargez Anaconda depuis :
      https://www.anaconda.com/download ou Miniconda de https://docs.anaconda.com/miniconda/. Suivez les instructions d’installation du système d’exploitation utilisé.
    2. Ouvrez un terminal ou une invite de commande. Créez un environnement Conda nommé img_seg_env avec Python 3.10 en tapant :
      conda create -n img_seg_env python=3.10
    3. Activez l’environnement Conda en tapant :
      conda activate img_seg_env
      ou activez img_seg_env pour Windows
  3. Installez les dépendances requises à l’aide de requirements.txt. Assurez-vous d’être dans le répertoire racine de la boîte à outils. Installez les packages Python requis à l’aide de pip en tapant :
    pip install -r requirements.txt
    REMARQUE : Cette commande lit le fichier requirements.txt et installe tous les packages nécessaires
    1. Vérifiez que les packages tels que numpy, scipy, matplotlib, tensorflow et jupyter sont installés. Vérifiez que l’installation a réussi et répertoriez les packages installés en tapant :
      Liste pip
  4. Lancement de Jupyter Notebook
    1. Toujours dans l’environnement Conda activé, lancez Jupyter Notebook en tapant :
      Carnet Jupyter
    2. Si vous préférez JupyterLab , qui offre une interface améliorée, exécutez :
      Laboratoire Jupyter
    3. Accès à l’interface Jupyter : attendez qu’un navigateur Web s’ouvre automatiquement, affichant l’interface Jupyter . S’il ne s’ouvre pas automatiquement, prenez l’URL fournie dans le terminal (par exemple, http://localhost:8888/tree) et ouvrez-la manuellement dans le navigateur Web.
    4. Dans l’interface Jupyter , accédez au répertoire contenant les blocs-notes Jupyter fournis avec la boîte à outils (par exemple, /path/to/3DMicroscopyImageSegmentation-main/).

2. Préparation des données (figure 1A)

  1. Génération de données d’image de structures tubulaires
    1. Obtenir les images de microscopie 3D
      1. Téléchargez les images 3D accessibles au public de tissus hépatiques de souris à partir de : https://zenodo.org/records/14029574 L’ensemble de données comprend des images confocales 3D de canaux biliaires (BC) et de réseaux sinusoïdaux recadrés à partir des images originales de9. Vous pouvez également utiliser un ensemble d’images générées.
    2. Obtenir le PSF 3D
      1. Téléchargez une image de fonction d’étalement de point réel (PSF) à partir de https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation/blob/main/data/raw/PSF.tif Vous pouvez également générer une PSF théorique à l’aide de DeconvolutionLab223 avec les paramètres du microscope.
    3. Utilisez la méthode de segmentation suivante pour générer des masques binaires des structures tubulaires :
      1. Segmentation semi-automatique avec MorpholibJ aux Fidji
        1. Ouvrez Fidji. Chargez l’image de microscopie.
        2. Aller au menu Processus | Binaire | MakeBinary, choisissez Otsu comme méthode et appuyez sur OK.
        3. Ouvrez le plugin MorpholibJ et naviguez dans Plugins | MorpholibJ | Filtrage | Filtres morphologiques (3D).
        4. Choisissez l’opération de fermeture, définissez la forme de l’élément sur Boule (fonctionne mieux pour les structures tubulaires) et choisissez un rayon approprié en voxels. Cliquez sur Afficher l’élément pour visualiser l’élément de structuration. Pour les structures tubulaires, essayez des valeurs de 3 à 8 pixels.
          REMARQUE : Un rayon plus grand peut introduire des artefacts.
        5. Enregistrez le résultat sous le nom 'image_closing.tif' en cliquant sur Fichier | Enregistrer sous... | Brouille....
          REMARQUE : Assurez-vous que chaque masque généré correspond au fichier image d’origine correct, avec les noms de fichiers correspondants. Des exemples de masques précalculés peuvent être téléchargés à partir de : https://doi.org/10.5281/zenodo.14029574
    4. Organisez manuellement les masques.
      1. Téléchargez et installez Labkit24 en suivant les instructions à l’adresse suivante : https://github.com/juglab/labkit-ui. Ouvrez chaque masque préliminaire et utilisez les outils de dessin et d’effacement pour corriger manuellement les erreurs de segmentation en ajoutant ou en supprimant des régions afin de délimiter avec précision les structures tubulaires. Enregistrez le masque sélectionné, en conservant le même nom de fichier que l’image d’origine.
      2. Utilisation de Napari25
        1. Ouvrez une invite de commande et activez l’environnement Napari (s’il n’est pas déjà actif) :
          Conda Activate napari_env
        2. Lancement de napari :
          Napari
        3. Faites glisser et déposez l’image de microscopie et son masque binaire correspondant dans napari.
        4. Convertissez le masque binaire en calque d’étiquettes en cliquant avec le bouton droit de la souris sur le nom du calque de masque et sélectionnez Convertir en étiquettes.
        5. Réglez la largeur du contour sur 1 et commencez la curation. Pour remplir des trous, utilisez l’outil Choisir pour sélectionner la valeur du masque. Activez l’outil Remplir le seau et cliquez à l’intérieur du trou.
          REMARQUE : Si l’image entière est remplie, la structure a probablement un espace. Utilisez le pinceau pour fermer la limite avant d’essayer à nouveau l’outil Remplir le seau .
        6. Une fois la curation terminée, enregistrez le masque corrigé en accédant à Fichier | Enregistrement des calques sélectionnés | TIFF. Ouvrez le masque corrigé aux Fidji et convertissez-le au format 8 bits en cliquant sur Image | Type | 8 bits. Enregistrez l’image finale 8 bits.
  2. Organisation de l’ensemble de données
    1. Créez la structure de répertoires du jeu de données.
      1. Choisissez un répertoire dans lequel le jeu de données sera stocké (par exemple, /chemin/vers/votre/ensemble de données). Créez la structure de dossiers suivante :
        jeu de données/
        ├── training_data/
        │ ├── images/
        │ │ ├── img1.tif
        │ │ ├── img2.tif
        │   │   └── ...
        │ └── masques/
        │ ├── img1.tif
        │ ├── img2.tif
        │       └── ...
        └── test_data/
        ├── images/
        │ ├── imgtest1.tif
        │ ├── imgtest2.tif
        │   └── ...
        └── Masques/
        "├── imgtest1.tif
        "├── imgtest2.tif
        └── ...
    2. Organisez les images et les masques.
      1. Données d’entraînement
        1. Placez les images de microscopie 3D destinées à l’entraînement dans le jeu de données/training_data/images/. Assurez-vous que les noms de fichiers sont cohérents (p. ex., img1.tif, img2.tif).
        2. Placez les masques binaires sélectionnés correspondants dans dataset/training_data/masks/, en vous assurant que les noms de fichiers correspondent à ceux du dossier images (par exemple, img1.tif, img2.tif).
      2. Données de test
        1. Placez les images de microscopie 3D destinées aux tests dans le jeu de données/test_data/images/. Utilisez des noms de fichiers cohérents qui ne chevauchent pas les données d’entraînement.
        2. Placez les masques binaires sélectionnés correspondants dans dataset/test_data/masks/. Assurez-vous que les noms de fichiers correspondent à ceux du dossier des images de test.

3. Exécution de l’ensemble du pipeline (Figure 1B-E)

  1. Ouvrez le bloc-notes Jupyter.
    1. Activez le img_seg_env d’environnement Conda en tapant :
      conda activate img_seg_env
    2. Accédez au dossier racine du projet :
      cd /chemin/vers/ImageSegmentationcode/
    3. Démarrez l’interface Jupyter en tapant jupyter lab ou jupyter notebook.
    4. Dans le navigateur Web, ouvrez le bloc-notes nommé process_images.ipynb.
  2. Mise en place de l’environnement
    1. Importez des bibliothèques et configurez l’accès au GPU.
      REMARQUE : dans la première et la deuxième cellule du bloc-notes, les bibliothèques sont importées et TensorFlow est configuré pour utiliser le GPU avec la croissance de la mémoire activée. Cela garantit que TensorFlow n’alloue pas toute la mémoire GPU en une seule fois et qu’il est compatible avec plusieurs tâches. Ne modifiez pas le contenu de la cellule. Exécutez les cellules en appuyant sur le bouton de lecture .
  3. Configuration des paramètres d’entrée
    1. Localisez la cellule de configuration d’entrée et modifiez-la en fonction du jeu de données :
      source_dir = '/chemin/vers/données/BC/'
      psf_path = '/chemin/vers/PSF.tif'
      code_dir = '/chemin/vers/code/'
      out_dir = '/chemin/vers/sortie/'
      out_name = 'BC'
    2. Exécutez la cellule 3 en appuyant sur le bouton de lecture .
    3. Ne modifiez pas le contenu de la cellule. Exécutez la cellule en appuyant sur le bouton de lecture de la cellule 4.
  4. Génération de correctifs
    1. Exécutez la cellule Créer des jeux de données pour générer des correctifs d’entraînement et de test. Ne modifiez pas le contenu des cellules. Exécutez les cellules en appuyant sur le bouton de lecture .
  5. Formation du modèle
    1. Exécutez la cellule Entraîner les modèles pour entraîner UNet3D avec trois paramètres d’augmentation : AUCUN, STANDARD et Basé sur la simulation.
    2. Remplacez 'UNet3D' par 'UNet3D', 'AttentionUNet3D' pour entraîner l’UNet3D avec attention. Modifiez les paramètres d’entraînement dans config.py si nécessaire (voir étape 3.9).
  6. Génération de prédictions
    1. Exécutez la cellule Générer des prédictions pour produire des masques de segmentation sur les données de test. Ne modifiez pas le contenu de ces cellules. Exécutez les cellules en appuyant sur le bouton de lecture .
  7. Évaluation et génération de parcelles
    1. Exécutez la cellule Générer des tracés pour générer des boîtes à moustaches de métriques d’évaluation.
  8. Examen et interprétation des résultats
    1. Vérifiez les sorties dans les chemins définis par out_images_path et out_plots_path.
    2. Examinez les boîtes à moustaches comparant les modèles et les stratégies d’augmentation sur des métriques au niveau du patch et de l’image complète.
  9. Personnalisation via config.py
    1. Modifiez les paramètres clés suivants dans config.py pour personnaliser le pipeline :
      PATCH_SIZE = (64, 64, 64)
      PATCH_STEP = 64
      LEARNING_RATE = 1e-4
      BATCH_SIZE = 1
      NUM_EPOCHS = 50
      VALIDATION_SPLIT = 0,2
      EARLY_STOPPING_PATIENCE = 10
      AVAILABLE_MODELS = ["UNet3D », « AttentionUNet3D"]
      INTENSITY_PARAMS = { « background_level » : 0.1, « local_variation_scale » : 5, « z_decay_rate » : 0.999, « noise_std » : 0.1, « poisson_scale » : 1.0, « intensity_scale » : 1000.0, « snr_targets » : [15, 10, 5, 4, 3, 2, 1]}
  10. Dépannage
    1. Pour les erreurs de mémoire insuffisante, réduisez BATCH_SIZE ou PATCH_SIZE dans config.py.
    2. Pour les problèmes de GPU, assurez-vous qu’il y a suffisamment de mémoire disponible ou réduisez la taille du lot.
  11. Confirmation finale
    1. Une fois le pipeline terminé, recherchez le message imprimé suivant :
      Tous les calculs sont terminés avec succès
    2. Nous vous recommandons vivement d’exécuter TensorFlow sur un système Linux ou Windows équipé d’un GPU NVIDIA prenant en charge CUDA. Si vous rencontrez des problèmes lors de l’installation de tensorflow avec CUDA, suivez le processus d’installation officiel : https://www.tensorflow.org/install/pip

Results

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Acquisition de données
Pour valider notre boîte à outils, nous avons analysé deux réseaux tubulaires distincts dans le tissu hépatique de souris adulte : les canalicules biliaires (BC) et les réseaux sinusoïdaux. Pour chaque structure, une image de microscopie 3D d’un seul animal a été utilisée pour l’entraînement, tandis que deux images indépendantes d’animaux différents ont été utilisées exclusivement pour les tests. Toutes les images du foie ont été acquises avec une résolution isotrope de 0,3 μm/voxel, assurant un échantillonnage cohérent dans les trois dimensions spatiales. L’ensemble de données, publié à l’origine dans Morales-Navarrete et al.9, a été organisé à l’aide de Labkit25, fournissant des masques binaires de haute qualité des structures tubulaires utilisées comme vérité de terrain pour l’apprentissage supervisé. Pour le réseau sinusoïdal, nous avons généré deux types de masques binaires : l’un délimitant les bords du tube (représentation creuse) et l’autre capturant le volume tubulaire rempli, permettant différentes stratégies d’entraînement en fonction de l’application.

De plus, nous avons évalué notre boîte à outils sur un ensemble de données externes de vaisseaux sanguins du cerveau entier de Mus musculus adulte, fourni dans le cadre du défi SELMA3D 2024. Cet ensemble de données se compose d’images de microscopie 3D à feuillet de lumière acquises dans des conditions de boîtier standard (cycle de 12 h de lumière/12 h d’obscurité pendant 3 mois) et est disponible via des images BioStudies (S-BIAD1197)26. Cinq images cérébrales ont été utilisées pour l’entraînement et dix-neuf pour les tests. Les empilements anisotropes originaux ont été rééchantillonnés aux dimensions isotropes des voxels à l’aide de l’interpolation linéaire aux Fidji pour assurer la compatibilité avec notre pipeline d’analyse.

Prétraitement
Pour répondre au nombre limité d’images 3D originales, nous avons appliqué des techniques d’augmentation des données qui ont introduit des artefacts d’imagerie réalistes et simulé des rapports signal/bruit variables allant de 15 à 1. Cette approche était essentielle pour améliorer la généralisabilité et la robustesse des modèles.

L’image de test a été subdivisée en patchs non chevauchants de 64 x 64 x 64 voxels afin d’évaluer les performances du modèle au niveau régional et d’évaluer la robustesse dans différents contextes spatiaux au sein d’un même volume 3D.

Architecture du modèle
Nous avons implémenté et comparé deux architectures de réseaux de neurones convolutifs adaptées à la segmentation 3D :

Un U-Net17 3D standard, composé de blocs d’encodeur-décodeur symétriques avec regroupement de 2×2×2 max, de couches convolutives avec activations ReLU et d’une convolution finale de 1 x 1 x 1 suivie d’une fonction sigmoïde pour la classification binaire.

Un Attention U-Net27, qui intègre un mécanisme d’attention qui met en évidence dynamiquement les caractéristiques saillantes et supprime les arrière-plans non pertinents, améliorant ainsi la segmentation de structures complexes et variables telles que les réseaux tubulaires hépatiques.

Protocole de formation
Les deux architectures ont été entraînées à l’aide des bibliothèques TensorFlow et Keras sur un cluster de calcul haute performance équipé de 32 cœurs de processeur, de 128 Go de RAM et de deux GPU NVIDIA A100 SXM4 de 40 Go. L’Attention U-Net nécessitait plus de temps d’entraînement en raison de sa complexité architecturale, en particulier lors de l’utilisation des ensembles de données augmentés (voir tableau 1).

Métriques d’évaluation
Les performances du modèle ont été évaluées quantitativement sur les images de test retenues à l’aide de mesures de segmentation standard : coefficient de dés, intersection sur l’union (IoU), score F1, similarité de volume, sensibilité et spécificité.

Les résultats pour la BC, les structures sinusoïdales et les vaisseaux sont résumés à la figure 2, à la figure 3, à la figure 4 et à la figure 5. De plus, le tableau 2 présente une comparaison des performances avec les méthodes classiques établies pour la segmentation tubulaire, y compris l’Otsu et le seuillage adaptatif. Nos modèles, en particulier l’Attention U-Net entraîné sur des données augmentées, ont constamment surpassé ces méthodes traditionnelles sur tous les indicateurs.

Analyse statistique et robustesse
L’analyse d’images entières ainsi que des patchs de voxels de 64 x 64 x 64 (tableau 3) dans l’ensemble de test nous a également permis de quantifier la variabilité spatiale dans les prédictions du modèle entre les régions. Tous les modèles ont fait preuve d’une grande précision, l’Attention U-Net affichant des performances constamment plus élevées, en particulier en ce qui concerne le score F1 et le coefficient de dés. Les résultats qualitatifs, présentés dans les figures 2A, B, 3A, B, 4A, B, 5A, B, ainsi que dans les vidéos 1, 2, 3 et 4, confirment ces résultats, illustrant la délimitation précise des structures tubulaires dans la plupart des régions des données d’essai.

Explication des anomalies dans les indicateurs de performance
Les valeurs inférieures des boîtes à moustaches pour l’analyse des correctifs (figure supplémentaire S1, figure supplémentaire S2, figure supplémentaire S3, figure supplémentaire S4 et figure supplémentaire S5) indiquent la présence de valeurs aberrantes de performance dans un sous-ensemble de correctifs de test. De même, la segmentation sous-optimale dans les images finales des vidéos peut être attribuée à deux facteurs clés :

Effets de limites : les performances de segmentation se dégradent souvent aux limites de l’image, où les structures partielles sont sous-représentées ou capturées de manière incomplète, ce qui entraîne une plus grande incertitude et une classification potentiellement erronée.

Dégradation de la qualité de l’image dans les plans z plus profonds : Malgré la taille isotrope du voxel, des facteurs biologiques et techniques tels que l’atténuation du signal, la diffusion de la lumière et la réduction du contraste dans la direction z entraînent une réduction de la qualité de l’image vers le bas du volume. Cette dégradation complique la délimitation précise des limites et contribue aux incohérences de segmentation.

Ces facteurs sont des défis inhérents à l’imagerie biologique 3D et ont un impact particulier dans les régions éloignées du plan d’imagerie ou contenant des limites de structure ambiguës.

En résumé, nos résultats démontrent que les modèles de segmentation basés sur l’apprentissage profond, en particulier l’Attention U-Net entraîné avec des données augmentées, offrent une délimitation robuste et précise de structures tubulaires complexes dans des images de microscopie hépatique 3D. En exploitant des ensembles de données organisés, des stratégies d’augmentation réalistes et des mécanismes d’attention, les modèles ont atteint des performances supérieures à celles des méthodes classiques telles que le seuillage. L’évaluation régionale à l’aide de patchs de voxels 64³ a confirmé la cohérence et la généralisabilité de l’approche à travers différentes régions d’image et complexités structurelles. Bien que certaines limitations persistent, principalement en raison des effets de frontière et de la dégradation de l’image dans le plan z, notre étude met en évidence l’efficacité des architectures basées sur l’attention et fournit une solution open source validée pour la segmentation tubulaire 3D de haute précision en imagerie biomédicale.

figure-results-1
Figure 1 : Flux de travail pour la segmentation 3D de structures tubulaires dans des images de microscopie à fluorescence à l’aide des modèles U-Net et Attention U-Net. (A) Préparation des données : Coupes schématiques en 2D d’images de microscopie à fluorescence 3D de tissus hépatiques de souris, montrant les images originales et les masques binaires correspondants. (B) Augmentation des données : Augmentation des données préparées par simulation, générant des images avec des rapports signal/bruit variables (par exemple, SNR = 15 et SNR = 1). (C) Entraînement de modèles : Entraînement basé sur des patchs des modèles U-Net et Attention U-Net en utilisant des données originales et augmentées. Des patchs d’image et de masque de taille 64 x 64 x 64 sont générés pour l’entraînement. (D) Évaluation du modèle : des mesures de performance quantitatives, y compris le rappel et le score F1, sont calculées pour chaque modèle afin d’évaluer la précision de la segmentation sur des ensembles de données de test. (E) Inférence de modèle : Application du modèle entraîné sur des images invisibles pour générer des masques de segmentation prédits. Abréviation : SNR = rapport signal/bruit. Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-results-2
Figure 2 : Évaluation des modèles U-Net et Attention U-Net pour la segmentation du réseau de canalicules biliaires à partir d’images de microscopie à fluorescence 3D de tissus hépatiques de souris. (A) Coupes 2D représentatives (section centrale) d’images de microscopie à fluorescence 3D, affichant l’image originale et le masque de vérité terrain correspondant pour la BC dans le tissu hépatique de la souris. Les images en haut à droite offrent une vue agrandie des encarts mis en évidence dans chaque section. (B) Masques de segmentation prédits générés par U-Net, Attention U-Net et leurs versions augmentées. La ligne supérieure met en évidence les vrais positifs (structures correctement segmentées), la rangée inférieure affiche les faux positifs (structures mal identifiées) et les faux négatifs (structures manquées) pour chaque modèle. (C) Des mesures d’évaluation quantitative pour chaque modèle, y compris l’exactitude, le score F1, la précision, le rappel, la similarité de volume et le coefficient de dés. L’évaluation a été effectuée dans les patchs extrudés à partir de l’image 3D. Les barres d’erreur indiquent les écarts-types entre les images de test. Barre d’échelle : 60 μm ; Barre d’échelle encastrée : 30 μm. Abréviation : BC = biliaire canaliculaire. Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-results-3
Figure 3 : Évaluation des modèles U-Net et Attention U-Net pour la segmentation du réseau sinusoïdal à partir d’images de microscopie à fluorescence 3D de tissus hépatiques de souris. (A) Coupes 2D représentatives (section centrale) d’images de microscopie à fluorescence 3D, affichant l’image originale et le masque de vérité terrain correspondant pour les sinusoïdes dans le tissu hépatique de souris. Les images en haut à droite offrent une vue agrandie des encarts mis en évidence dans chaque section. (B) Masques de segmentation prédits générés par U-Net, Attention U-Net et leurs versions augmentées. La ligne supérieure met en évidence les vrais positifs (structures correctement segmentées), la rangée inférieure affiche les faux positifs (structures mal identifiées) et les faux négatifs (structures manquées) pour chaque modèle. (C) Des mesures d’évaluation quantitative pour chaque modèle, y compris l’exactitude, le score F1, la précision, le rappel, la similarité de volume et le coefficient de dés. L’évaluation a été effectuée dans les patchs extrudés à partir de l’image 3D. Les barres d’erreur indiquent les écarts-types entre les images de test. Barre d’échelle : 60 μm ; Barre d’échelle encastrée : 30 μm. Veuillez cliquer ici pour voir une version plus grande de cette figure.

figure-results-4
Figure 4 : Évaluation des modèles U-Net et Attention U-Net pour la segmentation du réseau sinusoïdal à partir d’images de microscopie à fluorescence 3D de tissus hépatiques de souris, en considérant le masque comme des tubes remplis. (A) Sections centrales 2D représentatives d’images de microscopie à fluorescence 3D, affichant l’image originale et le masque de vérité terrain correspondant pour les sinusoïdes dans le tissu hépatique de souris. Les images en haut à droite offrent une vue agrandie des encarts mis en évidence dans chaque section. (B) Masques de segmentation prédits générés par U-Net, Attention U-Net et leurs versions augmentées. Alors que la ligne supérieure met en évidence les vrais positifs (structures correctement segmentées), la ligne inférieure montre les faux positifs (structures mal identifiées) et les faux négatifs (structures manquées) pour chaque modèle. (C) Des mesures d’évaluation quantitative pour chaque modèle, y compris l’exactitude, le score F1, la précision, le rappel, la similarité de volume et le coefficient de dés. L’évaluation a été effectuée dans les patchs extrudés à partir de l’image 3D. Les barres d’erreur indiquent les écarts-types entre les images de test. Barre d’échelle : 60 μm ; Barre d’échelle encastrée : 30 μm. Veuillez cliquer ici pour voir une version plus grande de cette figure.

figure-results-5
Figure 5 : Évaluation des modèles U-Net et Attention U-Net pour la segmentation du réseau vasculaire dans le cerveau de souris à partir d’images de microscopie 3D à feuillet de lumière à l’aide de masques à tubes remplis. (A) Des coupes centrales 2D représentatives extraites d’images de microscopie 3D du cerveau de souris, montrant l’image originale et le masque de vérité terrain correspondant pour les vaisseaux sanguins. Les vues agrandies des encarts sélectionnés sont affichées dans le coin supérieur droit de chaque panneau. Masques de segmentation prédits générés par U-Net, Attention U-Net et leurs versions augmentées. La rangée du haut met en évidence les vrais positifs (structures de cuve correctement segmentées), tandis que la rangée du bas illustre les faux positifs (régions mal segmentées) et les faux négatifs (structures de cuve manquées) pour chaque modèle. (C) Évaluation quantitative des performances du modèle à l’aide de mesures telles que l’exactitude, le score F1, la précision, le rappel, la similarité de volume et le coefficient de dés. Les évaluations ont été effectuées sur des patchs 3D extraits des volumes de test. Les barres d’erreur représentent les écarts-types sur les 19 images de test. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Vidéo 1 : Animation Z-Stack des masques prédits pour le réseau BC. La vidéo montre une séquence animée à travers la pile z de masques de segmentation prédits pour les canalicules biliaires dans le tissu hépatique de souris, générés par U-Net, Attention U-Net et leurs versions augmentées. Chaque section 2D met en évidence les vrais positifs (blanc), les faux positifs (vert) et les faux négatifs (magenta) pour chaque modèle, en se déplaçant dans l’ensemble de la pile. Abréviation : BC = biliaire canaliculaire. Veuillez cliquer ici pour télécharger cette vidéo.

Vidéo 2 : Animation Z-Stack des masques prédits pour le réseau sinusoïdal. La vidéo montre une séquence animée à travers la pile z de masques de segmentation prédits pour les sinusoïdes dans le tissu hépatique de la souris, générée par U-Net, Attention U-Net et leurs versions augmentées. Chaque section 2D met en évidence les vrais positifs (blanc), les faux positifs (vert) et les faux négatifs (magenta) pour chaque modèle, en se déplaçant dans l’ensemble de la pile. Veuillez cliquer ici pour télécharger cette vidéo.

Vidéo 3 : Animation Z-Stack de masques prédits pour le réseau sinusoïdal sous forme de tubes remplis. La vidéo montre une séquence animée à travers la pile z de masques de segmentation prédits pour le réseau sinusoïdal sous forme de tubes remplis dans le tissu hépatique de souris, générés par U-Net, Attention U-Net et leurs versions augmentées. Chaque section 2D met en évidence les vrais positifs (blanc), les faux positifs (vert) et les faux négatifs (magenta) pour chaque modèle, en se déplaçant dans l’ensemble de la pile. Veuillez cliquer ici pour télécharger cette vidéo.

Vidéo 4 : Animation Z-Stack des masques prédits pour les vaisseaux cérébraux. La vidéo montre une séquence animée à travers la pile z de masques de segmentation prédits pour les navires, générés par U-Net, Attention U-Net et leurs versions augmentées. Chaque section 2D met en évidence les vrais positifs (blanc), les faux positifs (vert) et les faux négatifs (magenta) pour chaque modèle, en se déplaçant dans l’ensemble de la pile. Veuillez cliquer ici pour télécharger cette vidéo.

Tableau 1 : Temps d’entraînement pour U-Net 3D et Attention U-Net 3D Models sur des ensembles de données de bile, de canalicules et de sinusoïdes avec et sans augmentation des données. Temps d’entraînement pour les modèles U-Net 3D et Attention U-Net 3D sur des ensembles de données biliaires, canalicules et sinusoïdes avec et sans augmentation des données. Le tableau répertorie le nombre de correctifs pour chaque ensemble de données et le temps d’entraînement correspondant en minutes. L’augmentation des données augmente le nombre de correctifs de 1353 à 10824, ce qui entraîne une augmentation significative du temps d’entraînement. Le modèle Attention U-Net nécessite systématiquement plus de temps d’entraînement que le modèle U-Net, en particulier avec des ensembles de données augmentés, en raison de sa complexité supplémentaire pour se concentrer sur les caractéristiques pertinentes des données. Abréviation : BC = biliaire canaliculaire. Veuillez cliquer ici pour télécharger ce tableau.

Tableau 2 : Évaluation quantitative des modèles U-Net 3D et Attention U-Net 3D sur quatre ensembles de données à l’aide de la segmentation d’images entières. Ce tableau présente les performances de chaque modèle ainsi que des méthodes classiques telles que l’Otsu et le seuillage adaptatif, sur quatre ensembles de données différents : les canalicules biliaires, les réseaux sinusoïdaux (représentations creuses et remplies) et le système vasculaire du cerveau entier, en utilisant des images 3D entières pour l’évaluation. Pour chaque combinaison de modèle et d’ensemble de données, le nombre d’images de test est répertorié, ainsi que les métriques de performance : Exactitude, Précision, Rappel (sensibilité), Spécificité, Score F1, Coefficient de dés, IoU et Similarité de volume. Ces métriques fournissent une évaluation complète de la qualité de la segmentation en termes d’exactitude des voxels et d’accord volumétrique entre les prédictions et la vérité terrain. Abréviations : BC = canalicules biliaires ; IoU = Intersection au-dessus de l’Union. Veuillez cliquer ici pour télécharger ce tableau.

Tableau 3 : Évaluation quantitative des modèles U-Net 3D et Attention U-Net 3D sur quatre ensembles de données à l’aide de patchs de 64 x 64 x 64. Ce tableau résume les performances des modèles U-Net 3D et Attention U-Net 3D sur quatre ensembles de données - canalicules biliaires, réseaux sinusoïdaux (masques creux et remplis) et système vasculaire cérébral entier - sur la base de l’évaluation en patchs d’images 3D de tailles 64×64×64 voxels. Pour chaque combinaison modèle-ensemble de données, le nombre de correctifs de test est répertorié à côté des indicateurs de performance clés : Exactitude, Précision, Rappel (sensibilité), Spécificité, Score F1, Coefficient de dés, Intersection sur l’union et Similarité de volume. Ces métriques au niveau des correctifs offrent des informations localisées sur les performances du modèle et sont particulièrement utiles pour identifier la précision de la segmentation spatialement hétérogène entre les volumes. Abréviations : BC = canalicules biliaires ; IoU = Intersection au-dessus de l’Union. Veuillez cliquer ici pour télécharger ce tableau.

Figure supplémentaire S1 : Performance de segmentation au niveau du patch des modèles 3D U-Net et Attention U-Net pour la segmentation des canalicules biliaires. Les graphiques illustrent les performances quantitatives des modèles 3D U-Net et Attention U-Net sur des ensembles de données de canalicules biliaires, évalués à l’aide de patchs d’images 3D de taille 64 x 64 x 64 x 64 voxels. Les mesures affichées incluent l’exactitude, la précision, le rappel (sensibilité), la spécificité, le score F1, le coefficient de dés, l’intersection sur l’union et la similarité de volume. Les résultats reflètent la variabilité entre les parcelles, offrant un aperçu localisé des performances du modèle et mettant en évidence l’hétérogénéité spatiale au sein des volumes de tissu hépatique 3D. Abréviations : BC = canalicules biliaires ; IoU = Intersection au-dessus de l’Union. Veuillez cliquer ici pour télécharger ce fichier.

Figure supplémentaire S2 : Performances de segmentation au niveau du patch des modèles 3D U-Net et Attention U-Net pour la segmentation sinusoïdale. Les graphiques illustrent les performances quantitatives des modèles 3D U-Net et Attention U-Net sur des ensembles de données sinusoïdes, évalués à l’aide de patchs d’images 3D de tailles 64 x 64 x 64 voxels. Les mesures affichées incluent l’exactitude, la précision, le rappel (sensibilité), la spécificité, le score F1, le coefficient de dés, l’intersection sur l’union et la similarité de volume. Les résultats reflètent la variabilité entre les parcelles, offrant un aperçu localisé des performances du modèle et mettant en évidence l’hétérogénéité spatiale au sein des volumes de tissu hépatique 3D. Abréviation : IoU = Intersection sur Union. Veuillez cliquer ici pour télécharger ce fichier.

Figure supplémentaire S3 : Performance de segmentation au niveau du patch des modèles 3D U-Net et Attention U-Net pour la segmentation des sinusoïdes en tant que tubes remplis. Les graphiques illustrent les performances quantitatives des modèles 3D U-Net et Attention U-Net sur des sinusoïdes en tant que tubes remplis, évalués à l’aide de patchs d’images 3D de tailles 64 x 64 x 64 x 64 voxels. Les mesures affichées incluent l’exactitude, la précision, le rappel (sensibilité), la spécificité, le score F1, le coefficient de dés, l’intersection sur l’union et la similarité de volume. Les résultats reflètent la variabilité entre les parcelles, offrant un aperçu localisé des performances du modèle et mettant en évidence l’hétérogénéité spatiale au sein des volumes de tissu hépatique 3D. Abréviation : IoU = Intersection sur Union. Veuillez cliquer ici pour télécharger ce fichier.

Figure supplémentaire S4 : Performance de segmentation au niveau du patch des modèles 3D U-Net et Attention U-Net pour la vascularisation cérébrale à partir d’images de microscopie à feuillet de lumière. Les graphiques illustrent la performance quantitative des modèles 3D U-Net et Attention U-Net sur des ensembles de données vasculaires du cerveau entier, évaluées à l’aide de patchs d’images 3D de tailles 64 x 64 x 64 x 64 voxels. Les mesures affichées incluent l’exactitude, la précision, le rappel (sensibilité), la spécificité, le score F1, le coefficient de dés, l’intersection sur l’union et la similarité de volume. Les résultats reflètent la variabilité entre les parcelles, offrant un aperçu localisé des performances du modèle et mettant en évidence l’hétérogénéité spatiale au sein des volumes de tissu hépatique 3D. Abréviation : IoU = Intersection sur Union. Veuillez cliquer ici pour télécharger ce fichier.

Figure supplémentaire S5 : Superposition des résultats de segmentation sur des images originales de microscopie à fluorescence 3D de canalicules biliaires. Des coupes d’images représentatives d’ensembles de données de microscopie à fluorescence 3D de canalicules biliaires dans le foie de souris sont montrées avec des masques de segmentation superposés en rouge. Les masques prédits des modèles 3D U-Net et Attention U-Net sont superposés aux images de microscopie en niveaux de gris d’origine pour évaluer visuellement la précision de la segmentation. Dix exemples d’images sont présentés pour illustrer la capacité des modèles à capturer diverses caractéristiques morphologiques et à gérer la variabilité du signal dans différentes régions tissulaires. Veuillez cliquer ici pour télécharger ce fichier.

Discussion

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ce protocole offre une approche simple, mais puissante et accessible pour la segmentation des structures tubulaires basée sur l’apprentissage profond dans les images de microscopie à fluorescence 3D, comblant ainsi le fossé entre la complexité technique et la facilité d’utilisation dans l’analyse des bioimages. En intégrant l’augmentation des données basée sur la simulation, des cahiers Jupyter interactifs et des architectures U-Net efficaces, nous fournissons un outil open source capable d’effectuer une segmentation de haute précision sur des structures tissulaires complexes, telles que les canalicules biliaires et les réseaux sinusoïdaux. Cette boîte à outils relève les principaux défis des tâches de segmentation 3D, en particulier dans la gestion de la rareté des données et de la variabilité des conditions d’imagerie, ce qui en fait un ajout polyvalent au paysage de l’analyse de bioimages.

Un élément crucial de notre protocole est l’augmentation des données basée sur la simulation, qui améliore les performances du modèle même avec un nombre limité d’images annotées, une limitation courante dans les études biologiques. En générant des données augmentées qui imitent des artefacts d’imagerie réalistes, tels que la convolution de la fonction d’étalement de points, la décroissance de l’intensité axiale et le bruit de Poisson et de Gauss, la boîte à outils produit des modèles robustes dans une gamme de conditions d’imagerie. Cette approche augmente efficacement la diversité des données, améliorant la généralisabilité des modèles et offrant un avantage clé par rapport aux techniques traditionnelles d’augmentation des données, qui peuvent ne pas saisir pleinement l’hétérogénéité présente dans les échantillons biologiques. Cependant, cela est limité par les caractéristiques morphologiques intrinsèquement codées dans le masque initialement fourni. L’utilisation de masques pré-segmentés pour la génération de données d’entraînement initial introduit des biais potentiels si les masques ne sont pas entièrement représentatifs des structures biologiques en question. Par conséquent, il reste encore une question ouverte sur la façon de générer une augmentation réaliste des données dans l’espace morphologique, ce qui peut être potentiellement important pour étudier les tissus présentant des altérations telles que la progression de la maladie.

Notre méthode utilise deux modèles d’encodeurs-décodeurs, 3D U-Net et Attention U-Net, sélectionnés pour leurs hautes performances dans les tâches d’imagerie biomédicale. Alors que le 3D U-Net fournit une architecture de segmentation simple mais puissante, l’Attention U-Net améliore la précision en se concentrant de manière sélective sur les caractéristiques pertinentes et en supprimant le bruit. Les deux modèles sont inclus dans la boîte à outils, ce qui permet aux utilisateurs de choisir en fonction de leurs besoins spécifiques en matière d’ensemble de données. Nos résultats montrent que le modèle Attention U-Net permet d’obtenir des mesures de performance plus élevées dans tous les ensembles de données, en particulier pour les structures difficiles telles que le réseau sinusoïdal, où la complexité supplémentaire des mécanismes d’attention permet d’atténuer les effets des faibles rapports signal/bruit et de la variabilité structurelle. Néanmoins, il est important de noter que les exigences de calcul de l’Attention U-Net sont plus élevées, ce qui peut affecter son accessibilité pour les utilisateurs disposant de ressources GPU limitées. De plus, compte tenu de la nature open-source du pipeline, d’autres architectures plus complexes peuvent être facilement ajoutées pour des études futures si nécessaire.

Notre protocole offre un pipeline tout-en-un et convivial qui intègre les étapes essentielles de la segmentation 3D dans une seule configuration. Cette conception simplifiée est un avantage clé, car elle simplifie l’accès à des outils de segmentation avancés sans exiger d’expertise en programmation ou en ajustements de paramètres. De plus, notre stratégie d’augmentation des données basée sur la simulation améliore la robustesse du modèle, réduisant la dépendance à l’égard des annotations manuelles étendues et améliorant la généralisabilité du modèle dans diverses conditions d’imagerie. Contrairement aux méthodes de segmentation classiques, qui reposent souvent sur des algorithmes de seuillage ou de croissance de région qui nécessitent un réglage précis28,29, notre approche d’apprentissage profond nécessite une intervention manuelle minimale. Cela contribue à démocratiser la segmentation de haute qualité et reproductible de structures 3D complexes, ce qui la rend accessible à un plus large éventail de chercheurs, y compris ceux qui n’ont pas d’expérience informatique approfondie.

Au-delà des réseaux tubulaires, la flexibilité du protocole permet une adaptation facile pour la segmentation d’autres structures biologiques. Les améliorations futures pourraient inclure l’intégration de l’apprentissage auto-supervisé30 ou de l’apprentissage par transfert31, qui réduit encore le besoin de données annotées tout en maintenant une grande précision de segmentation. Ces stratégies pourraient également s’étendre à diverses modalités d’imagerie, telles que la microscopie multiphotonique ou la microscopie à feuillet de lumière.

Malgré ses points forts, le protocole présente plusieurs limites qu’il convient de reconnaître. Tout d’abord, la taille de l’ensemble de données reste relativement petite, ne comprenant que quelques volumes annotés par structure. Bien que l’augmentation des données atténue partiellement ce problème, le risque de surajustement est toujours présent, en particulier lors de l’application de modèles affinés à des ensembles de données présentant des variations invisibles dans les conditions de préparation ou d’imagerie des échantillons. Deuxièmement, bien que nos résultats indiquent une bonne généralisation à travers différentes parcelles et animaux, nous n’avons pas encore testé la boîte à outils sur des ensembles de données provenant d’autres organes ou modalités de microscopie, qui peuvent présenter des caractéristiques structurelles et sonores distinctes. Cela limite la généralisabilité immédiate de notre approche. Enfin, notre stratégie d’évaluation, bien que robuste au niveau du patch, pourrait bénéficier de mesures supplémentaires pour la cohérence topologique, qui sont pertinentes pour les structures de type réseau. Les travaux futurs permettront de remédier à ces limites en élargissant l’ensemble de données, en intégrant des techniques d’adaptation de domaine32 et en évaluant le pipeline dans des contextes biologiques plus larges.

En résumé, ce protocole représente une solution accessible et complète pour la segmentation 3D de haute qualité des structures tubulaires en bioimagerie. En combinant des architectures de modèles efficaces, des stratégies d’augmentation des données et une interface interactive et conviviale, notre boîte à outils a le potentiel d’étendre la portée et l’impact de l’apprentissage profond dans l’analyse des bioimages, permettant aux chercheurs du monde entier d’exploiter ces techniques dans la poursuite d’une compréhension plus approfondie de la structure et de la fonction biologiques.

Disclosures

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Les auteurs ne déclarent aucun conflit d’intérêts. ChatGPT 4.0 a été utilisé pour reformuler certaines sections du manuscrit et corriger les erreurs grammaticales. Les auteurs ont soigneusement vérifié la cohérence scientifique du texte généré.

Acknowledgements

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Les auteurs remercient l’ANID, le VRID-UdeC et la Faculté des sciences biologiques-UdeC, sous les numéros de subvention ANID Fondecyt regular 1251048, 2024001079INV et FCB-I-2024-01 à FS-M. Nous remercions la Corporación Ecuatoriana para el Desarrollo de la Investigación y la Academia (CEDIA) de nous avoir donné accès à ses ressources de calcul haute performance et à son soutien technique, qui ont permis le travail de calcul pour cette étude. Nous remercions également les contributeurs des outils open source utilisés dans ce travail.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Fidjihttps://imagej.net/software/fiji/downloads
Dépôt GitHubhttps://github.com/hernanmorales-navarrete/3DMicroscopyImage
Segmentation/arbre/principal
Labkithttps://imagej.net/plugins/labkit/
Dépôt Zenodo10.5281/zenodo.14029574

References

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Tissue biology: In search of a new paradigm. Annu Rev Cell Dev Biol. 39 (1), 67-89 (2023).">Adler, M., Chavan, A. R., Medzhitov, R. Tissue biology: In search of a new paradigm. Annu Rev Cell Dev Biol. 39 (1), 67-89 (2023).
  2. Tubular tissues and organs of human body-challenges in regenerative medicine. J Nanosci Nanotechnol. 16 (1), 19-39 (2016).">Góra, A., Pliszka, D., Mukherjee, S., Ramakrishna, S. Tubular tissues and organs of human body-challenges in regenerative medicine. J Nanosci Nanotechnol. 16 (1), 19-39 (2016).
  3. An analysis modality for vascular structures combining tissue-clearing technology and topological data analysis. Nat Commun. 13 (1), 5239(2022).">Takahashi, K., et al. An analysis modality for vascular structures combining tissue-clearing technology and topological data analysis. Nat Commun. 13 (1), 5239(2022).
  4. Lattice light-sheet microscopy: Imaging molecules to embryos at high spatiotemporal resolution. Science. 346 (6208), 1257998-1257998 (2014).">Chen, B. C., et al. Lattice light-sheet microscopy: Imaging molecules to embryos at high spatiotemporal resolution. Science. 346 (6208), 1257998-1257998 (2014).
  5. Clarifying tissue clearing. Cell. 162 (2), 246-257 (2015).">Richardson, D. S., Lichtman, J. W. Clarifying tissue clearing. Cell. 162 (2), 246-257 (2015).
  6. 3D-imaging of whole neuronal and vascular networks of the human dental pulp via CLARITY and light sheet microscopy. Sci Rep. 9 (1), 10860(2019).">França, C. M., et al. 3D-imaging of whole neuronal and vascular networks of the human dental pulp via CLARITY and light sheet microscopy. Sci Rep. 9 (1), 10860(2019).
  7. 3D imaging and morphometric descriptors of vascular networks on optically cleared organs. iScience. 26 (10), 108007(2023).">Nicolas, N., Dinet, V., Roux, E. 3D imaging and morphometric descriptors of vascular networks on optically cleared organs. iScience. 26 (10), 108007(2023).
  8. TiQuant: Software for tissue analysis, quantification and surface reconstruction. Bioinformatics. 31 (19), 3234-3236 (2015).">Friebel, A., et al. TiQuant: Software for tissue analysis, quantification and surface reconstruction. Bioinformatics. 31 (19), 3234-3236 (2015).
  9. A versatile pipeline for the multi-scale digital reconstruction and quantitative analysis of 3D tissue architecture. eLife. 4, e11214(2015).">Morales-Navarrete, H., et al. A versatile pipeline for the multi-scale digital reconstruction and quantitative analysis of 3D tissue architecture. eLife. 4, e11214(2015).
  10. Three-dimensional spatially resolved geometrical and functional models of human liver tissue reveal new aspects of NAFLD progression. Nat Med. 25 (12), 1885-1893 (2019).">Segovia-Miranda, F., et al. Three-dimensional spatially resolved geometrical and functional models of human liver tissue reveal new aspects of NAFLD progression. Nat Med. 25 (12), 1885-1893 (2019).
  11. Phenotypic characterization of liver tissue heterogeneity through a next-generation 3D single-cell atlas. Sci Rep. 14 (1), 2823(2024).">Martínez-Torres, D., et al. Phenotypic characterization of liver tissue heterogeneity through a next-generation 3D single-cell atlas. Sci Rep. 14 (1), 2823(2024).
  12. Automatic recognition and characterization of different non-parenchymal cells in liver tissue. Morales-Navarrete, H., Nonaka, H., Segovia-Miranda, F., Zerial, M., Kalaidzidis, Y. 2016 IEEE 13th International Symposium on Biomedical Imaging (ISBI), , 536-540 (2016).
  13. NIH Image to ImageJ: 25 years of image analysis. Nat Methods. 9 (7), 671-675 (2012).">Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nat Methods. 9 (7), 671-675 (2012).
  14. Deep learning. Nature. 521 (7553), 436-444 (2015).">LeCun, Y., Bengio, Y., Hinton, G. Deep learning. Nature. 521 (7553), 436-444 (2015).
  15. Imaging in focus: An introduction to denoising bioimages in the era of deep learning. Int J Biochem Cell Biol. 140, 106077(2021).">Laine, R. F., Jacquemet, G., Krull, A. Imaging in focus: An introduction to denoising bioimages in the era of deep learning. Int J Biochem Cell Biol. 140, 106077(2021).
  16. Deep learning for bioimage analysis in developmental biology. Development. 148 (18), dev199616(2021).">Hallou, A., Yevick, H. G., Dumitrascu, B., Uhlmann, V. Deep learning for bioimage analysis in developmental biology. Development. 148 (18), dev199616(2021).
  17. U-Net: Convolutional networks for biomedical image segmentation. arXiv. , (2015).">Ronneberger, O., Fischer, P., Brox, T. U-Net: Convolutional networks for biomedical image segmentation. arXiv. , (2015).
  18. Attention U-Net: Learning where to look for the pancreas. arXiv. , (2018).">Oktay, O., et al. Attention U-Net: Learning where to look for the pancreas. arXiv. , (2018).
  19. Virtual tissue microstructure reconstruction across species using generative deep learning. PLoS One. 19 (7), e0306073(2024).">Bettancourt, N., et al. Virtual tissue microstructure reconstruction across species using generative deep learning. PLoS One. 19 (7), e0306073(2024).
  20. Medical image computing and computer-assisted intervention. Lect Notes Comput Sci. Çiçek, Ö, Abdulkadir, A., Lienkamp, S. S., Brox, T., Ronneberger, O. 19th international conference, Athens, Greece, October 17-21, 2016, proceedings, part II, , 424-432 (2016).
  21. Attention is all you need. arXiv. , (2017).">Vaswani, A., et al. Attention is all you need. arXiv. , (2017).
  22. Attention gated networks: Learning to leverage salient regions in medical images. Med Image Anal. 53, 197-207 (2019).">Schlemper, J., et al. Attention gated networks: Learning to leverage salient regions in medical images. Med Image Anal. 53, 197-207 (2019).
  23. DeconvolutionLab2: An open-source software for deconvolution microscopy. Methods. 115, 28-41 (2017).">Sage, D., et al. DeconvolutionLab2: An open-source software for deconvolution microscopy. Methods. 115, 28-41 (2017).
  24. LABKIT: Labeling and segmentation toolkit for big image data. Front Comput Sci. 4, (2022).">Arzt, M., et al. LABKIT: Labeling and segmentation toolkit for big image data. Front Comput Sci. 4, (2022).
  25. napari: a multi-dimensional image viewer for python. , (2019).">Napari contributors. napari: a multi-dimensional image viewer for python. , (2019).
  26. 3D light-sheet microscopy data for SELMA3D 2024 challenge - Training subset with no annotations - whole brain images. BioStudies. , S-BIAD1197 (2024).">Chen, Y., Paetzold, J. C. 3D light-sheet microscopy data for SELMA3D 2024 challenge - Training subset with no annotations - whole brain images. BioStudies. , S-BIAD1197 (2024).
  27. Brain tumor segmentation and survival prediction using 3D attention UNet. arXiv. , (2021).">Islam, M., Vibashan, V. S., Jose, V. J. M., Wijethilake, N., Utkarsh, U., Ren, H. Brain tumor segmentation and survival prediction using 3D attention UNet. arXiv. , (2021).
  28. Medical image computing and computer-assisted intervention. Lect Notes Comput Sci. Frangi, A. F., Niessen, W. J., Vincken, K. L., Viergever, M. A. MICCAI'98, first international conference, October 11-13, 1998, Cambridge, MA, USA, , 130-137 (1998).
  29. A threshold selection method from gray-level histograms. IEEE Trans Syst Man Cybern. 9 (1), 62-66 (1979).">Otsu, N. A threshold selection method from gray-level histograms. IEEE Trans Syst Man Cybern. 9 (1), 62-66 (1979).
  30. Models genesis. Med Image Anal. 67, 101840(2021).">Zhou, Z., Sodha, V., Pang, J., Gotway, M. B., Liang, J. Models genesis. Med Image Anal. 67, 101840(2021).
  31. Convolutional neural networks for medical image analysis: Full training or fine tuning. arXiv. , (2017).">Tajbakhsh, N., et al. Convolutional neural networks for medical image analysis: Full training or fine tuning. arXiv. , (2017).
  32. Deep visual domain adaptation: A survey. Neurocomputing. 312, 135-153 (2018).">Wang, M., Deng, W. Deep visual domain adaptation: A survey. Neurocomputing. 312, 135-153 (2018).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Deep Learning SegmentationTubular Structure Segmentation3D Fluorescence Microscopy3D U NetAttention U NetData AugmentationImage Analysis ToolboxSimulation Based AugmentationMouse Liver TissueJupyter Notebooks

Related Articles