Um protocolo de código aberto para segmentação baseada em aprendizado profundo de estruturas tubulares em imagens de microscopia de fluorescência 3D

Summary

Este protocolo apresenta uma caixa de ferramentas de código aberto que oferece um pipeline completo para segmentar estruturas tubulares em imagens tridimensionais (3D) de microscopia de fluorescência. Empregando aprendizado profundo com aumento de dados baseado em simulação, ele treina modelos U-Net e Attention U-Net, fornece avaliações qualitativas e quantitativas e inclui notebooks fáceis de usar para treinamento, inferência e visualização por toda parte.

Abstract

A segmentação de estruturas tubulares em tecidos biológicos densos a partir de imagens de microscopia de fluorescência 3D é fundamental para estudar tecidos complexos, mas continua sendo um desafio devido à complexidade da imagem, variabilidade e problemas de qualidade. Aqui, apresentamos uma caixa de ferramentas de código aberto e fácil de usar para segmentação de ponta a ponta de estruturas tubulares em imagens 3D, acessível a pesquisadores sem treinamento formal em programação. A caixa de ferramentas apresenta blocos de anotações Jupyter interativos que implementam duas arquiteturas de aprendizado profundo simples, mas eficientes - 3D U-Net e 3D U-Net com mecanismos de atenção - para segmentação 3D precisa de redes tubulares. Uma inovação importante é nossa estratégia de aumento de dados baseada em simulação, que aprimora o desempenho do modelo mesmo com dados de treinamento mínimos (apenas uma imagem 3D). Empregando máscaras fornecidas pelo usuário, o protocolo gera imagens de microscopia artificial com diferentes relações sinal-ruído e simula artefatos de imagem realistas, incluindo coloração irregular, convolução da função de propagação de pontos, variações de intensidade axial e ruído de Poisson e Gaussiano. O protocolo orienta sistematicamente os usuários por meio do aumento de dados, treinamento de modelos, avaliação qualitativa e quantitativa em conjuntos de testes e inferência em novas imagens. Validamos a caixa de ferramentas analisando duas redes tubulares morfologicamente distintas no tecido hepático de camundongos - os canalículos biliares e as redes sinusoidais - demonstrando que ambas as arquiteturas têm um bom desempenho, com a atenção U-Net superando ligeiramente a U-Net padrão quando treinada com dados aumentados. Nossa caixa de ferramentas abrangente, executável em unidades de processamento gráfico (GPUs) locais, clusters de computação de alto desempenho ou plataformas em nuvem, contribui para a democratização da análise avançada de imagens para um amplo espectro de pesquisadores.

Introduction

A análise quantitativa de estruturas tubulares em tecidos biológicos, como vasos sanguíneos, redes neuronais e ductos biliares no fígado, é fundamental para a compreensão de processos fisiológicos e patológicos, incluindo angiogênese, metástase tumoral e desenvolvimento de órgãos ^1,2,3. A microscopia de fluorescência tridimensional (3D) surgiu como uma ferramenta fundamental para a obtenção de imagens dessas redes complexas, oferecendo alta resolução espacial e permitindo a visualização de arquiteturas de tecidos intrincados em seu contexto nativo 4,5,6,7. No entanto, segmentar com precisão estruturas tubulares de tecidos biológicos densos continua sendo um desafio formidável devido a artefatos de imagem, variabilidade de sinal e morfologia heterogênea inerente a espécimes biológicos. Os métodos tradicionais de segmentação, como limiar, crescimento de região e algoritmos baseados em modelo, geralmente exigem extensa intervenção manual e ajuste meticuloso de parâmetros, que podem ser demorados e subjetivos, especialmente para tecidos 3D complexos, como fígado 8,9,10,11,12 . Essas abordagens frequentemente não são robustas à variabilidade inerente às amostras biológicas e condições de imagem, limitando sua generalização em diferentes conjuntos de dados e configurações experimentais. Ferramentas de software como ImageJ¹³ e TiQuant⁸ foram desenvolvidas para auxiliar na análise e quantificação de tecidos; no entanto, eles podem não ter a flexibilidade ou escalabilidade necessária para reconstruções 3D abrangentes de redes tubulares complexas de maneira totalmente automática.

O deep learning revolucionou a análise de imagens biomédicas ao automatizar tarefas de segmentação com alta precisão e eficiência 14,15,16. As redes neurais convolucionais (CNNs), particularmente as arquiteturas codificadoras-decodificadoras como a U-Net, demonstraram desempenho excepcional em várias aplicações de imagens biomédicas 17,18,19. Além disso, a extensão do U-Net para dados 3D (3D U-Net) permite o processamento eficaz de imagens volumétricas, capturando o contexto espacial em todas as três dimensões e melhorando a precisão da segmentação para estruturas complexas²⁰. A incorporação de mecanismos de atenção nessas arquiteturas (Attention U-Net) melhora ainda mais o desempenho, permitindo que a rede se concentre em recursos salientes enquanto suprime o ruído de fundo irrelevante 18,21,22. Apesar de seu potencial, a implementação de modelos de aprendizado profundo para segmentação 3D apresenta desafios significativos. O treinamento desses modelos normalmente requer experiência substancial em programação, acesso a recursos computacionais poderosos e grandes conjuntos de dados anotados, que podem não estar prontamente disponíveis para todos os pesquisadores. A anotação de imagens 3D é particularmente trabalhosa, muitas vezes envolvendo a rotulagem manual de estruturas complexas em várias fatias, o que pode ser proibitivo para grandes conjuntos de dados. Embora as técnicas de aumento de dados possam aliviar a necessidade de dados de treinamento extensivos, aumentando artificialmente a diversidade do conjunto de dados por meio de transformações como rotação, dimensionamento e inversão, os métodos tradicionais de aumento podem não capturar totalmente a variabilidade e a complexidade das imagens biológicas, especialmente aquelas que envolvem estruturas 3D intrincadas.

Para resolver essas limitações, introduzimos uma caixa de ferramentas de código aberto e fácil de usar para a segmentação de ponta a ponta de estruturas tubulares em imagens de microscopia 3D. Esta caixa de ferramentas emprega notebooks Jupyter interativos e implementa dois métodos robustos de aprendizado profundo - 3D U-Net^17,20 e 3D U-Net com mecanismos de atenção^18,21 - para segmentação precisa de estruturas tubulares 3D sem exigir amplo conhecimento de programação. Uma inovação importante do nosso protocolo é uma estratégia de aumento de dados baseada em simulação que melhora o desempenho do modelo mesmo com dados mínimos de treinamento - apenas uma imagem 3D. Ao alavancar as máscaras fornecidas pelo usuário, o protocolo gera imagens de microscopia artificial com diferentes relações sinal-ruído e simula artefatos de imagem realistas, incluindo coloração irregular, convolução com a função de propagação de ponto (PSF) de microscópios confocais, variações de intensidade axial devido à penetração ou dispersão de anticorpos e a presença de ruído de Poisson e Gaussiano. Esse aumento baseado em simulação não apenas aumenta a quantidade de dados de treinamento, mas também enriquece o conjunto de dados com variações realistas, melhorando a generalização do modelo para dados invisíveis. O protocolo orienta sistematicamente os usuários por meio do aumento de dados, treinamento de modelos, avaliação qualitativa e quantitativa de previsões de modelos em conjuntos de testes e inferência em novas imagens (Figura 1). Validamos a utilidade de nossa caixa de ferramentas analisando duas redes tubulares morfologicamente distintas no tecido hepático de camundongos: os canalículos biliares e as redes sinusoidais. Essas redes apresentam diferentes características estruturais e desafios de imagem, fornecendo um banco de testes robusto para nossos métodos.

Embora a maioria dos estudos existentes se concentre na análise de imagens 2D, limitando a compreensão de arquiteturas 3D complexas, nossa abordagem enfatiza a segmentação 3D para capturar toda a complexidade das estruturas dos tecidos. Ao integrar arquiteturas de deep learning bem estabelecidas e poderosas com uma interface amigável, nossa caixa de ferramentas contribui para a democratização do acesso a ferramentas de análise de imagem de última geração. Nosso pipeline pode ser executado em GPUs locais, clusters de computação de alto desempenho ou plataformas em nuvem como o Google Colab, tornando a análise avançada de imagens acessível a uma gama mais ampla de pesquisadores, independentemente dos recursos computacionais. Este trabalho contribui para o campo, fornecendo uma solução acessível e abrangente para segmentação 3D de estruturas tubulares, facilitando análises quantitativas que são essenciais para avançar nossa compreensão da função do tecido e dos mecanismos da doença.

Protocol

1. Instalação e configuração da caixa de ferramentas

1. Baixando a caixa de ferramentas do GitHub
   1. Abra um navegador da Web e navegue até o repositório GitHub da caixa de ferramentas: https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation 
   2. Baixe-o usando o clone do Git (opção A). Certifique-se de que o Git esteja instalado no sistema; Caso contrário, baixe-o do https://git-scm.com/downloads e instale-o. Abra um terminal (Unix/Linux/macOS) ou Prompt de Comando (Windows) e navegue até o diretório onde a caixa de ferramentas deve ser armazenada. Clone o repositório digitando:
      git clone https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation.git
   3. Faça o download do arquivo ZIP (opção B). Na página do GitHub, clique no botão Código verde e selecione Baixar ZIP. Salve o arquivo ZIP no diretório preferido e extraia o conteúdo do arquivo ZIP.
2. Configurando o ambiente Conda
   1. Instale o Anaconda ou Miniconda. Se ainda não estiver instalado, baixe o Anaconda em:
      https://www.anaconda.com/download ou Miniconda de https://docs.anaconda.com/miniconda/. Siga as instruções de instalação do sistema operacional que está sendo usado.
   2. Abra um terminal ou prompt de comando. Crie um novo ambiente Conda chamado img_seg_env com Python 3.10 digitando:
      conda criar -n img_seg_env python=3.10
   3. Ative o ambiente Conda digitando:
      conda ativar img_seg_env
      ou ative o img_seg_env para Windows
3. Instale as dependências necessárias usando requirements.txt. Certifique-se de estar no diretório raiz da caixa de ferramentas. Instale os pacotes Python necessários usando pip digitando:
   pip instalar -r requirements.txt
   NOTA: Este comando lê o arquivo requirements.txt e instala todos os pacotes necessários
   1. Confirme se pacotes como numpy, scipy, matplotlib, tensorflow e jupyter estão instalados. Verifique a instalação bem-sucedida e liste os pacotes instalados digitando:
      lista de pips
4. Iniciando o Jupyter Notebook
   1. Ainda no ambiente Conda ativado, inicie o Jupyter Notebook digitando:
      Caderno Jupyter
   2. Se o JupyterLab for preferível, que oferece uma interface aprimorada, execute:
      laboratório jupyter
   3. Acessando a interface do Jupyter : aguarde até que um navegador da Web seja aberto automaticamente, exibindo a interface do Jupyter . Se não abrir automaticamente, pegue o URL fornecido no terminal (por exemplo, http://localhost:8888/tree) e abra-o manualmente no navegador da web.
   4. Na interface do Jupyter , navegue até o diretório que contém os blocos de anotações do Jupyter fornecidos com a caixa de ferramentas (por exemplo, /path/to/3DMicroscopyImageSegmentation-main/).

2. Preparação dos dados (Figura 1A)

1. Geração de dados de imagem de estruturas tubulares
   1. Obtenha as imagens de microscopia 3D
      1. Baixe as imagens 3D disponíveis publicamente do tecido hepático de camundongos em: https://zenodo.org/records/14029574 O conjunto de dados inclui imagens confocais 3D de canalículos biliares (BC) e redes senoidais cortadas das imagens originais de⁹. Como alternativa, use um conjunto de imagens geradas.
   2. Obtenha o PSF 3D
      1. Baixe uma imagem real da função de propagação de pontos (PSF) do https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation/blob/main/data/raw/PSF.tif Como alternativa, gere um PSF teórico usando o DeconvolutionLab2²³ com os parâmetros do microscópio.
   3. Use o seguinte método de segmentação para gerar máscaras binárias das estruturas tubulares:
      1. Segmentação semiautomática usando MorpholibJ em Fiji
         1. Abra Fiji. Carregue a imagem da microscopia.
         2. Vá para o menu Processo | Binário | MakeBinary, escolha Otsu como o método e pressione OK.
         3. Abra o plugin MorpholibJ e navegue até Plugins | MorpholibJ | Filtragem | Filtros morfológicos (3D).
         4. Escolha a operação de fechamento, defina a forma do elemento como Bola (funciona melhor para estruturas tubulares) e escolha um raio adequado em voxels. Clique em Mostrar elemento para visualizar o elemento de estruturação. Para estruturas tubulares, tente valores de 3 a 8 pixels.
            NOTA: Um raio maior pode introduzir artefatos.
         5. Salve o resultado como 'image_closing.tif' clicando em Arquivo | Salvar como... | Tiff....
            NOTA: Certifique-se de que cada máscara gerada corresponda ao arquivo de imagem original correto, com nomes de arquivo correspondentes. Exemplos de máscaras pré-computadas podem ser baixadas em: https://doi.org/10.5281/zenodo.14029574
   4. Organize manualmente as máscaras.
      1. Baixe e instale o Labkit²⁴ seguindo as instruções em: https://github.com/juglab/labkit-ui. Abra cada máscara preliminar e use as ferramentas de desenho e apagamento para corrigir manualmente os erros de segmentação, adicionando ou removendo regiões para delinear com precisão as estruturas tubulares. Salve a máscara selecionada, mantendo o mesmo nome de arquivo da imagem original.
      2. Usando o Napari²⁵
         1. Abra um prompt de comando e ative o ambiente Napari (se ainda não estiver ativo):
            conda ativar napari_env
         2. Lançamento napari:
            Napari
         3. Arraste e solte a imagem de microscopia e sua máscara binária correspondente no napari.
         4. Converta a máscara binária em uma camada de rótulo clicando com o botão direito do mouse no nome da camada de máscara e selecione Converter em Rótulos.
         5. Defina a largura do contorno como 1 e comece a curadoria. Para preencher buracos, use a ferramenta Seleção para selecionar o valor da máscara. Ative a ferramenta Preencher balde e clique dentro do furo.
            NOTA: Se toda a imagem estiver preenchida, a estrutura provavelmente terá uma lacuna. Use o Pincel para fechar o limite antes de tentar a ferramenta Preencher balde novamente.
         6. Quando a curadoria estiver concluída, salve a máscara corrigida navegando até Arquivo | Salvar camadas selecionadas | TIFF. Abra a máscara corrigida em Fiji e converta-a para o formato de 8 bits clicando em Imagem | Tipo | 8 bits. Salve a imagem final de 8 bits.
2. Organizando o conjunto de dados
   1. Crie a estrutura de diretório do conjunto de dados.
      1. Escolha um diretório onde o conjunto de dados será armazenado (por exemplo, /path/to/your/dataset). Crie a seguinte estrutura de pastas:
         Dataset/
         ├── training_data/
         │ ├── imagens/
         │ │ ├── img1.tif
         │ │ ├── img2.tif
         │   │   └── ...
         │ └── máscaras/
         │ ├── img1.tif
         │ ├── img2.tif
         │       └── ...
         └── test_data/
         ├── imagens/
         │ ├── imgtest1.tif
         │ ├── imgtest2.tif
         │   └── ...
         └── máscaras/
         ├── imgtest1.tif
         ├── imgtest2.tif
         └── ...
   2. Organize as imagens e máscaras.
      1. Dados de treinamento
         1. Coloque as imagens de microscopia 3D destinadas ao treinamento em dataset/training_data/images/. Certifique-se de que os nomes dos arquivos sejam consistentes (por exemplo, img1.tif, img2.tif).
         2. Coloque as máscaras binárias selecionadas correspondentes em dataset/training_data/masks/, garantindo que os nomes dos arquivos correspondam aos da pasta de imagens (por exemplo, img1.tif, img2.tif).
      2. Dados de teste
         1. Coloque as imagens de microscopia 3D destinadas ao teste em dataset/test_data/images/. Use nomes de arquivo consistentes que não se sobreponham aos dados de treinamento.
         2. Coloque as máscaras binárias selecionadas correspondentes em dataset/test_data/masks/. Verifique se os nomes de arquivo correspondem aos da pasta de imagens de teste.

3. Executando o pipeline completo (Figura 1B-E)

1. Abra o bloco de anotações Jupyter.
   1. Ative o img_seg_env de ambiente Conda digitando:
      conda ativar img_seg_env
   2. Navegue até a pasta raiz do projeto:
      cd /caminho/para/ImageSegmentationcode/
   3. Inicie a interface do Jupyter digitando jupyter lab ou jupyter notebook.
   4. No navegador da Web, abra o bloco de anotações chamado process_images.ipynb.
2. Configurando o ambiente
   1. Importe bibliotecas e configure o acesso à GPU.
      NOTA: Na primeira e na segunda célula do notebook, as bibliotecas são importadas e o TensorFlow é configurado para usar a GPU com o crescimento da memória ativado. Isso garante que o TensorFlow não aloque toda a memória da GPU de uma só vez e seja compatível com várias tarefas. Não altere o conteúdo da célula. Execute as células pressionando o botão play .
3. Configurando parâmetros de entrada
   1. Localize a célula de configuração de entrada e modifique de acordo com o conjunto de dados:
      source_dir = '/caminho/para/dados/BC/'
      psf_path = '/caminho/para/PSF.tif'
      code_dir = '/caminho/para/código/'
      out_dir = '/caminho/para/saída/'
      out_name = 'BC'
   2. Execute a célula 3 pressionando o botão play .
   3. Não altere o conteúdo da célula. Execute a célula pressionando o botão play na célula 4.
4. Geração de patches
   1. Execute a célula Criar conjuntos de dados para gerar patches de treinamento e teste. Não altere o conteúdo nas células. Execute as células pressionando o botão play .
5. Treinamento de modelo
   1. Execute a célula Treinar modelos para treinar o UNet3D com três configurações de aumento: NONE, STANDARD e Simulation-based.
   2. Substitua 'UNet3D' por 'UNet3D', 'AttentionUNet3D' para treinar o UNet3D com atenção. Modifique as configurações de treinamento em config.py se necessário (consulte a etapa 3.9).
6. Gerando previsões
   1. Execute a célula Gerar Previsões para produzir máscaras de segmentação nos dados de teste. Não altere o conteúdo das células. Execute as células pressionando o botão play .
7. Avaliação e geração de parcelas
   1. Execute a célula Gerar Gráficos para gerar boxplots de métricas de avaliação.
8. Revisando e interpretando os resultados
   1. Verifique as saídas nos caminhos definidos por out_images_path e out_plots_path.
   2. Examine boxplots comparando modelos e estratégias de aumento em métricas de nível de patch e imagem completa.
9. Personalização via config.py
   1. Modifique os seguintes parâmetros-chave no config.py para personalizar o pipeline:
      PATCH_SIZE = (64, 64, 64)
      PATCH_STEP = 64
      LEARNING_RATE = 1e-4
      BATCH_SIZE = 1
      NUM_EPOCHS = 50
      VALIDATION_SPLIT = 0,2
      EARLY_STOPPING_PATIENCE = 10
      AVAILABLE_MODELS = ["UNet3D", "AttentionUNet3D"]
      INTENSITY_PARAMS = { "background_level": 0,1, "local_variation_scale": 5, "z_decay_rate": 0,999, "noise_std": 0,1, "poisson_scale": 1,0, "intensity_scale": 1000,0, "snr_targets": [15, 10, 5, 4, 3, 2, 1]}
10. Solucionando problemas
    1. Para erros de falta de memória, reduza BATCH_SIZE ou PATCH_SIZE em config.py.
    2. Para problemas de GPU, verifique se há memória suficiente disponível ou reduza o tamanho do lote.
11. Confirmação final
    1. Quando o pipeline for concluído, procure a seguinte mensagem impressa:
       Todos os cálculos foram concluídos com sucesso
    2. É altamente recomendável executar o TensorFlow em um sistema Linux ou Windows equipado com uma GPU NVIDIA compatível com CUDA. Se você tiver problemas para instalar o tensorflow com CUDA, siga o processo de instalação oficial: https://www.tensorflow.org/install/pip

Results

Aquisição de dados
Para validar nossa caixa de ferramentas, analisamos duas redes tubulares distintas no tecido hepático de camundongos adultos: canalículos biliares (BC) e redes senoidais. Para cada estrutura, uma imagem de microscopia 3D de um único animal foi usada para treinamento, enquanto duas imagens independentes de animais diferentes foram usadas exclusivamente para testes. Todas as imagens hepáticas foram adquiridas com resolução isotrópica de voxel de 0,3 μm/voxel, garantindo amostragem consistente nas três dimensões espaciais. O conjunto de dados, publicado originalmente em Morales-Navarrete et ^al.9, foi selecionado usando o Labkit²⁵, fornecendo máscaras binárias de alta qualidade das estruturas tubulares usadas como verdade fundamental para aprendizado supervisionado. Para a rede senoidal, geramos dois tipos de máscaras binárias: uma delineando as bordas do tubo (representação oca) e outra capturando o volume tubular preenchido, possibilitando diferentes estratégias de treinamento dependendo da aplicação.

Além disso, avaliamos nossa caixa de ferramentas em um conjunto de dados externo de vasos sanguíneos cerebrais inteiros de Mus musculus adulto, fornecido como parte do desafio SELMA3D 2024. Este conjunto de dados consiste em imagens de microscopia de folha de luz 3D adquiridas em condições de alojamento padrão (ciclo de 12 h de luz/12 h de escuridão por 3 meses) e está disponível por meio de imagens BioStudies (S-BIAD1197)²⁶. Cinco imagens cerebrais foram usadas para treinamento e dezenove para testes. As pilhas anisotrópicas originais foram reamostradas para dimensões de voxel isotrópicas usando interpolação linear em Fiji para garantir a compatibilidade com nosso pipeline de análise.

Pré-processamento
Para lidar com o número limitado de imagens 3D originais, aplicamos técnicas de aumento de dados que introduziram artefatos de imagem realistas e simularam relações sinal-ruído variáveis variando de 15 a 1. Essa abordagem foi fundamental para melhorar a generalização e a robustez dos modelos.

A imagem de teste foi subdividida em patches não sobrepostos de voxels de 64 x 64 x 64 para avaliar o desempenho do modelo em nível regional e avaliar a robustez em diferentes contextos espaciais dentro do mesmo volume 3D.

Arquitetura do modelo
Implementamos e comparamos duas arquiteturas de redes neurais convolucionais adaptadas para segmentação 3D:

Um U-Net¹⁷ 3D padrão, composto por blocos codificadores-decodificadores simétricos com pool máximo de 2×2×2, camadas convolucionais com ativações de ReLU e uma convolução final 1 x 1 x 1 seguida por uma função sigmóide para classificação binária.

Um Attention U-Net²⁷, que incorpora um mecanismo de atenção que destaca dinamicamente características salientes e suprime o fundo irrelevante, melhorando a segmentação de estruturas complexas e variáveis, como redes tubulares hepáticas.

Protocolo de treinamento
Ambas as arquiteturas foram treinadas usando as bibliotecas TensorFlow e Keras em um cluster de computação de alto desempenho equipado com 32 núcleos de CPU, 128 GB de RAM e duas GPUs NVIDIA A100 SXM4 de 40 GB. O Attention U-Net exigiu mais tempo de treinamento devido à sua complexidade arquitetônica, especialmente ao usar os conjuntos de dados aumentados (consulte a Tabela 1).

Métricas de avaliação
O desempenho do modelo foi avaliado quantitativamente nas imagens de teste mantidas usando métricas de segmentação padrão: coeficiente de dados, interseção sobre união (IoU), pontuação F1, similaridade de volume e sensibilidade e especificidade.

Os resultados para CB, estruturas senoidais e vasos estão resumidos na Figura 2, Figura 3, Figura 4 e Figura 5. Além disso, a Tabela 2 apresenta uma comparação de desempenho com métodos clássicos estabelecidos para segmentação tubular, incluindo Otsu e limiar adaptativo. Nossos modelos, particularmente o Attention U-Net treinado em dados aumentados, superaram consistentemente esses métodos tradicionais em todas as métricas.

Análise estatística e robustez
A análise de imagens inteiras, bem como os patches de voxel de 64 x 64 x 64 (Tabela 3) no conjunto de testes, também nos permitiu quantificar a variabilidade espacial nas previsões do modelo entre as regiões. Todos os modelos demonstraram alta precisão, com o Attention U-Net mostrando desempenho consistentemente superior, particularmente na pontuação F1 e no coeficiente de Dice. Os resultados qualitativos, mostrados na Figura 2A, B, Figura 3A, B, Figura 4A, B, Figura 5A, B, bem como no Vídeo 1, Vídeo 2, Vídeo 3 e Vídeo 4, apóiam esses achados, ilustrando o delineamento preciso das estruturas tubulares na maioria das regiões dos dados de teste.

Explicação de anomalias nas métricas de desempenho
Os valores mais baixos dos gráficos de caixa para a análise de patches (Figura Suplementar S1, Figura Suplementar S2, Figura Suplementar S3, Figura Suplementar S4 e Figura Suplementar S5) indicam a presença de outliers de desempenho em um subconjunto de patches de teste. Da mesma forma, a segmentação abaixo do ideal nos quadros finais dos vídeos pode ser atribuída a dois fatores principais:

Efeitos de limite: o desempenho da segmentação geralmente se degrada nas bordas da imagem, onde estruturas parciais são sub-representadas ou capturadas de forma incompleta, levando a maior incerteza e possível classificação incorreta.

Degradação da qualidade da imagem em planos z mais profundos: Apesar do tamanho isotrópico do voxel, fatores biológicos e técnicos, como atenuação do sinal, dispersão de luz e contraste reduzido na direção z, levam à redução da qualidade da imagem na parte inferior do volume. Essa degradação complica o delineamento preciso do limite e contribui para inconsistências de segmentação.

Esses fatores são desafios inerentes à imagem biológica 3D e são particularmente impactantes em regiões distantes do plano de imagem ou contendo limites de estrutura ambíguos.

Em resumo, nossos resultados demonstram que os modelos de segmentação baseados em aprendizado profundo, particularmente o Attention U-Net treinado com dados aumentados, oferecem delineamento robusto e preciso de estruturas tubulares complexas em imagens de microscopia hepática 3D. Ao alavancar conjuntos de dados selecionados, estratégias de aumento realistas e mecanismos de atenção, os modelos alcançaram desempenho superior em comparação com métodos clássicos, como limiar. A avaliação regional usando patches de voxel de 64³ confirmou a consistência e generalização da abordagem em diferentes regiões de imagem e complexidades estruturais. Embora algumas limitações persistam - principalmente devido a efeitos de contorno e degradação da imagem do plano z - nosso estudo destaca a eficácia das arquiteturas baseadas em atenção e fornece uma solução validada e de código aberto para segmentação tubular 3D de alta precisão em imagens biomédicas.

Figura 1: Fluxo de trabalho para a segmentação 3D de estruturas tubulares em imagens de microscopia de fluorescência usando modelos U-Net e Attention U-Net. (A) Preparação de dados: Seções esquemáticas 2D de imagens de microscopia de fluorescência 3D de tecido hepático de camundongo, mostrando as imagens originais e as máscaras binárias correspondentes. (B) Aumento de dados: Aumento baseado em simulação dos dados preparados, gerando imagens com diferentes relações sinal-ruído (por exemplo, SNR = 15 e SNR = 1). (C) Treinamento de modelo: Treinamento baseado em patch de modelos U-Net e Attention U-Net usando dados originais e aumentados. Patches de imagem e máscara de tamanho 64 x 64 x 64 são gerados para treinamento. (D) Avaliação do modelo: Métricas quantitativas de desempenho, incluindo Recall e F1 Score, são calculadas para cada modelo para avaliar a precisão da segmentação em conjuntos de dados de teste. (E) Inferência de Modelo: Aplicação do modelo treinado em imagens não vistas para gerar máscaras de segmentação previstas. Abreviatura: SNR = relação sinal-ruído. Clique aqui para ver uma versão maior desta figura.

Figura 2: Avaliação dos modelos U-Net e Attention U-Net para segmentação da rede Bile Canaliculi a partir de imagens de microscopia de fluorescência 3D do tecido hepático de camundongo. (A) Seções 2D representativas (seção intermediária) de imagens de microscopia de fluorescência 3D, exibindo a imagem original e a máscara de verdade fundamental correspondente para BC no tecido hepático de camundongo. As imagens no canto superior direito fornecem uma visão ampliada das inserções destacadas em cada seção. (B) Máscaras de segmentação previstas geradas pela U-Net, Attention U-Net e suas versões aumentadas. A linha superior destaca Verdadeiros Positivos (estruturas segmentadas corretamente), a inferior mostra Falsos Positivos (estruturas identificadas incorretamente) e Falsos Negativos (estruturas perdidas) para cada modelo. (C) Métricas de avaliação quantitativa para cada modelo, incluindo Precisão, Pontuação F1, Precisão, Recall, Similaridade de Volume e Coeficiente de Dice. A avaliação foi realizada nos patches extrudados da imagem 3D. As barras de erro denotam desvios padrão nas imagens de teste. Barra de escala: 60 μm; barra de escala inserida: 30 μm. Abreviatura: BC = canalículos biliares. Clique aqui para ver uma versão maior desta figura.

Figura 3: Avaliação dos modelos U-Net e Attention U-Net para segmentação da rede senoidal a partir de imagens de microscopia de fluorescência 3D do tecido hepático de camundongos. (A) Seções 2D representativas (seção intermediária) de imagens de microscopia de fluorescência 3D, exibindo a imagem original e a máscara de verdade fundamental correspondente para sinusóides no tecido hepático de camundongo. As imagens no canto superior direito fornecem uma visão ampliada das inserções destacadas em cada seção. (B) Máscaras de segmentação previstas geradas pela U-Net, Attention U-Net e suas versões aumentadas. A linha superior destaca Verdadeiros Positivos (estruturas segmentadas corretamente), a inferior mostra Falsos Positivos (estruturas identificadas incorretamente) e Falsos Negativos (estruturas perdidas) para cada modelo. (C) Métricas de avaliação quantitativa para cada modelo, incluindo Precisão, Pontuação F1, Precisão, Recall, Similaridade de Volume e Coeficiente de Dice. A avaliação foi realizada nos patches extrudados da imagem 3D. As barras de erro denotam desvios padrão nas imagens de teste. Barra de escala: 60 μm; Barra de escala inserida: 30 μm. Clique aqui para ver uma versão maior desta figura.

Figura 4: Avaliação dos modelos U-Net e Attention U-Net para segmentação da rede senoidal a partir de imagens de microscopia de fluorescência 3D de tecido hepático de camundongo, considerando a máscara como tubos preenchidos. (A) Seções intermediárias 2D representativas de imagens de microscopia de fluorescência 3D, exibindo a imagem original e a máscara de verdade fundamental correspondente para sinusóides no tecido hepático de camundongo. As imagens no canto superior direito fornecem uma visão ampliada das inserções destacadas em cada seção. (B) Máscaras de segmentação previstas geradas pela U-Net, Attention U-Net e suas versões aumentadas. Enquanto a linha superior destaca Verdadeiros Positivos (estruturas segmentadas corretamente), a inferior mostra Falsos Positivos (estruturas identificadas incorretamente) e Falsos Negativos (estruturas perdidas) para cada modelo. (C) Métricas de avaliação quantitativa para cada modelo, incluindo Precisão, Pontuação F1, Precisão, Recall, Similaridade de Volume e Coeficiente de Dice. A avaliação foi realizada nos patches extrudados da imagem 3D. As barras de erro denotam desvios padrão nas imagens de teste. Barra de escala: 60 μm; Barra de escala inserida: 30 μm. Clique aqui para ver uma versão maior desta figura.

Figura 5: Avaliação dos modelos U-Net e Attention U-Net para segmentação da rede vascular no cérebro de camundongos a partir de imagens de microscopia de folha de luz 3D usando máscaras de tubo preenchido. (A) Seções intermediárias 2D representativas extraídas de imagens de microscopia de folha de luz 3D do cérebro de camundongos, mostrando a imagem original e a máscara de verdade fundamental correspondente para vasos sanguíneos. As vistas ampliadas das inserções selecionadas são mostradas no canto superior direito de cada painel. Máscaras de segmentação previstas geradas por U-Net, Attention U-Net e suas versões aumentadas. A linha superior destaca Verdadeiros Positivos (estruturas de vasos segmentadas corretamente), enquanto a linha inferior ilustra Falsos Positivos (regiões segmentadas incorretamente) e Falsos Negativos (estruturas de vasos perdidos) para cada modelo. (C) Avaliação quantitativa do desempenho do modelo usando métricas como Exatidão, Pontuação F1, Precisão, Recall, Similaridade de Volume e Coeficiente de Dice. As avaliações foram realizadas em patches 3D extraídos dos volumes de teste. As barras de erro representam desvios padrão nas 19 imagens de teste. Clique aqui para ver uma versão maior desta figura.

Vídeo 1: Animação Z-Stack de máscaras previstas para a rede BC. O vídeo mostra uma sequência animada através da pilha z de máscaras de segmentação previstas para canalículos biliares no tecido hepático de camundongos, geradas por U-Net, Attention U-Net e suas versões aumentadas. Cada seção 2D destaca Verdadeiros Positivos (branco), Falsos Positivos (verde) e Falsos Negativos (magenta) para cada modelo, movendo-se por toda a pilha. Abreviatura: BC = canalículos biliares. Clique aqui para baixar este vídeo.

Vídeo 2: Animação Z-Stack de máscaras previstas para a rede senoidal. O vídeo mostra uma sequência animada através da pilha z de máscaras de segmentação previstas para sinusóides no tecido hepático de camundongos, geradas por U-Net, Attention U-Net e suas versões aumentadas. Cada seção 2D destaca Verdadeiros Positivos (branco), Falsos Positivos (verde) e Falsos Negativos (magenta) para cada modelo, movendo-se por toda a pilha. Clique aqui para baixar este vídeo.

Vídeo 3: Animação Z-Stack de máscaras previstas para a rede senoidal como tubos preenchidos. O vídeo mostra uma sequência animada através da pilha z de máscaras de segmentação previstas para a rede senoidal como tubos preenchidos no tecido hepático de camundongos, gerados por U-Net, Attention U-Net e suas versões aumentadas. Cada seção 2D destaca Verdadeiros Positivos (branco), Falsos Positivos (verde) e Falsos Negativos (magenta) para cada modelo, movendo-se por toda a pilha. Clique aqui para baixar este vídeo.

Vídeo 4: Animação Z-Stack de máscaras previstas para os vasos cerebrais. O vídeo mostra uma sequência animada através da pilha z de máscaras de segmentação previstas para embarcações, geradas por U-Net, Attention U-Net e suas versões aumentadas. Cada seção 2D destaca Verdadeiros Positivos (branco), Falsos Positivos (verde) e Falsos Negativos (magenta) para cada modelo, movendo-se por toda a pilha. Clique aqui para baixar este vídeo.

Tabela 1: Tempo de treinamento para modelos U-Net 3D e Attention U-Net 3D em conjuntos de dados Bile Canaliculi e Sinusoid com e sem aumento de dados. Tempo de treinamento para modelos U-Net 3D e Attention U-Net 3D em canaículos biliares e conjuntos de dados sinusóides com e sem aumento de dados. A tabela lista o número de patches para cada conjunto de dados e o tempo de treinamento correspondente em minutos. O aumento de dados aumenta o número de patches de 1353 para 10824, levando a um aumento significativo no tempo de treinamento. O modelo Attention U-Net requer consistentemente mais tempo de treinamento do que o modelo U-Net, especialmente com conjuntos de dados aumentados, devido à sua complexidade adicional em focar em recursos relevantes nos dados. Abreviatura: BC = canalículos biliares. Clique aqui para baixar esta tabela.

Tabela 2: Avaliação quantitativa dos modelos U-Net 3D e Attention U-Net 3D em quatro conjuntos de dados usando segmentação de imagem inteira. Esta tabela relata o desempenho de cada modelo, bem como métodos clássicos, como Otsu e limiar adaptativo, em quatro conjuntos de dados diferentes: canalículos biliares, redes sinusoidais (representações ocas e preenchidas) e vasculatura de todo o cérebro, usando imagens 3D inteiras para avaliação. Para cada combinação de modelo e conjunto de dados, o número de imagens de teste é listado, juntamente com as métricas de desempenho: Exatidão, Precisão, Recall (Sensibilidade), Especificidade, Pontuação F1, Coeficiente de Dice, IoU e Similaridade de Volume. Essas métricas fornecem uma avaliação abrangente da qualidade da segmentação em termos de correção de voxel e concordância volumétrica entre as previsões e a verdade fundamental. Abreviaturas: BC = canalículos biliares; IoU = Interseção sobre União. Clique aqui para baixar esta tabela.

Tabela 3: Avaliação quantitativa dos modelos U-Net 3D e Attention U-Net 3D em quatro conjuntos de dados usando patches de 64 x 64 x 64. Esta tabela resume o desempenho dos modelos U-Net 3D e Attention U-Net 3D em quatro conjuntos de dados - canalículos biliares, redes senoidais (máscaras ocas e preenchidas) e vasculatura cerebral inteira - com base na avaliação em manchas de imagem 3D de tamanho 64×64×64 voxels. Para cada combinação de conjunto de dados de modelo, o número de patches de teste é listado ao lado das principais métricas de desempenho: Exatidão, Precisão, Recall (Sensibilidade), Especificidade, Pontuação F1, Coeficiente de Dice, Interseção sobre União e Similaridade de Volume. Essas métricas em nível de patch oferecem insights localizados sobre o desempenho do modelo e são especialmente úteis para identificar a precisão da segmentação espacialmente heterogênea entre volumes. Abreviaturas: BC = canalículos biliares; IoU = Interseção sobre União. Clique aqui para baixar esta tabela.

Figura Suplementar S1: Desempenho de segmentação em nível de patch de modelos 3D U-Net e Attention U-Net para segmentação de canalículos biliares. Os gráficos ilustram o desempenho quantitativo dos modelos 3D U-Net e Attention U-Net em conjuntos de dados de canalículos biliares, avaliados usando patches de imagem 3D de tamanho 64 x 64 x 64 voxels. As métricas mostradas incluem Exatidão, Precisão, Recall (Sensibilidade), Especificidade, Pontuação F1, Coeficiente de Dados, Interseção sobre União e Similaridade de Volume. Os resultados refletem a variabilidade entre os patches, oferecendo informações localizadas sobre o desempenho do modelo e destacando a heterogeneidade espacial nos volumes de tecido hepático 3D. Abreviaturas: BC = canalículos biliares; IoU = Interseção sobre União. Clique aqui para baixar este arquivo.

Figura S2 suplementar: Desempenho de segmentação em nível de patch de modelos 3D U-Net e Attention U-Net para segmentação senoidal. Os gráficos ilustram o desempenho quantitativo dos modelos 3D U-Net e Attention U-Net em conjuntos de dados sinusóides, avaliados usando patches de imagem 3D de tamanho 64 x 64 x 64 voxels. As métricas mostradas incluem Exatidão, Precisão, Recall (Sensibilidade), Especificidade, Pontuação F1, Coeficiente de Dados, Interseção sobre União e Similaridade de Volume. Os resultados refletem a variabilidade entre os patches, oferecendo informações localizadas sobre o desempenho do modelo e destacando a heterogeneidade espacial nos volumes de tecido hepático 3D. Abreviação: IoU = Interseção sobre União. Clique aqui para baixar este arquivo.

Figura Suplementar S3: Desempenho de segmentação em nível de patch dos modelos 3D U-Net e Attention U-Net para sinusóides como segmentação de tubos preenchidos. Os gráficos ilustram o desempenho quantitativo dos modelos 3D U-Net e Attention U-Net em sinusóides como conjuntos de dados de tubos preenchidos, avaliados usando patches de imagem 3D de tamanho 64 x 64 x 64 voxels. As métricas mostradas incluem Exatidão, Precisão, Recall (Sensibilidade), Especificidade, Pontuação F1, Coeficiente de Dados, Interseção sobre União e Similaridade de Volume. Os resultados refletem a variabilidade entre os patches, oferecendo informações localizadas sobre o desempenho do modelo e destacando a heterogeneidade espacial nos volumes de tecido hepático 3D. Abreviação: IoU = Interseção sobre União. Clique aqui para baixar este arquivo.

Figura Suplementar S4: Desempenho de segmentação em nível de patch de modelos 3D U-Net e Attention U-Net para vasculatura cerebral a partir de imagens de microscopia de folha de luz. Os gráficos ilustram o desempenho quantitativo dos modelos 3D U-Net e Attention U-Net em conjuntos de dados de vasculatura de todo o cérebro, avaliados usando manchas de imagem 3D de tamanho 64 x 64 x 64 voxels. As métricas mostradas incluem Exatidão, Precisão, Recall (Sensibilidade), Especificidade, Pontuação F1, Coeficiente de Dados, Interseção sobre União e Similaridade de Volume. Os resultados refletem a variabilidade entre os patches, oferecendo informações localizadas sobre o desempenho do modelo e destacando a heterogeneidade espacial nos volumes de tecido hepático 3D. Abreviação: IoU = Interseção sobre União. Clique aqui para baixar este arquivo.

Figura suplementar S5: Sobreposição de resultados de segmentação em imagens originais de microscopia de fluorescência 3D de canalículos biliares. Fatias de imagens representativas de conjuntos de dados de microscopia de fluorescência 3D de canalículos biliares no fígado de camundongos são mostradas com máscaras de segmentação sobrepostas em vermelho. As máscaras previstas dos modelos 3D U-Net e Attention U-Net são sobrepostas às imagens originais de microscopia em escala de cinza para avaliar visualmente a precisão da segmentação. Dez imagens de exemplo são apresentadas para ilustrar a capacidade dos modelos de capturar diversas características morfológicas e lidar com a variabilidade do sinal em diferentes regiões do tecido. Clique aqui para baixar este arquivo.

Discussion

Este protocolo oferece uma abordagem simples, mas poderosa e acessível para segmentação baseada em deep learning de estruturas tubulares em imagens de microscopia de fluorescência 3D, preenchendo a lacuna entre a complexidade técnica e a usabilidade na análise de bioimagens. Ao integrar aumento de dados baseado em simulação, notebooks Jupyter interativos e arquiteturas U-Net eficientes, fornecemos uma ferramenta de código aberto capaz de realizar segmentação de alta precisão em estruturas complexas de tecidos, como canalículos biliares e redes senoidais. Essa caixa de ferramentas aborda os principais desafios nas tarefas de segmentação 3D, especialmente no tratamento da escassez de dados e da variabilidade nas condições de imagem, tornando-a uma adição versátil ao cenário de análise de bioimagem.

Um componente crucial do nosso protocolo é o aumento de dados baseado em simulação, que melhora o desempenho do modelo mesmo com um número limitado de imagens anotadas - uma limitação comum em estudos biológicos. Ao gerar dados aumentados que imitam artefatos de imagem realistas, como convolução da função de propagação de pontos, decaimento da intensidade axial e ruído de Poisson e Gaussiano, a caixa de ferramentas produz modelos robustos em uma variedade de condições de imagem. Essa abordagem aumenta efetivamente a diversidade de dados, melhorando a generalização dos modelos e fornecendo uma vantagem importante sobre as técnicas tradicionais de aumento de dados, que podem não capturar totalmente a heterogeneidade presente em espécimes biológicos. No entanto, isso é limitado pelas características morfológicas intrinsecamente codificadas na máscara inicialmente fornecida. A dependência de máscaras pré-segmentadas para a geração de dados de treinamento inicial introduz vieses potenciais se as máscaras não forem totalmente representativas das estruturas biológicas em questão. Portanto, ainda há uma questão em aberto sobre como gerar aumento de dados realista no espaço morfológico, o que pode ser potencialmente importante para estudar tecidos com alterações como a progressão da doença.

Nosso método utiliza dois modelos de codificador-decodificador, 3D U-Net e Attention U-Net, selecionados por seu alto desempenho em tarefas de imagem biomédica. Enquanto o 3D U-Net fornece uma arquitetura de segmentação direta, mas poderosa, o Attention U-Net melhora a precisão, concentrando-se seletivamente em recursos relevantes e suprimindo o ruído. Ambos os modelos estão incluídos na caixa de ferramentas, permitindo que os usuários escolham com base em seus requisitos específicos de conjunto de dados. Nossos resultados mostram que o modelo Attention U-Net atinge métricas de desempenho mais altas em todos os conjuntos de dados, particularmente para estruturas desafiadoras, como a rede senoidal, onde a complexidade adicional dos mecanismos de atenção ajuda a mitigar os efeitos de baixas relações sinal-ruído e variabilidade estrutural. No entanto, é importante observar que as demandas computacionais do Attention U-Net são maiores, o que pode afetar sua acessibilidade para usuários com recursos limitados de GPU. Além disso, dada a natureza de código aberto do pipeline, outras arquiteturas mais complexas podem ser facilmente adicionadas para estudos futuros, se necessário.

Nosso protocolo oferece um pipeline completo e fácil de usar que integra etapas essenciais para segmentação 3D em uma única configuração. Esse design simplificado é uma vantagem importante, pois simplifica o acesso a ferramentas avançadas de segmentação sem exigir experiência em programação ou ajustes de parâmetros. Além disso, nossa estratégia de aumento de dados baseada em simulação aumenta a robustez do modelo, reduzindo a dependência de extensas anotações manuais e melhorando a generalização do modelo em diversas condições de imagem. Em contraste com os métodos clássicos de segmentação, que geralmente dependem de algoritmos de limiar ou crescimento de região que exigem um ajuste fino cuidadoso^28,29, nossa abordagem de aprendizado profundo requer intervenção manual mínima. Isso contribui para democratizar a segmentação reprodutível e de alta qualidade de estruturas 3D complexas, tornando-a acessível a uma gama mais ampla de pesquisadores, incluindo aqueles sem ampla experiência computacional.

Além das redes tubulares, a flexibilidade do protocolo permite fácil adaptação para segmentar outras estruturas biológicas. Aprimoramentos futuros podem incluir a integração de aprendizado auto-supervisionado³⁰ ou aprendizado de transferência³¹, o que reduz ainda mais a necessidade de dados anotados, mantendo alta precisão de segmentação. Essas estratégias também podem estender a aplicabilidade a diversas modalidades de imagem, como microscopia multifotônica ou de folha de luz.

Apesar de seus pontos fortes, o protocolo tem várias limitações que devem ser reconhecidas. Primeiro, o tamanho do conjunto de dados permanece relativamente pequeno, compreendendo apenas alguns volumes anotados por estrutura. Embora o aumento de dados mitigue parcialmente esse problema, o risco de sobreajuste ainda está presente, principalmente ao aplicar modelos ajustados a conjuntos de dados com variações invisíveis na preparação de amostras ou condições de imagem. Em segundo lugar, embora nossos resultados indiquem uma boa generalização em diferentes manchas e animais, ainda não testamos a caixa de ferramentas em conjuntos de dados de outros órgãos ou modalidades de microscopia, que podem exibir características estruturais e de ruído distintas. Isso limita a generalização imediata de nossa abordagem. Finalmente, nossa estratégia de avaliação, embora robusta no nível do patch, pode se beneficiar de métricas adicionais para consistência topológica, que são relevantes para estruturas semelhantes a redes. Trabalhos futuros abordarão essas limitações expandindo o conjunto de dados, incorporando técnicas de adaptação de domínio³² e avaliando o pipeline em contextos biológicos mais amplos.

Resumindo, este protocolo representa uma solução acessível e abrangente para segmentação 3D de alta qualidade de estruturas tubulares em bioimagem. Ao combinar arquiteturas de modelos eficazes, estratégias de aumento de dados e uma interface interativa e amigável, nossa caixa de ferramentas tem o potencial de expandir o alcance e o impacto do aprendizado profundo na análise de bioimagens, permitindo que pesquisadores em todo o mundo aproveitem essas técnicas em busca de uma compreensão mais profunda da estrutura e função biológicas.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Fiji			https://imagej.net/software/fiji/downloads
Repositório GitHub			https://github.com/hernanmorales-navarrete/3DMicroscopyImage Segmentação/árvore/principal
Labkit			https://imagej.net/plugins/labkit/
Repositório Zenodo			10.5281/zenodo.14029574