一种基于深度学习的开源协议，用于对 3D 荧光显微镜图像中的管状结构进行分割

摘要

该协议引入了一个开源工具箱，提供了一个完整的管道，用于在三维（3D）荧光显微镜图像中分割管状结构。它采用深度学习和基于模拟的数据增强，训练 U-Net 和 Attention U-Net 模型，提供定性和定量评估，并包括用于训练、推理和可视化的用户友好笔记本。

摘要

从 3D 荧光显微镜图像中分割致密生物组织中的管状结构对于研究复杂组织至关重要，但由于图像的复杂性、可变性和质量问题仍然具有挑战性。在这里，我们介绍了一个开源、用户友好的工具箱，用于对 3D 图像中的管状结构进行端到端分割，无需正式编程培训的研究人员即可使用。该工具箱具有交互式 Jupyter 笔记本，实现了两种简单而高效的深度学习架构——3D U-Net 和具有注意力机制的 3D U-Net——用于对管状网络进行精确的 3D 分割。一项关键创新是我们基于仿真的数据增强策略，即使训练数据最少（只需一张 3D 图像），它也能增强模型性能。该协议采用用户提供的掩模，生成具有不同信噪比的人造显微镜图像，并模拟逼真的成像伪影，包括不均匀染色、点扩散函数卷积、轴向强度变化以及泊松和高斯噪声。该协议系统地指导用户进行数据增强、模型训练、测试集的定性和定量评估以及新图像的推理。我们通过分析小鼠肝组织中两个形态不同的管状网络（胆管和正弦网络）来验证工具箱，证明这两种结构都表现良好，当使用增强数据进行训练时，注意力 U-Net 的性能略优于标准 U-Net。我们的综合工具箱可在本地图形处理单元 （GPU）、高性能计算集群或云平台上执行，有助于为广大研究人员实现高级图像分析的民主化。

引言

对生物组织（如肝脏中的血管、神经元网络和胆管）中的肾小管结构进行定量分析，对于了解生理和病理过程（包括血管生成、肿瘤转移和^{器官发育）}至关重要^1,2,3。三维（3D）荧光显微镜已成为对这些复杂网络进行成像的关键工具，提供高空间分辨率，并能够在其原始环境中可视化复杂的组织结构4,5,6,7。然而，由于成像伪影、信号变异性和生物标本固有的异质形态，从致密的生物组织中准确分割管状结构仍然是一项艰巨的挑战。传统的分割方法，如阈值、区域增长和基于模型的算法，通常需要大量的人工干预和细致的参数调整，这既耗时又主观，特别是对于复杂的3D组织，如肝脏8,9,10,11,12 .这些方法通常对生物样品和成像条件固有的变异性不具有鲁棒性，限制了它们在不同数据集和实验设置中的通用性。ImageJ¹³ 和 TiQuant⁸ 等软件工具已被开发用于协助组织分析和定量;然而，它们可能缺乏以全自动方式对复杂管状网络进行全面 3D 重建所需的灵活性或可扩展性。

深度学习通过高精度和高效率地自动化分割任务，彻底改变了生物医学图像分析14,15,16。卷积神经网络（CNN），特别是像U-Net这样的编码器-解码器架构，在各种生物医学成像应用中表现出卓越的性能17,18,19。此外，将U-Net扩展到3D数据（3D U-Net）可以有效处理体积图像，捕获所有三个维度的空间上下文，并提高复杂结构的分割精度²⁰。将注意力机制纳入这些架构（注意力 U-Net）可使网络专注于显着特征，同时抑制不相关的背景噪声，从而进一步提高性能 18,21,22。尽管具有潜力，但实施深度学习模型进行 3D 分割仍带来重大挑战。训练这些模型通常需要大量的编程专业知识、强大的计算资源和大型带注释的数据集，而这些数据集可能并非所有研究人员都可以轻松获得。注释 3D 图像尤其需要大量劳动，通常涉及手动标记跨多个切片的复杂结构，这对于大型数据集来说可能令人望而却步。虽然数据增强技术可以通过旋转、缩放和翻转等转换人为地增加数据集多样性来减轻对大量训练数据的需求，但传统的增强方法可能无法完全捕捉生物图像的可变性和复杂性，尤其是那些涉及复杂 3D 结构的图像。

为了解决这些限制，我们引入了一个开源、用户友好的工具箱，用于对 3D 显微镜图像中的管状结构进行端到端分割。该工具箱采用交互式Jupyter笔记本，并实现了两种强大的深度学习方法——3D U-Net^17,20和具有注意力机制的3D U-Net^18,21——用于精确分割3D管状结构，而无需广泛的编程知识。我们协议的一项关键创新是基于模拟的数据增强策略，即使训练数据最少，也能增强模型性能——只需一张 3D 图像。通过利用用户提供的掩模，该协议生成具有不同信噪比的人造显微镜图像，并模拟逼真的成像伪影，包括不均匀染色、共聚焦显微镜点扩散函数 （PSF） 卷积、抗体穿透或散射导致的轴向强度变化，以及泊松和高斯噪声的存在。这种基于模拟的增强不仅增加了训练数据的数量，还通过真实的变化丰富了数据集，提高了模型对看不见的数据的泛化性。该协议系统地指导用户进行数据增强、模型训练、对测试集上模型预测的定性和定量评估以及对新图像的推理（图 1）。我们通过分析小鼠肝组织中两个形态不同的管状网络来验证我们工具箱的效用：胆管和正弦网络。这些网络呈现出不同的结构特征和成像挑战，为我们的方法提供了强大的测试平台。

虽然大多数现有研究都侧重于 2D 图像分析，限制了对复杂 3D 结构的理解，但我们的方法强调 3D 分割以捕捉组织结构的全部复杂性。通过将成熟且强大的深度学习架构与用户友好的界面集成，我们的工具箱有助于实现最先进的图像分析工具的民主化。我们的管道可以在本地 GPU、高性能计算集群或 Google Colab 等云平台上执行，使更广泛的研究人员能够使用高级图像分析，无论计算资源如何。这项工作为管状结构的 3D 分割提供了一种可访问且全面的解决方案，促进定量分析，这对于增进我们对组织功能和疾病机制的理解至关重要，从而为该领域做出了贡献。

方案

1. 工具箱的安装和设置

1. 从 GitHub 下载工具箱
   1. 打开 Web 浏览器并导航到工具箱的 GitHub 存储库：https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation 
   2. 使用 Git 克隆（选项 A）下载它。确保系统上安装了 Git;如果没有，请从 https://git-scm.com/downloads 下载并安装。打开终端 （Unix/Linux/macOS） 或命令提示符 （Windows） 并导航到要存储工具箱的目录。通过键入以下内容克隆存储库：
      git 克隆 https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation.git
   3. 下载 ZIP 文件（选项 B）。在 GitHub 页面上，单击绿色代码 按钮，然后选择下载 ZIP。将 ZIP 文件保存到首选目录并解压 ZIP 文件的内容。
2. 设置 Conda 环境
   1. 安装 Anaconda 或 Miniconda。如果尚未安装，请从以下位置下载 Anaconda：
      https://docs.anaconda.com/miniconda/ 的 https://www.anaconda.com/download 或 Miniconda。按照所用作系统的安装说明进行作。
   2. 打开终端或命令提示符。通过键入以下内容，使用 Python 3.10 创建名为 img_seg_env 的新 Conda 环境：
      conda create -n img_seg_env python=3.10
   3. 通过键入激活 Conda 环境：
      conda 激活img_seg_env
      或激活 Windows 版img_seg_env
3. 使用 requirements.txt 安装所需的依赖项。确保位于工具箱的根目录中。通过键入以下内容，使用 pip 安装所需的 Python 包：
   pip install -r requirements.txt
   注意：此命令读取 requirements.txt 文件并安装所有必要的软件包
   1. 确认已安装 numpy、 scipy、 matplotlib、 tensorflow 和 jupyter 等包。验证安装成功并通过键入列出已安装的软件包：
      pip 列表
4. 启动 Jupyter Notebook
   1. 在激活的 Conda 环境中，通过键入以下内容启动 Jupyter Notebook ：
      Jupyter 笔记本
   2. 如果 JupyterLab 更可取，它提供了增强的界面，请运行：
      Jupyter 实验室
   3. 访问 Jupyter 界面：等待 Web 浏览器自动打开，显示 Jupyter 界面。如果它没有自动打开，请获取终端中提供的 URL（例如 http://localhost:8888/tree）并在网络浏览器中手动打开它。
   4. 在 Jupyter 界面中，导航到包含工具箱提供的 Jupyter 笔记本的目录（例如， /path/to/3DMicroscopyImageSegmentation-main/）。

2. 数据准备（图 1A）

1. 生成管状结构的图像数据
   1. 获取 3D 显微镜图像
      1. 从以下位置下载公开可用的小鼠肝组织 3D 图像： https://zenodo.org/records/14029574 该数据集包括胆管 （BC） 和正弦网络的 3D 共聚焦图像，这些图像是从⁹ 的原始图像中裁剪而来的。或者，使用一组生成的图像。
   2. 获取 3D PSF
      1. 从 https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation/blob/main/data/raw/PSF.tif 下载实点扩散函数（PSF）图像或者，使用DeconvolutionLab2²³和显微镜的参数生成理论PSF。
   3. 使用以下分割方法生成管状结构的二进制掩码：
      1. 在斐济使用 MorpholibJ 进行半自动分割
         1. 打开斐济。加载显微镜图像。
         2. 转到菜单 流程 |二进制 |MakeBinary，选择 Otsu 作为方法，然后按 OK。
         3. 打开插件 MorpholibJ 并导航到 插件 |吗啉 |过滤 |形态过滤器 （3D）。
         4. 选择 “闭合”作，将 元素形状 设置为 “球” （最适合管状结构），然后选择合适的体素半径 。单击 “显示元素” 以可视化结构元素。对于管状结构，请尝试 3 到 8 像素的值。
            注意：较大的半径可能会引入伪影。
         5. 单击“文件”将结果另存为“image_closing.tif” |另存为... |蒂夫......
            注意：确保每个生成的蒙版都对应于正确的原始图像文件，并具有匹配的文件名。可以从以下位置下载示例预计算掩码： https://doi.org/10.5281/zenodo.14029574
   4. 手动管理蒙版。
      1. 按照以下说明下载并安装 Labkit²⁴： https://github.com/juglab/labkit-ui。打开每个初步掩膜，并使用绘图和擦除工具通过添加或删除区域来手动纠正分割错误，以准确描绘管状结构。保存精选蒙版，保持与原始图像相同的文件名。
      2. 使用 Napari²⁵
         1. 打开命令提示符并激活 Napari 环境（如果尚未激活）：
            conda 激活napari_env
         2. 启动 napari：
            纳帕里
         3. 将显微镜图像及其相应的二进制掩模拖放到 napari 中。
         4. 通过右键单击蒙版图层名称并选择 转换为标签，将二进制蒙版转换为标签图层。
         5. 将 轮廓宽度 设置为 1 并开始策展。要填充孔洞，请使用 拾取工具 选择蒙版值。激活填充 桶工具 并单击孔内。
            注意：如果整个图像被填充，则结构可能存在间隙。使用 画笔 关闭边界，然后再尝试填充 桶 工具。
         6. 管理完成后，通过导航到 文件 |保存所选图层 |蒂夫。在斐济打开校正后的蒙版，然后单击“ 图像 |类型 |8 位。保存最终的 8 位图像。
2. 组织数据集
   1. 创建数据集目录结构。
      1. 选择将存储数据集的目录（例如，/path/to/your/dataset）。创建以下文件夹结构：
         数据/
         ├── training_data/
         │ ├── 图片/
         │ │ ├── img1.tif
         │ │ ├── img2.tif
         │   │   └── ...
         │ └── 口罩/
         │ ├── img1.tif
         │ ├── img2.tif
         │       └── ...
         └── test_data/
         ├── 图片/
         │ ├── imgtest1.tif
         │ ├── imgtest2.tif
         │   └── ...
         └── 口罩/
         ├── imgtest1.tif
         ├── imgtest2.tif
         └── ...
   2. 组织图像和蒙版。
      1. 训练数据
         1. 将用于训练的 3D 显微镜图像放入 dataset/training_data/images/ 中。确保文件名一致（例如，img1.tif、img2.tif）。
         2. 将相应的精选二进制掩码放入 dataset/training_data/masks/ 中，确保文件名与 images 文件夹中的文件名匹配（例如，img1.tif、img2.tif）。
      2. 测试数据
         1. 将用于测试的 3D 显微镜图像放入 dataset/test_data/images/ 中。使用与训练数据不重叠的一致文件名。
         2. 将相应的特选二进制掩码放入 dataset/test_data/masks/ 中。确保文件名与测试图像文件夹中的文件名匹配。

3. 运行完整管道（图 1B-E）

1. 打开 Jupyter 笔记本。
   1. 通过键入激活 Conda 环境img_seg_env：
      conda 激活img_seg_env
   2. 导航到项目的根文件夹：
      cd /路径/到/ImageSegmentationcode/
   3. 通过键入 jupyter lab 或 jupyter notebook 启动 Jupyter 界面。
   4. 在 Web 浏览器中，打开名为 process_images.ipynb 的笔记本。
2. 设置环境
   1. 导入库并配置 GPU 访问。
      注意：在第一个和第二个笔记本单元格中，导入库，并将 TensorFlow 配置为使用启用内存增长的 GPU。这确保了 TensorFlow 不会一次分配所有 GPU 内存，并且与多个任务兼容。不要更改单元格中的内容。按 播放 按钮执行单元格。
3. 配置输入参数
   1. 找到输入配置单元格，并根据数据集进行修改：
      source_dir = '/路径/到/数据/BC/'
      psf_path = '/路径/到/PSF.tif'
      code_dir = '/路径/到/代码/'
      out_dir = '/路径/到/输出/'
      out_name = 'BC'
   2. 按 播放 按钮执行单元格 3。
   3. 不要更改单元格中的内容。通过按单元格 4 中的 播放 按钮来执行单元格。
4. 补丁生成
   1. 执行创建 数据集 单元格以生成训练和测试补丁。不要更改单元格中的内容。按 播放 按钮执行单元格。
5. 模型训练
   1. 执行 “训练模型” 单元格，使用三种增强设置训练 UNet3D：NONE、STANDARD 和 Simulation-based。
   2. 将“UNet3D”替换为“UNet3D”、“AttentionUNet3D”，以专注力训练 UNet3D。如果需要，修改 config.py 中的训练设置（参见步骤 3.9）。
6. 生成预测
   1. 运行 “生成预测” 单元格，以在测试数据上生成分割掩码。不要更改单元格中的内容。按 播放 按钮执行单元格。
7. 评估和绘图生成
   1. 执行 “生成绘图 ”单元格以生成评估指标的箱线图。
8. 审查和解释结果
   1. 检查 out_images_path 和 out_plots_path 定义的路径中的输出。
   2. 检查箱线图，比较补丁级和全图像指标上的模型和增强策略。
9. 通过 config.py 定制
   1. 修改 config.py 中的以下关键参数以自定义流水线：
      PATCH_SIZE = （64， 64， 64）
      PATCH_STEP = 64
      LEARNING_RATE = 1e-4
      BATCH_SIZE = 1
      NUM_EPOCHS = 50
      VALIDATION_SPLIT = 0.2
      EARLY_STOPPING_PATIENCE = 10
      AVAILABLE_MODELS = [“UNet3D”， “注意UNet3D”]
      INTENSITY_PARAMS = { “background_level”： 0.1， “local_variation_scale”： 5， “z_decay_rate”： 0.999， “noise_std”： 0.1， “poisson_scale”： 1.0， “intensity_scale”： 1000.0， “snr_targets”： [15， 10， 5， 4， 3， 2， 1]}
10. 故障 排除
    1. 对于内存不足错误，请减少BATCH_SIZE或 config.py 中的PATCH_SIZE。
    2. 对于 GPU 问题，请确保有足够的内存可用，或减小批量大小。
11. 最终确认
    1. 管道完成后，查找以下打印消息：
       所有计算均已成功完成
    2. 我们强烈建议在配备支持 CUDA 的 NVIDIA GPU 的 Linux 或 Windows 系统上运行 TensorFlow。如果您在使用 CUDA 安装 tensorflow 时遇到问题，请按照官方安装过程进行作： https://www.tensorflow.org/install/pip

结果

数据采集
为了验证我们的工具箱，我们分析了成年小鼠肝组织中的两个不同的管状网络：胆管（BC）和正弦网络。对于每个结构，一张来自单只动物的 3D 显微镜图像用于训练，而来自不同动物的两张独立图像专门用于测试。所有肝脏图像均以 0.3 μm/体素的各向同性体素分辨率获取，确保在三个空间维度上一致的采样。该数据集最初发表在 Morales-Navarrete 等人 ⁹ 上，是使用 Labkit²⁵ 策划的，提供了用作监督学习基本实况的管状结构的高质量二进制掩码。对于正弦网络，我们生成了两种类型的二进制掩码：一种勾勒出管状边界（空心表示），另一种捕获填充的管状体积，从而根据应用实现不同的训练策略。

此外，我们还在作为 2024 年 SELMA3D 挑战的一部分提供的成人 Mus musculus 全脑血管的外部数据集上评估了我们的工具箱。该数据集由在标准饲养条件下（12小时光照/12小时暗循环3个月）下获取的3D光片显微镜图像组成，可通过BioStudies（S-BIAD1197）图像²⁶获得。五张大脑图像用于训练，十九张用于测试。在斐济使用线性插值将原始各向异性堆栈重新采样为各向同性体素维度，以确保与我们的分析管道兼容。

预处理
为了解决原始 3D 图像数量有限的问题，我们应用了数据增强技术，引入了逼真的成像伪影，并模拟了 15 比 1 之间的不同信噪比。这种方法对于增强模型的通用性和鲁棒性至关重要。

测试图像被细分为 64 x 64 x 64 体素的非重叠块，以评估区域级别的模型性能，并评估同一 3D 体积内不同空间环境的鲁棒性。

模型架构
我们实施并比较了两种专为 3D 分割量身定制的卷积神经网络架构：

标准 3D U-Net¹⁷，由具有 2×2×2 最大池化的对称编码器-解码器块、具有 ReLU 激活的卷积层以及最终的 1 x 1 x 1 卷积和用于二元分类的 sigmoid 函数组成。

A Attention U-Net²⁷，它结合了一种注意力机制，可以动态突出显着特征并抑制不相关的背景，从而改善肝管网络等复杂和可变结构的分割。

培训协议
这两种架构都是在配备 32 个 CPU 内核、128 GB RAM 和两个 NVIDIA A100 SXM4 40 GB GPU 的高性能计算集群上使用 TensorFlow 和 Keras 库进行训练的。由于其架构复杂性，Attention U-Net 需要更多的训练时间，尤其是在使用增强数据集时（见 表 1）。

评估指标
使用标准分割指标对持有的测试图像进行模型性能定量评估：骰子系数、交集 （IoU）、F1 分数、体积相似性以及敏感性和特异性。

BC、正弦结构和血管的结果总结在 图2， 图3， 图4和 图5中。此外， 表2 显示了与已建立的管状分割经典方法（包括Otsu和自适应阈值）的性能比较。我们的模型，特别是在增强数据上训练的 Attention U-Net，在所有指标上始终优于这些传统方法。

统计分析和稳健性
对整个图像以及测试集中的 64 x 64 x 64 体素块（表 3）的分析使我们能够量化跨区域模型预测的空间变异性。所有模型都表现出高精度，其中 Attention U-Net 始终表现出更高的性能，特别是在 F1 分数和骰子系数方面。定性结果如 图 2A、B、 图 3A、B、 图 4A、B、 图 5A、B 以及 视频 1、 视频 2、 视频 3 和 视频 4 所示，支持这些发现，说明了测试数据大多数区域中管状结构的精确描绘。

性能指标异常的解释
补丁分析的箱线图的较低值（补充图 S1、补充图 S2、补充图 S3、补充图 S4 和 补充图 S5）表示测试补丁子集中存在性能异常值。同样，视频最后一帧的次优分割可归因于两个关键因素：

边界效应：分割性能通常会在图像边界处下降，其中部分结构未被充分表示或捕获不完整，从而导致更大的不确定性和潜在的错误分类。

更深 z 平面中的图像质量下降：尽管体素尺寸各向同性，但信号衰减、光散射和 z 方向对比度降低等生物和技术因素会导致图像质量向体积底部降低。这种退化使准确的边界描绘变得复杂，并导致分割不一致。

这些因素是 3D 生物成像的固有挑战，在远离成像平面或包含模糊结构边界的区域尤其有影响。

总之，我们的结果表明，基于深度学习的分割模型，特别是用增强数据训练的 Attention U-Net，可以对 3D 肝脏显微镜图像中的复杂管状结构进行稳健而准确的描绘。通过利用精选数据集、现实的增强策略和注意力机制，与阈值等经典方法相比，这些模型实现了卓越的性能。使用 64³ 体素补丁的区域评估证实了该方法在不同图像区域和结构复杂性的一致性和通用性。虽然一些局限性仍然存在（主要是由于边界效应和 z 平面图像退化），但我们的研究强调了基于注意力的架构的有效性，并为生物医学成像中的高精度 3D 管状分割提供了经过验证的开源解决方案。

图 1：使用 U-Net 和 Attention U-Net 模型对荧光显微镜图像中的管状结构进行 3D 分割的工作流程。（A） 数据制备：小鼠肝组织3D荧光显微镜图像的示意图2D切片，显示原始图像和相应的二进制掩模。 （B） 数据增强：对准备好的数据进行基于仿真的增强，生成具有不同信噪比的图像（例如，SNR = 15和SNR = 1）。 （C） 模型训练：使用原始数据和增强数据对 U-Net 和 Attention U-Net 模型进行基于补丁的训练。生成大小为 64 x 64 x 64 的图像和掩码补丁以进行训练。 （D） 模型评估：为每个模型计算定量性能指标，包括召回率和 F1 分数，以评估测试数据集的分割准确性。 （E） 模型推理：将训练好的模型应用于看不见的图像，生成预测的分割掩码。缩写：SNR = 信噪比。 请点击此处查看此图的大图。

图2：评估U-Net和Attention U-Net模型，用于从小鼠肝组织的3D荧光显微镜图像分割胆管网络。（A） 3D荧光显微镜图像的代表性2D切片（中间部分），显示小鼠肝组织中BC的原始图像和相应的地面实况掩模。右上角的图像提供了每个部分中突出显示的插图的放大视图。 （B） 由U-Net、Attention U-Net及其增强版本生成的预测分割掩码。上行突出显示每个模型的真阳性（正确分割的结构），下行显示每个模型的误报（错误识别的结构）和假阴性（遗漏的结构）。 （C） 每个模型的定量评估指标，包括准确率、F1分数、精度、召回率、体积相似性和骰子系数。评估是在从 3D 图像中挤出的斑块中进行的。误差线表示测试图像之间的标准差。比例尺：60 μm;嵌入式比例尺：30 μm。缩写：BC = 胆管。 请点击此处查看此图的大图。

图3：评估U-Net和Attention U-Net模型，用于从小鼠肝组织的3D荧光显微镜图像中分割正弦网络。（A） 3D荧光显微镜图像的代表性2D切片（中间部分），显示小鼠肝组织中正弦曲线的原始图像和相应的地面实况掩模。右上角的图像提供了每个部分中突出显示的插图的放大视图。 （B） 由U-Net、Attention U-Net及其增强版本生成的预测分割掩码。上行突出显示每个模型的真阳性（正确分割的结构），下行显示每个模型的误报（错误识别的结构）和假阴性（遗漏的结构）。 （C） 每个模型的定量评估指标，包括准确率、F1分数、精度、召回率、体积相似性和骰子系数。评估是在从 3D 图像中挤出的斑块中进行的。误差线表示测试图像之间的标准差。比例尺：60 μm;嵌入式比例尺：30 μm。 请点击此处查看此图的大图。

图4：评估U-Net和Attention U-Net模型，用于从小鼠肝组织的3D荧光显微镜图像分割正弦网络，将掩模视为填充管。（A） 3D荧光显微镜图像的代表性2D中间部分，显示小鼠肝组织中正弦曲线的原始图像和相应的地面实况掩模。右上角的图像提供了每个部分中突出显示的插图的放大视图。 （B） 由U-Net、Attention U-Net及其增强版本生成的预测分割掩码。上行突出显示了每个模型的真阳性（正确分割的结构），而下行显示了每个模型的误报（错误识别的结构）和假阴性（遗漏的结构）。 （C） 每个模型的定量评估指标，包括准确率、F1分数、精度、召回率、体积相似性和骰子系数。评估是在从 3D 图像中挤出的斑块中进行的。误差线表示测试图像之间的标准差。比例尺：60 μm;嵌入式比例尺：30 μm。 请点击此处查看此图的大图。

图5：评估U-Net和Attention U-Net模型，使用填充管掩模从3D光片显微镜图像分割小鼠大脑中的血管网络。 （A）从小鼠大脑的3D光片显微镜图像中提取的代表性2D中间部分，显示原始图像和相应的血管地面实况掩模。所选插图的放大视图显示在每个面板的右上角。由 U-Net、Attention U-Net 及其增强版本生成的预测分割掩码。顶行突出显示了每个模型的真阳性（正确分段的血管结构），而底行说明了每个模型的误报（错误分段的区域）和假阴性（遗漏的血管结构）。（C） 使用准确度、F1 分数、精度、召回率、体积相似性和骰子系数等指标对模型性能进行定量评估。对从测试体积中提取的 3D 贴片进行评估。误差线表示 19 张测试图像的标准差。 请点击此处查看此图的大图。

视频 1：BC 网络预测掩膜的 Z-Stack 动画。 该视频显示了通过小鼠肝组织中胆管的预测分割掩模的 z 堆栈的动画序列，由 U-Net、Attention U-Net 及其增强版本生成。每个 2D 部分突出显示每个模型的真阳性（白色）、误报（绿色）和假阴性（洋红色），并在整个堆栈中移动。缩写：BC = 胆管。 请按此下载此短片。

视频 2：正弦网络预测掩码的 Z-Stack 动画。 该视频显示了由 U-Net、Attention U-Net 及其增强版本生成的小鼠肝组织中正弦曲线的预测分割掩码的 z 堆栈的动画序列。每个 2D 部分突出显示每个模型的真阳性（白色）、误报（绿色）和假阴性（洋红色），并在整个堆栈中移动。 请按此下载此短片。

视频 3：正弦网络的预测掩模作为填充管的 Z-Stack 动画。 该视频显示了通过正弦网络的预测分割掩码的 z 堆栈的动画序列，作为小鼠肝组织中的填充管，由 U-Net、Attention U-Net 及其增强版本生成。每个 2D 部分突出显示每个模型的真阳性（白色）、误报（绿色）和假阴性（洋红色），并在整个堆栈中移动。 请按此下载此短片。

视频 4：脑血管预测掩模的 Z-Stack 动画。 该视频显示了由 U-Net、Attention U-Net 及其增强版本生成的船舶预测分割掩码的 z 堆栈的动画序列。每个 2D 部分突出显示每个模型的真阳性（白色）、误报（绿色）和假阴性（洋红色），并在整个堆栈中移动。 请按此下载此短片。

表 1：胆管和正弦数据集上 U-Net 3D 和注意力 U-Net 3D 模型的训练时间，有和没有数据增强。 在胆管和正弦数据集上对 U-Net 3D 和注意力 U-Net 3D 模型的训练时间，有和没有数据增强。该表列出了每个数据集的补丁数量和相应的训练时间（以分钟为单位）。数据增强将补丁数量从 1353 个增加到 10824 个，从而显着增加训练时间。Attention U-Net 模型始终比 U-Net 模型需要更多的训练时间，尤其是对于增强数据集，因为它在关注数据中的相关特征方面具有额外的复杂性。缩写：BC = 胆管。 请按此下载此表。

表 2：使用全图像分割对四个数据集的 U-Net 3D 和 Attention U-Net 3D 模型进行定量评估。 该表报告了每个模型以及经典方法（如 Otsu 和自适应阈值）在四个不同数据集上的性能：胆管、正弦网络（空心和填充表示）和全脑脉管系统，使用整个 3D 图像进行评估。对于模型和数据集的每种组合，都会列出测试图像的数量以及性能指标：准确度、精度、召回率（灵敏度）、特异性、F1 分数、骰子系数、IoU 和体积相似度。这些指标提供了对分割质量的全面评估，包括体素正确性以及预测与地面实况之间的体积一致性。缩写：BC = 胆管;IoU = 并集上的交集。 请按此下载此表。

表 3：使用 64 x 64 x 64 补丁对四个数据集的 U-Net 3D 和 Attention U-Net 3D 模型的定量评估。 该表总结了 U-Net 3D 和 Attention U-Net 3D 模型在四个数据集上的性能——胆管、正弦网络（空心和填充掩模）和全脑脉管系统——基于大小为 64×64×64 体素的 3D 图像块的评估。对于每个模型-数据集组合，测试补丁的数量与关键性能指标一起列出：准确度、精度、召回率（灵敏度）、特异性、F1 分数、骰子系数、并集交集和体积相似度。这些补丁级指标提供了对模型性能的本地化洞察，对于识别跨卷的空间异构分割精度特别有用。缩写：BC = 胆管;IoU = 并集上的交集。 请按此下载此表。

补充图 S1：用于胆管分割的 3D U-Net 和 Attention U-Net 模型的斑块级分割性能。 图表说明了胆管数据集上的 3D U-Net 和 Attention U-Net 模型的定量性能，使用大小为 64 x 64 x 64 体素的 3D 图像块进行评估。显示的指标包括准确度、精确度、召回率（灵敏度）、特异性、F1 分数、骰子系数、交集与并集和体积相似性。结果反映了不同斑块的变异性，提供了对模型性能的局部洞察，并突出了 3D 肝组织体积内的空间异质性。缩写：BC = 胆管;IoU = 并集上的交集。 请点击此处下载此文件。

补充图 S2：用于正弦分割的 3D U-Net 和注意力 U-Net 模型的补丁级分割性能。 图表说明了 3D U-Net 和 Attention U-Net 模型在正弦数据集上的定量性能，使用大小为 64 x 64 x 64 体素的 3D 图像块进行评估。显示的指标包括准确度、精确度、召回率（灵敏度）、特异性、F1 分数、骰子系数、交集与并集和体积相似性。结果反映了不同斑块的变异性，提供了对模型性能的局部洞察，并突出了 3D 肝组织体积内的空间异质性。缩写：IoU = 交集。 请点击此处下载此文件。

补充图S3：正弦曲线作为填充管分割的3D U-Net和Attention U-Net模型的补丁级分割性能。 图表说明了 3D U-Net 和 Attention U-Net 模型在正弦曲线上作为填充管数据集的定量性能，使用大小为 64 x 64 x 64 体素的 3D 图像块进行评估。显示的指标包括准确度、精确度、召回率（灵敏度）、特异性、F1 分数、骰子系数、交集与并集和体积相似性。结果反映了不同斑块的变异性，提供了对模型性能的局部洞察，并突出了 3D 肝组织体积内的空间异质性。缩写：IoU = 交集。 请点击此处下载此文件。

补充图S4：来自光片显微镜图像的脑脉管系统的3D U-Net和Attention U-Net模型的斑块级分割性能。 图表说明了 3D U-Net 和 Attention U-Net 模型在全脑脉管系统数据集上的定量性能，使用大小为 64 x 64 x 64 体素的 3D 图像块进行评估。显示的指标包括准确度、精确度、召回率（灵敏度）、特异性、F1 分数、骰子系数、交集与并集和体积相似性。结果反映了不同斑块的变异性，提供了对模型性能的局部洞察，并突出了 3D 肝组织体积内的空间异质性。缩写：IoU = 交集。 请点击此处下载此文件。

补充图S5：分割结果叠加在胆管原始3D荧光显微镜图像上。 来自小鼠肝脏中胆管的3D荧光显微镜数据集的代表性图像切片显示，并显示了红色覆盖的分割掩模。将来自 3D U-Net 和 Attention U-Net 模型的预测掩模叠加在原始灰度显微镜图像上，以直观地评估分割精度。提供了十张示例图像来说明模型捕获不同形态特征和处理不同组织区域的信号变异性的能力。 请点击此处下载此文件。

讨论

该协议为3D荧光显微镜图像中基于深度学习的管状结构分割提供了一种简单但强大且易于访问的方法，弥合了生物图像分析中技术复杂性和可用性之间的差距。通过集成基于仿真的数据增强、交互式Jupyter笔记本和高效的U-Net架构，我们提供了一种开源工具，能够对复杂的组织结构（如胆管和正弦网络）进行高精度分割。该工具箱解决了 3D 分割任务中的关键挑战，特别是在处理数据稀缺性和成像条件的可变性方面，使其成为生物图像分析领域的多功能补充。

我们协议的一个关键组成部分是基于模拟的数据增强，即使注释图像数量有限，它也能增强模型性能——这是生物学研究中的常见限制。通过生成模拟真实成像伪影的增强数据，例如点扩散函数卷积、轴向强度衰减以及泊松和高斯噪声，该工具箱生成了在各种成像条件下都稳健的模型。这种方法有效地增加了数据多样性，提高了模型的泛化性，并提供了比传统数据增强技术的关键优势，传统数据增强技术可能无法完全捕获生物标本中存在的异质性。然而，这受到最初提供的掩码中固有编码的形态特征的限制。如果掩码不能完全代表所讨论的生物结构，则依赖预分段的掩码来生成初始训练数据会引入潜在的偏差。因此，关于如何在形态学空间中生成真实的数据增强仍然存在一个悬而未决的问题，这对于研究具有疾病进展等改变的组织可能很重要。

我们的方法使用两种编码器-解码器模型，即 3D U-Net 和 Attention U-Net，它们因其在生物医学成像任务中的高性能而被选中。3D U-Net 提供了简单而强大的分割架构，而 Attention U-Net 则通过有选择地关注相关特征和抑制噪声来提高精度。这两个模型都包含在工具箱中，允许用户根据自己的特定数据集要求进行选择。我们的结果表明，注意力 U-Net 模型在数据集中实现了更高的性能指标，特别是对于正弦网络等具有挑战性的结构，其中注意力机制的复杂性增加有助于减轻低信噪比和结构变异性的影响。然而，需要注意的是，Attention U-Net 的计算需求更高，这可能会影响其对于 GPU 资源有限的用户的可访问性。此外，鉴于管道的开源性质，如果需要，可以轻松添加其他更复杂的架构以供将来的研究。

我们的协议提供了一个一体化、用户友好的管道，将 3D 分割的基本步骤集成到单个设置中。这种简化的设计是一个关键优势，因为它简化了对高级分割工具的访问，而无需编程或参数调整方面的专业知识。此外，我们基于仿真的数据增强策略增强了模型的鲁棒性，减少了对大量手动注释的依赖，并提高了模型在不同成像条件下的通用性。与通常依赖于需要仔细微调的阈值或区域增长算法的经典分割方法相比^28,29 我们的深度学习方法需要最少的人工干预。这有助于实现复杂 3D 结构的高质量、可重复分割的民主化，使其可供更广泛的研究人员使用，包括那些没有丰富计算经验的研究人员。

除了管状网络之外，该方案的灵活性还允许轻松适应分割其他生物结构。未来的增强可能包括集成自监督学习³⁰或迁移学习³¹，这进一步减少了对注释数据的需求，同时保持了高分割精度。这些策略还可以扩展到多种成像方式，例如多光子或光片显微镜。

尽管该协议具有优势，但该协议也存在一些应该承认的局限性。首先，数据集大小仍然相对较小，每个结构仅包含几个带注释的体积。虽然数据增强部分缓解了这个问题，但过度拟合的风险仍然存在，特别是在将微调模型应用于样品制备或成像条件存在看不见变化的数据集时。其次，尽管我们的结果表明在不同的斑块和动物中具有良好的泛化性，但我们还没有在来自其他器官或显微镜模式的数据集上测试该工具箱，这可能表现出不同的结构和噪声特征。这限制了我们方法的即时推广性。最后，我们的评估策略虽然在补丁级别是稳健的，但可以受益于拓扑一致性的额外指标，这些指标与类网络结构相关。未来的工作将通过扩展数据集、结合领域适应技术³² 以及评估更广泛的生物学背景下的管道来解决这些限制。

总而言之，该协议代表了生物成像中管状结构的高质量 3D 分割的可访问且全面的解决方案。通过结合有效的模型架构、数据增强策略和交互式、用户友好的界面，我们的工具箱有可能扩大深度学习在生物图像分析中的范围和影响，使世界各地的研究人员能够利用这些技术来更深入地了解生物结构和功能。

材料

本文使用的材料清单

姓名	公司	目录编号	评论
斐济			https://imagej.net/software/fiji/downloads
GitHub仓库			https://github.com/hernanmorales-navarrete/3DMicroscopyImage 分段/树/主分段
实验室套件			https://imagej.net/plugins/labkit/
Zenodo 仓库			10.5281/zenodo.14029574