本文介绍一种利用单个冷冻电子断层图的一部分作为训练输入,训练用于多类别分割冷冻电子断层图的多切片U-Net的方法。我们描述了如何将该网络推断应用于其他断层图,以及如何提取分割结果以进行后续分析,例如子断层图平均和纤维追踪。
本文介绍一种利用单个冷冻电子断层图的一部分作为训练输入,训练用于多类别分割冷冻电子断层图的多切片U-Net的方法。我们描述了如何将该网络推断应用于其他断层图,以及如何提取分割结果以进行后续分析,例如子断层图平均和纤维追踪。
冷冻电子断层扫描技术(cryo-ET)使研究人员能够在最接近天然、水合状态的条件下,以目前可达到的最高分辨率对细胞进行成像。然而,该技术存在若干局限性,使得其生成数据的分析过程耗时且困难。手动分割单个断层图可能需要数小时至数天时间,而一台显微镜每天可轻松生成50个或更多的断层图。目前已有用于cryo-ET的深度学习分割程序,但这些程序仅限于一次分割一种结构。本文中,我们训练并应用多切片U-Net卷积神经网络,以在cryo-断层图中同时自动分割多种结构。通过适当的预处理,这些网络可稳健地应用于大量断层图,而无需为每个断层图单独训练网络。该工作流程显著提升了冷冻电子断层图的分析速度,在大多数情况下将分割时间缩短至30分钟以内。此外,所得分割结果可用于提高细胞环境中纤维追踪的准确性,并快速提取用于子断层图平均化的坐标信息。
过去十年中,硬件和软件的发展为冷冻电子显微镜(cryo-EM)带来了"分辨率革命"1,2。得益于性能更优、速度更快的探测器3、用于自动化数据采集的软件4,5,以及相位板等增强信号的技术进步6,获取大量高分辨率的冷冻电镜数据已相对简便。
冷冻电子断层扫描(cryo-ET)以前所未有的分辨率揭示了细胞在天然水合状态下的超微结构7,8,9,10。其主要限制因素是样品厚度,但随着聚焦离子束(FIB)铣削等技术的应用——通过该方法对较厚的细胞和组织样品进行减薄以用于断层成像11——cryo-ET 可成像样本的范围正在不断扩大。最新的显微镜每天可生成超过 50 个断层图,且随着快速数据采集方案的发展,这一速率预计还将继续提升12,13。然而,对 cryo-ET 产生的海量数据进行分析仍是该成像技术发展的瓶颈。
对断层成像信息进行定量分析,首先需要对其进行标注。传统上,这需要由专家手动完成分割,耗时较长;根据冷冻断层图中包含的分子复杂程度不同,可能需要数小时至数天的专注工作。人工神经网络为解决这一问题提供了有吸引力的方案,因为它们可以被训练以在极短的时间内完成大部分分割工作。卷积神经网络(CNN)特别适用于计算机视觉任务14,并已近期被应用于冷冻电子断层图的分析15,16,17。
传统的卷积神经网络(CNN)需要数千个带注释的训练样本,但在生物学图像分析任务中,这往往难以实现。因此,U-Net 网络结构在此领域表现出色18,因为它依赖数据增强技术来成功训练网络,从而最大限度地减少了对大规模训练数据集的依赖。例如,仅需单个断层图的少数切片(四到五张切片)即可训练一个 U-Net 网络,并可在无需重新训练的情况下稳健地推断其他断层图。本实验方案提供了在 Dragonfly 2022.119 中训练 U-Net 神经网络以分割电子冷冻断层图的逐步操作指南。
Dragonfly 是一款商用开发的软件,用于通过深度学习模型进行三维图像分割与分析,可免费供学术用途使用(部分地理区域存在限制)。该软件具备先进的图形界面,使非专业用户也能充分运用深度学习技术,实现语义分割与图像去噪。本实验方案演示了如何在 Dragonfly 中对冷冻电子断层图像进行预处理与标注 ,以用于训练人工神经网络,并进一步推断以快速分割大规模数据集。此外,本文还讨论并简要演示了如何利用分割后的数据进行后续分析,例如纤维轨迹追踪以及用于子断层平均的坐标提取。
注意:Dragonfly 2022.1 需要高性能工作站。系统配置建议详见材料表,其中还包括本实验方案所用工作站的硬件信息。本方案中使用的所有断层图像均从 3.3 到 13.2 ang/pix 的像素尺寸进行了 4 倍 binning 处理。代表性结果中所用样本来自一家遵循符合本机构伦理标准动物护理指南的公司(见材料表)。本方案中使用的断层图像以及生成的多 ROI 训练输入数据已作为捆绑数据集包含在补充文件 1中(可于 https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct 获取),以便用户可使用相同数据同步操作。Dragonfly 还提供一个名为 Infinite Toolbox 的开放数据库,用户可在其中共享已训练的网络模型。
1. 设置
2. 图像导入
3. 预处理(图1.1)
4. 创建训练数据(图 1.2)
5. 使用分割向导进行迭代训练(图 1.3)
6. 应用网络(图1.4)
7. 分割操作与清理
8. 从 ROI 生成用于子断层平均的坐标
9. 分水岭变换

图1:工作流程。1)通过校准强度尺度和对数据集进行滤波,预处理训练用断层图。2)通过手动分割一张断层图的一小部分,并标注用户希望识别的所有目标结构,生成训练数据。3)在分割向导中,以滤波后的断层图为输入,手动分割结果为训练输出,训练一个五层多切片U-Net网络。4)将训练好的网络应用于整张断层图进行标注,并可对每个分割出的类别生成三维渲染图像。请点击此处查看该图的高清版本。
根据实验方案,使用单个断层图像对一个五切片U-Net进行训练(图2A),以识别五类结构:膜结构(Membrane)、微管(Microtubules)、肌动蛋白(Actin)、标记金颗粒(Fiducial markers)和背景(Background)。该网络共迭代训练了三次,随后应用于该断层图像,实现完整的分割与注释(图2B、C)。随后通过步骤7.1和7.2进行了少量的手动修正。接下来,将另外三个目标断层图像(图2D、G、J)载入软件进行预处理。在图像导入之前,其中一个断层图像(图2J)需要将像素尺寸从17.22 Å/px调整为13.3 Å/px,因其在不同显微镜上以略有差异的放大倍数采集。使用IMOD程序中的squeezevol工具进行重采样,所用命令如下:
'squeezevol -f 0.772 inputfile.mrc outputfile.mrc'
在此命令中,-f 表示用于调整像素尺寸的系数(本例中为:13.3/17.22)。导入后,对所有三个推理目标均按照步骤 3.2 和 3.3 进行预处理,然后应用五切片 U-Net 模型。随后再次进行了最小程度的清理。最终的分割结果如图 2所示。
每个断层图的微管分割结果以二值化(步骤 7.4)TIF 文件格式导出,转换为 MRC 格式(使用 IMOD 的 tif2mrc 程序),随后用于圆柱相关分析和纤维追踪。与直接在断层图上进行纤维追踪相比,基于纤维的二值化分割可实现更稳健的追踪效果。纤维追踪所得的坐标图(图 3)将用于后续分析,例如最近邻距离测量(纤维排列密度)以及沿单根纤维进行螺旋状子断层图平均,以确定微管的方向。
训练失败或训练不足的网络很容易识别。失败的网络将完全无法分割任何结构,而训练不足的网络通常能够正确分割部分结构,但会存在大量假阳性和假阴性结果。这些网络可以通过修正并进行迭代训练以提升性能。分割向导(SegWiz)在模型训练完成后会自动计算其Dice相似系数(在SegWiz中称为分数)。该统计量用于评估训练数据与U-Net分割结果之间的一致性。Dragonfly 2022.1还内置了模型性能评估工具,可通过界面顶部的人工智能选项卡访问(具体使用方法请参见文档)。

图 2:推理结果。(A-C)2019年在Titan Krios电镜上采集的大鼠海马神经元体外培养5天(DIV 5)的原始训练断层图。该图为经IMOD软件进行CTF校正后的反投影重构图像。(A)黄色框标示了用于训练输入的手动分割区域。(B)U-Net完成训练后的二维分割结果。(C)分割区域的三维渲染图,显示细胞膜(蓝色)、微管(绿色)和肌动蛋白(红色)。(D-F)与训练断层图来自同一次实验的大鼠海马神经元(DIV 5)。(E)U-Net在无额外训练情况下进行快速清理后的二维分割结果。细胞膜(蓝色)、微管(绿色)、肌动蛋白(红色)、金标 fiducials(粉色)。(F)分割区域的三维渲染图。(G-I)2019年实验批次中的另一幅大鼠海马神经元(DIV 5)图像。(H)U-Net经快速清理后的二维分割结果,以及(I)对应的三维渲染图。(J-L)2021年在另一台Titan Krios电镜上以不同放大倍数采集的大鼠海马神经元(DIV 5)图像。使用IMOD程序squeezevol调整像素尺寸,以匹配训练断层图的分辨率。(K)经快速清理后U-Net的二维分割结果,展示了在适当预处理下跨数据集的稳健推理能力;(L)分割结果的三维渲染图。比例尺 = 100 nm。缩写:DIV = 体外培养天数(days in vitro);CTF = 对比度传递函数。 请点击此处查看该图的高清版本。

图 3:纤维追踪的改进。 (A)在 Titan Krios 上采集的体外培养 4 天(DIV 4)大鼠海马神经元的体层成像图。 (B)基于肌动蛋白纤维的圆柱相关性生成的相关图。 (C)利用相关图中肌动蛋白纤维的强度定义参数,对肌动蛋白进行纤维追踪。该追踪过程在试图仅追踪肌动蛋白时,同时捕获了膜结构、微管以及噪声。 (D)对体层成像图进行 U-Net 分割。膜结构以蓝色标出,微管为红色,核糖体为橙色,三联体复合物(triC)为紫色,肌动蛋白为绿色。 (E)将肌动蛋白分割结果提取为二值化掩膜用于纤维追踪。 (F)使用与(B)相同参数、通过圆柱相关性生成的相关图。 (G)仅针对体层成像图中肌动蛋白纤维的纤维追踪结果显著改善。缩写:DIV = 体外培养天数(days in vitro)。 请点击此处查看该图的放大版本。
补充文件 1:本方案中使用的断层扫描图像以及作为训练输入生成的多区域(multi-ROI)已打包为数据集(Training.ORSObject)。 见 https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct。
本方案介绍如何使用 Dragonfly 2022.1 软件,基于单个断层扫描图像训练多类别 U-Net 网络,并将该网络应用于其他断层扫描图像的推理,这些图像无需来自同一数据集。训练过程相对较快(每个训练周期最快可为 3–5 分钟,最慢可达数小时,具体时间完全取决于所训练的网络结构和所使用的硬件),且重新训练网络以提升学习效果的操作直观简便。只要对每个断层扫描图像均执行了预处理步骤,推理过程通常具有良好的鲁棒性。
一致的预处理是深度学习推理中最关键的步骤。软件中包含多种图像滤波器,用户可通过实验确定哪些滤波器对特定数据集效果最佳;需注意的是,训练断层图中使用的任何滤波方法都必须以相同方式应用于推理断层图。还必须确保为网络提供准确且充足的训练信息。在训练切片中所有被分割的特征都必须尽可能仔细和精确地完成分割,这一点至关重要。
图像分割得益于一个复杂的商用级用户界面。该界面提供了手动分割所需的所有必要工具,并允许在训练及重新训练之前,简单地将体素从任一类重新分配至另一类。用户可在整个断层图像的上下文中手动分割体素,并可获得多个视图以及自由旋转三维体积的能力。此外,该软件支持使用多类别网络,这类网络通常比使用多个单类别网络进行分割具有更优的性能16,且速度更快。
神经网络的能力当然存在一定的局限性。冷冻电子断层扫描(Cryo-ET)数据本质上噪声很高,且角采样受限,这会导致相同结构在不同取向时出现特异性畸变21。训练过程依赖专家手动精确分割结构,而一个神经网络的性能优劣完全取决于其所获得的训练数据的质量。图像滤波可增强信号,有助于训练者操作,但在许多情况下,仍难以准确识别某一结构的所有像素。因此,在构建训练用分割数据时必须格外谨慎,以确保网络在训练过程中能够获得尽可能优质的学习信息。
该工作流程可根据每位用户的偏好轻松修改。尽管所有断层图像必须以完全相同的方式进行预处理,但并不强制要求使用本方案中所用的精确滤波器。该软件提供了多种图像滤波选项,建议在开展涉及多个断层图像的大规模分割项目之前,先针对用户自身的特定数据优化这些参数。此外,软件还提供多种可用的网络架构:本实验室的数据显示多切片U-Net效果最佳,但其他用户可能会发现其他架构(例如3D U-Net或Sensor 3D)效果更优。分割向导提供了一个便捷的界面,可用于基于相同的训练数据比较多个网络的性能表现。
诸如本文所展示的工具将使全层析图的手动分割成为过去。通过训练良好且具有强推理能力的神经网络,完全有可能建立一种工作流程,使层析数据的重建、处理和完全分割能够以显微镜采集数据的速度快速完成。
本实验方案的开放获取许可费用由 Object Research Systems 支付。
本研究由宾夕法尼亚州立大学医学院、生物化学与分子生物学系以及烟草和解基金(TSF)拨款4100079742-EXT资助。本项目所使用的冷冻电镜与冷冻电子断层成像核心设施(RRID:SCR_021178)的服务与仪器,部分资金来自宾夕法尼亚州立大学医学院 通过 研究与研究生副院长办公室以及宾夕法尼亚州卫生部(使用烟草和解资金CURE)提供了支持。本文内容完全由作者负责,不一定代表大学或医学院的官方观点。宾夕法尼亚州卫生部明确声明不对任何分析、解释或结论承担责任。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| Dragonfly 2022.1 | Object Research Systems | https://www.theobjects.com/dragonfly/index.html | |
| E18 大鼠解离海马组织 | Transnetyx Tissue | KTSDEDHP | https://tissue.transnetyx.com/faqs |
| IMOD | 科罗拉多大学 | https://bio3d.colorado.edu/imod/ | |
| Intel® Xeon® Gold 6124 CPU 3.2GHz | Intel | https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html | |
| NVIDIA Quadro P4000 | NVIDIA | https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf | |
| Windows 10 Enterprise 2016 | Microsoft | https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise | |
| 工作站最低系统要求 | https://theobjects.com/dragonfly/system-requirements.html |