Summary
从许多成像技术中分割三维数据是复杂生物系统分析的一个主要瓶颈。在这里, 我们描述了使用 SuRVoS 工作台, 以半自动段体积数据在不同长度尺度使用的例子数据集从低温电子断层扫描, 低温软 x 射线断层扫描, 和相衬 x 射线断层扫描技术。
Abstract
分割是将特定区域或对象隔离在一个成像的体积内, 以便对这些感兴趣的领域进行进一步研究。在考虑复杂生物系统的分析时, 三维图像数据的分割是一项费时费力的劳动密集型步骤。随着许多成像模式的可用性和自动化数据收集方案的增加, 这对现代实验生物学家从数据到知识的迁移提出了更大的挑战。本出版物描述了 SuRVoS 工作台的使用, 这是一个旨在解决这些问题的程序, 它为半自动段复杂的生物体积数据提供了方法。这里介绍了三不同放大率和成像方式的数据集, 每种方法都突出了与 SuRVoS 的分割策略。植物的子实体的相衬 X 射线断层扫描 (microCT) 用于演示使用模型训练的分割, 人血小板的低温电子断层扫描 (cryoET) 用于演示使用 super-and megavoxels 的分割, 以及低温软X 射线断层扫描 (cryoSXT) 的哺乳动物细胞线是用来证明的标签分裂工具。还介绍了每个数据类型的策略和参数。通过将选择的半自动过程混合成一个单一的交互式工具, SuRVoS 提供了一些好处。与手工分割相比, 在许多图像处理领域中, 总体时间段的体积数据减少了五倍。这是一个重要的节省, 当全手工分割可能需要数周的努力。此外, 主观性是通过使用计算确定的边界来解决的, 并通过它们的运算属性而不是逐例地分解复杂的对象集合。
Introduction
SuRVoS 工作台是一款软件, 旨在让研究人员从各种样本的体积数据中获取科学的相关信息, 而不管感兴趣的结构、分辨率或成像模式1, 2。体积数据, 如这些通常是收集使用 X 射线或电子断层扫描系统, 常规的基础在大型实验室或集中设施, 由于其复杂性。这两种方法, 以及其他技术, 产生了大量的信息丰富的数据集, 这证明了用半自动方法或手工进行分段是有挑战性的。特别是, 近原生状态的低温固定化的数据集需要低剂量的成像条件, 导致较低的信噪比和较差的对比, 特别是在低温电子断层扫描 (cryoET)3,4,5.在一些3D 数据集中的一个附加因素是所涉及的具有挑战性的实验条件所引入的工件的存在, 例如, 由于数据收集在一个有限的倾斜范围, 导致缺少信息和延伸方向为光束3,4,5。即使低信噪比或缺少楔形工件是不成问题的 (如聚焦离子束 sem6或串行块面扫描电镜7), 样品的复杂性和三维性质, 以及大量的数据平均值分析仍然得益于自动化的数据分割过程。
目前, 在考虑细胞的生物体积, 有许多选择自动或半自动识别非常具体的细胞功能, 如肌动蛋白, 微管, 或特定的蛋白质复合物, 使用基于模板的搜索,或识别特定类型数据集的特征 (例如高对比度、着色、树脂嵌入样本)8、9、10、11、12。但是, 在这些情况下,先验信息或特定的示例准备协议是必需的, 这限制了这些细分策略的广泛适用性。还有一些工具可以在体素级别执行模型训练, 以便在给定用户输入13时了解各种感兴趣结构的外观。然而, 在这个层次上, 培训和测试模型的复杂性可能是容易出错和计算成本高昂的。鉴于具有挑战性的图像条件, 以及缺乏广泛适用, 半自动分割策略, 手工分割是常见的, 即使在使用复杂的生物材料14,15,16,17. 然而, 人们普遍认为, 手工分割的过程不仅耗时, 而且容易出错, 主观和可变的4,5,18,19 ,20。一些分割程序提供了一些工具来简化手工分割过程 (即插值, 套索, 或吹工具)21,22, 但是, 在嘈杂数据集的情况下, 它们很难成功应用,即使使用成功, 该过程仍然是主观的和可变的。
传统上, 分割的使用有两种截然不同的方式: 定性或定量。随着成像技术和分割策略的提高, 将分割作为一种定量的工具来回答生物问题和作为算法开发的 "基础真相" 变得更加普遍了8,12, 15、23、24、25。为了做到这一点, 需要进行详细的检查和平衡, 以便在整个过程26中减少可变性和主观性。然而, 这些预防措施进一步增加了分割的耗时性。因此, 提供更快、更少的变量分割策略至关重要。
SuRVoS 工作台开始解决这些问题, 为用户提供了一系列的机器学习和图像处理工具, 帮助用户进行分段处理, 同时还引导用户完成所需的步骤。为了实现这一目标, 在 SuRVoS 中共同实施了两个关键的创新。首先, 它使用 super-region 的层次结构, 根据其固有的属性对数据的相似的邻近区域进行分组。层次结构中的每个区域都使用较少的元素表示相同的卷, 同时仍然提供强大的边界粘附。因此, super-regions 降低了将一个卷分割成几个数量级的复杂性, 但仍然表示数据, 而没有明显的信息丢失27。其次, SuRVoS 提供了一种半自动的分割策略, 它使用最小的手工分割输入来训练分类器, 然后用于分段剩余的卷28,29。这种策略减少了手工分割, 大大减少了用户在分段上花费的时间, 并且, 在使用 super-regions 时, 删除了手工划定的边界, 有可能减少可变性和主观性。
SuRVoS 的另一个关键特性是标签拆分工具, 用户可以根据其固有的属性对一系列已经分段的对象进行分类。在对各种感兴趣对象进行分割后, 该工具可用于根据平均对象强度、方差、大小、位置、等度量值将集合划分为子类. 在将大型对象组分类时, 这很有用。高复杂性。例如, 一组细胞器可以分为线粒体, 空泡, 脂滴等;或一组材料的夹杂物可以根据大小或形状分开。一旦分割了单个标签, 就可以使用任意数量的分类器将其分割成组, 从而减少识别偏差。
SuRVoS 工作台已成功地用于从几种成像技术中分割数据。在这里, 植物的果体的同步辐射 X 射线相衬层析 (microCT) 被用来证明 segmentati在使用模型训练时, 人血小板的低温电子断层扫描 (cryoET) 用于演示使用 super-and megavoxels 的分割, 而哺乳动物细胞系的低温软 X 射线断层扫描 (cryoSXT) 则用于演示标签分裂工具
Protocol
注意: 对于每个处理步骤, 通常有用的参数范围以及此处显示的每个数据类型的特定参数都在 表 1 中提供.
1. 准备工作区和加载数据
- 启动 SuRVoS 工作台, 单击 "打开数据集" 按钮, 然后在结果弹出式菜单中选择要分段的数据文件。选择数据集的适当方向。接下来, 选择或创建一个将存储工作区和相关文件的文件夹。建议在开始新的分段时此文件夹为空。加载数据后, 工作台将在左侧的 "插件" 窗格、右侧的可视化窗格和两个窗格之间的一组工具快捷方式 ( 图 1 ) 中打开.
2。预处理和数据表示
- 在 "选择 ROI" 选项卡中, 输入感兴趣区域的 z、y 和 x 开始和结束坐标, 然后单击 "添加"。要选择合适的 y, x 坐标将鼠标悬停在图像上的某个点上。使用可视化窗格顶部的滑块选择 z 坐标。添加区域后, 请确保选中此复选框。将对所选区域执行所有下游计算。通常, 从一个小的、有代表性的感兴趣区域 (ROI) 开始, 优化参数, 然后应用这些参数到要分段的整个区域.
- 在 "功能通道" 选项卡中, 使用顶部的下拉菜单选择功能/筛选并将其添加到队列中 (有关功能通道的更多信息, 请参见讨论)。通过单击其名称来添加和选择功能/筛选器后, 修改特定于功能/筛选器的选项, 然后选择要在其上运行功能/筛选器的输入数据集。选择所有选项后, 单击功能/筛选器名称右侧的复选框以进行计算。
- 为了优化新数据集的参数, 请添加多个筛选器/功能, 然后为它们选择参数, 然后再按顺序计算, 一个接着一个。为此, 请添加每个新的筛选器/功能并选择适当的参数, 选中每个要运行的筛选器/功能左侧的复选框, 然后单击窗格顶部的 "计算功能" 框。有关其他信息, 请参见讨论.
3。生成适当的超级区域
- 在 "超级区域" 选项卡的 "Supervoxels" 部分中, 使用 "源" 下拉菜单选择要从中创建 Supervoxels 的筛选数据集。然后指定 supervoxels 的形状、间距和紧凑性 (有关详细信息, 请参阅讨论和 图 2 )。最后, 单击 "应用" 按钮以生成 supervoxels。一旦创建了 supervoxels, 它们就可以在可视化窗格中查看、打开或关闭, 并在可视化选项卡和查看器窗口快捷方式中控制其透明度.
- 在 "超级区域" 选项卡的 "Megavoxels" 部分中, 使用 "源" 下拉菜单选择要从中创建 Megavoxels 的筛选数据集。接下来, 指定 megavoxels 的 lambda、numBins 和伽玛参数 (有关详细信息, 请参阅讨论)。一旦创建了 megavoxels, 它们就可以在可视化窗格中查看、打开或关闭, 并在可视化选项卡和查看器窗口快捷方式中控制其透明度.
4。注释的简介
- 在批注选项卡中使用 "添加级别" 按钮添加批注级别。添加了级别后, 请使用该级别的 "添加标签" 按钮为批注添加标签。添加后, 可以修改标签的名称和颜色, 以便于批注.
- 下一步, 为了开始注释, 请从工具快捷方式部分中选择钢笔图标。选中此选项时, 将在可视化窗格的顶部显示一组选择。这些选项控制钢笔宽度, 以及体、supervoxels 或 megavoxels 是否用于批注。
- 为了进行模型训练, 通常应在 "注释级别" 下拉框中选择 "supervoxels", 并使用中等到大的钢笔宽度。在 "批注" 选项卡中, 通过选中标签信息的最右边框, 选择要批注的标签。接下来, 在可视化窗格中单击以批注单个 supervoxel, 或单击并拖动以注释许多.
注意: 可以在 "注释级别" 下拉框中选择体和 megavoxels, 并用相同的方式进行批注, 在 megavoxels 的情况下, 可以通过单击鼠标来使许多类似的体被分割.
- 为了进行模型训练, 通常应在 "注释级别" 下拉框中选择 "supervoxels", 并使用中等到大的钢笔宽度。在 "批注" 选项卡中, 通过选中标签信息的最右边框, 选择要批注的标签。接下来, 在可视化窗格中单击以批注单个 supervoxel, 或单击并拖动以注释许多.
5。使用 microCT 数据集演示的模型训练进行分割.
注意: 许多数据集的第一个分割是区分多个大区域。例如, 将细胞核从细胞质中分离出来, 或者从外部的冰层和支撑结构中剥离出细胞。对于这种类型的分割, 有明确划定的边界和大区域, 模型训练是有用的。为了证明这一点, 将使用草的 X 射线相衬层析数据.
- 加载数据, 使用筛选器和功能套件进行预处理, 并根据上述各节中的说明, 使用 表 1 中的参数确定适当的 supervoxels 和/或 megavoxels 作为指南。继续使用 表 1 中的参数和4节中的说明, 大致注释了数据集的一些大区域, 如 图 3 所示.
注意: 此时不需要完全分割数据集. - 在 "模型训练" 选项卡中, 将预测级别设置为包含手动培训批注的级别, 在描述符部分将该区域设置为 Supervoxels。接下来, 选择要用于区分数据区域的描述符, 方法是单击 "选择源" 下拉列表, 然后检查选项的功能和筛选器的框 (请参见 表 1 和讨论).
- 下一步, 单击预测按钮。计算完成后, 将用对所有 non-labeled 体的预测来更新可视化窗格, 以显示它们预计属于哪些注释类。通常, 每个分类器方法的默认参数都提供一个良好的起点, 用户只需在分类器之间切换, 就可以找到合适的。但是, 对于专家或有经验的用户, 每个分类器的选项都可用, 并且可以修改.
- 在评估培训方法的效果并选择一个后, 通过单击 "细化" 部分中的 "细化" 下拉列表, 应用其他细化。在 "模型训练" 选项卡的底部, 在 "#34" 中; 更新批注和 #34; 节中, 确保将可视化下拉菜单设置为 Predictions.使用 "可信度" 滑块将或多或少的 unannotated supervoxels 分配给所选的批注标签.
- 根据视觉检查选择了适当的置信级别后, 使用置信度工具底部的标签旁边的 save 按钮将预测保存到特定的标签中。可视化窗格将更新以显示更改。每个标签都可以单独保存, 实际上, 可以通过在 "从" 和 "z"、"y" 和 "x" 框中输入值并单击每个标签的 "保存" 按钮, 从较小的分区中保存标签.
- 通过提供4节所述的进一步培训数据来处理次要标签。在标签中添加适当的预测后, 在没有未标记的 supervoxels 的情况下, 重复进行模型训练和细化并添加高置信度预测的过程。这是有效的, 因为每次运行模型培训过程时, 都有更多的分配 supervoxels 来进行训练, 因此随着迭代的增加, 该过程变得更加健壮.
6。使用超级区域进行分割, 用 CryoET 数据集演示.
注意: 由于超级区域分割对较小的、离散的边界区域很有用, 因此这里的焦点将放在这个数据集内的细胞器和微管的分割上。模型训练用于快速地从背景冰和碳中分割血小板;这些参数不会进一步讨论, 但在 表 1 中介绍.
- 加载数据, 使用筛选器和功能套件进行预处理, 并根据上述各节中的说明, 使用 表 1 中的参数确定适当的 supervoxels 和/或 megavoxels 作为参考.
- 将适当的级别和标签添加到 "批注" 选项卡中, 选择一个标签, 并使用 supervoxels 选定的中等钢笔宽度开始注释。注意需要为对象选择不同的标签, 以便避免将它们标记为单个对象.
- 为了进一步清理注释, 请使用形态学细化方法 (膨胀、侵蚀、打开、闭合和填充孔)。这些选项可以在 "批注" 选项卡的底部找到。要使用它们, 请选择分割标签和细化方法。输入半径值并选择如何应用细化。然后单击 "优化".
7。基于固有特征的数据对象的分类和分析, 用 CryoSXT 数据集演示
注意: 通常, 分段后的下一步是对数据进行分析。SuRVoS 中的标签拆分工具允许使用基于对象的固有特征 (如平均对象强度、方差、体积或位置) 的规则对分段对象进行分类。标签统计工具允许对每个新对象类的这些度量之间的关系进行可视化。这些是对复杂的3D 数据集进行分割后分析的强大的新工具.
- 加载数据, 使用筛选器和功能套件进行预处理, 使用 表 1 中的参数确定适当的 supervoxels 和/或 megavoxels 和分段, 如上节所述.
- 分割后, 单击可视化窗格 (称为 "标签拆分器") 的第二个选项卡。这将在窗口的右侧添加一个新区域-规则创建窗格.
- 在该区域的顶部, 为标签拆分选择适当的级别和标签。然后选择要查询的数据集, 然后单击 "标签"。选定标签中的所有对象现在将以蓝色作为单独的对象在可视化窗格中进行分级, 并且显示对象的平均强度的图形将在 "规则创建" 窗格中出现。若要更改在绘图中显示的度量值, 请单击右侧顶部的下拉框.
- 若要开始将对象拆分为相关的类, 请单击 "规则创建" 窗格底部的 "添加新标签"。与此新标签关联的名称和颜色可以按照前面的说明进行更改。
- 单击 "添加新规则", 并使用下拉式和 "任意多边形" 词条框定义要应用的规则。单击 "应用" 以查看 "可视化" 窗格中新规则的效果以及 "规则创建" 窗格中的绘图。可以将多个规则应用于单个标签, 并且可以在同一数据集中创建多个标签.
注意: 为了收集任何未标记的对象, 请创建一个新标签, 而不是向其添加规则, 单击 "选择其他".
- 单击 "添加新规则", 并使用下拉式和 "任意多边形" 词条框定义要应用的规则。单击 "应用" 以查看 "可视化" 窗格中新规则的效果以及 "规则创建" 窗格中的绘图。可以将多个规则应用于单个标签, 并且可以在同一数据集中创建多个标签.
- 当感兴趣的对象被拆分为新标签时, 在 "批注" 选项卡中创建一个新的空级别。然后在 "规则创建" 选项卡中选择此级别, 然后单击 "保存标签"。这将将新标签保存到此空级别.
- 在可视化窗格的边缘上, 单击 "标签统计信息" 选项卡。这将打开一个新的可视化窗格, 可用于开始了解数据中的对象类之间的关系。在顶部, 选择适当的级别和标签, 以及要查询的数据集。
- 通过选中它们旁边的框来选择一些感兴趣的度量值。然后单击 "标签"。这将为每个选定的度量值生成配对的比较图。若要更新绘图, 请选择或取消选中相应的度量值, 然后单击 "更新绘图".
8。导出数据和分割
- 在可视化窗格的 "标签统计" 选项卡中分别单击导出绘图和导出数据, 导出绘图和原始测量数据.
- 通过单击 "插件" 窗格中的 "导出" 选项卡导出图像数据和分割。首先, 单击以选择要保存数据的文件夹。接下来, 选择输出 (原始数据、原始注释、分割掩码或屏蔽数据) 和格式 (HDF5、湄公河和 TIFF)。最后, 选择要使用复选框导出的批注级别, 然后单击 "导出"。在必要时, 可以在导出之前缩放和反转数据。导出蒙版数据时, 可以使用下拉菜单选择掩码 (s) 将应用到的数据集.
Representative Results
从三种不同技术 (microCT、cryoET 和 cryoSXT) 收集到的三卷数据集用于演示 SuRVoS 工作台的三项重要功能: 模型训练、super-region 分割和标签拆分。数据集代表了一个不同的实验结果组, 每一个都提供了完整的处理参数 (表 1)。
为了演示使用 SuRVoS 工作台的模型训练, 选择了一个具有区域定义边界的比较高对比度的数据集。该数据集的水果Galium aparine, 或草, 是收集使用 X 射线相衬成像在 I13-2 钻石-曼彻斯特影像光束在钻石光源, 在英国牛津郡,。新鲜样品被安装在空气中的一个测基地上的旋转阶段, 在采样探测器的距离为30毫米. 曝光时间为0.10 秒, 粉红色光束频谱的平均能量约22凯文。预测是通过180°收集的, 其步长为0.1。层析重建是使用 Savu30,31与 propagation-based 相位对比度图像的 Paganin 过滤器32后, 在雅特工具箱33中进行了过滤后投影重建,34. 然后用 2 x 2 x 2 分缩小该数据, 在输入到 SuRVoS 工作台之前减小文件大小。
首先, 对输入数据 (图 3A) 进行了筛选和夹紧 (以删除数据中的上、下强度值) (图 3B)。通过这种方法, 使背景和前景更加容易区分, 并突出了果实内部结构的质地。接下来, supervoxels 被建立在过滤数据集的顶部 (图 3C)。为了评估 supervoxels 的质量, 它们在没有数据的情况下显示, 以验证数据集的相关详细信息是否由 supervoxels (图 3D) 来表示。接下来, 使用 supervoxels 的手动注释作为对卷的三片 (图 3E, 深色) 的培训数据提供。此培训数据足以训练分类器预测 (浅色) 与背景 (绿色)、果鬃 (红色)、种子材料 (紫色) 和周围的果肉 (蓝色) 相对应的区域。形态学改进被用来清理分割通过填补孔, 增长或萎缩的需要 (图 3F)。用于确定适当参数和分段此数据集的总时间为 2 h。
为了演示使用 SuRVoS 工作台的 super-region 分割, 选择了一个嘈杂和复杂的数据集15。此数据集是使用 cryoET 在美国德克萨斯州休斯敦的贝勒医学院的国家高分子成像中心收集的。简要地, 血小板被冻结在辉光放电和黄金基准处理孔碳 TEM 网格。倾斜系列从±65°收集, 2 增量。然后使用 IMOD35中的加权背投影重建倾斜序列。
将数据加载到 SuRVoS (图 4A) 后, 选择了一个感兴趣的区域, 并应用了相应的筛选器集。在这种情况下, 一个平滑的高斯滤波器, 后跟一个带有对比钳的总变分滤波器, 用来强调数据的边缘和纹理 (图 4B)。其次, 利用最小 supervoxel-based 用户输入进行模型训练, 从背景冰和碳中分割出血小板。然后, 用 megavoxels 和 supervoxels 半分割, 对细胞器进行细分。最后, supervoxel 源参数被更改为较弱的去噪滤波器, 并且 supervoxel 形状更小 (参见表 1), 以便更好地保留微管边界以进行分割 (图 4C)。对于细胞器和微管, 快速手动注释被使用每 5-10 片, 以选择 supervoxels 描述感兴趣的特点 (图 4D和 #38; 4E)。所用的总时间确定适当的参数和部分所提出的感兴趣的区域是 6 h。
为了演示使用 SuRVoS 工作台的标签拆分, 选择了一个具有多种不同的细胞器的数据集。此数据集是使用 cryoSXT 在光束 B24 的钻石光源, 在英国牛津郡, 英属36。简单地说, HEK293 细胞生长在黄金搜索网格, 适当大小的黄金基准添加和网格是暴跌冻结使用 EM 与背面的印迹。倾斜系列然后收集在显微镜从±65°与0.5 增量。然后使用 IMOD35中的加权背投影重建倾斜序列。
在将数据加载到 SuRVoS (图 5A) 后, 选择了一个感兴趣的区域, 并使用了适当的总变体滤镜来增强整个卷中的细胞器的边界 (图 5B)。其次, 细胞器是 semi-manually 分割使用 megavoxels 和 supervoxels, 然后用填充孔, 关闭和膨胀平滑边缘 (图 5C)。总时间确定适当的参数和部分所提出的感兴趣的区域是 4 h。一旦完成了分割, 标签拆分器被用来可视化的每一个对象在数据集 (图 5D) 和不同的特点, 每个对象的资料情节 (图 5E)。标签拆分器界面是交互式的, 在可视化和数据图中更新与每个新标签类关联的颜色。这允许基于数据中固有的特征创建各种规则, 这些特性可用于将对象分隔成有用的类 (图 5F)。
图1。SuRVoS 工作台的布局和一般特点。
GUI 界面在左侧, 而可视化窗格在右侧。这两个区域由一列工具和快捷方式分隔。在导出分割之前, GUI 被安排在预处理数据、选择 supervoxel 和/或 megavoxel 参数、分割数据以及在需要时使用模型培训等主要步骤来遍历用户。可视化窗格可用于三种模式: 基本的可视化和分割来查看数据和任何应用的过滤器和分割的数据, 标签拆分根据数据的固有方面将对象分类为新的标签, 最后标记统计以测量和可视化分割对象的特征。对于每个模式, 左上角的下拉菜单控制显示哪些数据, 顶部的滑块控制 z-axis。工具快捷方式提供了对对比度、图层透明度、缩放、平移和返回到可视化窗格中的 "主页" 的轻松访问控制, 并为 "协议" 中描述的注释打开工具。请单击此处查看此图的较大版本.
图2。超区域层次结构降低了图像分割的复杂性。
使用伯克利分割数据集 (BSDS50037) 的图像来演示 super-regions 的属性和效果。原始图像 (左) 由数千个体组成, 然后聚集到相邻的相似分组中, 创建几百个 supervoxels (中心)。Supervoxels 也可以聚集到相邻的相似分组中, 创建几十个 megavoxels (右)。对于每个分组, 对于计算和手动资源, 分割任务的复杂性会降低。重要的是, 这里显示了一个2D 的例子, 但是 supervoxels 和 megavoxels 都是3D。请单击此处查看此图的较大版本.
图3。使用模型训练分割策略处理 microCT 数据集。
a.原始数据的单个2D 切片。B.对原始数据应用夹紧的总变分滤波器, 增强了子实体各方面之间的界限。C.选择了适当的 supervoxel 参数。D.一个感兴趣的区域 ( C中的红色框) 显示出数据的边界存在于 supervoxels 本身中。E.卷的三切片, 其中以深色 (绿色、红色、蓝色和紫色) 显示的数据集的各个区域的手动批注, 以及在运行模型训练后以相同的浅色显示的预测。F.相同的三切片, 并在模型训练预测被接受后进行最后的分割。刻度线为 1 mm.请单击此处查看此图的较大版本.
图4。使用超区域分割策略处理 cryoET 数据集。
a.原始数据的单个2D 切片。B.一个有兴趣的区域 ( A中的红色框), 并使用分层滤镜集来强调细胞器的边界。C.使用 super-regions 对细胞器进行批注的示例。一个单一的细胞器官显示与 supervoxels 覆盖的手动用户注释显示在黑色 (左) 和 supervoxels 选择与该注释显示在蓝色 (右)。D.使用 super-regions 对微管进行注释的示例。一个单一的微管区域显示的手动用户注释显示在黑色 (左) 和 supervoxels 选择与该注释以绿色 (右) 显示。E.使用模型训练从背景中分割出血小板的最终分割 (详见表 1), 以及使用 super-region 分割策略分割的各种细胞器和微管。颜色不表示特定的细胞器类型, 因为它们在分类之前显示在这里。在 A、B 和 E 中的刻度线是1μ m, C 和 D 是0.5 μ m。请单击此处查看此图的较大版本.
图5。使用标签拆分工具分析 cryoSXT 数据集。
a.原始数据的单个2D 切片。B.一个感兴趣的区域 (在 a 中为红色框), 并使用总变体滤镜来强调细胞器。C.与 supervoxels 叠加的最终分割。D.标签拆分器的可视化部分, 它使用在F中显示的规则进行分类。E.标签拆分器的绘图部分显示每个对象内部的平均强度, 并应用F中显示的规则。沿 x 轴的每条垂直线表示单个对象, 并且 color-coded 以匹配它已分配给的类。F.示例分类规则, 以根据它们的固有属性来分隔不同的对象。刻度线为1微米。请单击此处查看此图的较大版本.
| 名称/数据集 | 源 | P1 | P2 | P3 | P4 |
| 高斯滤波器 | 西格玛 | ||||
| 范围/默认值 | - | [0.5, 10]/1 | |||
| (G1) cryoET | 原始数据 | 1 | |||
| (G2) cryoET | 原始数据 | 2 | |||
| 总变化 | lambda | 间距 | Iter | 夹 | |
| 范围/默认值 | - | [0.1, 30]/10 | [0.1, 10]/1 | [50, 500]/100 | - |
| (TV1) microCT | 原始数据 | 10 | 1 | 100 | (1,-) |
| (TV2) cryoET | G1 | 7 | 1 | 200 | - |
| (TV3) cryoET | G2 | 10 | 1 | 100 | - |
| (TV4) cryoSXR | 原始数据 | 7 | 1 | 100 | - |
| 阈 | Vmin | vmax | |||
| 范围/默认值 |
表1。用于处理每个三数据集 (microCT、cryoET 和 cryoSXT) 的优化参数。>
对于每个参数, 给出了一个通用的用途范围和默认值。在许多情况下, 筛选数据用作下游处理的源。在这些情况下, 缩写用于表示新的源数据集。例如, G1 (高斯筛选的 cryoET 原始数据) 在整个变体筛选器中用作输入, 以创建 TV2。仅针对用于处理每个数据集的工作台的各个方面提供信息。例如, 在这里提供的 cryoSXT 数据集的处理过程中没有使用模型训练, 因此没有给出参数。
Discussion
SuRVoS 工作台不同于其他的分割程序, 参数的优化是在开始实际分割之前的一个必要的重要步骤。在一些手动或半的分段程序中, 用户开始在打开一个新项目的时候进行分段。与 SuRVoS, 因为大量的体积将被分割, 很少用户输入和边界由程序划定, 优化参数是关键的成功的分割。具体而言, 特色频道和 super-region 建设是两个值得注意的领域。
特征通道与模型训练
除了原始数据之外, SuRVoS 允许用户创建从现有数据集派生的其他数据集或通道。这些通道可以通过选择计算方法或特征提取器来创建。每个数据表示都是并行的, 可以单独显示, 以评估功能或筛选应用程序的结果。由于这些特性, 它们被称为 SuRVoS 中的特征通道。SuRVoS 中提供了许多功能频道选项。有关此处使用的选项和参数的信息, 请参见表 1, 以获取可用功能通道的完整列表和说明访问 https://diamondlightsource.github.io/SuRVoS/ 2。首先, 噪声数据集将受益于高斯或全变滤波器的去噪。建议使用这些噪数据源之一来执行进一步的功能通道和 supervoxel/megavoxel 计算。一般情况下, 噪数据集的总变体被用作特征信道和 supervoxel/megavoxel 计算的源数据。建议先使用默认值运行, 然后在3D 中评估结果, 最后对数据集的参数进行迭代优化。此外, 功能通道可以被构建成 "过滤器集", 专门隔离数据集的各个方面, 然后可以用作数据源来创建 supervoxels 和 megavoxels。虽然此策略高度依赖于数据集, 但它可能是有益的。
在模型训练中, 特征信道也被用作训练分类器的来源。在决定使用哪些功能通道时, 建议在处理少量注释时使用一些健壮的功能通道 (例如, 从 blob 检测、纹理和结构或健壮功能类别) 来训练分类.在处理大量培训数据时, 建议从任何类别中使用更多的功能通道, 只要它们向分类器提供不同的信息 (例如, 请从本地添加到上面的列表功能通道特征和高斯特征类别)。
模型训练有三主要部分: 提供描述数据的输入数据源, 使用这些投入来训练分类器, 最后精炼输出预测。通常, 数据的较小区域需要更多的用户注释才能准确地训练分类器, 而较大的数据区域则需要较少的用户注释。在没有选择细化的情况下进行模型训练, 可以用来找到最佳的预测。然后在需要时包括细化和优化 lambda 参数, 以修复预测的问题, 如孔或锯齿边缘。
Supervoxels 和 megavoxels
Supervoxels 是多个相邻的簇, 类似的体38,39。Supervoxels 开始作为一个标准的3D 网格覆盖的数据, 然后迭代变形, 以坚持的基础边界, 从而更好地代表数据。Supervoxel 的创建和变形由四用户输入控制: 数据源、superpixel 形状、间距和紧凑性。数据源提供在 supervoxel 创建过程中查询的数据输入。任何源都可以使用, 包括已筛选的数据源。superpixel 形状参数确定起始3D 网格和所得到的 supervoxels 的近似所需形状。改变这些参数可以在变形前增加或减小 supervoxels 的大小。间距参数定义了边界在每个方向上的重要性。更改这些参数可以在一个或两个方向上强调边界, 以牺牲其他的 (s) 为代价, 这意味着结果的 supervoxels 将变形, 以便更好地遵循给定方向的数据边界。最后一个参数, 紧凑, 控制多少 supervoxels 可以变形。低紧度数使 supervoxels 变形更多。这些参数应进行优化, 以提供表示感兴趣数据边界的 supervoxels。注意: 当前, supervoxel 形状参数在相乘时必须等于或小于1024。
在某些方面, supervoxel 参数可以互相补偿, 这意味着在决定参数时没有一个 "正确的答案"。例如, 一个大的起始网格 (例如superpixel 形状:10 x 10 x 10) 和一个低紧致数 (ex 20) 可以给 supervoxels 具有类似的边界粘度, 与一个小的起始网格 (例如superpixel 形状 5 x 5 x 5) 和更高的紧凑号 (例如50)。因为在第二个场景中有更多更小的 supervoxels, 所以它们不需要变形来表示边界。这两组参数都适用于数据集的分割。
在选择 supervoxel 参数时, 最大的考虑因素是 supervoxels 如何表示数据。如图 2D所示, 单独显示 supervoxels, 而不在它们下面的数据, 是评估 supervoxel 参数的好方法。当以这种方式显示时, 数据中发现的形状的边缘和轮廓在 supervoxels 中仍然可见。
Megavoxels 是多个相邻的、类似的 supervoxels38、39的企业集团。它们再次由四用户输入控制: 数据源、lambda、numbins 和伽玛。与 supervoxels 一样, 数据源提供在 megavoxel 创建期间查询的数据输入。lambda 和 numbins 都影响 megavoxels 的大小和边界粘附。随着 megavoxels 的增大 (高λ、低 numbins), 它们的边界粘着减小。反过来也是真的, 边界加入将增加与较小的 megavoxels (低λ, 高 numbins), 但随着 megavoxel 大小的减少, 所以它们的用处, 在分割大量的体迅速。可选的伽玛参数控制平滑系数与合并两个 supervoxels 的成本。伽玛的小值可以提高两个 supervoxels 之间的相似性, 以减少 megavoxels 总体的成本。
与 supervoxels 一样, 在选择和优化 megavoxel 参数时最大的考虑因素是 megavoxels 表示数据的程度。如 supervoxels 所述, 单独显示 megavoxels 可用于评估参数。但是, 因为 megavoxels 通常会大得多, 并且是三维的, 所以使用注释工具 to 选择单一 megavoxels, 以确保区域之间的利益是紧密的边界也建议。
注释策略
描述了两个一般的注释策略: 模型训练方法对于分离数据集的大区域很有用, 而 super-region 的分割方法对于较小的、更多样化的功能 (如单个的细胞器) 是有用的。注释可以按分层方式进行组织, 以便能够首先对大区域进行注释, 然后使用父子关系将它们细分为更具体的区域。可以通过单击标签颜色选择右侧的区域并从上一个级别选择适当的父标签来分配标签的父标签。在实践中, 大多数数据集都使用模型训练和 super-region 细分策略来细分特定区域/感兴趣的特性。
在这里的模型训练示例中, 一些培训输入 (以手动用户 supervoxel-based 注释的形式) 在数据的三个等距切片上使用。通过这种方式, SuRVoS 的模型训练方面大大提高了分割的速度, 特别是当处理大的, 区分的区域, 如在草子实体的区域之间的鸿沟, 如在图 3。
当模型训练时, 如果无法看到预测, 则可能需要转到 "可视化" 选项卡, 并确保预测层已打开并设置为适当的透明度。此外, 0 的信心将分配每个未标记的 supervoxel 到一个标签, 根据任何最接近的匹配。如果只有一个标签类别有任何比例匹配, 那么100的置信度只会分配一个标签。介于两者之间的一切都是这两个极端的权衡。在选择置信度时, 建议检查几个切片以直观地检查在将预测保存到标签之前没有错误预测的体。
使用 super-regions 进行注释的一个好策略是使用放大工具来放大数据, 在一个切片上同时使用 "快速、凌乱" 的方法 (图 4C) 对一些细胞器进行注释。接下来, 在 Z 中向上或向下移动几个切片, 然后重复此过程。因为 supervoxels 是三维的, 所以 "凌乱" 方法的许多错误都是由上面或下面切片中的注释来确定的。这样, 分割速度加快, 边界由 supervoxels 而不是手动提供。
为了清除标签, 提供了标准的细分细化选项。膨胀导致所选的分割标签在给定半径下增长, 侵蚀导致它收缩。开闭是第一次侵蚀的应用, 然后是扩张, 反之亦然。和填充孔正是这样。这些操作的顺序很重要。一般情况下, 执行填充孔, 然后打开, 然后膨胀工作很好。每个细化方法都可以应用于单个切片 ("此切片")、2D 中的所有切片 ("所有切片 (2D)") 或 3D ("整卷 (3D)")。建议所有切片 (2D)。
意义和未来方向
高效而准确的分割是处理3D 数据集的下一个瓶颈, 特别是在长期会话中自动收集数 tb 的图像数据。与手工分割相比, SuRVoS 工作台可以将分割过程的速度提高5倍。此外, 由于边界是由 supervoxels 划定的, 因此产生的分割的变异性应该提高。在未来, 我们希望探讨如何使用一个代表性的3D 区域的兴趣作为培训数据, 以适用于其余的卷, 甚至是一个单独的卷, 具有高度的信心。这一进步将进一步减少用户的时间和投入所需的数量, 即使是复杂的生物量, 帮助缓解图像处理和分割瓶颈。这反过来, 将允许定量比较的生物数据在不同的状态 (如病区, 疾病, 治疗) 与强大的实验数字。
Disclosures
作者宣布, 他们没有竞争的金融利益。
Acknowledgments
我们谨此致谢, 并感谢贝勒医学院的瑞王和华邱提供 cryoET 数据集和来自钻石光源的安德鲁 Bodey, 帮助 I13 beamtime。这项研究的部分得到了国家卫生研究院 (NIH) 赠款 No. (P41GM103832) 的支持, 我们承认钻石光源为 Imanol Luengo 在博士 STU0079 下共同出资。
Materials
| Name | Company | Catalog Number | Comments |
| computer | n/a | n/a | Must be running Linux operating system and have an NVidia GPU with at least 4 GB of memory |
References
- DiamondLightSource/SuRVoS: Version 1.0. Zenodo. , Available from: https://zenodo.org/record/247547 (2017).
- SuRVoS Workbench - Super Region Volume Segmentation. , Available from: https://diamondlightsource.github.io/SuRVoS/ (2017).
- Frangakis, A. S., Förster, F. Computational exploration of structural information from cryo-electron tomograms. Curr Opin Struct Biol. 14 (3), 325-331 (2004).
- Lucić, V., Förster, F., Baumeister, W. Structural studies by electron tomography: from cells to molecules. Annu Rev Biochem. 74, 833-865 (2005).
- Lučič, V., Rigort, A., Baumeister, W. Cryo-electron tomography: the challenge of doing structural biology in situ. J Cell Biol. 202 (3), 407-419 (2013).
- Milani, M., Drobne, D. Focused ion beam manipulation and ultramicroscopy of unprepared cells. Scanning. 28 (3), 148-154 (2006).
- Denk, W., Horstmann, H. Serial Block-Face Scanning Electron Microscopy to Reconstruct Three-Dimensional Tissue Nanostructure. PLoS Biol. 2 (11), (2004).
- Rigort, A., et al. Automated segmentation of electron tomograms for a quantitative description of actin filament networks. J Struct Biol. 177 (1), 135-144 (2012).
- Förster, F., Han, B. -G., Beck, M. Visual Proteomics. Meth Enzymolb. 483, 215-243 (2010).
- Liu, Y., Sigworth, F. J. Automatic cryo-EM particle selection for membrane proteins in spherical liposomes. J Struct Biol. 185 (3), 295-302 (2014).
- Asano, S., et al. A molecular census of 26S proteasomes in intact neurons. Science. 347 (6220), 439-442 (2015).
- Garduño, E., Wong-Barnum, M., Volkmann, N., Ellisman, M. H. Segmentation of electron tomographic data sets using fuzzy set theory principles. J Struct Biol. 162 (3), 368-379 (2008).
- Sommer, C., Straehle, C., Köthe, U., Hamprecht, F. A. Ilastik: Interactive learning and segmentation toolkit. 2011 IEEE Int Symp Biomed Imaging: From Nano to Macro. , 230-233 (2011).
- Darrow, M. C., et al. Structural Mechanisms of Mutant Huntingtin Aggregation Suppression by the Synthetic Chaperonin-like CCT5 Complex Explained by Cryoelectron Tomography. J Biol Chem. 290 (28), 17451-17461 (2015).
- Wang, R., et al. Electron cryotomography reveals ultrastructure alterations in platelets from patients with ovarian cancer. Proc Natl Acad Sci USA. 112 (46), 14266-14271 (2015).
- Shahmoradian, S. H., et al. TRiC's tricks inhibit huntingtin aggregation. eLife. 2, (2013).
- Dai, W., et al. Visualizing virus assembly intermediates inside marine cyanobacteria. Nature. 502 (7473), 707-710 (2013).
- Sandberg, K. Methods for Image Segmentation in Cellular Tomography. Methods Cell Biol. 79, 769-798 (2007).
- Volkmann, N. Methods for Segmentation and Interpretation of Electron Tomographic Reconstructions. Methods Enzymol. 483, 31-46 (2010).
- Tsai, W. -T., et al. From Voxels to Knowledge: A Practical Guide to the Segmentation of Complex Electron Microscopy 3D-Data. J Vis Exp. (90), (2014).
- FEI. Amira & Avizo 3D: Software for Scientific and Industrial Data. , Available from: https://www.fei.com/software/amira-avizo/ (2016).
- Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. Computer Visualization of Three-Dimensional Image Data Using IMOD. J Struct Biol. 116 (1), 71-76 (1996).
- Nguyen, H., Ji, Q. Shape-driven three-dimensional watersnake segmentation of biological membranes in electron tomography. IEEE trans med imaging. 27 (5), 616-628 (2008).
- Rusu, M., Starosolski, Z., Wahle, M., Rigort, A., Wriggers, W. Automated tracing of filaments in 3D electron tomography reconstructions using Sculptor and Situs. J Struct Biol. 178 (2), 121-128 (2012).
- Moussavi, F., Heitz, G., Amat, F., Comolli, L. R., Koller, D., Horowitz, M. 3D segmentation of cell boundaries from whole cell cryogenic electron tomography volumes. J Struct Biol. 170 (1), 134-145 (2010).
- Hecksel, C. W., et al. Quantifying Variability of Manual Annotation in Cryo-Electron Tomograms. Microsc Mpicroanal. 22 (3), 487-496 (2016).
- Achanta, R., Shaji, A., Smith, K., Lucchi, A., Fua, P., Süsstrunk, S. SLIC superpixels compared to state-of-the-art superpixel methods. IEEE trans pattern anal mach intell. 34 (11), 2274-2282 (2012).
- Luengo, I., Basham, M., French, A. P. Fast global interactive volume segmentation with regional supervoxel descriptors. Proc. SPIE. 9784, (2016).
- Luengo, I., et al. SuRVoS: Super-Region Volume Segmentation Workbench. J Struct Biol. 198 (1), 43-53 (2017).
- Wadeson, N., Basham, M. Savu: A Python-based, MPI Framework for Simultaneous Processing of Multiple, N-dimensional, Large Tomography Datasets. arXiv:1610.08015 [cs]. , Available from: http://arxiv.org/abs/1610.08015 (2016).
- DiamondLightSource/Savu: Version 1.2. Zenodo. , Available from: https://zenodo.org/record/198726 (2014).
- Paganin, D., Mayo, S. C., Gureyev, T. E., Miller, P. R., Wilkins, S. W. Simultaneous phase and amplitude extraction from a single defocused image of a homogeneous object. J Microsc. 206 (Pt 1), 33-40 (2002).
- van Aarle, W., et al. Fast and flexible X-ray tomography using the ASTRA toolbox. Opt Express. 24 (22), 25129-25147 (2016).
- Palenstijn, W. J., Batenburg, K. J., Sijbers, J. Performance improvements for iterative electron tomography reconstruction using graphics processing units (GPUs). J Struct Biol. 176 (2), 250-253 (2011).
- Mastronarde, D. N. Dual-Axis Tomography: An Approach with Alignment Methods That Preserve Resolution. J Struct Biol. 120 (3), 343-352 (1997).
- Duke, E., Dent, K., Razi, M., Collinson, L. M. Biological applications of cryo-soft X-ray tomography. J Microsc. 255 (2), 65-70 (2014).
- Arbeláez, P., Maire, M., Fowlkes, C., Malik, J. Contour detection and hierarchical image segmentation. IEEE trans pattern anal mach intell. 33 (5), 898-916 (2011).
- Luengo, I., Basham, M., French, A. P. Hierarchical Piecewise-Constant Super-regions. arXiv:1605.05937 [cs]. , Available from: http://arxiv.org/abs/1605.05937 (2016).
- Luengo, I., Basham, M., French, A. P. SMURFS: superpixels from multi-scale refinement of super-regions. , Available from: http://www.bmva.org/bmvc/2016/papers/paper004/index.html 1-12 (2016).
