Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
Click here for the English version

Biology

基于深度学习的冷冻电子断层扫描

Published: November 11, 2022 doi: 10.3791/64435

Summary

这是一种使用一个断层图的一部分作为训练输入来训练多层 U-Net 以对冷冻电子断层图进行多类分割的方法。我们描述了如何将该网络推断为其他断层图,以及如何提取分割以进行进一步分析,例如断层图平均和细丝追踪。

Abstract

冷冻电子断层扫描(cryo-ET)允许研究人员以目前可能的最高分辨率对天然水合状态的细胞进行成像。然而,该技术有几个局限性,使得分析它生成的数据既耗时又困难。手动分割单个断层扫描可能需要数小时到数天,但显微镜每天可以轻松生成 50 张或更多断层扫描。目前冷冻电子断层扫描的深度学习分割程序确实存在,但仅限于一次分割一个结构。在这里,多切片U-Net卷积神经网络被训练并应用于在冷冻断层图中同时自动分割多个结构。通过适当的预处理,这些网络可以可靠地推断出许多断层图,而无需为每个断层图训练单独的网络。在大多数情况下,该工作流程通过将分割时间缩短到30分钟以下,大大提高了冷冻电子断层扫描的分析速度。此外,分割可用于提高细胞环境中细丝追踪的准确性,并快速提取坐标以进行断层图平均。

Introduction

过去十年的硬件和软件发展导致了冷冻电子显微镜(cryo-EM)的“分辨率革命”12。借助更好更快的探测器3、自动化数据收集的软件45 以及相位板6 等信号增强技术,收集大量高分辨率冷冻电镜数据相对简单。

冷冻电子断层扫描可对天然水合状态下的细胞超微结构提供前所未有的洞察力78910主要限制是样品厚度,但随着聚焦离子束 (FIB) 铣削等方法的采用,其中厚细胞和组织样品被减薄以进行断层扫描11,可以使用冷冻电子断层扫描成像的视野不断扩大。最新的显微镜每天能够产生超过50张断层扫描,由于快速数据收集方案的发展,这一速度预计只会增加1213。分析冷冻电子断层扫描产生的大量数据仍然是这种成像模式的瓶颈。

断层扫描信息的定量分析要求首先对其进行注释。传统上,这需要专家进行手工分割,这很耗时;根据冷冻断层扫描中包含的分子复杂性,可能需要数小时到数天的专门关注。人工神经网络是解决这个问题的一个有吸引力的解决方案,因为它们可以被训练在很短的时间内完成大部分分割工作。卷积神经网络(CNN)特别适用于计算机视觉任务14,最近已被改编用于分析冷冻电子断层图151617

传统的CNN需要数千个带注释的训练样本,这对于生物图像分析任务来说通常是不可能的。因此,U-Net架构在这个领域表现出色18 ,因为它依赖于数据增强来成功训练网络,最大限度地减少了对大型训练集的依赖。例如,U-Net 架构可以只用单个断层图的几个切片(四个或五个切片)进行训练,并且无需重新训练即可可靠地推断到其他断层图。该协议为训练 U-Net 神经网络架构以在 Dragonfly 2022.119 中分割电子冷冻断层扫描提供了分步指南。

Dragonfly是商业开发的软件,用于深度学习模型的3D图像分割和分析,并且可以免费用于学术用途(适用某些地理限制)。它具有先进的图形界面,允许非专家充分利用深度学习的强大功能进行语义分割和图像去噪。该协议演示了如何在Dragonfly中预处理和注释冷冻电子断层图以训练人工神经网络,然后可以推断出快速分割大型数据集。它进一步讨论并简要演示了如何使用分段数据进行进一步分析,例如细丝追踪和坐标提取以进行子断层图平均。

Protocol

注意:蜻蜓 2022.1 需要高性能工作站。系统建议与用于此协议的工作站的硬件一起包含在 材料表中 。此协议中使用的所有断层图像都从 3.3 到 13.2 ang/pix 的像素大小进行 4 倍分箱。代表性结果中使用的样品来自一家遵循符合该机构道德标准的动物护理指南的公司(见 材料表)。该协议中使用的断层图和作为训练输入生成的多ROI已作为捆绑数据集包含在 补充文件1 中(可在 https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct 中找到),因此用户可以根据需要跟踪相同的数据。Dragonfly还托管了一个名为Infinite Toolbox的开放访问数据库,用户可以在其中共享经过训练的网络。

1. 设置

  1. 更改默认工作区:
    1. 要更改工作空间以镜像此协议中使用的工作空间,请在主面板左侧向下滚动到场景的视图属性部分,然后取消选择显示图例。向下滚动到布局部分,然后选择单个场景和四个相等视图视图。
    2. 要更新默认单位,请转至 “文件”|”首选项。在打开的窗口中,将 默认单位 从毫米更改为 纳米
  2. 有用的默认键绑定:
    1. Esc 键可在 2D 视图中显示十字准线,并允许在 3D 视图中旋转 3D 体积。按 X隐藏 2D 视图中的十字准线,并允许在 3D 视图中进行 2D 平移和 3D 体积平移
    2. 将鼠标悬停在 十字准线 上可查看小箭头,单击和拖动这些 小箭头 以更改其他 2D 视图中查看平面的角度。
    3. 按 Z 在两个视图中进入 缩放状态 ,允许用户单击并拖动任意位置以放大和缩小。
    4. 双击 四视图场景中 的视图以仅聚焦该视图;再次双击可返回到所有四个视图。
  3. 通过将“ 属性 ”选项卡中的所有内容导出为 ORS 对象来定期保存进度,以便于导入。选择列表中的所有对象,然后右键单击 “导出 |作为 ORS 对象。命名文件并保存。或者,转到 “文件”|”保存会话。要使用软件中的自动保存功能,请通过 “文件”|”偏好 |自动保存

2. 图片导入

  1. 导入图像,请转到 “文件”|”导入图像文件。单击 添加,导航到图像文件,然后单击 打开 |下一页 |完成
    注:软件无法识别 .rec 文件。所有断层扫描必须具有 .mrc 后缀。如果使用提供的数据,请改为转到 “文件”|”导入对象。导航到 Training.ORSObject 文件 并单击“ 打开”,然后单击“ 确定”。

3. 预处理( 1.1)

  1. 创建自定义强度等级(用于跨数据集校准图像强度)。转到 实用程序 |维度单元管理器。在 左下角,单击 + 以创建新的 维度单位
  2. 选择所有感兴趣的断层图中的高强度(明亮)和低强度(暗)特征。为单位指定名称和缩写(例如,对于此刻度,将 基准磁珠 设置为 0.0 标准强度将背景 设置为 100.0)。 保存 自定义维度单位。
    注意:自定义强度标度是创建并应用于数据的任意刻度,以确保所有数据都位于相同的强度标度上,尽管这些数据是在不同时间或不同设备上收集的。选择最能代表信号落入范围的明暗要素。如果数据中没有基准点,只需选择要分割的最暗特征(例如,蛋白质最暗的区域)。
  3. 要将图像校准为自定义强度刻度,请右键单击屏幕右侧“属性”列中的数据集,然后选择“校准强度标度”。在屏幕左侧的“主要”选项卡上,向下滚动到“探测”部分。使用具有适当直径的圆形探针工具,单击断层扫描背景区域中的几个位置,然后在“原始强度”列中记录平均数;对基准标记重复此操作,然后单击校准。如有必要,请使用“主要”选项卡的“窗口调配”部分中的“区域”工具调整对比度以使结构再次可见。
  4. 图像过滤:
    注意:图像滤波可以降低噪声并增强信号。该协议使用软件中内置的三个过滤器,因为它们最适合此数据,但有许多过滤器可用。一旦确定了感兴趣数据的图像过滤协议,就必须在分割之前对所有断层图应用 完全相同的协议
    1. 在左侧 的主选项卡中, 向下滚动到 图像处理面板。单击 高级 并等待新窗口打开。在 “属性 ”面板中,选择要筛选的数据集,并通过单击数据集左侧的 眼睛 图标使其可见。
    2. 操作”面板中,使用下拉菜单为第一个操作选择 直方图均衡 (在 “对比度 ”部分下)。选择 “添加操作”|”高斯(平滑 部分下)。将 内核尺寸 更改为 3D
    3. 添加第三个操作;然后,选择“ 取消锐 化”(在 “锐化 ”部分下)。将输出留给这个。应用于所有切片并让过滤运行,然后关闭 图像处理 窗口以返回主界面。

4. 创建训练数据( 1.2)

  1. 首先在“数据属性”面板中单击未筛选数据集左侧的眼睛图标来隐藏训练区域,从而识别训练区域。然后,显示新过滤的数据集(将自动命名为DataSet-HistEq-Gauss-Unsharp)。使用过滤后的数据集,确定包含所有感兴趣要素的断层影像子区域。
  2. 若要在感兴趣区域周围创建框,请在左侧 的主选项卡中向下 滚动到 “形状 ”类别,然后选择“ 创建框”。在 “四视图 ”面板中,使用不同的 2D 平面 来帮助引导/拖动框的边缘,以仅包围所有维度的感兴趣区域。在 数据列表中,选择 Box 区域并通过单击眼睛符号旁边的 灰色方块 更改边框的颜色以便于查看。
    注意:2D U-Net 的最小图块大小为 32 x 32 像素;400 x 400 x 50 像素是开始的合理框大小。
  3. 要创建多投资回报率,请在左侧选择 细分 选项卡 |新建 并选中 创建为多投资回报率。确保类的数量与感兴趣的要素数量 + 背景类相对应。命名多 ROI 训练数据 并确保几何与数据集相对应,然后单击 确定
  4. 对训练数据进行分段
    1. 滚动浏览数据,直到在框内的区域的边界内。在右侧的属性菜单中选择多投资回报率。双击多 ROI 中的第一个空白类名称以对其进行命名。
    2. 使用 2D 画笔绘画。在左侧的 分割 选项卡中,向下滚动到 2D 工具 并选择 圆形画笔。然后,从下拉菜单中选择 自适应高斯局部 OTSU 。要绘画,请按住 左键 并单击。要擦除,请按住 左移 键并单击。
      注意:画笔将反映当前所选类的颜色。
    3. 对多 ROI 中的每个对象类重复上一步。确保框内区域中的所有结构都已完全分段,否则它们将被网络视为背景。
    4. 标记完所有结构后,右键单击多 ROI 中的背景类,然后选择将所有未标记的体素添加到
  5. 创建一个名为 掩码的新单类 ROI。确保几何设置为过滤后的数据集,然后单击 应用。在右侧 的属性 选项卡中,右键单击 该框 ,然后选择添加到 ROI。将其添加到 掩码投资回报率
  6. 要使用掩码修剪训练数据,请在属性选项卡中,通过按住 Ctrl 并单击每个 ROI 来选择训练数据多 ROI 和掩码 ROI。接下来,单击标记为布尔运算的部分中的数据属性列表下方的相。将新数据集命名为修剪训练输入,并确保几何与过滤后的数据集相对应,然后单击确定

5. 使用分割向导进行迭代训练( 1.3)

  1. 首先右键单击“ 属性 ”选项卡中筛选的数据集,然后选择“分割向导”选项,将训练数据导入分段 向导 。当新窗口打开时,查找右侧的 输入 选项卡。单击 从多 ROI 导入帧 ,然后选择 修剪的训练输入
  2. (可选)创建视觉反馈框架以实时监控培训进度。
    1. 从未分割的数据中选择一个帧,然后单击 + 将其添加为新帧。双击帧右侧的 混合 标签并将其更改为 “监视”。
  3. 要生成新的神经网络模型,请在模型选项卡的右侧单击 + 按钮以生成新模型。从列表中选择 U-Net,然后对于输入维度,选择 2.5D5 个切片,然后单击生成
  4. 要训练网络,请单击 SegWiz 窗口右下角的训练
    注意:培训可以提前停止,而不会丢失进度。
  5. 要使用经过训练的网络对新帧进行分段,请在 U-Net 训练完成后创建一个新帧,然后单击 预测 (右下角)。然后,单击预测帧右上角的向上箭头,将分割转移到真实帧。
  6. 若要更正预测,请 按住 Ctrl 并单击两个 类以将一个类的分割像素更改为另一个类。选择这两个类并使用 画笔 进行绘画,以仅绘制属于任一类的像素。在至少五个新帧中更正分割。
    注意:在选择两个类时,使用画笔工具绘画意味着它不会像往常那样按住 Shift 单击擦除,而是将第一个类的像素转换为第二个类。按住 Ctrl 并单击将完成相反的操作。
  7. 对于迭代训练,再次单击 Train 按钮,并允许网络再训练 30-40 个 epoch,此时停止训练并重复步骤 4.5 和 4.6 进行另一轮训练。
    注意:通过这种方式,可以使用单个数据集迭代训练和改进模型。
  8. 要发布网络,如果对其性能感到满意,请退出分段向导。在自动弹出的对话框中,询问要发布(保存)哪些模型,选择成功的网络,为其命名,然后发布它以使网络可在分段向导之外使用。

6. 应用网络( 1.4)

  1. 要先应用于训练断层影像,请在 “属性 ”面板中选择筛选的数据集。在左侧的 细分 面板中,向下滚动到 使用 AI 的细分 部分。确保选择了正确的数据集,在下拉菜单中选择刚刚发布的模型,然后单击 分段 |所有切片。或者,选择 预览”以查看细分的单切片预览。
  2. 要应用于推理数据集,请导入新的断层影像。按照步骤3进行预处理(1.1)。在“ 分段 ”面板中,转到 “使用 AI 进行分段 ”部分。确保新过滤的断层影像是所选数据集,选择之前训练的模型,然后单击 分段 |所有切片

7. 分段操作和清理

  1. 通过首先选择一个具有分段噪声和感兴趣特征的类来快速清除噪声。 右键单击 |工艺孤岛 |按体素计数删除 |选择体素大小。从小(~200)开始,逐渐增加计数以消除大部分噪音。
  2. 对于分割校正,按住 Ctrl 并单击两个类以仅绘制属于这些类的像素。按住 Ctrl 并单击 + 使用分割工具拖动以将第二个类的像素更改为第一个类,按住 Shift 键并单击 + 拖动以完成相反的操作。继续执行此操作以快速更正错误标记的像素。
  3. 单独的连接组件。
    1. 选择一个班级。右键单击 多投资回报率中的类 |分离连接的 组件,为未连接到同一类的另一个组件的每个组件创建一个新类。使用 多ROI下方的按钮轻松合并类。
  4. 将投资回报率导出为二进制/TIFF。
    1. 多 ROI 中选择一个类,然后右键单击并将类提取为 ROI。在上面的属性面板中,选择新的 ROI,右键单击 |出口 |ROI 为二进制(确保选中将所有图像导出到一个文件中的选项)。
      注意:用户可以使用IMOD程序tif2mrc20轻松地从tiff转换为mrc格式。这对于灯丝跟踪很有用。

8. 根据 ROI 生成子断层图平均值的坐标

  1. 提取类。
    1. 右键单击要用于平均的类 |将类提取为 ROI。右键单击类投资回报率 |互联组件 |新的多投资回报率(已连接 26 个)。
  2. 生成坐标。
    1. 右键单击 新的多投资回报率 |标量生成器。使用 数据集展开基本测量 | 选中 加权质心 X、Y 和 Z。选择数据集并计算。右键单击 多投资回报率 |导出标量值。选中 选择所有标量插槽,然后 选中确定 ,以 CSV 文件的形式为多 ROI 中的每个类生成质心世界坐标。
      注意:如果粒子靠近并且分割接触,则可能需要执行分水岭变换以将组件分离为多ROI。

9. 流域变换

  1. 通过在 多ROI中右键单击类来提取类以用于平均 |将类提取为 ROI。将此 ROI 流域掩码命名为。
  2. (可选) 关闭孔
    1. 如果分割的颗粒有孔或开口,请关闭分水岭的孔或开口。单击“数据属性”中的 ROI。在“分割”选项卡(左侧)中,转到“形态学操作”,并使用“扩张”、“侵蚀”和“闭合”的任何必要组合来实现无孔的实心分割
  3. 通过单击投资回报率 |复制所选对象在“数据属性”下方)。选择复制的 ROI,然后在左侧的“细分”选项卡中单击“反”。
  4. 通过右键单击 倒置的 ROI |创建映射 |距离图。供以后使用,请复制距离图并将其反转(右键单击 |修改和转换 |反转值 |申请)。将此倒置地图命名 为景观
  5. 创建种子点。
    1. 隐藏 ROI 并显示 距离图。在 分割 选项卡中,单击定义范围并缩小 范围 ,直到每个点中心只有几个像素被突出显示,而没有一个像素连接到另一个点。在“ 范围 ”部分的底部,单击 “添加到新项”。将此新的 ROI 种子点命名为 种子点
  6. 执行流域变换。
    1. 右键单击 种子点投资回报率 |互联组件 |新的多投资回报率(已连接 26 个)。右键单击 新生成的多投资回报率 |流域转型。选择名为 “横向 ”的距离地图,然后单击 “确定”;选择名为 “流域蒙版 ”的 ROI,然后单击 确定 以计算每个种子点的流域变换,并将单个粒子分离到多 ROI 中的单独类中。生成坐标,如步骤 8.2 所示。

Figure 1
图 1:工作流程。 1) 通过校准强度尺度和过滤数据集来预处理训练断层2) 通过手动分割断层图的一小部分来创建训练数据,其中包含用户希望识别的所有适当标签。3)使用过滤后的断层图作为输入,手部分割作为训练输出,在分割向导中训练五层多层U-Net。4)训练好的网络可以应用于完整的断层图以对其进行注释,并且可以从每个分段类生成3D渲染。 请点击此处查看此图的大图。

Representative Results

按照该协议,在单个断层图(图2A)上训练五层U-Net以识别五类:膜,微管,肌动蛋白,基准标记和背景。该网络总共迭代训练了三次,然后应用于断层图以对其进行完全分割和注释(图2B,C)。使用步骤 7.1 和 7.2 执行了最小清理。接下来的三个感兴趣的断层扫描(图2DG,J)被加载到软件中进行预处理。在导入图像之前,其中一个断层图像(图2J)需要将像素大小从17.22 Å / px调整到13.3 Å / px,因为它是在不同的显微镜上以略有不同的放大倍率收集的。IMOD 程序 squeezevol 用于通过以下命令调整大小:

'Squeezevol -F 0.772 inputfile.mrc outputfile.mrc'

在此命令中,-f 是指用于更改像素大小的因子(在本例中:13.3/17.22)。导入后,按照步骤3.2和3.3对3个推理目标进行预处理,然后应用五片U-Net。再次执行了最小的清理。最终的分割如图 2 所示。

来自每个断层图的微管分割导出为二进制(步骤7.4)TIF文件,转换为MRC(IMOD tif2mrc 程序),然后用于圆柱体相关和细丝追踪。与断层扫描相比,细丝的二进制分割可实现更强大的细丝追踪。来自细丝追踪的坐标图(图3)将用于进一步分析,例如最近邻测量(灯丝填料)和沿单丝平均螺旋断层扫描以确定微管方向。

不成功或训练不足的网络很容易确定。失败的网络根本无法分割任何结构,而训练不足的网络通常会正确分割某些结构,并具有大量的误报和漏报。这些网络可以进行校正和迭代训练,以提高其性能。分割向导在训练模型后自动计算模型的 骰子相似系数 (在SegWiz中称为 分数 )。此统计数据估计了训练数据和 U-Net 分割之间的相似性。Dragonfly 2022.1 还有一个内置工具,用于评估模型的性能,可以在界面顶部的 “人工智能 ”选项卡中访问(有关用法,请参阅文档)。

Figure 2
2:推理。 (A-C) DIV 5 海马大鼠神经元的原始训练断层图,于 2019 年在泰坦克里奥斯上收集。这是IMOD中CTF校正的反向预测重建。(A) 黄色框表示对训练输入执行手部分割的区域。(B) 训练完成后从 U-Net 进行 2D 分割。(C)显示膜(蓝色),微管(绿色)和肌动蛋白(红色)的分段区域的3D渲染。(D-F)DIV 5 海马大鼠神经元与训练断层扫描相同的会话。(E) 从U-Net进行2D分割,无需额外培训和快速清理。膜(蓝色),微管(绿色),肌动蛋白(红色),基准点(粉红色)。(F) 分割区域的 3D 渲染。(G-I)来自 5 年会议的 DIV 2019 海马大鼠神经元。(H) 来自 U-Net 的 2D 分割,具有快速清理和 (I) 3D 渲染。(J-L)DIV 5 海马大鼠神经元,于 2021 年以不同的放大倍率在不同的泰坦克里奥斯上收集。像素大小已使用 IMOD 程序挤压卷更改,以匹配训练断层图。(K) 来自 U-Net 的 2D 分割,具有快速清理功能,通过适当的预处理和 (L) 分割的 3D 渲染,展示了跨数据集的稳健推理。比例尺 = 100 nm。缩写:DIV = 体外天数;CTF = 对比度传递函数。请点击此处查看此图的大图。

Figure 3
3:灯丝追踪改进。 (A)在泰坦克里奥斯上收集的DIV 4大鼠海马神经元的断层图。(B)从肌动蛋白丝上的圆柱相关性生成的相关图。(C)使用相关图中肌动蛋白丝的强度来定义参数,对肌动蛋白进行细丝追踪。追踪捕获膜和微管以及噪音,同时试图追踪肌动蛋白。(D) 断层扫描的 U 网分割。膜以蓝色突出显示,微管以红色突出显示,核糖体以橙色突出显示,triC以紫色突出显示,肌动蛋白以绿色突出显示。(E)提取的肌动蛋白分割作为用于细丝追踪的二元掩码。(F) 从圆柱相关性生成的相关图,具有 (B) 中的相同参数。(G)显著改善了从断层图中仅对肌动蛋白丝的细丝追踪。缩写:DIV = 体外天数。 请点击此处查看此图的大图。

补充文件1:该协议中使用的断层图和作为训练输入生成的多ROI作为捆绑数据集(Training.ORSObject)包含在内。 请参阅 https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct。

Discussion

该协议列出了使用 Dragonfly 2022.1 软件从单个断层图训练多类 U-Net 的程序,以及如何将该网络推断为不需要来自同一数据集的其他断层图。训练相对较快(每个纪元可以快到3-5分钟,也可以慢到几个小时,完全取决于正在训练的网络和使用的硬件),并且重新训练网络以改善其学习是直观的。只要对每个断层扫描执行预处理步骤,推理通常是可靠的。

一致的预处理是深度学习推理最关键的一步。软件中有许多成像过滤器,用户可以尝试确定哪些过滤器最适合特定数据集;请注意,在训练断层图上使用的任何过滤都必须以相同的方式应用于推理断层图。还必须注意向网络提供准确和充分的培训信息。至关重要的是,训练切片中分割的所有特征都尽可能仔细和精确地分割。

复杂的商业级用户界面有助于图像分割。它为手部分割提供了所有必要的工具,并允许在训练和再训练之前将体素从任何一个类简单地重新分配到另一个类。允许用户在断层图的整个上下文中手动分割体素,并为他们提供多个视图并能够自由旋转体积。此外,该软件还提供了使用多类网络的能力,这些网络往往性能更好16 ,并且比使用多个单类网络分段更快。

当然,神经网络的能力是有局限性的。冷冻电子断层扫描数据本质上非常嘈杂且角度采样有限,这会导致相同物体中特定于方向的失真21。训练依赖于专家来准确地分割结构,一个成功的网络只与它给出的训练数据一样好(或坏)。图像滤波以增强信号对训练器很有帮助,但在许多情况下,准确识别给定结构的所有像素仍然很困难。因此,在创建训练分段时必须格外小心,以便网络在训练期间获得最佳信息。

可以根据每个用户的偏好轻松修改此工作流程。虽然必须以完全相同的方式预处理所有断层扫描图,但没有必要使用协议中使用的确切过滤器。该软件具有许多图像过滤选项,建议在开始跨越许多断层图的大型分割项目之前,针对用户的特定数据优化这些选项。还有相当多的网络架构可供使用:已发现多层 U-Net 最适合本实验室的数据,但其他用户可能会发现另一种架构(如 3D U-Net 或传感器 3D)效果更好。分段向导提供了一个方便的界面,用于比较使用相同的训练数据的多个网络的性能。

像这里介绍的工具将使全断层扫描的手工分割成为过去。有了训练有素且可可靠推断的神经网络,创建一个工作流程是完全可行的,在该工作流程中,断层扫描数据被重建、处理和完全分割的速度与显微镜可以收集数据的速度一样快。

Disclosures

该协议的开放获取许可证由Object Research Systems支付。

Acknowledgments

这项研究得到了宾夕法尼亚州立大学医学院和生物化学与分子生物学系以及烟草结算基金(TSF)拨款4100079742-EXT的支持。该项目中使用的CryoEM和CryoET核心(RRID:SCR_021178)服务和仪器部分由宾夕法尼亚州立大学医学院通过研究和研究生副院长办公室以及宾夕法尼亚州卫生部 使用 烟草结算基金(CURE)资助。内容完全由作者负责,并不一定代表大学或医学院的官方观点。宾夕法尼亚州卫生部明确声明不对任何分析、解释或结论负责。

Materials

Name Company Catalog Number Comments
Dragonfly 2022.1 Object Research Systems https://www.theobjects.com/dragonfly/index.html
E18 Rat Dissociated Hippocampus Transnetyx Tissue KTSDEDHP https://tissue.transnetyx.com/faqs
IMOD University of Colorado https://bio3d.colorado.edu/imod/
Intel® Xeon® Gold 6124 CPU 3.2GHz Intel https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html
NVIDIA Quadro P4000 NVIDIA https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf
Windows 10 Enterprise 2016 Microsoft https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise
Workstation Minimum Requirements https://theobjects.com/dragonfly/system-requirements.html

DOWNLOAD MATERIALS LIST

References

  1. Bai, X. -C., Mcmullan, G., Scheres, S. H. W. How cryo-EM is revolutionizing structural biology. Trends in Biochemical Sciences. 40 (1), 49-57 (2015).
  2. de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. Cryo-EM: The resolution revolution and drug discovery. SLAS Discovery. 26 (1), 17-31 (2021).
  3. Danev, R., Yanagisawa, H., Kikkawa, M. Cryo-EM performance testing of hardware and data acquisition strategies. Microscopy. 70 (6), 487-497 (2021).
  4. Mastronarde, D. N. Automated electron microscope tomography using robust prediction of specimen movements. Journal of Structural Biology. 152 (1), 36-51 (2005).
  5. Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet. , Available from: https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf (2022).
  6. Danev, R., Baumeister, W. Expanding the boundaries of cryo-EM with phase plates. Current Opinion in Structural Biology. 46, 87-94 (2017).
  7. Hylton, R. K., Swulius, M. T. Challenges and triumphs in cryo-electron tomography. iScience. 24 (9), (2021).
  8. Turk, M., Baumeister, W. The promise and the challenges of cryo-electron tomography. FEBS Letters. 594 (20), 3243-3261 (2020).
  9. Oikonomou, C. M., Jensen, G. J. Cellular electron cryotomography: Toward structural biology in situ. Annual Review of Biochemistry. 86, 873-896 (2017).
  10. Wagner, J., Schaffer, M., Fernández-Busnadiego, R. Cryo-electron tomography-the cell biology that came in from the cold. FEBS Letters. 591 (17), 2520-2533 (2017).
  11. Lam, V., Villa, E. Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography. Methods in Molecular Biology. 2215, 49-82 (2021).
  12. Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. Rapid tilt-series acquisition for electron cryotomography. Journal of Structural Biology. 205 (2), 163-169 (2019).
  13. Eisenstein, F., Danev, R., Pilhofer, M. Improved applicability and robustness of fast cryo-electron tomography data acquisition. Journal of Structural Biology. 208 (2), 107-114 (2019).
  14. Esteva, A., et al. Deep learning-enabled medical computer vision. npj Digital Medicine. 4 (1), (2021).
  15. Liu, Y. -T., et al. Isotropic reconstruction of electron tomograms with deep learning. bioRxiv. , (2021).
  16. Moebel, E., et al. Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms. Nature Methods. 18 (11), 1386-1394 (2021).
  17. Chen, M., et al. Convolutional neural networks for automated annotation of cellular cryo-electron tomograms. Nature Methods. 14 (10), 983-985 (2017).
  18. Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).
  19. Dragonfly 2021.3 (Computer Software). , Available from: http://www.theobjects.com/dragonfly (2021).
  20. Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. Computer visualization of three-dimensional image data using IMOD. Journal of Structural Biology. 116 (1), 71-76 (1996).
  21. Iancu, C. V., et al. A "flip-flop" rotation stage for routine dual-axis electron cryotomography. Journal of Structural Biology. 151 (3), 288-297 (2005).

Tags

生物学,第189期,
基于深度学习的冷冻电子断层扫描
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Heebner, J. E., Purnell, C., Hylton, More

Heebner, J. E., Purnell, C., Hylton, R. K., Marsh, M., Grillo, M. A., Swulius, M. T. Deep Learning-Based Segmentation of Cryo-Electron Tomograms. J. Vis. Exp. (189), e64435, doi:10.3791/64435 (2022).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter