基于深度学习的冷冻电子断层扫描

我们的实验方案最令人兴奋的是，它允许任何实验室使用这些深度学习协议来分割大量冷冻电子断层扫描数据。我们工作流程的主要优点是Dragonfly提供了一个专业级的计算环境，用于训练多类神经网络进行分割，这实际上可以大大加快您的分割过程。图像分割需要时间来学习，因此请务必测试工具并了解关键绑定，以便随着时间的推移真正帮助简化您的工作流程。

设置软件后，通过转到"文件"并选择"导入图像文件"来继续导入图像。然后单击"添加"，导航到图像文件，单击"打开"，然后选择"下一步"，然后选择"完成"。通过转到实用程序并选择维度单位管理器来创建自定义强度刻度。

单击左下角的加号以创建新的维度单位。在所有感兴趣的断层图中选择高强度和低强度特征。为单位指定名称和缩写，并保存自定义尺寸单位。

要将图像校准为自定义强度刻度，请右键单击屏幕右侧"属性"列中的数据集，然后选择"校准强度标度"。然后，转到屏幕左侧的主选项卡并向下滚动到探针部分。使用适当直径的圆形探头工具，单击断层扫描背景区域中的几个位置，然后在原始强度列中记录平均数。

对基准标记重复此操作，然后单击校准。如有必要，使用主选项卡的窗口调平部分中的区域工具调整对比度以使结构再次可见。在主选项卡的左侧，向下滚动到图像处理面板。

单击高级并等待新窗口打开。从"属性"面板中，选择要过滤的数据集，并通过单击数据集左侧的眼睛图标使其可见。接下来，使用操作面板中的下拉菜单为第一个操作选择直方图均衡。

选择"添加操作"，单击"高斯"，然后将内核维度更改为 3D。添加第三个操作，然后选择"取消锐化"并保留此操作的输出。将均衡应用于所有切片并让过滤运行，然后关闭图像处理窗口以返回主界面。

要识别训练区域，请转到数据属性面板，首先通过单击左侧的眼睛图标隐藏未过滤的数据集。然后，显示新筛选的数据集。使用过滤后的数据集，确定包含所有感兴趣要素的断层影像子区域。

现在，通过向下滚动到"形状"类别并选择主选项卡左侧的"创建框"，在感兴趣区域周围创建一个框。在四视图面板上，使用不同的 2D 平面来帮助引导或拖动框的边缘，以仅包围所有维度的感兴趣区域。在数据列表中，选择框区域并通过单击眼睛符号旁边的灰色方块更改边框颜色以便于查看。

要创建多投资回报率，请选择细分选项卡，单击左侧的新建，然后选中创建为多投资回报率。确保类数与感兴趣要素数加上背景类数相对应。命名多 ROI 训练数据并确保几何与数据集相对应，然后单击确定。然后，滚动浏览数据，直到在框内的区域的边界内。

在右侧的"属性"菜单中选择"多投资回报率"。双击多ROI中的第一个空白类名以命名它。要使用 2D 画笔进行绘画，请向下滚动到左侧"分割"选项卡中的 2D 工具，然后选择一个圆形画笔。

然后从下拉菜单中选择自适应高斯或局部 OTSU，按住左控加单击进行绘画，按住左移加单击擦除。标记所有结构后，右键单击多ROI中的背景类，然后选择将所有未标记的体素添加到类。接下来，创建一个名为掩码的新单类 ROI。

确保几何设置为过滤后的数据集，然后单击应用。在右侧的属性选项卡中，右键单击该框，选择添加到 ROI，然后将其添加到掩码 ROI。要使用掩码修剪训练数据，请转到属性选项卡，然后按住控制权并单击每个数据来选择训练数据、多 ROI 和掩码 ROI。

接下来，单击布尔运算部分中数据属性列表下方的相交。将新数据集命名为修剪的训练输入，并确保几何与过滤后的数据集相对应，然后单击确定。通过右键单击属性选项卡中筛选的数据集并选择分割向导选项，将训练数据导入分割向导。打开新窗口后，查找右侧的输入选项卡。

单击从多 ROI 导入帧，然后选择修剪训练输入。要生成新的神经网络模型，请单击模型选项卡中右侧的加号按钮。 从列表中选择 U Net，选择 2.5 D 和 5 个切片作为输入维度，然后单击生成。

要训练网络，请单击 Seg Wiz 窗口右下角的训练。单元训练完成后，使用训练的网络对新帧进行分段，创建新帧，然后单击预测。然后单击预测帧右上角的向上箭头，将分割转移到真实帧。

若要更正预测，请按住 Control 并单击两个类以将一个类的分割像素更改为另一个类。选择这两个类并使用画笔进行绘画，以仅绘制属于任一类的像素。在至少五个新帧中更正分割。

对于迭代训练，请再次单击"训练"按钮，并允许网络进一步训练另外 30 到 40 个史诗。此时，停止训练并开始另一轮训练。对网络性能满意后，通过退出分段向导发布网络。

将弹出一个对话框，询问要发布的模型。选择成功的网络，为其命名，然后发布它以使网络可在分段向导之外使用。首先，在"属性"面板中选择要应用于训练断层扫描的筛选数据集。

在左侧的细分面板中，向下滚动到带 AI 的细分部分。确保选择了正确的数据集。在下拉菜单中选择最近发布的模型，然后单击分段，然后单击所有切片。

要应用于推理数据集，请导入新的断层影像并对其进行预处理，如前所述。在细分面板中，转到带 AI 的细分部分。确保新过滤的断层影像是所选的数据集，选择之前训练的模型，单击分段，然后选择所有切片。

通过首先选择一个具有分割噪声和感兴趣要素的类来快速清除噪声。然后，右键单击"进程岛"，选择"按体素计数删除"，然后单击"选择体素大小"。从少量计数开始，然后逐渐增加计数以消除大部分噪音。

对于分割校正，按住 Control 键单击两个类以绘制仅属于这些类的像素。按住 Control 键单击加拖动使用分割工具将第二个类的像素更改为第一个类，按住 Shift 键单击加拖动以完成相反的操作。在单个断层图上训练五层单元，并对训练输入进行手分割。

显示了完成训练后单元的 2D 分割。分割区域的 3D 渲染显示了膜、微管和肌动蛋白丝。显示了与训练断层图相同的会话中的 DIV 5 海马大鼠神经元。

从该单元进行 2D 分割，无需在快速清理显示膜、微管、肌动蛋白和基准点方面进行额外培训。分割区域的3D渲染也可视化。还观察到早期会话的DIV 5海马大鼠神经元。

还通过快速清理和 3D 渲染对设备进行了 2D 分割。DIV 5海马大鼠神经元也在不同的泰坦克里奥斯上以不同的放大倍数观察到。像素大小已使用 IMOD 程序挤压库进行更改，以匹配训练断层扫描。

通过快速清理从单元进行 2D 分割，通过适当的预处理，可以跨数据集进行稳健的推理，并执行了分割的 3D 渲染。以相同的方式预处理数据并校准直方图绝对是正确网络推理的最重要步骤。一旦在断层图中知道分子的位置，在 Dragonfly 中计算定量测量值或计算坐标并将其输入子断层图平均管道就变得微不足道了。

我们才刚刚开始看到深度学习对冷冻电子断层扫描图像分析的影响，但这只是它显示出巨大前景的另一个领域。