所述管道设计用于分割大于千兆字节的电子显微镜数据集,以提取全细胞形态。一旦单元以 3D 重建,根据个人需求设计的定制软件可以直接在 3D 中执行定性和定量分析,也使用虚拟现实克服视图遮挡。
使用电子显微镜 (EM) 对生物组织的串行切片和随后的高分辨率成像允许分割和重建高分辨率图像堆栈,以揭示无法使用 2D 解决的超结构模式图像。事实上,后者可能导致对形态的误解,如线粒体;因此,3D模型的使用越来越普遍,并应用于基于形态的功能假设的制定。迄今为止,使用从光或电子图像堆栈生成的 3D 模型进行定性、视觉评估以及量化,更便于直接在 3D 中执行。由于这些模型通常极其复杂,因此必须设置虚拟现实环境,以克服遮挡和充分利用 3D 结构。在这里,详细介绍了从图像分割到重建和分析的分步指南。
第一个提出的电子显微镜设置模型,允许自动序列截面和成像可追溯到1981年1;这种自动化的、改进的设置,以图像大样本使用EM在过去十年中增加2,3,和作品展示令人印象深刻的密集重建或完整的形态立即跟随4, 5,6,7,8,9,10.
大型数据集的制作需要改进图像分割的管道。用于手动分割串行部分的软件工具,如 RECONSTRUCT 和 TrakEM211、12,是为传输电子显微镜 (TEM) 设计的。由于整个过程可能非常耗时,因此在处理数千个串行显微图时,这些工具是不适当的,这些显微图可以使用最先进的自动化 EM 串行截面技术 (3DEM) 自动生成,例如块面扫描电子显微镜(SBEM)3或聚焦电束扫描电子显微镜(FIB-SEM)2 。为此,科学家们致力于开发半自动化工具以及全自动工具,以提高分割效率。基于机器学习13或最先进的、未经训练的像素分类算法14的全自动工具正在改进,以便被更大的社区使用;然而,分段还远远没有完全可靠,许多作品仍以人工为基础,在分段时间方面效率不高,但仍然提供完全的可靠性。半自动化工具(如 ilastik15)代表一种更好的折衷方案,因为它们为分段提供了即时读出,可以在一定程度上进行校正,尽管它不提供真正的校对框架,而且可以集成在并行16中使用 TrakEM2 。
迄今为止,大规模分段大多限于连接经济学;因此,计算机科学家最感兴趣的是提供框架,为大型,带号显示的数据集的集成可视化和分析连接模式推断出突触接触17,18。然而,精确的 3D 重建可用于定量形态分析,而不是对 3D 结构进行定性评估。NeuroMorph19、20和糖原分析10等工具已经开发出来,用于测量长度、表面积和体积的 3D 重建以及云点分布的测量丢弃原来的EM堆栈8,10。星形细胞是一个有趣的案例研究,因为缺乏视觉线索或重复的结构模式给研究者一个暗示,个别结构单元的功能,因此缺乏天文学过程的充分本体论21,使设计分析工具变得具有挑战性。最近的一次尝试是抽象细胞22,它允许对天体细胞过程进行视觉探索,并推断出星形过程和神经酸盐之间的定性关系。
然而,在EM下成像切片组织的便利性来自以下事实:隐藏在完整大脑样本中的信息量是巨大的,解释单节图像可以克服这个问题。大脑中结构的密度如此之大,以至于即使同时看到几个物体的3D重建,也使得无法从视觉上区分它们。为此,我们最近建议使用虚拟现实(VR)作为观察复杂结构的改进方法。我们专注于星形细胞23,以克服遮挡(即在第二个3D空间中用第二个物体遮挡目标物体的可见性),并简化重建的定性评估,包括校对和量化使用空间中点计数的要素。我们最近结合VR视觉探索与使用GLAM(糖原衍生的乳酸盐吸收模型),一种技术,通过考虑糖原颗粒作为发光体23,可视化乳酸穿梭概率的中性光图;特别是,我们使用VR来量化GLAM产生的光峰。
此处介绍的方法是多尺度 EM 数据集的分段和 3D 重建的有用分步指南,无论它们来自高分辨率成像技术(如 FIB-SEM)还是其他自动串行切片和成像技术。FIB-SEM 的优点是,使用聚焦的 ionon 光束切割薄至 5 nm 的截面,从而有可能达到五角星大小的完全等分,其 FOV 可能由于侧面伪影而限制在 15-20 μm,这可能是由于 FO 时切割组织的沉积V 超过此值。通过使用其他技术(如 SBEM)可以避免此类伪影,后者使用金刚石刀在显微镜室内切割序列部分。在后一种情况下,z分辨率最多可能为 20 nm 左右(通常为 50 nm),但 FOV 可能更大,尽管像素分辨率应针对广大感兴趣的区域进行破坏。克服此类限制(放大率与 FOV)的一个解决方案是划分切片的感兴趣区域,并获取每个切片的更高分辨率。我们在此处显示了代表性结果中的 SBEM 堆栈数据集 (i) 和代表性结果中的 FIB-SEM 堆栈数据集 (ii) 的结果。
随着越来越普遍地生成越来越大的数据集,创建像素分类和自动图像分割工具的努力正在成倍增加;然而,迄今为止,没有任何软件能够证明具有与人工校对相媲美的可靠性,因此,无论它多么耗时,这仍然是必要的。通常,可以向下采样的小型数据集(如数据集 (ii))可以在一周内由单个专家用户密集地重建,包括校对时间。
这里介绍的协议涉及使用三个软件程序,特别是:斐济(版本2.0.0-rc-65/1.65b),ilastik(版本1.3.2rc2)和Blender(2.79),这些都是开源和多平台的程序,可免费下载。斐济是ImageJ的发布,由用于生物图像分析的插件供电。它有一个强大的软件架构,建议因为它是一个常见的平台,生活科学家,包括TrakEM2,第一个和最广泛的插件的图像分割。许多用户最近遇到的一个问题是从 Java 6 到 Java 8 的过渡,这造成了兼容性问题;因此,我们建议,如果可能的话,不要更新到 Java 8,以使斐济能够正常工作。ilastik 是一个强大的软件,提供许多像素分类框架,每个框架都记录并解释在其网站上。用于 EM 堆栈半自动分段的雕刻模块非常方便,因为它节省了大量时间,使科学家能够将有经验的用户花在体力劳动上的时间从几个月缩短到几天,因为只需单击一下整个神经酸盐即可以秒为单位分割。从硬件的角度来看,预处理步骤非常激烈,非常大的数据集(如此处显示的 SBEM 堆栈(26 GB)需要特殊的策略来适应内存,因为无法获取大型数据集妥协领域的观点和决议。因此,在这种情况下,向下采样可能不是适当的解决方案。该软件的最新版本可以在几个小时内完成预处理与一个强大的Linux工作站,但分段需要几分钟,滚动通过堆栈仍然相对缓慢。我们仍然使用此方法进行第一次粗略的分割,并使用 TrakEM2 校对它。最后,Blender 是一个 3D 建模软件,具有强大的 3D 渲染引擎,可以使用可嵌入主 GUI 的 python 脚本进行自定义,这些脚本可作为附加组件嵌入到主 GUI 中,例如 NeuroMorph 和糖原分析。该软件的灵活性伴随着缺点,例如,与斐济相比,它不是为大型数据集的在线可视化而设计的;因此,在大网中可视化和导航可能很慢且效率不高。因此,建议始终选择降低网格复杂性但小心不要破坏兴趣结构的原始形态的技术。remesh 函数派上用场,是 NeuroMorph 批处理导入工具的嵌入式功能。此函数的一个问题是,根据原始网格的顶点数,应相应地修改与最终分辨率相关的八角形深度值。小对象可以重新网格与小八角形深度(例如 4),但相同的值可能会破坏较大对象的形态,需要更大的值(最多 6 个,对于非常大的网格(如完整单元格)为 8 甚至 9)。如果对象的大小不清楚,建议使此过程进行迭代并测试不同的 octree 深度。
如前所述,应考虑的一个方面是专用于重建和分析的计算能力,与正在使用的软件相关。本手稿代表结果中显示的所有操作均使用 MacPro 获得,该 MacPro 配备了 AMD FirePro D500 显卡、64 GB RAM 和 8 个内核的英特尔至强 E5 CPU。斐济拥有处理大型数据集的良好软件体系结构;因此,建议使用硬件性能良好的笔记本电脑,例如配备 2.5 GHz 英特尔 i7 CPU 和 16 GB RAM 的 MacBook Pro。ilastik 软件在硬件资源方面要求更严格,特别是在预处理步骤中。尽管对图像堆栈进行采样是限制软件硬件请求并允许用户使用笔记本电脑处理堆栈的好办法(通常,如果该堆栈在x、y、z中低于 500像素),我们建议使用高端设备计算机,以顺利运行该软件。我们使用配备英特尔至强金 6150 CPU 的工作站,该 CPU 具有 16 个内核和 500 GB 的内存。
当提供精确的 3D 重建时,科学家可以丢弃原始显微图,直接在 3D 模型上工作,以提取有用的形态数据来比较相同类型的细胞以及不同类型的细胞,并利用 VR形态的定性和定量评估。特别是,在分析存在视觉遮挡的密集或复杂形态(即,在3D空间中,第二个物体被放置在观察者和Fi之间,使目标物体的视图被遮挡)的分析表明,后者的使用是有益的。rst 对象),因此很难在 3D 中表示和分析它们。在所呈现的示例中,有经验的用户花了大约 4 个非连续小时来观察数据集并计算对象。VR 分析所花费的时间可能会有所不同,例如 VR 疾病(在某种程度上可能与汽车病相关)会对用户体验产生负面影响;在这种情况下,用户可能更喜欢其他分析工具,并限制专用于 VR 的时间。
最后,所有这些步骤都可以应用于生成图像堆栈的其他显微镜和非 EM 技术。EM 生成的图像通常很难处理和分割,与荧光显微镜(例如荧光显微镜)相比,在荧光显微镜中,类似于二进制掩膜(信号与黑色背景)的图像,原则上可以方便地在 3D 中呈现。进一步处理,往往需要处理。
The authors have nothing to disclose.
这项工作得到了阿卜杜拉国王科技大学(KAUST)竞争研究补助金(CRG)授予P.J.M的”KAUST-BBP脑能量代谢综合建模联盟”的支持。
Fiji | Open Source | 2.0.0-rc-65/1.65b | Open Source image processing editor www.fiji.sc |
iLastik | Open Source | 1.3.2 rc2 | Image Segmentation tool www.ilastik.org |
Blender | Blender Foundation | 2.79 | Open Source 3D Modeling software www.blender.org |
HTC Vive Headset | HTC | Vive / Vive Pro | Virtual Reality (VR) Head monted headset www.vive.com |
Neuromorph | Open Source | — | Collection of Blender Addons for 3D Analysis neuromorph.epfl.ch |
Glycogen Analysis | Open Source | — | Blender addon for analysis of Glycogen https://github.com/daniJb/glyco-analysis |
GLAM | Open Source | — | C++ Code For generating GLAM Maps https://github.com/magus74/GLAM |