冷冻电子断层扫描技术(cryo-ET)能够以纳米级分辨率实现细胞超微结构的三维可视化,但手动分割仍耗时且复杂。我们提出了一种新颖的工作流程,该流程整合了先进的虚拟现实软件用于cryo-ET断层图的分割,并通过对哺乳动物细胞中线粒体的分割展示了其有效性。
方法文章
* These authors contributed equally
冷冻电子断层扫描技术(cryo-ET)能够以纳米级分辨率实现细胞超微结构的三维可视化,但手动分割仍耗时且复杂。我们提出了一种新颖的工作流程,该流程整合了先进的虚拟现实软件用于cryo-ET断层图的分割,并通过对哺乳动物细胞中线粒体的分割展示了其有效性。
冷冻电子断层扫描技术(cryo-ET)是一种能够在纳米级分辨率下以三维(3D)方式可视化细胞超微结构的强大技术。然而,由于其复杂性和耗时性,cryo-ET 数据中细胞组分的手动分割仍然是一个显著的瓶颈。在本研究中,我们提出了一种新颖的分割工作流程,该流程整合了先进的虚拟现实(VR)软件,以提高 cryo-ET 数据集分割的效率和准确性。该工作流程利用一种具有直观三维交互功能的沉浸式 VR 工具,使用户能够在更自然、更具交互性的环境中导航并标注复杂的细胞结构。为评估该工作流程的有效性,我们将其应用于视网膜色素上皮(RPE1)细胞中线粒体的分割。线粒体是细胞能量生成和信号传导的关键结构,具有动态的形态变化,因此是理想的测试样本。VR 软件有助于精确勾画线粒体膜及其内部结构,从而支持对分割后的膜结构进行后续分析。我们证明,这种基于 VR 的分割工作流程在保持 cryo-ET 数据中复杂细胞结构分割准确性的同时,显著改善了用户体验。该方法在结构细胞生物学和科学教育领域具有广泛的应用前景,为从事精细细胞分析的研究人员提供了一种变革性的工具。
冷冻电子断层扫描技术(cryo-ET)极大地提升了我们以接近天然状态高分辨率观察细胞组分的能力1,2。这一强大技术使研究人员能够表征细胞的超微结构,为理解细胞的构架与功能提供了前所未有的洞察。然而,cryo-ET 也存在局限性,其中最主要的是要求样品足够薄,以便在标准的冷冻透射电子显微镜中实现电子透明(通常 <0.5 µm)。近年来,冷冻聚焦离子束切割技术的进步使得厚样品能够被减薄,从而适用于 cryo-ET 分析3,4。
典型的冷冻电子断层扫描(cryo-ET)工作流程始于倾转系列图像的采集,其中样品在+60°至-60°范围内的不同角度下成像。随后通过计算对这些图像进行对齐并反投影,以重建出三维(3D)体积数据或断层图5,6,7。该断层图可作为细胞结构的精细三维图谱,提供有关细胞结构的空间和时间信息。通过进一步的亚断层图平均化处理——即对同一结构的多个拷贝进行对齐和平均——可进一步提升分辨率极限,有时可达亚纳米级分辨率7,8,9,10。
从这些断层图像中提取有意义的生物学信息的关键步骤是分割。该过程包括在三维体积中对特定的细胞结构(如膜)进行标注。分割可实现高级分析,包括计算膜间距离和膜曲率,从而为细胞过程提供有价值的见解11,12。尽管已有多种可用于此任务的软件包,包括 Dragonfly、Amira、MemBrain、EMAN2 和 tomomemsegtv13,14,15,16,17,但分割过程仍是冷冻电子断层扫描(cryo-ET)数据分析中的一个重大瓶颈。该过程通常耗时且劳动强度大,可能需要数周至数月才能完成。许多此类软件包虽提供自动分割功能,但往往需要大量手动校正以去除假阳性结果,而在逐层或三维空间中进行此类校正可能极为繁琐且不够直观。
我们提出一种利用虚拟现实(VR)技术应对这些挑战的替代方法。VR 提供了一种沉浸式且交互性强的数据可视化手段,使用户能够如同置身于细胞环境内部一般,在断层扫描体积数据中进行导航。该方法还为科学教育以及科学探索与发现提供了有价值的平台。 原位 通过提供沉浸式且极具吸引力的独特体验,展示冷冻电子断层扫描(cryo-ET)数据。在本研究中,我们提出了一种利用syGlass进行cryo-ET数据分割的实验方案。18,专为科学可视化设计的VR软件。该软件为冷冻电子断层扫描(cryo-ET)数据分析提供了全面的工具包,包括手动分割、对自动生成的分割结果进行优化,以及在断层图中进行颗粒挑选。本研究展示了VR在cryo-ET数据分析中用于分割清洗、颗粒挑选和手动分割的可行性,证实其作为一种强大工具的应用潜力。
为了展示虚拟现实(VR)软件在冷冻电子断层扫描(cryo-ET)分割中的实用性,我们聚焦于视网膜色素上皮(RPE1)细胞中线粒体形态的分析。由于线粒体结构复杂,且具有易于量化的特征(例如内外膜之间的距离),因此是进行分割分析的理想测试对象。这些特征可通过表面形态计量分析工具12进行精确测量,从而为评估分割质量提供可靠的量化指标。本实验方案提供了使用syGlass进行cryo-ET数据分割的逐步操作指南,展示了其在cryo-ET分割流程中的应用价值。通过将基于VR的分割技术整合到cryo-ET工作流程中,我们旨在提高细胞生物学中手动结构分析的效率与准确性。
1. 准备用于分割的冷冻电子断层扫描数据
2. 设置虚拟现实(VR)
3. 优化三维可视化
4. 分割过程
5. 导出分割数据与分析结果
6. 将二值化掩膜导入软件进行清理
7. 使用虚拟现实软件选取颗粒坐标
在本研究中,我们使用 syGlass 对包含线粒体及其他膜性细胞器(例如囊泡、内质网)的断层图像进行了分割。断层图像最初在 Warp 软件中采用加权反投影法以 16.00 Å/像素的分辨率进行重构,并利用 IsoNet 软件进行了缺失楔形区域校正和去噪处理。随后对以下断层图像进行了进一步处理以便导入,如图 1A 所示(另见补充视频 S1、补充视频 S2、补充视频 S3 和补充视频 S4)。
预处理后,将MRC格式的断层图像使用ImageJ转换为TIFF图像栈,并进行对比度反转,使膜结构在黑色背景上呈现为白色。随后进行直方图均衡化以进一步增强对比度,这也有助于更有效地进行阈值分割。TIFF图像栈被导入并在沉浸式虚拟现实(VR)环境中进行三维可视化,利用图1B所示软件中的切割工具对膜结构进行详细观察。
在软件中进行手动分割,窗宽设置为自动,并调整亮度/阈值以优化细胞结构的可见性。使用VR控制器定义线粒体及其他结构周围的感兴趣区域(ROI)。分割工具可精确勾画膜边界,并通过擦除功能校正错误。通过逐层导航或使用ROI工具在三维空间中框选整个断层图像中的区域,结合可调节的画笔工具,可准确分割线粒体膜及其他细胞器,如图1C所示。
通过使用 ROI 工具的表面选项生成网格,对分割后的数据进行可视化,平滑迭代次数设置为 12,分辨率级别设置为 3。最终的 3D 渲染图像清晰展示了线粒体结构,包括外膜和内膜、嵴以及磷酸钙沉积物,如图 1D所示(另见补充视频 S5、补充视频 S6、补充视频 S7和补充视频 S8)。

图1使用 syglass 进行断层图可视化、分割和三维渲染的工作流程 (A) RPE1 细胞薄缘的断层切片。在 Warp 中重建的经 IsoNet 校正的断层图,用于在 syGlass 中进行分割,并通过 IMOD 可视化25在配备K3探测器的300 keV Titan-Krios透射电子显微镜上采集了断层图像,成像区域聚焦于视网膜上皮细胞的薄边缘。每个断层图像均包含至少一个线粒体以及其他多种膜包被细胞器。这些图像来自视频的静态截图。 补充视频 S1, 补充视频 S2, 补充视频 S3,以及 补充视频 S4. (B对应的断层图像在软件中可视化。使用以下方法生成的断层切片: 切割 在优化阈值、亮度和窗宽后,使用VR软件中的工具,可清晰显示不同的细胞结构。C软件中可视化并分割膜结构的断层图像。通过断层扫描切片创建的 切割 VR 软件中的工具,叠加相应的分割结果。磷酸钙沉积物显示为黄色,线粒体膜显示为青色,其他膜结构(如囊泡和质膜)显示为紫色。 (D在syGlass中对分割膜结构进行的3D渲染。线粒体膜(包括嵴、外膜和内膜)以青色显示,磷酸钙沉积物为黄色或绿色,囊泡和质膜为紫色,内质网为浅褐色。这些图像来自以下视频的静态帧。 补充视频 S5, 补充视频 S6, 补充视频 S7,以及 补充视频 S8. 请点击此处以查看此图的放大版本。
补充视频 S1:本研究中用于分割的样本 RPE-1_1 的断层图像。 该断层图像使用 Warp 以 16 Å/像素的分辨率重建,随后通过 IsoNet 进行去噪并校正缺失楔形区域。 请点击此处下载该文件。
补充视频 S2:本研究中用于分割的样品 RPE-1_2 的断层图像。 该断层图像使用 Warp 以 16 Å/像素的分辨率重建,随后通过 IsoNet 进行去噪并校正缺失楔形效应。请点击此处下载此文件。
补充视频 S3:本研究中用于分割的样本 RPE-1_3 的断层图像。 该断层图像使用 Warp 以 16 Å/像素重建,随后通过 IsoNet 进行去噪并校正缺失楔形效应。请点击此处下载此文件。
补充视频 S4:本研究中用于分割的样本 RPE-1_4 的断层图像。 该断层图像使用 Warp 以 16 Å/像素重建,随后通过 IsoNet 进行去噪并校正缺失楔形伪影。请点击此处下载该文件。
补充视频 S5:生成表面后样本 RPE-1_1 的最终分割结果。 线粒体膜以青色显示;线粒体内的磷酸钙以黄色显示;内质网以棕褐色显示;其他膜结构以紫色显示。请点击此处下载该文件。
补充视频 S6:样本 RPE-1_2 在生成表面后的分割结果。 线粒体膜以青色显示;线粒体内的磷酸钙以黄色显示;内质网以棕褐色显示;其他膜结构以紫色显示。请点击此处下载该文件。
补充视频 S7:样本 RPE-1_3 在生成表面后的分割结果。 线粒体膜以青色显示;线粒体内的磷酸钙以黄色显示;内质网以棕褐色显示;其他膜结构以紫色显示。请点击此处下载该文件。
补充视频 S8:样本 RPE-1_4 在生成表面后的分割结果。 线粒体膜以青色显示;线粒体内的磷酸钙以黄色显示;内质网以棕褐色显示;其他膜结构以紫色显示。请点击此处下载该文件。
在本研究中,我们展示了如何将虚拟现实(VR)技术,特别是使用 syGlass 软件,整合到冷冻电子断层成像(cryo-ET)流程中,以有效分割细胞结构。尽管我们的重点主要在于膜结构,但该方法本身并无内在限制,同样可用于分割其他细胞结构,例如丝状结构或核糖体;用户可通过调整画笔的形状和大小以及设定阈值,确保仅标记对应于目标细胞结构的体素。VR 在分割中的主要优势之一在于其直观且具有操作感的数据交互方式,使用户能够如同身临其境般地观察和操控三维数据。传统的手动分割或对初始分割掩膜进行清理的方法通常需直接在计算机上操作,这种方式沉浸感较弱,且标注效率较低。
通过将虚拟现实(VR)技术整合到冷冻电子断层扫描(cryo-ET)工作流程中,用户不仅能够快速与由其他软件生成的分割掩膜进行交互,还可以利用VR引导对部分已分割结构进行进一步分割,并高效清除假阳性区域。目前,大多数标注应用场景仍需依赖人工分割,而本研究所提出的工作流程使用户能够更便捷、更快速地生成适用于下游分析的高质量分割结果。在本研究中,我们使用了HTC Vive VR头显设备,但该软件同样兼容支持SteamVR或OculusVR的其他设备。
为确保本方案的最佳应用,冷冻电子断层扫描(cryo-ET)数据应满足特定标准,例如具有高信噪比(SNR)的高质量断层图。信噪比是一个关键参数,因为结构特征的清晰度直接影响在虚拟现实(VR)中进行手动分割的效果。预处理步骤(如缺失楔形区域校正和去噪)是工作流程中的关键环节;在本方案中,我们使用 IsoNet 完成这些步骤。断层图应以合适的分辨率进行重构——采用能够提供足够结构细节、并在细胞结构之间实现充分分离的体素尺寸,以便于结构间的有效分割,同时保持适用于虚拟现实可视化的数据量大小。此外,应采用反相衬度(即细胞结构在黑色背景上呈白色)并进行直方图均衡化处理,以增强 syGlass 环境中膜结构及其他结构的可见性。
为确保本方案的成功实施,必须考虑几个关键点。首先,在数据预处理过程中,准确应用对比度反转和直方图均衡化至关重要;不当的调整可能导致虚拟现实(VR)中的可视化效果不理想,从而使分割变得困难。其次,在VR软件中,适当调整窗宽、亮度和阈值设置对于结构的最佳可视化至关重要。用户应针对其特定的数据集和VR配置,尝试调整这些参数以获得最佳效果。
在故障排除方面,用户可能会遇到一些问题,例如VR系统的性能限制,尤其是在处理大型断层扫描数据集时。如果VR环境出现卡顿或无响应的情况,可以考虑对数据进行降采样,或通过调整syGlass中ROI工具的边界框,将断层图像分割为较小的部分,并在分割过程中沿断层图移动边界框。此外,还可以调节可视化菜单中的性能滑块,以减少分割过程中的延迟现象。另外,为减轻晕动症,用户可调整VR设置以降低运动效果,或在分割操作期间定期休息。
我们基于虚拟现实(VR)的分割方案为当前的冷冻电子断层扫描(cryo-ET)分割工作流程提供了显著优势。传统的手动分割方法通常需要在单个二维切片上进行标注,这一过程耗时较长,且可能无法充分捕捉三维连续性13。此外,基于VR的分割能够提供对细胞结构更加沉浸式的观察视角,有助于提升可视化效果。基于机器学习的自动化分割方法正逐渐成为从细胞断层图中获取分割结果的一种有力手段14,16,17,然而,由于cryo-ET数据中存在较高的噪声水平和复杂的结构,导致分割结果常出现空缺和假阳性,仍需人工干预。本方案提供了一种替代性的手动分割冷冻电子断层图的方法,可用于生成初始分割结果,这些结果有望作为其他神经网络软件的训练数据,或用于修正其他自动化方法生成的初始分割结果。
综上所述,本研究强调了基于虚拟现实(VR)的分割技术在冷冻电子断层扫描(cryo-ET)数据分析与教育中的应用前景,该技术可提高效率并提供更具沉浸感的用户体验。随着进一步发展,VR 技术有望彻底改变我们解读和传播 cryo-ET 数据集中复杂细胞结构科学发现的方式,为传统的分割方法和教育手段提供一种有价值的替代方案。
作者声明不存在利益冲突。
本工作在位于纽约结构生物学中心的国家冷冻电镜访问与培训中心(NCCAT)和西蒙斯电子显微镜中心完成,得到了美国国立卫生研究院(NIH共同基金U24GM129539、U24GM139171和NIGMS R24GM154192)、西蒙斯基金会(SF349247)以及纽约州议会的支持。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 冷冻电子断层扫描数据 | 格式:TIFF-stack, TIFF | ||
| HTC VIVE Cosmos | HTC | 99HARL000-00 | https://www.vive.com/sea/product/vive-cosmos/features/ |
| Intel(R) Core(TM) i7-10870H CPU @ 2.20 GHz 2.21 GHz | Intel | https://ark.intel.com/content/www/us/en/ark/products/208018/intel-core-i7-10870h-processor-16m-cache-up-to-5-00-ghz.html | |
| NVIDIA GeForce RTX 3070 Laptop GPU | NVIDIA | https://www.nvidia.com/en-us/geforce/laptops/compare/30-series/ | |
| syGlass 软件 | syGlass | 在兼容的 Windows 个人电脑上安装 syGlass 软件 | |
| VIVE Cosmos 手持控制器 | HTC | 99HAFR001-00 | https://www.vive.com/us/accessory/cosmos-controller-right/ |
| Windows 11 家庭版 | Microsoft | Microsoft Windows 11 家庭版 |