Name: 利用虚拟现实对冷冻电子断层扫描数据进行沉浸式分割和分析 (视频) | JoVE Journal
Uploaded: 2025-01-24T15:00:00.000+00:00
Duration: 7 min 17 s
Description: 学习使用虚拟现实软件SciGlass对冷冻电子断层扫描数据进行沉浸式分割，以哺乳动物细胞为模型精准解析线粒体超微结构。该方法显著提升了分割效率，为细胞生物学研究提供了高效的三维可视化分析工具。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本工作在位于纽约结构生物学中心的国家冷冻电镜访问与培训中心（NCCAT）和西蒙斯电子显微镜中心完成，得到了美国国立卫生研究院（NIH共同基金U24GM129539、U24GM139171和NIGMS R24GM154192）、西蒙斯基金会（SF349247）以及纽约州议会的支持。

1. 准备用于分割的冷冻电子断层扫描数据
<ol>
	<li>将原始的冷冻电子断层扫描（Cryo-ET）断层图转换为与syGlass兼容的数据格式，例如TIFF图像栈。调整信号，使颗粒在黑色背景上呈白色，并使用ImageJ进行直方图均衡化19。 
	注意：为提高信噪比，建议在将断层图导入软件前，先使用Warp20、Topaz Denoise21、cryoCARE22,23或IsoNet24等软件对图像进行去噪处理。</li>
	<li>在计算机上启动虚拟现实（VR）软件。进入文件菜单，选择创建项目。</li>
	<li>点击创建新项目 | 添加文件。浏览至TIFF文件的存储位置，并将其导入软件中。</li>
	<li>当提示确认文件是否为时间序列时，点击否。</li>
	<li>为项目命名，然后点击保存，以在项目列表下创建一个新项目。</li>
	<li>双击该项目以打开断层图，并将其加载至软件的交互式虚拟现实环境中。</li>
</ol>
2. 设置虚拟现实（VR）
<ol>
	<li>将VR头戴设备和手柄控制器连接到计算机。</li>
	<li>按照屏幕上的说明校准VR环境。 
	注意：校准指的是将要进行分割的三维空间。在显示VR投影之前，需要先定义工作空间的参数（长度、宽度和高度）。VR投影仅在此参数范围内可见。</li>
	<li>分割操作只能在已定义的三维工作空间内进行。确保视野中包含在VR环境中需要操作的区域。</li>
</ol>
3. 优化三维可视化
<ol>
	<li>点击软件界面中的 可视化 按钮。调整各种可视化选项，如对比度、窗宽、亮度和阈值滑块，以增强信号并最大限度减少噪声。</li>
	<li>使用手柄控制器根据需要将断层图像拉近或推远。</li>
	<li>使用左手控制器激活 切割 工具，以直观地检查断层图像内的不同切片。</li>
</ol>
4. 分割过程
<ol>
	<li>在断层扫描图像中导航至希望开始分割的目标切片。</li>
	<li>使用手柄控制器在注释菜单下激活感兴趣区域（ROI）选项。断层扫描图像中将出现一个绿色方框。</li>
	<li>调整绿色方框的大小和位置，将其移动至需要分割的区域。</li>
	<li>使用左手控制器锁定 ROI 并启动分割。锁定 ROI 后，系统将自动切换至绘制模式，以便对体数据进行分割。</li>
	<li>放大或缩小断层扫描图像，以实现精确分割。</li>
	<li>通过顺时针或逆时针旋转调节画笔大小，以获得最佳控制效果。</li>
	<li>仔细对选定的三维区域内感兴趣区域（例如线粒体膜）进行分割。若分割过程中出现错误，按住辅助控制器的扳机键以进入擦除模式，然后采用与分割相同的动作擦除错误部分。</li>
	<li>按区域重复此过程，直至完成整个断层扫描图像的分割。</li>
</ol>
5. 导出分割数据与分析结果
<ol>
	<li>完成分割后，单击该项目以选中它，确保其处于高亮状态。</li>
	<li>单击左上角的 Projects 选项卡，然后选择 ROIs。</li>
	<li>选择导出整个体积数据或特定的 ROI。指定分割数据的导出位置。</li>
	<li>使用选定的软件加载并分析分割后的数据，并生成用于发表的图表。</li>
</ol>
6. 将二值化掩膜导入软件进行清理
<ol>
	<li>执行步骤 1.1–1.6。</li>
	<li>右键单击项目，然后点击添加掩膜数据。接着，导航至初始分割结果的保存位置，并将其导入到同一项目中。</li>
	<li>启用 ROI 标注功能，对初始分割结果进行编辑。</li>
	<li>通过添加或擦除分割区域，优化初始分割结果。</li>
	<li>在掩膜选项卡下的ROI选项中调整掩膜 ROI。如需将一个掩膜 ROI 更改为另一个，需开启仅覆盖掩膜选项，并使用手柄控制器进入绘制模式。此模式将仅覆盖可见的掩膜数据。</li>
	<li>按照步骤 5.1–5.3 中所述方法导出调整后的掩膜 ROI。</li>
</ol>
7. 使用虚拟现实软件选取颗粒坐标
<ol>
	<li>使用第 1 节中描述的步骤，基于断层扫描图像（TIFF 图像栈）创建项目。</li>
	<li>点击 标注 | 计数，将打开一个包含手动或自动选项的窗口。
	<ol>
		<li>对于手动选项，选择一种颜色用于计数，并开始标记坐标。</li>
		<li>对于自动选项，选择细胞大小并输入分辨率。点击运行自动计数，编辑计数结果（保留正确的选点，剔除错误的选点），然后保存进度。</li>
	</ol>
	</li>
	<li>通过点击项目标签页中的标注来导出计数坐标。
	<ol>
		<li>在标注原点处选择左下角，在标注单位处选择体素。</li>
		<li>点击计数点细胞以高亮该细胞。</li>
		<li>点击导出所选内容，将所选坐标的坐标信息保存为 .csv 文件。 
		注意：该文件可用于从断层图像中提取子断层图像，以进行子断层图像平均分析</li>
	</ol>
	</li>
</ol>

VR Interaction Tools: 3D Cryo-ET Data Segmentation

<ol><li>Plitzko, J. M., Schuler, B., Selenko, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Structural+biology+outside+the+box-inside+the+cell%5BTitle%5D)+AND+%22Curr+Opin+Struct+Biol%22%5BJournal%5D)">Structural biology outside the box-inside the cell.</a> Curr Opin Struct Biol. 46, 110-121 (2017).</li>
<li>Beck, M., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cryo-electron+tomography%3A+can+it+reveal+the+molecular+sociology+of+cells+in+atomic+detail%5BTitle%5D)+AND+%22Trends+Cell+Biol%22%5BJournal%5D)">Cryo-electron tomography: can it reveal the molecular sociology of cells in atomic detail.</a> Trends Cell Biol. 26 (11), 825-837 (2016).</li>
<li>Lam, V., Villa, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Practical+approaches+for+cryo-FIB+milling+and+applications+for+cellular+cryo-electron+tomography%5BTitle%5D)+AND+%22Methods+Mol+Biol%22%5BJournal%5D)">Practical approaches for cryo-FIB milling and applications for cellular cryo-electron tomography.</a> Methods Mol Biol. 2215, 49-82 (2021).</li>
<li>Berger, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cryo-electron+tomography+on+focused+ion+beam+lamellae+transforms+structural+cell+biology%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Cryo-electron tomography on focused ion beam lamellae transforms structural cell biology.</a> Nat Methods. 20 (4), 499-511 (2023).</li>
<li>Watson, A. J. I., Bartesaghi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Advances+in+cryo-ET+data+processing%3A+meeting+the+demands+of+visual+proteomics%5BTitle%5D)+AND+%22Curr+Opin+Struct+Biol%22%5BJournal%5D)">Advances in cryo-ET data processing: meeting the demands of visual proteomics.</a> Curr Opin Struct Biol. 87, 102861(2024).</li>
<li>Pyle, E., Zanetti, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Current+data+processing+strategies+for+cryo-electron+tomography+and+subtomogram+averaging%5BTitle%5D)+AND+%22Biochem+J%22%5BJournal%5D)">Current data processing strategies for cryo-electron tomography and subtomogram averaging.</a> Biochem J. 478 (10), 1827-1845 (2021).</li>
<li>Wan, W., Briggs, J. A. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cryo-electron+tomography+and+subtomogram+averaging%5BTitle%5D)+AND+%22Methods+Enzymol%22%5BJournal%5D)">Cryo-electron tomography and subtomogram averaging.</a> Methods Enzymol. 579, 329-367 (2016).</li>
<li>Ni, T., Liu, K., Zhang, J., Atanasov, I., Mladenov, M. G., Jiang, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-resolution+in+situ+structure+determination+by+cryo-electron+tomography+and+subtomogram+averaging+using+emClarity%5BTitle%5D)+AND+%22Nat+Protoc%22%5BJournal%5D)">High-resolution in situ structure determination by cryo-electron tomography and subtomogram averaging using emClarity.</a> Nat Protoc. 17 (2), 421-444 (2022).</li>
<li>Obr, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Exploring+high-resolution+cryo-ET+and+subtomogram+averaging+capabilities+of+contemporary+DEDs%5BTitle%5D)+AND+%22J+Struct+Biol%22%5BJournal%5D)">Exploring high-resolution cryo-ET and subtomogram averaging capabilities of contemporary DEDs.</a> J Struct Biol. 214 (2), 107852(2021).</li>
<li>Tegunov, D., Xue, L., Dienemann, C., Cramer, P., Mahamid, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multi-particle+cryo-EM+refinement+with+M+visualizes+ribosome-antibiotic+complex+at+3.5+%C3%85+in+cells%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Multi-particle cryo-EM refinement with M visualizes ribosome-antibiotic complex at 3.5 Å in cells.</a> Nat Methods. 18 (2), 186-193 (2021).</li>
<li>Salfer, M., Collado, J. F., Baumeister, W., Fernández-Busnadiego, R., Martínez-Sánchez, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Reliable+estimation+of+membrane+curvature+for+cryo-electron+tomography%5BTitle%5D)+AND+%22PLoS+Comput+Biol%22%5BJournal%5D)">Reliable estimation of membrane curvature for cryo-electron tomography.</a> PLoS Comput Biol. 16 (8), e1007962(2020).</li>
<li>Barad, B. A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Quantifying+organellar+ultrastructure+in+cryo-electron+tomography+using+a+surface+morphometrics+pipeline%5BTitle%5D)+AND+%22J+Cell+Biol%22%5BJournal%5D)">Quantifying organellar ultrastructure in cryo-electron tomography using a surface morphometrics pipeline.</a> J Cell Biol. 222 (2), e202204093(2023).</li>
<li>Martinez-Sanchez, A., Garcia, I., Asano, S., Lucic, V., Fernandez, J. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Robust+membrane+detection+based+on+tensor+voting+for+electron+tomography%5BTitle%5D)+AND+%22J+Struct+Biol%22%5BJournal%5D)">Robust membrane detection based on tensor voting for electron tomography.</a> J Struct Biol. 186 (1), 49-61 (2014).</li>
<li>Heebner, J. E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning-based+segmentation+of+cryo-electron+tomograms%5BTitle%5D)+AND+%22J+Vis+Exp%22%5BJournal%5D)">Deep learning-based segmentation of cryo-electron tomograms.</a> J Vis Exp. (189), e64435(2022).</li>
<li>Garza-López, E., Robles-Flores, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Protocols+for+generating+surfaces+and+measuring+3D+organelle+morphology+using+Amira%5BTitle%5D)+AND+%22Cells%22%5BJournal%5D)">Protocols for generating surfaces and measuring 3D organelle morphology using Amira.</a> Cells. 11 (1), 65(2021).</li>
<li>Chen, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Convolutional+neural+networks+for+automated+annotation+of+cellular+cryo-electron+tomograms%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Convolutional neural networks for automated annotation of cellular cryo-electron tomograms.</a> Nat Methods. 14 (10), 983-985 (2017).</li>
<li>Lamm, L., et al. MemBrain v2: an end-to-end tool for the analysis of membranes in cryo-electron tomography. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aLamm%2C+L+%22bioRxiv%22">bioRxiv</a>. , (2024).</li>
<li>Pidhorskyi, S., Morehead, M., Jones, Q., Spirou, G., Doretto, G. syGlass: interactive exploration of multidimensional images using virtual reality head-mounted displays. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aPidhorskyi%2C+S+%22arXiv%22">arXiv</a>. , (2018).</li>
<li>Schindelin, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fiji%3A+an+open-source+platform+for+biological-image+analysis%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Fiji: an open-source platform for biological-image analysis.</a> Nat Methods. 9 (7), 676-682 (2012).</li>
<li>Tegunov, D., Cramer, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+cryo-electron+microscopy+data+preprocessing+with+Warp%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Real-time cryo-electron microscopy data preprocessing with Warp.</a> Nat Methods. 16 (11), 1146-1152 (2019).</li>
<li>Bepler, T., Kelley, K., Noble, A. J., Berger, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Topaz-Denoise%3A+general+deep+denoising+models+for+cryoEM+and+cryoET%5BTitle%5D)+AND+%22Nat+Commun%22%5BJournal%5D)">Topaz-Denoise: general deep denoising models for cryoEM and cryoET.</a> Nat Commun. 11, 5208(2020).</li>
<li>Buchholz, T. -O., Berninger, L., Maurer, M., Jug, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cryo-CARE%3A+content-aware+image+restoration+for+cryo-transmission+electron+microscopy+data%5BTitle%5D)+AND+%22Proc+IEEE+Int+Symp+Biomed+Imaging%22%5BJournal%5D)">Cryo-CARE: content-aware image restoration for cryo-transmission electron microscopy data.</a> Proc IEEE Int Symp Biomed Imaging. 16, 502-506 (2019).</li>
<li>Buchholz, T. -O., Jordan, M., Pigino, G., Jug, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Content-aware+image+restoration+for+electron+microscopy%5BTitle%5D)+AND+%22Methods+Cell+Biol%22%5BJournal%5D)">Content-aware image restoration for electron microscopy.</a> Methods Cell Biol. 152, 277-289 (2019).</li>
<li>Liu, Y. -T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Isotropic+reconstruction+for+electron+tomography+with+deep+learning%5BTitle%5D)+AND+%22Nat+Commun%22%5BJournal%5D)">Isotropic reconstruction for electron tomography with deep learning.</a> Nat Commun. 13, 6482(2022).</li>
<li>Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Computer+visualization+of+three-dimensional+image+data+using+IMOD%5BTitle%5D)+AND+%22J+Struct+Biol%22%5BJournal%5D)">Computer visualization of three-dimensional image data using IMOD.</a> J Struct Biol. 116 (1), 71-76 (1996).</li>
</ol>

作者声明不存在利益冲突。

在本研究中，我们展示了如何将虚拟现实（VR）技术，特别是使用 syGlass 软件，整合到冷冻电子断层成像（cryo-ET）流程中，以有效分割细胞结构。尽管我们的重点主要在于膜结构，但该方法本身并无内在限制，同样可用于分割其他细胞结构，例如丝状结构或核糖体；用户可通过调整画笔的形状和大小以及设定阈值，确保仅标记对应于目标细胞结构的体素。VR 在分割中的主要优势之一在于其直观且具有操作感的数据交互方式，使用户能够如同身临其境般地观察和操控三维数据。传统的手动分割或对初始分割掩膜进行清理的方法通常需直接在计算机上操作，这种方式沉浸感较弱，且标注效率较低。
通过将虚拟现实（VR）技术整合到冷冻电子断层扫描（cryo-ET）工作流程中，用户不仅能够快速与由其他软件生成的分割掩膜进行交互，还可以利用VR引导对部分已分割结构进行进一步分割，并高效清除假阳性区域。目前，大多数标注应用场景仍需依赖人工分割，而本研究所提出的工作流程使用户能够更便捷、更快速地生成适用于下游分析的高质量分割结果。在本研究中，我们使用了HTC Vive VR头显设备，但该软件同样兼容支持SteamVR或OculusVR的其他设备。
为确保本方案的最佳应用，冷冻电子断层扫描（cryo-ET）数据应满足特定标准，例如具有高信噪比（SNR）的高质量断层图。信噪比是一个关键参数，因为结构特征的清晰度直接影响在虚拟现实（VR）中进行手动分割的效果。预处理步骤（如缺失楔形区域校正和去噪）是工作流程中的关键环节；在本方案中，我们使用 IsoNet 完成这些步骤。断层图应以合适的分辨率进行重构——采用能够提供足够结构细节、并在细胞结构之间实现充分分离的体素尺寸，以便于结构间的有效分割，同时保持适用于虚拟现实可视化的数据量大小。此外，应采用反相衬度（即细胞结构在黑色背景上呈白色）并进行直方图均衡化处理，以增强 syGlass 环境中膜结构及其他结构的可见性。
为确保本方案的成功实施，必须考虑几个关键点。首先，在数据预处理过程中，准确应用对比度反转和直方图均衡化至关重要；不当的调整可能导致虚拟现实（VR）中的可视化效果不理想，从而使分割变得困难。其次，在VR软件中，适当调整窗宽、亮度和阈值设置对于结构的最佳可视化至关重要。用户应针对其特定的数据集和VR配置，尝试调整这些参数以获得最佳效果。
在故障排除方面，用户可能会遇到一些问题，例如VR系统的性能限制，尤其是在处理大型断层扫描数据集时。如果VR环境出现卡顿或无响应的情况，可以考虑对数据进行降采样，或通过调整syGlass中ROI工具的边界框，将断层图像分割为较小的部分，并在分割过程中沿断层图移动边界框。此外，还可以调节可视化菜单中的性能滑块，以减少分割过程中的延迟现象。另外，为减轻晕动症，用户可调整VR设置以降低运动效果，或在分割操作期间定期休息。
我们基于虚拟现实（VR）的分割方案为当前的冷冻电子断层扫描（cryo-ET）分割工作流程提供了显著优势。传统的手动分割方法通常需要在单个二维切片上进行标注，这一过程耗时较长，且可能无法充分捕捉三维连续性13。此外，基于VR的分割能够提供对细胞结构更加沉浸式的观察视角，有助于提升可视化效果。基于机器学习的自动化分割方法正逐渐成为从细胞断层图中获取分割结果的一种有力手段14,16,17，然而，由于cryo-ET数据中存在较高的噪声水平和复杂的结构，导致分割结果常出现空缺和假阳性，仍需人工干预。本方案提供了一种替代性的手动分割冷冻电子断层图的方法，可用于生成初始分割结果，这些结果有望作为其他神经网络软件的训练数据，或用于修正其他自动化方法生成的初始分割结果。
综上所述，本研究强调了基于虚拟现实（VR）的分割技术在冷冻电子断层扫描（cryo-ET）数据分析与教育中的应用前景，该技术可提高效率并提供更具沉浸感的用户体验。随着进一步发展，VR 技术有望彻底改变我们解读和传播 cryo-ET 数据集中复杂细胞结构科学发现的方式，为传统的分割方法和教育手段提供一种有价值的替代方案。

冷冻电子断层扫描技术（cryo-ET）极大地提升了我们以接近天然状态高分辨率观察细胞组分的能力1,2。这一强大技术使研究人员能够表征细胞的超微结构，为理解细胞的构架与功能提供了前所未有的洞察。然而，cryo-ET 也存在局限性，其中最主要的是要求样品足够薄，以便在标准的冷冻透射电子显微镜中实现电子透明（通常 &#60;0.5 µm）。近年来，冷冻聚焦离子束切割技术的进步使得厚样品能够被减薄，从而适用于 cryo-ET 分析3,4。
典型的冷冻电子断层扫描（cryo-ET）工作流程始于倾转系列图像的采集，其中样品在+60°至-60°范围内的不同角度下成像。随后通过计算对这些图像进行对齐并反投影，以重建出三维（3D）体积数据或断层图5,6,7。该断层图可作为细胞结构的精细三维图谱，提供有关细胞结构的空间和时间信息。通过进一步的亚断层图平均化处理——即对同一结构的多个拷贝进行对齐和平均——可进一步提升分辨率极限，有时可达亚纳米级分辨率7,8,9,10。
从这些断层图像中提取有意义的生物学信息的关键步骤是分割。该过程包括在三维体积中对特定的细胞结构（如膜）进行标注。分割可实现高级分析，包括计算膜间距离和膜曲率，从而为细胞过程提供有价值的见解11,12。尽管已有多种可用于此任务的软件包，包括 Dragonfly、Amira、MemBrain、EMAN2 和 tomomemsegtv13,14,15,16,17，但分割过程仍是冷冻电子断层扫描（cryo-ET）数据分析中的一个重大瓶颈。该过程通常耗时且劳动强度大，可能需要数周至数月才能完成。许多此类软件包虽提供自动分割功能，但往往需要大量手动校正以去除假阳性结果，而在逐层或三维空间中进行此类校正可能极为繁琐且不够直观。
我们提出一种利用虚拟现实（VR）技术应对这些挑战的替代方法。VR 提供了一种沉浸式且交互性强的数据可视化手段，使用户能够如同置身于细胞环境内部一般，在断层扫描体积数据中进行导航。该方法还为科学教育以及科学探索与发现提供了有价值的平台。 原位 通过提供沉浸式且极具吸引力的独特体验，展示冷冻电子断层扫描（cryo-ET）数据。在本研究中，我们提出了一种利用syGlass进行cryo-ET数据分割的实验方案。18，专为科学可视化设计的VR软件。该软件为冷冻电子断层扫描（cryo-ET）数据分析提供了全面的工具包，包括手动分割、对自动生成的分割结果进行优化，以及在断层图中进行颗粒挑选。本研究展示了VR在cryo-ET数据分析中用于分割清洗、颗粒挑选和手动分割的可行性，证实其作为一种强大工具的应用潜力。
为了展示虚拟现实（VR）软件在冷冻电子断层扫描（cryo-ET）分割中的实用性，我们聚焦于视网膜色素上皮（RPE1）细胞中线粒体形态的分析。由于线粒体结构复杂，且具有易于量化的特征（例如内外膜之间的距离），因此是进行分割分析的理想测试对象。这些特征可通过表面形态计量分析工具12进行精确测量，从而为评估分割质量提供可靠的量化指标。本实验方案提供了使用syGlass进行cryo-ET数据分割的逐步操作指南，展示了其在cryo-ET分割流程中的应用价值。通过将基于VR的分割技术整合到cryo-ET工作流程中，我们旨在提高细胞生物学中手动结构分析的效率与准确性。

<table><tbody><tr><td>冷冻电子断层扫描数据</td><td></td><td></td><td>格式：TIFF-stack, TIFF</td></tr><tr><td>HTC VIVE Cosmos</td><td>HTC</td><td>99HARL000-00</td><td>https://www.vive.com/sea/product/vive-cosmos/features/</td></tr><tr><td>Intel(R) Core(TM) i7-10870H CPU @ 2.20 GHz 2.21 GHz</td><td>Intel</td><td></td><td>https://ark.intel.com/content/www/us/en/ark/products/208018/intel-core-i7-10870h-processor-16m-cache-up-to-5-00-ghz.html</td></tr><tr><td>NVIDIA GeForce RTX 3070 Laptop GPU</td><td>NVIDIA</td><td></td><td>https://www.nvidia.com/en-us/geforce/laptops/compare/30-series/</td></tr><tr><td>syGlass 软件</td><td>syGlass</td><td></td><td>在兼容的 Windows 个人电脑上安装 syGlass 软件</td></tr><tr><td>VIVE Cosmos 手持控制器</td><td>HTC</td><td>99HAFR001-00</td><td>https://www.vive.com/us/accessory/cosmos-controller-right/</td></tr><tr><td>Windows 11 家庭版</td><td>Microsoft</td><td></td><td>Microsoft Windows 11 家庭版</td></tr></tbody></table>

利用虚拟现实技术实现冷冻电子断层数据的沉浸式分割与分析

Leveraging Virtual Reality for Immersive Segmentation and Analysis of Cryo-Electron Tomography Data

冷冻电子断层扫描技术（cryo-ET）是一种能够在纳米级分辨率下以三维（3D）方式可视化细胞超微结构的强大技术。然而，由于其复杂性和耗时性，cryo-ET 数据中细胞组分的手动分割仍然是一个显著的瓶颈。在本研究中，我们提出了一种新颖的分割工作流程，该流程整合了先进的虚拟现实（VR）软件，以提高 cryo-ET 数据集分割的效率和准确性。该工作流程利用一种具有直观三维交互功能的沉浸式 VR 工具，使用户能够在更自然、更具交互性的环境中导航并标注复杂的细胞结构。为评估该工作流程的有效性，我们将其应用于视网膜色素上皮（RPE1）细胞中线粒体的分割。线粒体是细胞能量生成和信号传导的关键结构，具有动态的形态变化，因此是理想的测试样本。VR 软件有助于精确勾画线粒体膜及其内部结构，从而支持对分割后的膜结构进行后续分析。我们证明，这种基于 VR 的分割工作流程在保持 cryo-ET 数据中复杂细胞结构分割准确性的同时，显著改善了用户体验。该方法在结构细胞生物学和科学教育领域具有广泛的应用前景，为从事精细细胞分析的研究人员提供了一种变革性的工具。

在本研究中，我们使用 syGlass 对包含线粒体及其他膜性细胞器（例如囊泡、内质网）的断层图像进行了分割。断层图像最初在 Warp 软件中采用加权反投影法以 16.00 Å/像素的分辨率进行重构，并利用 IsoNet 软件进行了缺失楔形区域校正和去噪处理。随后对以下断层图像进行了进一步处理以便导入，如图 1A 所示（另见补充视频 S1、补充视频 S2、补充视频 S3 和补充视频 S4）。
预处理后，将MRC格式的断层图像使用ImageJ转换为TIFF图像栈，并进行对比度反转，使膜结构在黑色背景上呈现为白色。随后进行直方图均衡化以进一步增强对比度，这也有助于更有效地进行阈值分割。TIFF图像栈被导入并在沉浸式虚拟现实（VR）环境中进行三维可视化，利用图1B所示软件中的切割工具对膜结构进行详细观察。
在软件中进行手动分割，窗宽设置为自动，并调整亮度/阈值以优化细胞结构的可见性。使用VR控制器定义线粒体及其他结构周围的感兴趣区域（ROI）。分割工具可精确勾画膜边界，并通过擦除功能校正错误。通过逐层导航或使用ROI工具在三维空间中框选整个断层图像中的区域，结合可调节的画笔工具，可准确分割线粒体膜及其他细胞器，如图1C所示。
通过使用 ROI 工具的表面选项生成网格，对分割后的数据进行可视化，平滑迭代次数设置为 12，分辨率级别设置为 3。最终的 3D 渲染图像清晰展示了线粒体结构，包括外膜和内膜、嵴以及磷酸钙沉积物，如图 1D所示（另见补充视频 S5、补充视频 S6、补充视频 S7和补充视频 S8）。
<img alt="冷冻电子断层扫描，细胞超微结构，三维重建，显微镜图像，RPE1细胞，300纳米尺度" class="xfigimg" src="/files/ftp_upload/67849/67849fig01.jpg" data-altupdatedat="1788304762000" data-alt="图1"> 
图1使用 syglass 进行断层图可视化、分割和三维渲染的工作流程 (A) RPE1 细胞薄缘的断层切片。在 Warp 中重建的经 IsoNet 校正的断层图，用于在 syGlass 中进行分割，并通过 IMOD 可视化25在配备K3探测器的300 keV Titan-Krios透射电子显微镜上采集了断层图像，成像区域聚焦于视网膜上皮细胞的薄边缘。每个断层图像均包含至少一个线粒体以及其他多种膜包被细胞器。这些图像来自视频的静态截图。 补充视频 S1, 补充视频 S2, 补充视频 S3，以及 补充视频 S4. (B对应的断层图像在软件中可视化。使用以下方法生成的断层切片： 切割 在优化阈值、亮度和窗宽后，使用VR软件中的工具，可清晰显示不同的细胞结构。C软件中可视化并分割膜结构的断层图像。通过断层扫描切片创建的 切割 VR 软件中的工具，叠加相应的分割结果。磷酸钙沉积物显示为黄色，线粒体膜显示为青色，其他膜结构（如囊泡和质膜）显示为紫色。 (D在syGlass中对分割膜结构进行的3D渲染。线粒体膜（包括嵴、外膜和内膜）以青色显示，磷酸钙沉积物为黄色或绿色，囊泡和质膜为紫色，内质网为浅褐色。这些图像来自以下视频的静态帧。 补充视频 S5, 补充视频 S6, 补充视频 S7，以及 补充视频 S8. <a href="https://www.jove.com/files/ftp_upload/67849/67849fig01large.jpg" target="_blank">请点击此处以查看此图的放大版本。</a>
补充视频 S1：本研究中用于分割的样本 RPE-1_1 的断层图像。 该断层图像使用 Warp 以 16 Å/像素的分辨率重建，随后通过 IsoNet 进行去噪并校正缺失楔形区域。 <a href="https://www.jove.com/files/ftp_upload/67849/67849_SuppFile1a-Edward-Eng.avi" target="_blank">请点击此处下载该文件。</a>
补充视频 S2：本研究中用于分割的样品 RPE-1_2 的断层图像。 该断层图像使用 Warp 以 16 Å/像素的分辨率重建，随后通过 IsoNet 进行去噪并校正缺失楔形效应。<a href="https://www.jove.com/files/ftp_upload/67849/67849_SuppFile1b-Edward-Eng.avi" target="_blank">请点击此处下载此文件。</a>
补充视频 S3：本研究中用于分割的样本 RPE-1_3 的断层图像。 该断层图像使用 Warp 以 16 Å/像素重建，随后通过 IsoNet 进行去噪并校正缺失楔形效应。<a href="https://www.jove.com/files/ftp_upload/67849/67849_SuppFile1c-Edward-Eng.avi" target="_blank">请点击此处下载此文件。</a>
补充视频 S4：本研究中用于分割的样本 RPE-1_4 的断层图像。 该断层图像使用 Warp 以 16 Å/像素重建，随后通过 IsoNet 进行去噪并校正缺失楔形伪影。<a href="https://www.jove.com/files/ftp_upload/67849/67849_SuppFile1d-Edward-Eng.avi" target="_blank">请点击此处下载该文件。</a>
补充视频 S5：生成表面后样本 RPE-1_1 的最终分割结果。 线粒体膜以青色显示；线粒体内的磷酸钙以黄色显示；内质网以棕褐色显示；其他膜结构以紫色显示。<a href="https://www.jove.com/files/ftp_upload/67849/67849_SuppFile2a-Edward-Eng.mp4" target="_blank">请点击此处下载该文件。</a>
补充视频 S6：样本 RPE-1_2 在生成表面后的分割结果。 线粒体膜以青色显示；线粒体内的磷酸钙以黄色显示；内质网以棕褐色显示；其他膜结构以紫色显示。<a href="https://www.jove.com/files/ftp_upload/67849/67849_SuppFile2b-Edward-Eng.mp4" target="_blank">请点击此处下载该文件。</a>
补充视频 S7：样本 RPE-1_3 在生成表面后的分割结果。 线粒体膜以青色显示；线粒体内的磷酸钙以黄色显示；内质网以棕褐色显示；其他膜结构以紫色显示。<a href="https://www.jove.com/files/ftp_upload/67849/67849_SuppFile2c-Edward-Eng.mp4" target="_blank">请点击此处下载该文件。</a>
补充视频 S8：样本 RPE-1_4 在生成表面后的分割结果。 线粒体膜以青色显示；线粒体内的磷酸钙以黄色显示；内质网以棕褐色显示；其他膜结构以紫色显示。<a href="https://www.jove.com/files/ftp_upload/67849/67849_SuppFile2d-Edward-Eng.mp4" target="_blank">请点击此处下载该文件。</a>

冷冻电子断层扫描技术（cryo-ET）能够以纳米级分辨率实现细胞超微结构的三维可视化，但手动分割仍耗时且复杂。我们提出了一种新颖的工作流程，该流程整合了先进的虚拟现实软件用于cryo-ET断层图的分割，并通过对哺乳动物细胞中线粒体的分割展示了其有效性。

冷冻电子断层扫描技术（cryo-ET）是一种强大的技术，可用于在纳米级分辨率下以三维（3D）形式可视化细胞的超微结构。

本研究中，我们介绍了一种利用 SciGlass 软件对冷冻电子断层扫描数据进行分割的实验方案。SciGlass 是一款基于虚拟现实的软件，可为冷冻电子断层扫描（cryo-ET）数据的分割提供沉浸式且直观的操作界面。我们证明了虚拟现实技术是一种可行的工具，能够整合到冷冻电子断层扫描数据分割流程中。冷冻电子断层扫描技术正随着各项创新而迅速发展，且日益聚焦深入。对于更薄的样品和更快的数据采集方法，以及利用机器学习算法改进分割后的颗粒挑选，这些技术进步共同推动了冷冻电子断层扫描技术（cryo-ET）的发展，并促进了重要生物学发现的取得。然而，cryo-ET 仍面临一些挑战，例如冷冻样品通量较低；当样品厚度超过约 500 纳米时，以及由于目标区域拷贝数较少而难以精确定位感兴趣区域等问题。此外，数据处理仍然是一个瓶颈，需要大量手动标注来进行颗粒挑选和分割，同时还需要具备冷冻电子断层扫描（cryo-ET）所需的专门专业知识，因此整个工作流程被显著拖慢。我们发现，与传统方法相比，虚拟现实技术能够提高分割效率。其沉浸式环境可与自动化方法相辅相成，弥补缺失部分并减少假阳性结果。此外，该虚拟现实平台在培训和教育方面也具有高效性，使其成为冷冻电子断层扫描（cryo-ET）数据分析中一种多功能的工具。我们的实验方案旨在解决传统分割方法效率低下的问题，传统方法包括手动操作，过程缓慢且困难。通过利用虚拟现实所具有的沉浸感和直观性，我们力求简化分割流程，使其更加快速且易于使用。首先，将原始的冷冻电子断层扫描（cryo-ET）断层图转换为与SciGlass兼容的数据格式，例如TIFF图像序列。使用 ImageJ 设置信号，确保颗粒在黑色背景上呈白色。依次导航至“Process”（处理）、“Enhance Contrast”（增强对比度），勾选“Equalize histogram”（均衡化直方图），并处理所有切片。在计算机上启动虚拟现实软件。转到“文件”菜单并选择创建项目。单击“创建新项目”，然后在软件中单击“添加文件”。导航至 TIFF 文件所在的位置，并将它们导入项目中。当系统提示时，点击“否”，确认这些文件不属于时间序列。接下来，为项目指定一个名称，然后点击“保存”以在项目列表下创建该项目。双击该项目以打开断层图并将其加载到交互式虚拟现实环境中。要设置虚拟现实（VR），请将VR头戴显示器和手柄控制器连接到计算机。按照屏幕上的说明校准虚拟现实（VR）环境。调整系统，确保用于分割的目标区域位于虚拟现实环境的视野范围内，然后点击软件界面中的可视化按钮。调节对比度、窗宽、亮度和阈值滑块等可视化选项，以增强信号并减少噪声。使用手柄控制器将断层图像拉近或推远，以进行更细致的观察。使用左手手柄控制器激活切割工具。目视检查断层图像内的不同切片。在断层图像中导航至希望开始分割的目标切片。使用手柄控制器，在注释菜单下激活感兴趣区域（ROI）选项。断层图像中将出现一个绿色方框。调整绿色方框的大小和位置，使其覆盖需要分割的区域。现在，使用左手控制器锁定该感兴趣区域（ROI）。工具将切换至分割的绘制模式。放大或缩小断层图像以实现精确分割。顺时针或逆时针旋转调节画笔大小，以获得最佳控制效果。在三维区域内仔细分割目标区域，例如线粒体膜。进行分割时，适当调整球体半径。使用辅助控制器的扳机键进入擦除模式，以纠正分割错误，并采用与分割相同的动作进行擦除。对所有区域重复分割过程，直至完成整个断层图像的分割。完成分割后，点击已完成的项目以将其高亮。点击“项目”标签，然后选择“感兴趣区域”以继续操作。选择导出整个体积或特定的感兴趣区域，并指定分割数据的导出位置。现在，将从 SciGlass 导出的分割数据加载到所选的软件中，以对分割数据进行进一步分析。在准备 cryo-ET 数据后，右键单击项目，然后点击“添加掩膜数据”，接着导航至初始分割数据的保存位置，并在同一项目下导入该数据。启用 ROI 标注以对初始分割结果进行编辑。最后，通过添加或删除分割区域来优化初始分割结果。对每像素 16 埃重建的断层图像进行加权反投影，在去噪和填补缺失楔形区域校正后，可揭示线粒体及膜状结构。在沉浸式虚拟现实环境中进行可视化，结合直方图均衡化增强对比度后，可对膜结构进行细致的三维观察。使用虚拟现实工具进行手动分割，可高精度地勾画线粒体和细胞器结构，包括精确绘制膜边界和感兴趣区域（ROI）。最终的三维重建图像揭示了线粒体的详细特征，例如外膜和内膜，以及具有平滑网格的磷酸钙沉积物。

leveraging-virtual-reality-for-immersive-segmentation-analysis-cryo

Research

科研

JoVE Journal

Biology

生物学

利用虚拟现实对冷冻电子断层扫描数据进行沉浸式分割和分析

细胞三维电子显微镜技术的瓶颈在于高度复杂的三维密度图中的特征提取（分割）。我们已制定了一套标准，可指导针对不同类型的数据选择最合适的分割方法（手动、半自动或全自动），从而为高效分割提供起点。...

从体素到知识：复杂电子显微镜三维数据分割的实用指南

所述流程旨在对大于千兆字节的电子显微镜数据集进行分割，以提取完整细胞的形态。一旦细胞在三维空间中完成重建，即可使用根据特定需求定制的软件直接在三维空间中进行定性和定量分析，也可借助虚拟现实技术克服视野遮挡问题。...

一种用于胶质细胞与神经元细胞三维重建及虚拟现实分析的方法

利用聚焦离子束铣削技术，从浸冻的生物样品中制备用于冷冻电子断层扫描的玻璃态原位薄片。...

使用双束扫描电子显微镜制备玻璃态生物样品薄片用于冷冻电子断层扫描

低温电子断层扫描中对大规模数据采集日益增长的需求，要求具备高通量的成像采集流程。本文所述方案实现了先进的采集策略的最新进展，旨在最大限度地提高断层扫描数据采集的时间效率和通量。...

冷冻电子断层扫描数据采集优化策略

本实验方案描述了使用 Tomo5 进行高分辨率冷冻电子断层扫描远程数据采集，以及使用 emClarity 进行后续数据处理和子断层平均化的方法。以脱铁铁蛋白为例，详细展示了获得分辨率为 2.86 Å...

冷冻电子断层扫描远程数据采集与亚断层图像平均法

本文介绍一种利用单个冷冻电子断层图的一部分作为训练输入，训练用于多类别分割冷冻电子断层图的多切片U-Net的方法。我们描述了如何将该网络推断应用于其他断层图，以及如何提取分割结果以进行后续分析，例如子断层图平均和纤维追踪。...

基于深度学习的冷冻电子断层图像分割

冷冻扫描透射电子显微镜断层成像技术提供了一种无需包埋、切片或其他侵入性制备步骤即可观察完整细胞中细胞器的方法。目前该技术获得的三维分辨率可达数纳米，视场范围为数微米，可观察样品厚度约为 1...

细胞器的可视化 原位 通过冷冻扫描透射电子显微镜断层成像技术

本方案通过整合高压冷冻（HPF）与华夫格法、低温聚焦离子束（cryo-FIB）拾取技术以及剂量对称平行采集，实现了厚组织样品冷冻电子断层扫描（cryo-ET）的标准化，可获得均一厚度的薄片和玻璃化样品，从而实现可重复的 原位...

厚组织冷冻电子断层成像工作流程在小鼠海马体中的应用

本文介绍了一种新颖的实验方案和试剂组合，旨在利用高内涵分析技术，对化合物和处理因素在神经元与星形胶质细胞共培养体系中的神经毒性效应进行高灵敏度检测。结果表明，高内涵分析技术是评估神经毒性的全新且富有前景的技术手段。...

一种用于神经毒性高内涵分析的神经元与星形胶质细胞共培养实验方法

虚拟现实智能多传感器系统治疗焦虑相关障碍项目（INTREPID）旨在开发一种多传感器、情境感知的虚拟现实系统，用于治疗焦虑相关障碍。...

虚拟现实临床应用中的生物反馈：INTREPID 项目

学习使用虚拟现实软件SciGlass对冷冻电子断层扫描数据进行沉浸式分割，以哺乳动物细胞为模型精准解析线粒体超微结构。该方法显著提升了分割效率，为细胞生物学研究提供了高效的三维可视化分析工具。

利用虚拟现实技术实现冷冻电子断层数据的沉浸式分割与分析

探索更多视频