所述流程旨在对大于千兆字节的电子显微镜数据集进行分割，以提取完整细胞的形态。一旦细胞在三维空间中完成重建，即可使用根据特定需求定制的软件直接在三维空间中进行定性和定量分析，也可借助虚拟现实技术克服视野遮挡问题。
本文内容
摘要
摘要
利用电子显微镜（EM）对生物组织进行连续切片并进行高分辨率成像，可实现对高分辨率图像堆栈的分割与重建，从而揭示仅通过二维图像无法分辨的超微结构模式。事实上，使用二维图像可能会导致对形态结构的误判，线粒体即为一例；因此，三维模型的应用正变得越来越普遍，并被用于构建基于形态的功能性假说。迄今为止，由光学或电子图像堆栈生成的三维模型使得定性的视觉评估以及定量分析能够更便捷地在三维空间中直接进行。由于这些模型通常极为复杂，建立虚拟现实环境也至关重要，以克服遮挡问题并充分挖掘三维结构的信息。本文详细描述了从图像分割到重建与分析的逐步操作流程。
引言
首个允许自动连续切片和成像的电子显微镜装置模型于1981年提出1；过去十年中，此类自动化且经过改进的装置在利用电子显微镜成像大样本方面的应用逐渐普及2,3，随后涌现出大量展示高密度重建结果或完整形态结构的研究成果4,5,6,7,8,9,10。
随着大规模数据集的产生，图像分割的流程亟需改进。用于连续切片手动分割的软件工具，如 RECONSTRUCT 和 TrakEM211,12，最初是为透射电子显微镜（TEM）设计的。由于整个过程可能极为耗时，当面对采用先进自动化电子显微镜连续切片技术（3DEM）——例如块面扫描电子显微镜（SBEM）3 或聚焦离子束-扫描电子显微镜（FIB-SEM）2——自动产生的数千张连续显微图像时，这些工具已不再适用。因此，科研人员致力于开发半自动化乃至全自动化工具，以提高分割效率。基于机器学习13 或前沿的无监督像素分类算法14 的全自动化工具正在不断优化，以期被更广泛的研究群体所使用；然而，目前的分割结果仍远未达到完全可靠的水平，许多研究仍依赖人工操作，虽然耗时较长、效率较低，但能确保结果的完全可靠性。半自动化工具（如 ilastik15）则提供了更好的折中方案，其可即时输出分割结果，并允许在一定程度上进行修正，尽管缺乏真正的校对框架，但仍可与 TrakEM2 并行整合使用16。
迄今为止，大规模分割主要局限于连接组学领域；因此，计算机科学家最感兴趣的是提供集成可视化框架，用于展示大规模、带注释的数据集，并分析由突触接触存在所推断出的连接模式17,18。然而，精确的三维重建不仅可以用于对三维结构进行定性评估，更可用于定量形态测量分析。已有诸如 NeuroMorph19,20 和糖原分析10 等工具被开发出来，可在三维重建模型上测量长度、表面积和体积，以及点云分布情况，而完全舍弃原始的电镜图像序列8,10。星形胶质细胞是一个有趣的案例研究对象，因为其缺乏可视线索或重复性的结构模式，使得研究人员难以从个体结构单元的形态推测其功能，进而导致目前尚无 adequate 的星形胶质细胞突起本体论分类体系21，这为分析工具的设计带来了挑战。最近的一项尝试是 Abstractocyte22，该工具支持对星形胶质细胞突起进行可视化探索，并推断其与神经元突起之间的定性关系。
然而，使用电子显微镜对切片组织进行成像的便利性源于完整脑样本中隐藏的信息量极为庞大，而通过解读单个切片图像可克服这一问题。脑内结构的密度极高，即使同时显示少数几个对象的三维重建也会导致视觉上无法区分它们。为此，我们近期提出采用虚拟现实（VR）作为一种改进的方法来观察复杂结构。我们以星形胶质细胞23为重点，以克服遮挡问题（即在三维空间中一个物体被另一个物体阻挡而无法看见的现象），并简化对重建结果的定性评估，包括校对，以及通过空间点计数实现对特征的量化分析。我们近期将虚拟现实可视化探索与GLAM（糖原衍生乳酸吸收模型）技术相结合，该技术通过将糖原颗粒视为发光体23，用于可视化神经突乳酸穿梭概率图；特别是，我们利用VR对GLAM产生的光信号峰值进行量化。
方案
1. 使用 Fiji 进行图像处理
- 通过将显微镜生成的包含图像栈的原生文件，或包含完整图像栈的文件夹，拖拽至软件窗口中，以打开图像栈。
注意： Fiji 能够自动识别所有标准图像格式，例如 .jpg、.tif 和 .png，以及显微镜厂商的专有文件格式。尽管以下方案已针对 3DEM 的图像堆栈进行优化，但这些步骤也可用于光学显微镜数据集。 - 打开堆栈后，转到 图像 > 性质 确保体素尺寸已从元数据中读取。若未读取，可手动输入。
- 确保将图像转换为8位。点击 图像 > 类型 并选择8位。
- 如果原始图像序列位于不同的文件或文件夹中，请使用 连接 通过选择将它们合并为单个堆栈 图像 > 堆叠 > 工具 > 连接.
- 通过选择保存该图像序列 文件 > 保存为它将被保存为单个 .tif 文件，可用于备份和进一步处理。
- 如果原始图像堆栈以不同的图块采集，请在 TrakEM2 中进行拼接。
- 使用 TrakEM2 创建一个新项目 新 > TrakEM2（空白）.
- 在视口图形用户界面（GUI）中，通过单击鼠标右键导入图像序列 > 导入 > 导入图像栈，导入在 Fiji 主界面中打开的所有图像块。通过右键单击，确保调整画布大小以适应整个图像栈 > 显示 > 调整画布/图层大小，并选择 y/x 像素大小取决于拼接图像的最终尺寸。
注意： 例如，如果需要使用四块 4,096 × 4,096 像素的图像拼接成最终图像，则画布尺寸应至少为 8,192 × 8,192 像素。建议将画布设置得稍大一些，之后再进行裁剪。 - 通过将各个图块的公共部分拖放到图层组上进行叠加。使用左上角的滑块调整透明度，以辅助完成叠加。
- 通过单击鼠标右键对图像序列进行拼接和重新对齐 > 对齐，然后选择其中一个选项（见下文注释）。
注意： SBEM 或 FIB-SEM 通常已实现良好对准，但可能出现轻微错位。 对齐图层 是用于自动化处理的流程 z 对齐 叠加多个图层 是用于在每个图块上自动对齐的流程 z 堆栈，用于整个体积； 多层镶嵌图像对齐 结合了前述两种选项。此操作耗时较长，且受限于计算机的随机存取存储器（RAM）。建议使用高性能计算机，并根据图像栈的大小，运行数小时至数天。 - 最后，导出图像堆栈，并通过鼠标右键单击将其保存 > 制作平面图像，然后确保在下拉菜单中选择从第一张到最后一张图像 开始 和 结束.
- 如有需要，使用 TrakEM2 内嵌功能对目标结构进行分割。
- 在 TrakEM2 的图形用户界面中，右键单击模板窗口中的任意内容，然后选择 添加新的子项 > 区域列表.
- 拖放 任何事物 文件夹的上方 项目目标，以及一个 任何事物 将出现在那里。
- 拖放 区域列表 从模板到 任何内容 位于下方 项目目标.
- 在图像堆栈视口上，选择 Z 轴空间 使用光标。区域列表将显示，并带有唯一的 ID 编号。选择 画笔工具 在上方（右下角）使用鼠标通过填充整个细胞质来分割结构 z 堆栈
- 将分割后的掩膜导出，作为在ilastik中进行雕刻的种子，方法是右键单击 区域列表 Z空间列表中的对象，或视口中的蒙版，并选择 导出 > 区域列表作为标签（tif）.
- 根据后续重建所需的分辨率，如果可能，在考虑用于分割和重建的软件内存需求的前提下，通过降采样减小图像堆栈的像素尺寸。使用 图像 > 调节 > 大小.
注意： ilastik 可处理最多 500 像素的图像堆栈 xy 此外，下采样会降低图像栈的分辨率；因此，需考虑物体仍可被识别并得以分割的最小尺寸。 - 为了增强对比度并辅助分割， 反锐化掩膜 可应用滤镜使膜结构更清晰。使用 过程 > 过滤 > 反锐化掩膜.
- 将图像序列导出为单张图像，以便在分割软件（例如 ilastik）中进行后续处理，使用 文件 > 另存为... > 图像序列 并选择 .tif 格式。
2. 使用 ilastik 1.3.2 进行半自动分割与重建
- 在 ilastik 主界面中，选择 切割（Carving） 模块。
- 使用 添加新项 > 从序列添加单个 3D/4D 体积 来加载图像堆栈。
- 选择 整个目录，并选择包含以单个文件保存的图像堆栈的文件夹。在新窗口底部的图像加载选项中，确保保持选中 Z 轴方向。
- 在接下来的步骤中，所有操作和按钮均可在主软件界面左侧找到。在 预处理（Preprocessing） 选项卡下，使用已默认勾选的标准选项。启用 亮线（脊滤波器，ridge filters），并将滤波尺度保持在 1.600。此参数之后可进行调整。
- 预处理完成后，在 标注（Labeling） 模块的下拉菜单中选择下一页。默认情况下会存在一个 目标对象（Object） 和一个 背景（Background）。
- 通过单击选择目标种子，并在感兴趣结构的上方绘制一条线；然后选择背景种子，在待重建对象的外部绘制一条或多条线。接着点击“分割（Segment）”并等待。
注意： 分割所需时间取决于计算机性能和图像堆栈的大小，可能从几秒到数小时不等。完成后，应在已分割结构上方出现一个半透明的掩膜以高亮显示分割结果。- 浏览堆栈以检查分割效果。分割结果可能不够准确，未能精确贴合感兴趣结构，或出现溢出。若发生溢出，可在溢出区域放置背景种子，并在未被重建的目标结构部分上添加目标种子进行修正。
- 如果分割仍不理想，可尝试调整 偏差（Bias） 参数，该参数用于控制接受的不确定分类像素的数量。其默认值为 0.95；降低该值可限制溢出（通常不低于 0.9），若分割过于保守则可提高该值（最高至 1）。
- 另一种方法是返回步骤 2.4（点击 预处理），修改滤波器尺寸；增大该值（例如至 2）可减少类似椒盐噪声的效果，但也会使膜结构更模糊，并增加检测微小细节的难度。这可能有助于减少溢出。
- 根据需要重复上述步骤，直到所有目标对象均完成分割。当一个对象分割完成后，点击 保存当前对象（位于 分割 按钮下方）。此时将出现两个新的种子，用于开始下一个对象的分割。
- 立即通过点击 导出所有网格 将表面网格以 .obj 文件格式导出。
- 如需进一步校正，可将分割结果导出为二值掩膜。点击“浏览对象”以选择要导出的掩膜；然后右键点击 分割结果 > 导出，在 输出文件信息 下选择 tif 序列 作为格式。
3. 在 TrakEM2（Fiji）中进行校对/分割（手动）
- 加载图像堆栈，并按照步骤 1.6.1 创建一个新的 TrekEM2 项目。
- 使用导入菜单中的 将标签导入为区域列表（Import labels as arealists） 选项，导入需要校对的掩膜。该选项位于用于导入图像堆栈的同一导入菜单中。
- 在 Z 空间中选择已导入的区域列表，并使用 画笔工具（Brush tool） 审查分割结果。
- 通过右键点击 区域列表（Area list）> 在 3D 中显示（Show in 3D），以在三维中可视化模型。在随后弹出的窗口中需输入重采样数值，数值越高，生成的网格分辨率越低。
注意： 根据物体的大小，建议使用 4 到 6 之间的数值，通常可在分辨率与形态细节之间取得最佳平衡。 - 通过菜单选择 文件（File）> 导出表面（Export surfaces）> Wavefront，将 3D 网格导出为 Wavefront .obj 格式。
4. 三维分析
- 打开 Blender。在执行以下步骤之前，请确保已安装 NeuroMorph 工具包（可从 可从 https://neuromorph.epfl.ch/index.html 获取）以及糖原分析工具包（可从 https://github.com/daniJb/glyco-analysis 获取）。
- 使用 NeuroMorph 批量导入功能，通过点击导入对象 导入对象 在……之下 场景 菜单，以一次性导入多个对象。请确保激活 使用重网格划分 和 平滑着色.
注意： 不建议点击 完成重网格划分 如果对物体的初始尺寸存在不确定性。 导入树深度 值为7（默认值）时通常能较好地保持物体的可接受分辨率和形态。 - 从大纲中选择目标对象，并修改重网格化功能下的八叉树深度 修饰因子 菜单进行迭代操作，以减少顶点数量，同时避免分辨率和形态学细节的丢失。更改八叉树深度时，主图形用户界面中的网格将相应更新。完成后，点击 应用 以完成该过程。
注意： 数值在4左右通常适用于较小的结构（如突触后密度），7左右适用于较大的结构（如长轴突或树突），而8或9左右则适用于完整的细胞形态，以保留不同分辨率下的细节。 - 使用图像叠加工具 图像堆栈交互 左侧面板中，位于 NeuroMorph 菜单中加载图像堆栈。务必输入图像堆栈的实际物理尺寸以 x, y，以及 x （单位为微米或纳米，取决于网格的单位），并通过点击选择图像栈的路径 源文本：Source_ZX 和 Y 是正交平面；它们为可选选项，仅在用户输入有效路径时才会加载。
- 然后，通过在视口中右键单击选择一个网格，按快捷键进入编辑模式 标签，使用鼠标右键选择一个（或多个）顶点，最后点击 在顶点处显示图像一张（或多个）带有显微照片的切面将叠加显示在网格之上。
- 通过右键单击选择切割平面，然后按 Ctrl + Y，使用鼠标滚轮滚动查看3D模型。此方法也可用于校对。
- 使用 测量工具 用于表面积、体积和长度的定量分析。这些操作的详细说明可参见 Jorstad 等人的文献。19 以及在 NeuroMorph 网站上24.
- 使用 糖原分析工具 用于量化糖原与树突棘和突触小结的邻近程度。相关操作的详细信息见于先前发表的文章10 以及在糖原分析数据库中25.
- 使用 NeuroMorph 批量导入功能，通过点击导入对象 导入对象 在……之下 场景 菜单，以一次性导入多个对象。请确保激活 使用重网格划分 和 平滑着色.
- 运行 GLAM23代码、可执行文件和部分测试文件可在 GLAM 仓库中获取26.
- 准备两个 .ply 格式的几何文件：一个源文件，包含糖原颗粒；一个目标文件，包含形态表面。
- 准备三个 .ascii 色彩映射文件（每行包含 t_norm(0..1) R(0..255) G(0..255) B(0..255)），用于表示局部吸收值、峰值以及平均吸收值。
- 运行C++脚本GLAM，输入几何文件（步骤4.2.1）和颜色图文件（步骤4.2.2），并设置影响半径（单位：微米）、最大预期吸收值以及用于吸收峰聚类的归一化阈值。有关其他参数的信息，请使用 -help 选项运行脚本以获取说明。
- 将结果导出为 .ply 或 .obj 文件：目标物体以 GLAM 值进行颜色映射，吸收峰标记以彩色球体表示，目标物体根据平均吸收值进行颜色编码。
- 开放虚拟现实数据交互。虚拟现实数据交互的可执行代码可在公共代码仓库中获取27.
- 按照VR菜单中的说明导入需要可视化的网格。如果需要进行GLAM分析，请确保导入步骤4.2.1中生成的.obj文件。
结果
通过采用上述方法，我们展示了两个不同尺寸图像堆栈的处理结果，以说明这些工具的灵活性如何能够将该流程扩展应用于更大规模的数据集。本实例中，两个三维电子显微镜（3DEM）数据集分别为：（i）P14大鼠躯体感觉皮层第六层，尺寸为100 µm × 100 µm × 76.4 µm4；以及（ii）P60大鼠海马CA1区，尺寸为7.07 µm × 6.75 µm × 4.73 µm10。
预处理步骤（图1）可对两个数据集以相同方式进行，只需注意较大的数据集（如第一个数据栈，大小为25 GB）需要性能更强的硬件来处理大规模数据的可视化与计算。第二个数据栈仅为1 GB，且体素尺寸完全各向同性。
数据的大小可能并不直接与视野（FOV）相关，而是与图像堆栈本身的分辨率相关，该分辨率取决于显微镜传感器的最大像素尺寸以及堆栈的放大倍数。无论如何，从逻辑上讲，如果在相同分辨率下获取图像，较大的视野通常会比小视野占用更多的物理存储空间。
在 Fiji 软件（ImageJ 的一个科学版本12）中导入图像堆栈后（如本方案第 1 节所述，图 1A），一个重要的步骤是确保图像格式为 8 位（图 1B）。这是因为许多不同显微镜厂商的采集软件会以其专有的 16 位文件格式存储与采集过程相关的信息（例如像素大小、厚度、电子束的电流/电压、腔室压力）等元数据，同时保存图像堆栈。通过此类调整，科学家可以节省内存，因为包含元数据的额外 8 位不会影响图像本身。需要检查的第二个重要参数是体素大小（voxel size），该参数可确保后续分割后的三维重建在正确的尺度（微米或纳米；图 1B）上进行。
如果图像序列是通过拼接方式采集的，则可能需要重新对齐和/或拼接；这些操作可以在 TrakEM2 中完成（图2A），但就重新对齐而言，像 FIB-SEM 或 3View 这样的自动化三维电子显微技术通常已经具有良好的对齐效果。
最后一步需要对图像栈进行滤波，可能还需进行下采样，具体取决于需要重建的对象以及下采样是否会影响可重建特征的识别。例如，对于较大的图像栈（P14大鼠体感皮层），无法为了提高重建效率而牺牲分辨率；而对于较小的图像游戏副本（P60大鼠海马CA1区），由于其分辨率远高于所需重建的最小结构的要求，因此可以进行下采样。最后，使用非锐化掩模可增强膜结构与背景之间的对比度，有利于依赖梯度信息预判边界的重建软件（如ilastik）进行重建。
图像处理完成后，可使用 TrakEM2 手动进行重建，或使用 ilastik 进行半自动重建（图 2C）。像此处列出的较小数据集（ii）这类可降采样以适应内存容量的数据集，可使用 ilastik（图 2B）完成全分割，从而生成密集重建结果。对于此处列出的第一个数据集（i），我们已成功在配备 500 GB 内存的 Linux 工作站上加载并预处理了整个数据集。16 个完整形态的稀疏分割结果通过混合流程获得，即提取出粗略分割结果后，使用 TrakEM2 进行人工校对完成。
在 Blender 环境中（图 3），可利用自定义代码（如 NeuroMorph19 或 glycogen analysis10）对表面积、体积或细胞内糖原分布等三维特征进行分析。
如果数据集还包含糖原颗粒，则可使用C++代码GLAM推断其分布分析，该代码可在网格上直接生成具有影响区域的彩色图谱。
最后，可以使用虚拟现实（VR）对这类复杂数据集进行可视化和分析，这已被证明对具有特定遮挡视角的数据集分析非常有用（图4）。例如，从GLAM图谱中推断出的峰信号，在本文讨论的第二个数据集中可轻松通过树突进行视觉识别。
图 1：图像处理及图像分割前的准备步骤。（a）Fiji 主图形用户界面。（b）代表结果中讨论的数据集（i）的堆叠图像示例。右侧面板显示了允许用户设置体素大小的属性。（c）对单张图像应用滤波和调整尺寸操作的示例。右侧面板展示了图像中心区域的放大图。请点击此处查看此图的放大版本。
图 2：使用 TrakEM2 和 ilastik 进行分割与重建。（a）TrakEM2 图形用户界面，其中对象已手动分割（红色显示）。（b）从面板 a 导出的掩膜可用作输入（种子），用于（c）半自动分割（雕刻）。从 ilastik 生成的掩膜（红色）可进一步导出至 TrakEM2，进行人工校对。（d）掩膜随后可导出为三维三角网格，以呈现重建的结构。在此示例中，来自数据集（i）（见代表性结果部分）的四个神经元、星形胶质细胞、小胶质细胞和周细胞通过该流程完成重建。请点击此处查看该图的放大版本。
图3使用定制化工具对重建的形态进行三维分析。 (a) FIB-SEM 数据集（ii）中的各向同性成像体积（如代表性结果中所述）。b) 来自面板的密集重建 a灰色 = 轴突；绿色 = 星形胶质细胞突起；蓝色 = 树突。 (c) 显微照片显示了用于定量分析的目标示例，如突触（数据集(i)）和星形胶质细胞糖原颗粒（数据集(ii)），右侧为相应的放大倍数。d) 来自面板的掩膜 c 显示糖原颗粒在突触周围的分布。e) 面板数据集中糖原分布的定量分析 c，使用Blender中的糖原分析工具箱。误差线表示标准误。 N = 4,145 个糖原颗粒。 (fGLAM 输入与输出可视化的图示。 请点击此处以查看此图的放大版本。
图4：VR 中的分析。 (a用户佩戴VR头显进行工作时b) 来自FIB-SEM数据集（ii）的密集重建（如代表性结果中所述）。c) 来自图中部分神经突的沉浸式虚拟现实场景 b。绿色激光指向一个GLAM峰。dVR 中 GLAM 峰计数分析示例 N 每组 3 只小鼠。基于先前发表文献中的 FIB-SEM 分析28. 误差线表示标准误；*p < 0.1，单因素方差分析。 请点击此处以查看此图的放大版本。
讨论
本文介绍的方法为多尺度电子显微镜数据集的分割与三维重建提供了一个实用的分步指南，无论这些数据来自高分辨率成像技术（如聚焦离子束-扫描电镜，FIB-SEM），还是其他自动连续切片与成像技术。FIB-SEM的优势在于可通过聚焦离子束切割低至5 nm的超薄切片，从而实现体素尺寸的近乎各向同性；然而，由于侧向伪影的存在，其视场（FOV）可能被限制在15–20 µm以内，这些伪影可能是当视场超过该值时被切割组织沉积所致。此类伪影可通过使用其他技术（如扫描电镜-块面成像，SBEM）加以避免，SBEM采用金刚石刀在显微镜腔室内对样本进行连续切片。在后一种情况下，z轴分辨率最佳约为20 nm（通常为50 nm），但视场可能更大，尽管对于大范围感兴趣区域，像素分辨率需做出一定妥协。为克服此类限制（放大倍数与视场之间的权衡），一种解决方案是将感兴趣区域划分为多个图块，并以更高分辨率分别采集每个图块。本文代表性结果中展示了两种数据集的重建效果：（i）SBEM堆栈数据集，以及（ii）FIB-SEM堆栈数据集。
随着生成越来越大的数据集变得日益普遍，用于像素分类和自动图像分割的工具开发工作也在不断增加；然而迄今为止，尚无任何软件的可靠性能够达到人工校对的水平，因此无论多么耗时，人工校对仍然是必要的。通常情况下，规模较小且可进行下采样的数据集（例如数据集（ii））可在一周内由一名专家用户完成密集重建，包括校对时间。
本文所述方案特别涉及使用三个软件程序：Fiji（版本 2.0.0-rc-65/1.65b）、ilastik（版本 1.3.2 rc2）和 Blender（2.79），三者均为开源、跨平台且可免费下载的程序。Fiji 是 ImageJ 的一个发行版本，通过插件支持生物学图像分析。其软件架构强大，被推荐使用的原因在于它是生命科学家常用的平台，并包含 TrakEM2——这是最早且最广泛使用的图像分割插件之一。近期许多用户遇到的一个问题是 Java 从 6 版本升级到 8 版本所引发的兼容性问题；因此，建议尽可能避免升级至 Java 8，以确保 Fiji 正常运行。ilastik 是一款功能强大的软件，提供多种像素分类框架，每种框架均在其官网上有详细文档和说明。用于 EM 图像堆栈半自动分割的“雕刻”（carving）模块非常便捷，可大幅节省时间，使经验丰富的用户将原本需数月完成的手动工作缩短至数天之内——单次点击即可在数秒内完成整个神经突的分割。从硬件角度看，预处理步骤计算量极大，而像本文所展示的 SBEM 图像堆栈这类大型数据集（26 GB）需要特殊的内存适配策略，因为获取大尺寸数据集的初衷正是为了避免牺牲视野范围和分辨率。因此，在这种情况下，降采样可能并非合适的解决方案。最新版本的软件可在功能强大的 Linux 工作站上于数小时内完成预处理，分割过程仅需几分钟，但浏览图像堆栈的速度仍相对较慢。我们仍采用此方法进行初步的粗略分割，并使用 TrakEM2 进行校对。最后，Blender 是一款 3D 建模软件，具备强大的 3D 渲染引擎，可通过嵌入主图形界面的 Python 脚本进行定制，作为插件使用，例如 NeuroMorph 和糖原分析工具。该软件的灵活性也带来一个缺点：与 Fiji 等软件不同，它并非专为大型数据集的在线可视化而设计；因此，可视化和浏览大型网格（超过 1 GB）可能较慢且效率低下。鉴于此，始终建议选择能够降低网格复杂度但又不会破坏目标结构原始形态的技术。重网格（remesh）功能非常实用，是 NeuroMorph 批量导入工具中内置的功能。该功能的一个问题是，根据原始网格顶点数量的不同，与最终分辨率相关的八叉树深度值（octree depth）需相应调整。小型对象可用较小的八叉树深度（例如 4）进行重网格化，但相同数值可能会破坏较大对象的形态，后者需要更大的数值（最佳为 6，对于非常大的网格如完整细胞，甚至需达到 8 或 9）。若对象尺寸不明确，建议采用迭代方式，并测试不同的八叉树深度值。
如前所述，应考虑的一个方面是用于重建和分析的计算能力，这与所使用的软件相关。本文代表性结果中展示的所有操作均使用一台 MacPro 完成，该设备配备 AMD FirePro D500 显卡、64 GB 内存以及 8 核 Intel Xeon E5 处理器。Fiji 具有良好的软件架构，可有效处理大型数据集；因此，建议使用硬件性能较好的笔记本电脑，例如配备 2.5 GHz Intel i7 处理器和 16 GB 内存的 MacBook Pro。ilastik 软件对硬件资源的要求更高，尤其是在预处理阶段。尽管对图像堆栈进行下采样是限制软件硬件需求的有效方法，并允许用户使用笔记本电脑处理堆栈（通常在 x、y、z 方向上均小于 500 像素时），但我们仍建议使用高性能计算机以确保该软件的流畅运行。我们使用的工作站配备 16 核 Intel Xeon Gold 6150 处理器和 500 GB 内存。
当获得精确的三维重建结果后，科学家可以舍弃原始显微图像，直接在三维模型上工作，提取有用的形态计量数据，用于比较同种类型细胞以及不同类型细胞，并利用虚拟现实（VR）对形态进行定性和定量评估。特别是对于存在视觉遮挡（即在三维空间中，位于观察者与目标物体之间的第二个物体遮挡了对目标物体的视线）的密集或复杂形态的分析，使用虚拟现实已被证明具有显著优势，因为这类结构在三维空间中难以呈现和分析。在本示例中，一位经验丰富的用户大约花费了4个非连续小时来观察数据集并计数目标对象。虚拟现实分析所花费的时间可能因个体差异而有所不同，例如虚拟现实引起的不适感（在某种程度上类似于晕车）可能对用户体验产生负面影响；在此情况下，用户可能更倾向于使用其他分析工具，并限制在虚拟现实中投入的时间。
最后，所有这些步骤均可应用于其他生成图像堆栈的显微技术及非电镜技术。与荧光显微镜等技术相比，电镜生成的图像通常更难以处理和分割；在荧光显微镜中，通常需要处理的是类似于二值掩膜的信号（即信号区域与黑色背景的对比），这种信号原则上可直接进行三维重建，以便进一步分析。
披露
作者无任何利益冲突需要披露。
致谢
本工作由沙特阿拉伯阿卜杜拉国王科技大学（KAUST）竞争性研究资助（CRG）项目"KAUST-BBP 脑能量代谢整合建模联盟"资助，授予 P.J.M.。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| Fiji | 开源 | 2.0.0-rc-65/1.65b | 开源图像处理编辑器 www.fiji.sc |
| iLastik | 开源 | 1.3.2 rc2 | 图像分割工具 www.ilastik.org |
| Blender | Blender 基金会 | 2.79 | 开源三维建模软件 www.blender.org |
| HTC Vive 头戴设备 | HTC | Vive / Vive Pro | 虚拟现实（VR）头戴式显示器 www.vive.com |
| Neuromorph | 开源 | --- | 用于三维分析的 Blender 插件集合 neuromorph.epfl.ch |
| 糖原分析 | 开源 | --- | 用于糖原分析的 Blender 插件 https://github.com/daniJb/glyco-analysis |
| GLAM | 开源 | --- | 生成 GLAM 图谱的 C++ 代码 https://github.com/magus74/GLAM |
参考文献
- Leighton, S. B. SEM images of block faces, cut by a miniature microtome within the SEM - a technical note. Scanning Electron Microscopy. , 73-76 (1981).
- Knott, G., Marchman, H., Wall, D., Lich, B. Serial section scanning electron microscopy of adult brain tissue using focused ion beam milling. Journal of Neuroscience. 28, 2959-2964 (2008).
- Denk, W., Horstmann, H. Serial block-face scanning electron microscopy to reconstruct three-dimensional tissue nanostructure. PLOS Biology. 2, e329(2004).
- Coggan, J. S., et al. A Process for Digitizing and Simulating Biologically Realistic Oligocellular Networks Demonstrated for the Neuro-Glio-Vascular Ensemble. Frontiers in Neuroscience. 12, (2018).
- Tomassy, G. S., et al. Distinct Profiles of Myelin Distribution Along Single Axons of Pyramidal Neurons in the Neocortex. Science. 344, 319-324 (2014).
- Wanner, A. A., Genoud, C., Masudi, T., Siksou, L., Friedrich, R. W. Dense EM-based reconstruction of the interglomerular projectome in the zebrafish olfactory bulb. Nature Neuroscience. 19, 816-825 (2016).
- Kasthuri, N., et al. Saturated Reconstruction of a Volume of Neocortex. Cell. 162, 648-661 (2015).
- Calì, C., et al. The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. PLOS ONE. 13, e0198131(2018).
- Visual Analysis of Glycogen Derived Lactate Absorption in Dense and Sparse Surface Reconstructions of Rodent Brain Structures. Calì, C., Agus, M., Gagnon, N., Hadwiger, M., Magistretti, P. J. Eurographics Italian Chapter Conference 2017 – Smart Tools and Apps in computer Graphics, , Catania, Italy. (2017).
- Calì, C., et al. Three-dimensional immersive virtual reality for studying cellular compartments in 3D models from EM preparations of neural tissues. Journal of Comparative Neurology. 524, 23-38 (2016).
- Fiala, J. C. Reconstruct: a free editor for serial section microscopy. Journal of Microscopy. 218, 52-61 (2005).
- Cardona, A., et al. TrakEM2 software for neural circuit reconstruction. PLOS ONE. 7, e38011(2012).
- Januszewski, M., et al. High-precision automated reconstruction of neurons with flood-filling networks. Nature Methods. 1, (2018).
- Shahbazi, A., et al. Flexible Learning-Free Segmentation and Reconstruction of Neural Volumes. Scientific Reports. 8, 14247(2018).
- Sommer, C., Straehle, C., Köthe, U., Hamprecht, F. A. Ilastik: Interactive learning and segmentation toolkit. 2011 IEEE International Symposium on Biomedical Imaging: From Nano to Macro, Chicago, IL, , (2011).
- Holst, G., Berg, S., Kare, K., Magistretti, P., Calì, C. Adding large EM stack support. 2016 4th Saudi International Conference on Information Technology (Big Data Analysis) (KACSTIT), Riyadh, Saudi Arabia, , (2016).
- Beyer, J., et al. ConnectomeExplorer: query-guided visual analysis of large volumetric neuroscience data. IEEE Transactions on Visualization and Computer Graphics. 19, 2868-2877 (2013).
- Beyer, J., et al. Culling for Extreme-Scale Segmentation Volumes: A Hybrid Deterministic and Probabilistic Approach. IEEE Transactions on Visualization and Computer. , (2018).
- Jorstad, A., et al. NeuroMorph: A Toolset for the Morphometric Analysis and Visualization of 3D Models Derived from Electron Microscopy Image Stacks. Neuroinformatics. 13, 83-92 (2015).
- Jorstad, A., Blanc, J., Knott, G. NeuroMorph: A Software Toolset for 3D Analysis of Neurite Morphology and Connectivity. Frontiers in Neuroanatomy. 12, 59(2018).
- Calì, C. Astroglial anatomy in the times of connectomics. Journal of Translational Neuroscience. 2, 31-40 (2017).
- Mohammed, H., et al. Abstractocyte: A Visual Tool for Exploring Nanoscale Astroglial Cells. IEEE Transactions on Visualization and Computer Graphics. , (2017).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Computers & Graphics. 74, 85-98 (2018).
- École Polytechnique Fédérale de Lausanne. NeuroMorph Analysis and Visualization Toolset. , http://neuromorph.epfl.ch (2018).
- Boges, D. GitHub - daniJb/glycol-analysis: Glycogen_analysis.py is a python-blender API based script that performs analysis on a reconstructed module of glycogen data. , https://github.com/daniJb/glyco-analysis (2018).
- Agus, M. GitHub – magus74/GLAM: Glycogen Lactate Absorption Model. , https://github.com/magus74/GLAM (2019).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Dryad Digital Repository. , (2018).
- Calì, C., et al. Data from: The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. Dryad Digital Repository. , (2018).
重印与许可
