一种用于胶质细胞与神经元细胞三维重建及虚拟现实分析的方法

自动连续切片电子显微镜技术的应用。在生成生物学三维模型的流程中，限制速度的步骤是图像处理。本方案提供了一步一步的操作指南，可在短短几天内生成更密集的图像体积重建结果。

结合使用三维模型进行定量测量的方法。利用该技术，除脑组织外的其他组织的三维结构也有望得到分析，以识别特定疾病的典型结构损伤，并改进诊断策略。分割是一个繁琐的步骤。

请花时间尽可能准确地完成操作，以避免因校对错误的分割结果而不得不重新开始整个流程。该软件的设计有时不够用户友好，因此在开始分割工作时务必仔细查看。

通过将显微镜中包含图像堆栈的原生文件拖放到软件窗口中，或拖放包含整个图像堆栈的文件夹来打开图像堆栈。打开堆栈后，转到图像、属性，以确保已从元数据中读取体素尺寸。通过点击图像、类型，然后选择8位，将图像转换为8位。如果原始堆栈是以不同图块采集的，请在TrakEM2中进行图像拼接。

使用“新建”功能创建一个新的 TrakEM2 项目，如有需要，可利用 TrakEM2 内嵌功能对感兴趣结构进行分割。在 TrakEM2 的图形界面中，右键点击模板窗口下的“anything”，然后选择“添加新的子区域列表”。将“anything”拖放到“项目对象”下的文件夹中，此时“anything”将出现在该位置。将模板中的“area list”拖放到位于“项目对象”下的“anything”中。在图像堆栈视图窗口中，使用光标选择 Z 轴范围。

区域列表将显示唯一的 ID 编号。选择顶部的画笔工具，使用鼠标在整个 Z 轴堆栈上填充细胞质以分割结构。导出分割的区域，用于 Ilastik 中作为雕刻的种子。

为此，可右键单击 Z 轴列表中的区域列表对象，或视口中的掩膜，然后选择“将区域列表导出为标签 TIF”。根据后续重建所需的分辨率，可通过下采样减小图像堆栈的像素尺寸。同时需考虑将用于分割与重建的软件的内存需求。

Ilastik 可处理 X-Y 方向上最多五百像素的图像堆栈。请考虑物体仍可被识别的最小尺寸，从而能够进行分割。可使用图像“调整大小”功能来增强对比度并辅助分割，也可应用反锐化掩模滤波器使膜结构更清晰。

使用“filters”（滤镜）流程中的“unsharp mass”（非锐化掩模）功能，通过“Export the image stack as single images”（将图像堆栈导出为单张图像）选项，将图像序列保存用于后续的分割软件处理；在文件保存时选择“save as”（另存为）图像序列，并选用TIFF格式。在主Ilastik图形界面中，选择“carving”（雕刻）模块。使用“add new”（添加新文件）功能加载图像堆栈，选择“add a single 3D/4D volume from sequence”（从序列添加单个3D/4D体积），点击“Select whole directory”（选择整个目录），然后选择包含已保存为单个文件的图像堆栈的文件夹。在底部新出现的窗口中，确保图像加载选项里的Z轴保持选中状态。

在执行以下步骤时，所有操作和按钮均可在主软件界面左侧找到。在预处理选项卡下，使用已默认勾选的标准选项。选择“亮线”滤镜，并将滤镜尺度保持在1.600。

此边界之后可以修改。预处理完成后，在标注模块的下拉菜单中选择下一页。默认情况下，存在一个对象和一个背景。

通过单击选择目标种子，并在感兴趣结构的上方绘制一条线。然后，选择背景种子，并在待重建对象的外部绘制一条或多条线。接着，单击“分割”并等待。

根据计算机性能和图像栈的大小，分割可能需要几秒到几小时不等。完成后，一个半透明的掩膜将覆盖在已分割的结构上，以突出显示分割结果。滚动浏览图像栈以检查分割效果。

如果分割未遵循目标结构或超出其边界，则分割结果可能不准确。通过在溢出的分割区域放置背景种子来校正溢出部分，并在目标对象未重建的区域上添加对象种子。

使用 Ilastik 对分割结果进行准确的视觉校对可能较为繁琐，但这是确保导出对象不包含伪影的关键步骤。如果分割结果仍不准确，可尝试调整“bias”参数，以增加或减少被接受的不确定分类像素的数量。该参数默认值为 0.95。

减小该值以限制任何溢出，或增大该值以避免分割过于保守。另一种方法是点击“预处理”并修改滤波器的大小。增大该值可最小化类似椒盐噪声的效应，但也会使膜结构更加模糊，并更难检测到较小的细节。

这可能会限制溢出效应。只要所有目标对象均已被分割，可根据需要重复此步骤。当一个对象分割完成后，转至“segment”并点击“保存当前对象”。此时将出现两个新的种子点，用于开始下一个对象的分割。

通过点击“导出所有网格”，立即将表面测量结果以 WaveFront O-B-J 文件格式导出。要在 TrakEM2 中手动可视化三维分割模型，可右键单击区域列表，然后选择“在 3D 中显示”。数值越高，生成的网格分辨率越低。最后，通过菜单选择“文件”→“导出表面”→“WaveFront”，将三维网格导出为 WaveFront O-B-J 格式。按照文本协议中所述安装神经形态工具包后，打开 Blender。通过场景菜单中的“导入对象”选项，使用神经形态批量导入功能一次性导入多个对象。

确保启用重新网格化（re-mesh）和光滑着色（smooth shading）。从大纲视图中选择目标对象，并在修改器菜单中调整重新网格化功能的八叉树深度（Octree Depth）。通过迭代操作，尽量减少顶点数量，同时避免分辨率和正确形态结构中的细节丢失。

更改八叉树深度时，主黏性体上的网格会相应变化。完成后，单击应用以完成该过程。导航至左侧面板的神经形态菜单，并使用图像叠加工具中的图像堆栈交互功能加载图像堆栈。

确保输入图像堆栈在 X、Y 和 Z 方向上的物理尺寸，并通过单击源文件 Z.X 和 Y 来选择堆栈路径。X 和 Y 是正交平面，为可选参数，仅在用户输入有效路径时才会加载。然后，通过在视口中右键单击来选择一个网格。

按下 Tab 键进入编辑模式，使用鼠标右键选择一个或多个顶点，然后点击“在顶点显示图像”。一个或多个带有显微照片的切割平面将叠加显示在网格上。通过右键点击切割平面来选择该平面。

然后按 Ctrl+Y，并使用鼠标滚轮滚动查看3D模型。此方法也可用作校对手段。图中展示的是使用 TrakEM2 和 Ilastik 进行的分割与重建。

TrakEM2 界面显示了以红色手动分割的对象。导出的掩膜可作为半自动分割的输入。从 Ilastik 导出的掩膜可进一步导入 TrakEM2 进行人工校对。

掩膜可导出为三维三角网格，以显示重建的结构。在此示例中，使用该流程重建了四种神经元、星形胶质细胞、小胶质细胞和周细胞。展示了利用定制化工具对重建形态进行三维分析的结果。

这是一幅来自聚焦离子束扫描电子显微镜数据集的各向同性图像体积。对该数据的密集重建揭示了轴突、星形胶质细胞突起和树突。该显微照片展示了可用于定量分析的目标示例，如突触和星形胶质细胞糖原颗粒。

该显微照片的掩膜显示了糖原颗粒在突触周围的分布情况。此处展示的是糖原衍生乳酸吸收模型（GLAM）图形可视化输入与输出的示意图。图中显示一名用户佩戴虚拟现实（VR）头戴设备，正在进行聚焦离子束扫描电子显微镜数据集的密集重建工作。从部分神经突中，可观察到沉浸式的虚拟现实场景。

绿色激光指向一个GLAM'peak。这一点至关重要，因为它决定了导出的3D对象的正确尺寸，其测量结果反映了实际大小。连续切片成像、图像分割和3D重建的概念已有较长历史。

技术进步正推动结肠切除术的发展，这一点在解剖学教科书的更新中得以体现。尽管该方法最初是为电子显微镜下的脑科学研究而开发，但它可推广至任何能够生成数据的显微技术。此外，任何类型的三维成像技术均可受益于此类图像分割与重建技术，包括 CT 扫描和 MRI。