胶质细胞和神经细胞的三维重建与虚拟现实分析方法

第一个提出的电子显微镜设置模型，允许自动序列截面和成像可追溯到1981^年1;这种自动化的、改进的设置，以图像大样本使用EM在过去十年中增加^2，3，和作品展示令人印象深刻的密集重建或完整的形态立即跟随^{4， 5，6，7，8，9，10}.

大型数据集的制作需要改进图像分割的管道。用于手动分割串行部分的软件工具，如 RECONSTRUCT 和 TrakEM2^11、12，是为传输电子显微镜 （TEM） 设计的。由于整个过程可能非常耗时，因此在处理数千个串行显微图时，这些工具是不适当的，这些显微图可以使用最先进的自动化 EM 串行截面技术 （3DEM） 自动生成，例如块面扫描电子显微镜（SBEM）3或聚焦电束扫描电子显微镜（FIB-SEM）2 。为此，科学家们致力于开发半自动化工具以及全自动工具，以提高分割效率。基于机器学习¹³或最先进的、未经训练的像素分类算法¹⁴的全自动工具正在改进，以便被更大的社区使用;然而，分段还远远没有完全可靠，许多作品仍以人工为基础，在分段时间方面效率不高，但仍然提供完全的可靠性。半自动化工具（如 ilastik^15）代表一种更好的折衷方案，因为它们为分段提供了即时读出，可以在一定程度上进行校正，尽管它不提供真正的校对框架，而且可以集成在并行¹⁶中使用 TrakEM2 。

迄今为止，大规模分段大多限于连接经济学;因此，计算机科学家最感兴趣的是提供框架，为大型，带号显示的数据集的集成可视化和分析连接模式推断出突触^{接触17，18。}然而，精确的 3D 重建可用于定量形态分析，而不是对 3D 结构进行定性评估。NeuroMorph^19、20和糖原分析¹⁰等工具已经开发出来，用于测量长度、表面积和体积的 3D 重建以及云点分布的测量丢弃原来的EM堆^栈8，10。星形细胞是一个有趣的案例研究，因为缺乏视觉线索或重复的结构模式给研究者一个暗示，个别结构单元的功能，因此缺乏天文学过程的充分本体论²¹，使设计分析工具变得具有挑战性。最近的一次尝试是抽象^细胞22，它允许对天体细胞过程进行视觉探索，并推断出星形过程和神经酸盐之间的定性关系。

然而，在EM下成像切片组织的便利性来自以下事实:隐藏在完整大脑样本中的信息量是巨大的，解释单节图像可以克服这个问题。大脑中结构的密度如此之大，以至于即使同时看到几个物体的3D重建，也使得无法从视觉上区分它们。为此，我们最近建议使用虚拟现实（VR）作为观察复杂结构的改进方法。我们专注于星形^细胞23，以克服遮挡（即在第二个3D空间中用第二个物体遮挡目标物体的可见性），并简化重建的定性评估，包括校对和量化使用空间中点计数的要素。我们最近结合VR视觉探索与使用GLAM（糖原衍生的乳酸盐吸收模型），一种技术，通过考虑糖原颗粒作为发光^体23，可视化乳酸穿梭概率的中性光图;特别是，我们使用VR来量化GLAM产生的光峰。

1. 使用斐济进行图像处理

1. 通过从包含堆栈的显微镜中拖放本机文件，或者将包含整个图像堆栈的文件夹拖放到软件窗口中来打开图像堆栈。
   注:斐济能够自动识别所有标准图像格式，如 .jpg、.tif 和 .png，以及显微镜提供商的专有文件格式。虽然以下协议已针对 3DEM 中的图像堆栈进行了优化，但这些步骤也可用于光显微镜数据集。
2. 打开堆栈后，转到Image > 属性，以确保从元数据读取了体素大小。如果没有，可以手动输入。
3. 确保将图像转换为 8 位。单击图像 > 键入并选择 8 位。
4. 如果原始堆栈位于不同的顺序文件/文件夹中，则使用"Concatenate"通过选择"映像 > 堆栈 > 工具 > 连接 "将它们合并到单个堆栈中。
5. 通过选择"文件 > 另存为"来保存堆栈。它将保存为单个 .tif 文件，并可用作备份和进一步处理。
6. 如果原始堆栈作为不同的切片获取，则在 TrakEM2 中应用拼接。
   1. 使用"新建 > TrakEM2（空白）"创建新的 TrakEM2 项目。
   2. 在视口图形用户界面 （GUI） 中，通过单击鼠标右键> 导入 > 导入堆栈导入堆栈，然后导入斐济主 GUI 中打开的所有磁贴。确保通过右键单击> 显示 > 调整大小画布/图层集来调整画布大小以适合整个堆栈，并根据蒙太奇的最终大小选择y/x像素大小。
      注:例如，如果使用四个 4，096 x 4，096 像素的切片最终确定蒙太奇，则画布大小应至少为 8，192 x 8，192 像素。考虑让它稍微大一点，然后裁剪它。
   3. 通过将各个切片拖放到图层集上来叠加这些切片的公用部分。使用左上角滑块修改透明度以帮助进行叠加。
   4. 蒙太奇并通过单击鼠标右键> 对齐来重新对齐堆栈，然后选择其中一个选项（参见下面的注释）。
      注:SBEM 或 FIB-SEM 通常已完全对齐，但可能会出现轻微的错位。对齐图层是用于 z对齐的自动管道;蒙太奇多层是自动管道，用于对齐每个z堆栈上的切片，用于整个卷;对齐多层镶嵌结合了前两个选项。此操作非常耗时，并且受机器随机存取内存 （RAM） 的影响。请考虑使用高端计算机，并让它运行数小时/天，具体取决于堆栈的大小。
   5. 最后，导出图像堆栈，并使用鼠标右键单击> 制作平面图像，然后确保在下拉菜单"开始"和"结束"中选择第一个图像到最后一个图像。
   6. 使用 TrakEM2 嵌入式函数，根据需要对感兴趣的结构进行细分。
      1. 在 TrakEM2 的 GUI 中，右键单击"模板"窗口下的"任何内容"，然后选择"添加新子项 > 区域_列表"。
      2. 在"项目对象"下的文件夹顶部拖放"任何内容"，其中将显示一个"任何内容"。
      3. 将"区域"列表从模板拖放到"项目对象"下的"任何内容"。
      4. 在图像堆栈视口上，选择带有光标的Z 空间。将显示区域列表，其中将具有唯一的 ID 号。选择顶部（右下角）的画笔工具，并使用鼠标在整个z堆栈上填充其细胞胶来分割结构。
      5. 通过右键单击 Z 空间列表中的"区域列表"对象或视口中的蒙版，导出要在 ilastik 中用作雕刻种子的种子，然后选择"导出 > 区域列表"作为标签 （tif）。
7. 根据进一步重建所需的分辨率（如果可能，请通过缩减采样来减小图像堆栈的像素大小），具体取决于将用于分段和重建的软件的内存要求。使用图像 > 调整 > 大小。
   注: ilastik 处理xy井上高达 500 像素的堆栈。此外，向下采样将降低堆栈的分辨率;因此，要考虑到对象仍然看起来可识别的最小大小，因此可以分段。
8. 为了增强对比度并帮助分割，可以应用Unsharp 掩膜过滤器使膜更脆。使用过程 > 过滤器 > 取消锐化掩码。
9. 使用文件 > 保存为...，将图像堆栈导出为单个图像，以便在分段软件（例如，ilastik）中进一步处理。> 图像序列并选择 .tif 格式。

2. 使用 ilastik 1.3.2 进行分段（半自动）和重建

1. 在主 ilastik GUI 中，选择雕刻模块。
2. 使用"添加新 > 从序列中添加单个 3D/4D 卷"加载图像堆栈。
3. 选择"整个目录"，然后选择包含保存为单个文件的图像堆栈的文件夹。在新窗口的底部（存在加载图像的选项）中，请确保保持选择Z。
4. 对于以下步骤，可以在主软件 GUI 的左侧找到所有操作和按钮。在"预处理"选项卡下，使用已选中的标准选项。使用亮线（山脊滤波器），并将滤波器比例保持在 1.600。之后可以修改此参数。
5. 预处理完成后，在标签模块的下拉菜单中选择下一页。默认情况下存在一个对象和一个背景。
6. 通过单击对象种子来选择对象种子，并在感兴趣的结构上绘制一条线;然后，选择背景种子并在要重建的对象外部绘制一条或多条线。然后，单击"段"，然后等待。
   注:根据计算机的功率和堆栈的大小，分段可能需要几秒钟到几小时。完成后，应显示一个半透明蒙版，突出显示分割，该蒙版应显示在分段结构的顶部。
   1. 滚动堆栈以检查分段。分割可能不准确，不能准确遵循感兴趣的结构或从它溢出来。通过在溢出的分割上放置背景种子来纠正任何溢出，并在目标对象的非重建段上添加对象种子。
   2. 如果分段仍然不正确，请尝试使用偏置参数进行修改，这将增加或减少已接受的不确定分类像素的数量。默认情况下，其值为 0.95;如果默认值为 0.95，则为 0.95。减少它以限制任何溢出效应（通常不低于 0.9），或者如果分割过于保守（最多 1），则增加。
   3. 另一种可能性是回到步骤2.4（通过单击预处理），并修改筛选器的大小;增加该值（例如，到 2）将最大限度地减少盐和胡椒噪声样的影响，但也会使膜更加模糊，细节更小，难以检测。这可能限制溢出。
7. 根据需要重复，只要所有所需对象都已分割。完成对象后，单击"保存当前对象"，单击"段"下方。将出现两个新种子，开始分割一个新对象。
8. 通过单击"导出所有网"，立即将曲面网解为 .obj 文件。
9. 如果需要进一步校对，可以提取为二进制掩码。通过单击"浏览对象"选择要导出的蒙版;单击"浏览对象"，以导出蒙版。然后，右键单击"分段 >导出"，然后在"输出文件信息"下选择tif 序列作为格式。

3. 在特拉克EM2（斐济）中校对/分段（手册）

1. 根据步骤 1.6.1 加载映像堆栈并创建新的 TrekEM2 项目。
2. 使用选项导入需要校对的蒙版，使用"导入标签作为区域列表"，在用于导入图像堆栈的同一导入菜单中可用。
3. 选择在 Z 空间中导入的区域列表，并使用画笔工具查看分割。
4. 通过右键单击"区域列表> 以 3D 显示"在 3D 中可视化模型。在要求重新采样数的以下窗口中，较高的值将生成较低的分辨率网格。
   注:根据对象的大小，请考虑使用介于 4 和 6 之间的值，这通常在分辨率和形态细节之间提供最佳折衷。
5. 通过从菜单中选择"文件>导出曲面 > 波前 "，将 3D 网格导出为波前 .obj 。

4. 3D 分析

1. 打开搅拌机。对于以下步骤，请确保安装 NeuroMorph 工具包（可在 https://neuromorph.epfl.ch/index.html 处获得）和糖原分析工具包（https://github.com/daniJb/glyco-analysis 提供）。
   1. 通过单击"场景"菜单下的"导入对象"，使用 NeuroMorph 批处理导入对象，以便一次导入多个对象。确保激活使用重新网格和平滑的回沙。
      注:如果对象的初始大小存在不确定性，则不建议单击"完成重新网格"。值 7（默认值）导入树深度通常有利于保持对象的可接受的分辨率和形态。
   2. 从大纲中选择感兴趣的对象，并在"修改器"菜单下迭代修改重新网格函数的八角形深度，以尽量减少顶点数，并避免在分辨率和正确形态学中丢失细节。更改八角树深度时，主 GUI 上的网格将相应地更改。完成后，单击"应用"以完成该过程。
      注:4 左右的值通常适用于小对象（如贴片密度），较大对象的值为 7 左右（如长斧子或树突），值约为 8 或 9，用于完整细胞形态，其中不同分辨率的详细信息应为保持。
   3. 使用图像叠加工具"图像堆栈"在"神经变形"菜单下左侧面板上的图像堆栈交互加载图像堆栈。请确保输入x、y和x的图像堆栈的物理大小（以微米为单位或纳米，具体取决于网格的单位），并通过单击Source_Z来选择堆栈的路径。X 和 Y 是正交平面;它们是可选的，仅当用户插入有效路径时才会加载。
   4. 然后，通过右键单击在视口上选择网格，通过按Tab进入编辑模式，使用鼠标右键单击选择一个（或多个）顶点，最后，单击"在顶点显示图像"。带有显微图形的一个（或多个）切割平面将叠加在网格顶部。
   5. 通过右键单击选择切割平面，按Ctrl + Y，并使用鼠标滚动滚动 3D 模型。这也可以用作校对方法。
   6. 使用测量工具对表面积、体积和长度进行量化。这些手术被记录在更多细节由Jorstad^等人19和神经可操作^网站24。
   7. 使用糖原分析工具量化糖原对脊柱和结刺的接近程度。操作在上一份^出版物10和糖原分析^存储库25中记录。
2. 运行 GLAM²³.代码、可执行文件和某些测试文件在 GLAM 存储库²⁶中可用。
   1. 以 .ply 格式准备两个几何文件:一个包含糖原颗粒的源文件，一个包含形态表面的目标文件。
   2. 准备三个 .ascii 颜色图文件（每行包含 t_norm（0..1） R（0.255） G（0.255） B（0..255）））表示局部吸收值、峰值和平均吸收值。
   3. 通过设置影响半径（以微米）、最大预期吸收值和聚类吸收峰值的规范化阈值，使用几何文件（步骤 4.2.1）和颜色图文件（步骤 4.2.2）执行C++脚本 GLAM。有关其他参数的信息，使用 -help 选项执行脚本。
   4. 将结果导出为 .ply 或 .obj 文件:使用 GLAM 值绘制颜色映射的目标对象、表示为颜色编码球体的吸收峰值标记，以及相对于平均吸收值进行颜色编码的目标对象。
3. 开放 VR 数据交互。VR数据交互可执行代码在公共存储库²⁷中可用。
   1. 按照 VR 菜单中的说明导入要可视化的网。请确保导入步骤 4.2.1 中计算的 .obj 文件，以防需要 GLAM 分析。

通过使用上面介绍的过程，我们展示了两个不同大小的图像堆栈上的结果，以演示工具的灵活性如何使过程扩展到更大的数据集成为可能。在这种情况下，两个 3DEM 数据集是 （i） P14 大鼠、躯体感觉皮层、第六层、100 μm x 100 μm x 76.4 μm4和 （ii） P60 大鼠、海马 CA1、7.07 μm x 6.75 μm x 4.73 μm10。

预处理步骤 （图 1） 可以对两个数据集执行相同的方法，只需考虑到较大的数据集（如第一个堆栈（即 25 GB）需要更高性能的硬件来处理大型数据可视化和处理.第二个堆栈只有 1 GB，具有完全各向异性体素大小。

数据的大小可能与视野 （FOV） 没有直接关系，而不是与堆栈本身的分辨率直接相关，后者取决于显微镜传感器的最大像素大小和堆栈的放大倍数。在任何情况下，从逻辑上讲，较大的 FOV 可能会占用更多的物理空间，而较小的 FOV 如果以相同的分辨率获得。

一旦图像堆栈被导入，如协议第1节所示，在斐济软件（图1A），一个图像J12的科学版本，一个重要的一点是确保图像格式是8位（图1B）。这是因为许多收购软件不同的显微镜公司生产商以 16 位生成其专有文件格式，以存储与获取过程相关信息相关的元数据（即像素大小、厚度、电流/电压电子束，腔室压力）与图像堆栈一起。这种调整允许科学家节省内存，因为包含元数据的额外 8 位不会影响图像。要检查的第二个重要参数是体素大小，它允许在分割后以正确的尺度（微米或纳米;;图 1B.

如果堆栈是使用平铺获得的，则可能需要重新对齐和/或缝合;这些操作可以在 TrakEM2 （图 2A） 中执行，尽管关于重新对齐，自动 3DEM 技术（如 FIB-SEM 或 3View）通常重新对齐。

最后一个步骤需要筛选堆栈，并且可能向下采样，具体取决于需要重建的对象以及向下采样是否影响可重建要素的识别。例如，对于较大的堆栈（P14 大鼠的躯体感觉皮层），不可能为了重建效率而损害分辨率，而对于较小的堆栈（P60 大鼠的海马CA1），则有可能这样做因为分辨率远远高于重建最小对象所需的分辨率。最后，使用不锐面面膜增强了膜和背景之间的差异，有利于使用梯度预先评估边框的 ilastik 等软件的重建。

在图像处理之后，可以使用 TrakEM2 手动执行重建，也可以半自动使用 ilastik 执行重建（图 2C）。可以向下采样以适合内存的数据集（如图 2B）可以完全分割，以便生成密集的重建。就此处列出的第一个数据集 （i） 而言，我们已设法使用具有 500 GB RAM 的 Linux 工作站加载并预处理整个数据集。通过提取使用TrakEM2手动校对的粗糙分段，通过混合管道获得16个完整形态的稀疏分割。

可以使用自定义代码（如 NeuroMorph19或糖原分析10）在 Blender 环境中执行表面积、体积或细胞内糖原分布等特征的 3D 分析（图 3）。

如果数据集也包含糖原颗粒，可以使用 GLAM 推断其分布，GLAM 是一种C++代码，可生成直接影响网格区域的颜色映射。

最后，可以使用 VR 可视化和分析这些复杂的数据集，这已被证明对于使用特定遮挡视图分析数据集非常有用（图 4）。例如，从 GLAM 地图推断的峰值很容易从此处讨论的第二个数据集中的树突中直观地推断出来。

图1:图像处理和图像分割准备。（a） 主要斐济 GUI.（b） 数据集中的堆叠图像示例 （i） 在代表性结果中讨论。右侧的面板显示允许用户设置体素大小的属性。（c） 应用于单个图像的文件程序和调整大小的操作的示例。右侧的面板显示图像中心的放大倍数。请点击此处查看此图的较大版本。

图 2: 使用 TrakEM2 和 ilastik. （a） TrakEM2 GUI 进行分割和重建，对象手动分段（红色）。（b） 面板a导出的面膜可用作（c）半自动分割 （雕刻） 的输入（种子）。从 ilastik 中，面罩（红色）可以进一步导出到 TrakEM2 进行手动校对。（d） 面具可以导出为 3D 三角网，以显示重建的结构。在此示例中，使用此过程重建了数据集 （i） 中的四个神经元、星形细胞、微胶和围细胞（在代表性结果中讨论）。请点击此处查看此图的较大版本。

图3:使用自定义工具重建形态的3D分析。（a）FIB-SEM数据集（ii）的各向图像体积（如代表性结果中所述）。（b） 从面板a进行密集重建。灰色 = 斧子;绿色 = 天体化过程;蓝色 = 树突。（c） 显微图，以正确的放大倍率显示诸如突触（数据集（一））和星化糖原颗粒（数据集（二））等量化目标的例子。（d） 面板c的掩膜，显示突触周围糖原颗粒的分布情况。（e） 使用 Blender 中的糖原分析工具箱，从面板c中定量来自数据集的糖原分布。误差条指示标准错误。N = 4，145 糖原颗粒。（f） GLAM的输入和输出可视化的图形说明。请点击此处查看此图的较大版本。

图 4: VR 中的分析。（a） 用户在进行 （b） FIB-SEM 数据集 （ii） 的密集重建时佩戴 VR 耳机的用户（如代表性结果中所述）。（c） 来自面板b的微子子的一部分的沉浸式 VR 场景。绿色激光指向一个GLAM峰值。（d） VR 中 GLAM 峰值计数分析的示例。N = 每个条形 3 个鼠标。从以前的出版物28分析FIB-SEM。误差条指示标准错误;•p < 0.1，单向方差分析。请点击此处查看此图的较大版本。

作者没有什么可透露的。