方法文章

多模态跨设备无标记前临床成像技术的共配准

2.2K 次观看

⸱

DOI：

10.3791/65701

⸱

2023年10月27日

 ,  ,  ,  ,  ,  , 
1Institute for Experimental Molecular Imaging, RWTH Aachen University, 2Gremse-IT GmbH, 3Carbone Cancer Center, University of Wisconsin, 4Department of Biomedical Engineering and Institute for Quantitative Health Science and Engineering, Michigan State University, 5MediLumine Inc., 6Fraunhofer Institute for Digital Medicine MEVIS

本文内容

摘要

为了全面理解病理生理学，通常需要结合多种成像模式。该方法利用模体在两种成像模式的坐标系之间生成差异性转换，进而实现图像配准。此方法消除了在常规扫描中使用标记物的需求。

摘要

集成的临床前多模态成像系统，例如结合了X射线计算机断层扫描（CT）与正电子发射断层扫描（PET）的系统，或结合了磁共振成像（MRI）与PET的系统，目前已广泛可用，通常可提供高度精确的图像配准。然而，在将独立的MRI设备与现有的PET-CT系统结合，或将光学断层成像或高分辨率X射线显微断层成像的数据整合进来时，往往需要使用不同的设备。这就需要进行图像配准，涉及诸多复杂因素，包括多模态小鼠成像床的设计、定位标记物的使用、图像重建以及基于软件的图像融合。定位标记物常因动态范围问题、成像视野受限、标记物放置困难，或随时间推移信号减弱（例如因干燥或衰变）而对活体成像数据造成干扰。每个需要图像配准的研究团队都必须理解并解决这些挑战，但由于现有文献中极少详细描述相关技术细节，导致各团队需重复投入大量工作。

本方案概述了一种可解决上述问题的通用工作流程。尽管最初使用标记物或可视结构来建立差异性转换，但在实际扫描中并不需要此类标记物。文中详细说明了重建软件生成的体数据和元数据所需满足的要求，并分别针对每种成像模式讨论了如何实现并验证这些要求。本文描述了一种基于模体的方法，用于生成两种成像模态坐标系之间的差异性转换，展示了如何在无需标记物的情况下对实际扫描图像进行共配准。每个步骤均通过现有软件进行图示说明，并提供了 commercially available 模体的选用建议。文中还展示了该方法在不同地点安装的不同成像模态组合下的可行性。

引言

不同的临床前成像方式各有其优势与局限性。例如，X射线计算机断层扫描（CT）适用于检测具有不同射线密度的解剖结构，如骨骼和肺部。由于其成像速度快、三维分辨率高、图像评估相对简便，并且可配合或不配合对比剂使用，因此被广泛应用1,2,3。磁共振成像（MRI）则在不使用电离辐射的情况下，提供最多样化的软组织对比度4。另一方面，基于示踪剂的成像方式，如正电子发射断层扫描（PET）、单光子发射计算机断层扫描（SPECT）、荧光介导断层成像（FMT）和磁粒子成像（MPI），是定量评估分子过程、代谢活动以及放射性标记的诊断或治疗化合物在体内分布情况的成熟工具，具有高灵敏度。然而，这些方法缺乏足够的空间分辨率和解剖学信息5,6。因此，通常将侧重解剖结构的成像方式与高灵敏度、擅长示踪剂检测的方式相结合7。此类组合使得对特定感兴趣区域内的示踪剂浓度进行定量成为可能8,9。对于一体化的多模态成像设备，模态间的图像配准通常是内置功能。然而，对来自不同设备的扫描图像进行配准也具有实用价值，例如当设备为分别购置，或无法获得一体化设备时。

本文重点介绍小动物成像中的多模态融合技术，该技术对于基础研究和药物开发至关重要。先前的一项研究10 指出这可以通过特征识别、轮廓映射或使用定位标记（fiducials）实现。定位标记是用于精确对齐和关联不同成像模式图像的参考点。在特殊情况下，甚至可以在裸鼠皮肤上使用中国墨水的标记点作为定位标记。11；然而，通常使用带有内置基准标记的成像盒。尽管这是一种稳健且成熟的方法10，每次扫描都使用它会带来实际问题。MRI 可检测的标记物通常是液态的，在储存过程中容易干燥。PET 需要放射性标记物，其信号会根据发射体的半衰期衰减，而该半衰期在生物医学应用中通常较短，因此必须在扫描前短时间内进行制备。其他问题，例如标记物信号与被测物体信号在动态范围上的不匹配，也会显著影响 体内 成像。动态对比范围较广，需要频繁调整标记信号强度以适应被检物体。因此，弱的标记信号可能在分析中无法被检测到，而强的标记信号则可能产生伪影，影响图像质量。此外，为了始终包含标记物，视野在许多应用中必须不必要地扩大，可能导致更高的辐射暴露、更大的数据量、更长的扫描时间，在某些情况下还可能降低分辨率。这可能影响实验动物的健康以及所生成数据的质量。

变换与微分变换
图像数据集由体素数据和元数据组成。每个体素都关联一个强度值（图 1A）。元数据包含一个变换，用于指定数据集在成像设备坐标系中的位置（图 1B），以及用于缩放坐标系的体素尺寸。其他信息（如设备类型或扫描日期）可选择性地存储在元数据中。上述变换在数学上称为刚体变换。刚体变换用于改变图像或几何空间中物体的方向或位置，同时保持任意两点之间的距离不变，即变换后的物体在空间中发生旋转和平移时，其大小和形状保持不变。任何一系列此类变换均可表示为一个单一变换，该变换由一次旋转后接一次平移构成。软件用于从数据坐标转换到度量目标坐标的公式如图 1C所示，其中 R 为正交旋转矩阵，d 和 v 分别为体素索引和尺寸，t 为 3×1 平移向量12。旋转的细节见图 1D。

二维渲染与变换示意图；体素数据矩阵、坐标方程、旋转可视化。
图 1：图像数据集结构及其在全局坐标系中位置的二维表示。 （A）一个图像数据集由体素数据和元数据组成。指定位置和体素大小的变换是关键的元数据组成部分。（B）图像被渲染到设备的坐标系中。将对象定位所需的变换包括一个旋转（蓝色）后接一个平移（绿色）。（C）从数据坐标转换到目标坐标时，软件使用此公式，其中 R 是一个正交旋转矩阵，d 和 v 分别为体素索引和体素大小，t 是一个 3×1 的平移向量。（D）旋转矩阵（平面 A 中的蓝色）表示对点进行旋转的线性变换。将某一点的坐标乘以该矩阵，即可得到新的旋转后坐标。 请点击此处查看此图的放大版本。

差异变换是一种刚体变换，用于将坐标从一个坐标系转换到另一个坐标系，例如从正电子发射断层扫描（PET）转换到X射线显微断层扫描（µCT），该变换可通过基准标记物计算获得。在两个坐标系中分别选取至少三个共有的点——即基准点。根据这些点的坐标，可推导出一个数学变换，实现坐标转换。该软件采用最小二乘法，对存在测量误差或噪声的数据方程组提供最优拟合解。此问题称为Procrustes问题13，通过奇异值分解进行求解。该方法具有可靠性和鲁棒性，因为只要提供至少三个不共线的标记点，即可得到唯一且明确的解。计算过程中共求解六个自由度参数：三个用于平移，三个用于旋转。下文中，尽管从技术上讲该变换由旋转矩阵和平移向量组成，我们仍将使用“变换矩阵”这一术语。

每台成像设备都有其自身的坐标系，软件会计算一个微分变换以实现它们之间的配准。图2A、B描述了该微分变换的确定方法，而图2C、D描述了其应用方式。两种模态的图像可以具有不同的尺寸，并在处理过程中保留各自的尺寸，如图2E中CT与PET融合的示例图像所示。

医学图像配准；CT/PET扫描对齐；变换与公共坐标示意图。
图 2：差异性变换。（A-D）简化为二维情况。尽管该方法适用于其他成像模式，但本示例中假设为CT与PET。(A,C) 带有红色边界框的CT图像位于坐标系中。同一坐标系下，带有黄色边界框的PET图像位置存在偏移。(B) 利用在CT和PET中均可定位的基准标记点，可确定一个差异性变换T，图中以箭头表示。该差异性变换矩阵被保存。（D）先前保存的差异性变换矩阵T随后可应用于每幅PET图像，从而生成新的变换，替代元数据中的原始变换。（E）CT图像与PET图像融合的结果。两幅图像元数据中的变换均指向同一坐标系。请点击此处查看该图的放大版本。

方法与要求
对于本方法，需使用一个在两种成像模态下均可见标记物的模体，并在两种设备上分别进行扫描。随后，在推荐的软件中对这些基准标记进行标注，即可计算两种模态之间的差异性变换。该差异性变换需针对每一对设备单独创建，但可保存后用于任意新的图像，从而在后续扫描中无需再次使用基准标记。最终图像在另一设备坐标系中的位置仍可通过一个变换来描述，并将此变换存储于图像的元数据中，以替换原有的变换信息。

该方法可归纳为四个要求：（1）多模态模体：必须具备一种在两种成像模式下均可视的标记物模体。目前市面上可获取多种类型的模体，且利用3D打印技术制备模体的方法已有广泛报道14，甚至包括放射性同位素的掺入15以下示例中所使用的模体列于 材料清单至少需要三个不共线的点16标记物可以是能够填充适当示踪剂的空腔、由在每种成像模态中均易于检测的材料制成的小物体，或仅仅是模体本身上的孔洞、切口或边缘，只要这些特征能在两种模态中被识别即可。（2）多模态载体：需要一种能够在两种设备中以可重复位置固定的载体，例如小鼠承载床。理想情况下，该载体应无法以颠倒的位置使用，以避免错误。该载体尤其重要，用于 体内 成像过程中需要在不改变动物体位的情况下，将已麻醉的动物从一个成像设备转移至另一个成像设备。根据我们的经验，与平面小鼠固定床相比，麻醉小鼠在凹形固定床上更不易发生体位移动。此外，已有研究建议使用定制的3D打印夹具固定小鼠胫骨以最大限度减少运动17（3）自洽性：每台成像设备必须以其自身的参考坐标系，以可重复且一致的方式提供重建体积的旋转和平移信息。这意味着即使仅扫描小范围区域，整个设备的坐标系统仍得以保持。测试成像设备的自洽性是协议的一部分。（4）软件支持：所提议的软件必须能够解析设备提供的重建体积所附带的元数据（体素尺寸、平移、方向）。该体积数据可采用 DICOM、NIfTI、Analyze 或 GFF 文件格式。有关各种文件格式的概述，请参见 Yamoah 等人。12.

尽管本文描述了两种模态的共配准，但该方法同样适用于三种或更多模态，例如，通过将两种模态共同配准至一个参考模态来实现。

方案

本方案的软件操作需在 Imalytics Preclinical 中进行，文中将其称为“"分析软件"（见材料表）。该软件可将体数据加载为两个不同的图层，分别称为“"底层"和“"覆盖层"18。底层渲染通常用于查看具有解剖细节的数据集，可用于分割的基础；而覆盖层可设置为透明渲染，用于在图像中可视化额外信息。通常，基于示踪剂的成像模式的信号分布会显示在覆盖层中。本方案需要多次切换选定图层，即后续编辑操作所作用的图层。当前选定的图层可在顶部工具栏中鼠标图标与窗口图标之间的下拉列表中看到。可通过按 Tab 键在底层与覆盖层之间切换，或直接从下拉列表中选择目标图层。本方案将用于测试自洽性并确定差异变换的扫描（或图像）称为“"校准扫描"，以区别于后续用于内容生成成像的“"生产扫描”。本方案中使用的成像模式为 CT 和 PET。然而，如前所述，该方法适用于所有能够采集体数据的临床前成像模式。

1. 组装载体与模体

注意：必须准备合适的多模态载体，例如小鼠固定板，用于固定模体。有关该组装的建议、常见问题及故障排除，请参见讨论部分。

  1. 在模体中制备定位标记。
    注意：具体制备步骤取决于所使用的成像模态和示踪剂。例如，许多磁共振成像（MRI）模体含有需要注满水的空腔，而正电子发射断层扫描（PET）则需要使用放射性示踪剂。
  2. 将模体放入载体中，并使用不会影响图像质量的材料（如胶带）固定。
    ​注意：模体的具体要求详见引言部分。

2. 执行校准扫描并检查自洽性

注意：此步骤需要针对每台成像设备重复进行。

  1. 获取两个不同视野的扫描图像。
    1. 将载体放入成像设备中，确保其放置方式可靠且可重复。
    2. 按照设备制造商的说明进行扫描，使用覆盖整个模体的大视野。此图像在后续步骤中称为"图像A"。
      注意：必须包含所有定位标记，因为此扫描还将用于计算差异变换矩阵。
    3. 从成像设备中取出载体后重新放入。
      注意：此步骤可确保载体在设备中的放置具有可靠性。
    4. 如果成像设备不支持有限视野（即始终扫描整个视野），则可合理假设其具备自洽性。直接进入第3步。
    5. 按照设备制造商的说明进行第二次扫描，此次使用显著更小的视野。此图像在后续步骤中称为"图像B"。
      注意：必须获取两个不同视野的扫描图像。图像B的视野具体位置并不关键，只要包含部分可见信息（如模体结构或尽可能多的定位标记）即可。
  2. 加载底层图像。
    1. 打开分析软件。
    2. 将图像A加载为底层图像：菜单 文件 > 底层图像 > 加载底层图像。在弹出的对话框中选择图像文件，然后点击打开。
    3. 如果未显示3D视图，请按[Alt + 3]以激活该视图。
    4. 调整窗宽：按[Ctrl + W]，在弹出的对话框中调节左右垂直滑块，使模体或根据成像模态对应的示踪剂能够清晰分辨。点击确定关闭对话框。
  3. 加载叠加图像。
    1. 将图像B加载为叠加图像：菜单 文件 > 叠加图像 > 加载叠加图像。在弹出的对话框中选择图像文件，然后点击打开。
    2. 更改渲染方式：菜单 3D渲染 > 叠加模式 > 勾选等值面渲染（Iso rendering）。
      注意：尽管基于示踪剂的成像模态（如PET或SPECT）通常使用体渲染，但在此情况下，等值面渲染更便于位置比较。底层图像默认以等值面渲染方式打开。
    3. 启用边界框显示：菜单 视图 > 显示符号 > 显示边界框 > 显示底层边界框；菜单 视图 > 显示符号 > 显示边界框 > 显示叠加边界框。
  4. 检查图像对齐情况。
    1. 将鼠标指针置于3D视图中，使用[Ctrl + 鼠标滚轮]缩放视图，使两个边界框均完全可见。按住[Alt + 左键]并移动鼠标以旋转视图。
    2. 将选定图层切换为叠加图像。
    3. 调整窗宽和颜色表：按[Ctrl + w]。在弹出对话框左侧的下拉列表中选择黄色。将范围调整至与底层图像相近的数值，然后逐步微调设置，使黄色渲染刚好在白色渲染内部可见。点击确定关闭对话框。
      注意：图像A（底层）的渲染以白色显示，并由红色边界框包围；图像B（叠加）的渲染以黄色显示，并由黄色边界框包围。
    4. 目视检查成像设备及模体放置方法是否满足自洽性要求。模体（或根据成像模态对应的示踪剂）应在底层和叠加图像中完全对齐，黄色渲染应为白色渲染的子集。
      ​注意：黄色边界框应更小且位于红色边界框之内。参见“代表性结果”部分中的图示示例。若对齐不符合要求，请参考讨论部分中关于常见放置问题及故障排除的说明。

3. 差分变换的计算

  1. 加载两种模态的图像。
    1. 打开分析软件。
    2. 将CT图像A作为底层图像加载：菜单 文件 > 底层图像 > 加载底层图像。在随后的对话框中选择图像文件并点击打开。
    3. 将PET图像A作为叠加图像加载：菜单 文件 > 叠加图像 > 加载叠加图像。在随后的对话框中选择图像文件并点击打开。
    4. 显示多个切片视图：按下[Alt + A]、[Alt + S]和[Alt + C]以分别显示轴向、矢状向和冠状向切片视图。
      注：尽管从技术上讲，仅一个平面即可用于定位标记点，但同时查看所有平面有助于更好地定向并加快导航速度。
  2. 执行基于标记的融合。
    注：步骤3.2和步骤3.3是用于对齐底层图像和叠加图像的两种替代方法。建议首先尝试步骤3.2，因其更易于重复且可能更精确。若无法清晰识别足够数量的标记点，则采用步骤3.3作为备选方案。
    1. 切换视图以仅显示底层图像：菜单 视图 > 图层设置 > 图层可见性 > 取消勾选叠加图像；菜单 视图 > 图层设置 > 图层可见性 > 勾选底层图像。
    2. 将选定图层切换至底层图像。
    3. 如有必要，调整窗宽窗位：按下[Ctrl + W]，并在随后的对话框中调节左右垂直滑块以更清晰地观察标记点。点击确定关闭对话框。
    4. 通过点击左侧垂直工具栏上的标记图标，激活鼠标操作模式"创建标记"。此时鼠标指针将显示为标记符号。
    5. 对模体的每个标记点执行以下操作：导航至某一标记点。为此，将鼠标指针置于某一平面视图上，并使用[Alt + 鼠标滚轮]在不同切片间切换。将鼠标指针置于标记点中心并单击左键。
      1. 此时将弹出一个对话框，软件会建议一个带连续编号的名称。保留建议的名称，例如"Marker001"，然后点击确定保存标记。
        注：如果在叠加图像中使用相同的标记名称，则可使用不同的名称。
    6. 调整显示设置以显示叠加图像：菜单 视图 > 图层设置 > 图层可见性 > 勾选叠加图像。
      注：建议保持底层图像视图处于激活状态，这有助于维持空间定向并确保在两种模态中正确识别对应的标记点。如果两种模态严重不同步或叠加图像造成干扰，可将其关闭：菜单 视图 > 图层设置 > 图层可见性 > 取消勾选底层图像。
    7. 将选定图层切换至叠加图像。
    8. 调整窗宽窗位：如果标记点不够清晰，按下[Ctrl + W]，并在随后的对话框中调节左右垂直滑块，以尽可能清晰地定位标记点。点击确定关闭对话框。
    9. 对模体的每个标记点执行以下操作：导航至某一标记点。为此，将鼠标指针置于某一平面视图上，并使用[Alt + 鼠标滚轮]在不同切片间切换。将鼠标指针置于标记点中心并单击左键。
      1. 此时将弹出一个对话框，软件会建议一个带连续编号的名称。保留建议的名称并点击确定保存标记。
        注：确保底层图像和叠加图像中配对的软件标记具有相同的名称。若保留建议名称并在两种模态中按相同顺序创建标记，则可保证名称一致。若更改名称，需确保其一一对应。
    10. 激活两个图层的显示：菜单 视图 > 图层设置 > 图层可见性 > 勾选底层图像；菜单 视图 > 图层设置 > 图层可见性 > 勾选叠加图像。
    11. 对齐底层图像与叠加图像中的标记点：菜单 融合 > 将叠加图像配准到底层图像 > 计算旋转和平移（基于标记点）。随后的对话框将显示融合残差。记录该数值并点击确定。
    12. 检查对齐结果：底层图像和叠加图像中的标记点应视觉上重合。有关融合残差的准确性问题及故障排除，请参见讨论部分。
      注：叠加图像的变换参数已被修改。要查看新叠加图像变换的详细信息，请按下[Ctrl + I]。
  3. 若无法进行基于标记的融合，则执行交互式融合。若已完成步骤3.2，可直接进入步骤3.4。
    1. 激活两个图层的显示：菜单 视图 > 图层设置 > 图层可见性 > 勾选底层图像；菜单 视图 > 图层设置 > 图层可见性 > 勾选叠加图像。
    2. 通过点击左侧垂直工具栏上的图标，激活鼠标模式"交互式图像融合"。该图标由三个偏移的椭圆组成，中心有一个点。此时鼠标指针将显示为此图标。
    3. 确保鼠标模式的设置工具栏出现在主工具栏下方的上方区域。其中有三个复选框，分别对应底层图像、叠加图像和分割。勾选叠加图像，取消勾选底层图像和分割。
    4. 交互式地将叠加图像与底层图像对齐：在不同视图中执行旋转和平移操作，使底层图像与叠加图像尽可能对齐：
      1. 旋转：将鼠标指针移至视图边缘附近（轴向、冠状向或矢状向），此时鼠标指针符号将被一个箭头包围。按住鼠标左键并移动鼠标以旋转叠加图像。
      2. 平移： 将鼠标指针移至视图中心附近，此时鼠标指针无箭头包围。按住鼠标左键并移动鼠标以平移叠加图像。
  4. 创建并保存差分变换：菜单 融合 > 叠加图像变换 > 创建并保存差分变换。在随后的对话框中选择原始叠加图像文件并点击打开。在第二个对话框中输入差分变换的文件名，然后点击保存。
    ​注：软件需要原始叠加图像文件以读取原始变换参数，进而计算差分变换。建议将差分变换矩阵保存为能明确标识所用成像设备的文件名。

4. 生产成像

  1. 在两种成像设备中进行扫描。
    1. 将样本（如一只已麻醉的实验动物）固定在载物台上。
      注意：两次扫描之间必须确保样品在载体中的位置保持不变。 
    2. 将载物台放入CT设备中，确保其放置方式与校准扫描时保持一致。
    3. 按照设备制造商的说明进行扫描。
    4. 将载物台放入PET设备中。确保载物台的放置方式与校准扫描时保持一致。
    5. 按照设备制造商的说明进行扫描。
  2. 进行微分变换的应用。
    1. 打开分析软件。
    2. 加载CT文件作为底层图像： 菜单 文件 > 底层 > 加载底层在随后的对话框中，选择CT图像文件并按下 好的.
    3. 加载PET文件作为叠加图像： 菜单 文件 > 覆盖 > 加载覆盖层在随后的对话框中，选择 PET 图像文件并按下 好的.
    4. 激活两个图层的视图： 菜单视图 > 图层设置 > 图层可见性 > 检查 底层；菜单视图 > 图层设置 > 图层可见性 > 检查 叠加.
    5. 加载并应用先前保存的微分变换矩阵： 菜单 > 融合 > 覆盖转化 > 加载并应用变换选择在标定过程中保存的包含微分变换矩阵的文件，然后点击打开。
      注意：此步骤会更改叠加图像的元数据。
    6. 保存修改后的叠加图像： 菜单 > 文件 > 覆盖 > 保存叠加图像在随后的对话框中，输入名称并点击 保存.
      注意：建议保留未经修改的原始数据，因此应将叠加结果另存为新名称。

结果

图3 和 图4 展示了一个在CT中可见的模体示例，该模体包含充满示踪剂的管状空腔，本例中用于SPECT。所使用的模体和示踪剂列于材料表中。

该方案的第2步概述了校准扫描，并验证每台成像设备的自洽性。对于每台设备，采用不同视野的两次扫描所生成的图像应相互吻合。因此，黄色所示的图像B应为白色所示的图像A的一个子集。图中以CT为例进行了展示（图3A）。基于示踪剂的成像模式（如PET或SPECT）通常采用容积渲染进行可视化（图3B）。然而，等值面渲染（Iso渲染）更便于进行位置比较。因此，无论使用何种成像模式，该方案均要求用户将底层和叠加层切换为等值面渲染。因此，在SPECT示例中，黄色渲染区域也应为白色渲染区域的一个子集（图3C）。在所有情况下，黄色边界框应更小，并位于红色边界框之内。如果对位不一致，相关讨论将指出常见的放置问题，并提供相应的故障排除建议。

该方案的第3步描述了如何利用基准标记确定两种模态之间的差异性转换。由于基于示踪剂的模态成像中，示踪剂以体积形式存在，用户必须确定合适的点作为（点状）基准标记。在图4中，将模体的CT图像作为底层加载，SPECT图像也作为底层加载。如图4A-C所示，在轴向、冠状和矢状视图中，选择模体内管道弯曲处的中心作为CT底层的基准标记。需要在覆盖层中标记出对应的点，如图4D-F所示的轴向、冠状和矢状视图所示。软件现在可计算并将差异性转换应用于覆盖层。这使得两种模态中的标记对齐，如图4G、H所示。

CT 和 SPECT 扫描图像；三维重建，不同视野范围，MIP 和 ISO 技术，成像分析。
图 3：显示自一致性的图像。（A）CT 体积图像。本方案第 2.4 步要求检查图像配准情况。根据方案中的步骤，底层渲染为白色，而叠加层及其边界框渲染为黄色。两层图像已对齐（此处，第二次扫描通过第一次扫描的裁剪副本模拟）。（B）填充示踪剂的模体的 SPECT 成像。采用 NIH 色彩表进行体积重建。（C）SPECT 图像的 ISO 渲染模式。底层渲染为白色，叠加层及其边界框渲染为黄色。两层图像已对齐（此处，第二次扫描通过第一次扫描的裁剪副本模拟）。请点击此处查看该图的放大版本。

医学图像配准过程；轴向、冠状、矢状视图；融合分析的标记叠加。
图 4：CT 与 SPECT 图像中标志物的放置。将模体的 CT 图像作为底层载入。SPECT 图像作为叠加层载入，并使用 NIH 色彩表进行渲染。（A-C）本方案的步骤 3.2 要求在底层图像中放置标志物。选择模体内管道弯曲的中心作为基准点，并在此处放置 Marker001，如轴向、冠状和矢状视图中的红点所示。（D-F）在叠加层中放置对应的标志物。（G）变换后的轴向视图。（H）融合模态的三维视图。采用最大强度投影渲染，使模体内的 SPECT 示踪剂可见。请点击此处查看该图的放大版本。

讨论

提出了一种无需标记物即可实现多模态图像配准的生产扫描方法。该基于模体的方法可在两种成像模态的坐标系之间生成差异性变换。

融合残差与验证差异性转换
在计算差异性转换后，软件会以毫米为单位显示一个融合残差，表示转换的均方根误差19。如果该残差超过体素尺寸的数量级，则建议检查数据集是否存在普遍问题。然而，由于所有图像均存在轻微畸变，残差无法无限减小，它仅反映所用标记点的匹配程度。例如，在相同数据集上，使用三个标记点的配准可能比使用四个分布良好的标记点产生更小的残差。这是因为当使用的基准标记较少时，标记点本身可能出现过拟合现象。随着标记点数量的增加，整个数据集范围内的配准精度将提高。

该方法的定量准确性取决于所使用的特定设备组合。可通过以下步骤验证两个设备坐标系之间的计算所得微分变换：遵循方案的第4步，但再次使用带有基准标记的模体作为“样本”；将模体置于任意位置，确保其位置与估计微分变换时所用的位置不同；如果条件允许，也可使用适用于相应成像模式的其他模体。接下来，应用先前确定的微分变换（步骤4.2.5）以实现两种成像模式的配准。然后，按照方案第3.2步在两种成像模式的图像上放置标记。为计算这些标记的融合残差，请点击 菜单融合 > 将覆层注册到底层 > 显示残差评分。

残差误差描述了信号的平均错位程度，其大小应在体素尺寸的数量级范围内。具体的可接受阈值取决于具体应用，可能受多种因素影响，例如成像系统的刚性和准确性，但也可能受到图像重建伪影的影响。

自洽性问题排查
自洽性问题通常源于不可靠的放置方式。一个常见错误是将载物台横向反向放置。理想情况下，应仅允许载物台沿单一方向机械插入成像设备。如果无法实现，则应为用户提供清晰易懂的标记。另一个常见问题是载物台在纵向轴上可能发生移动，导致轴向定位不可靠。建议使用可在一端固定的垫片，以确保小鼠床位置稳固。定制垫片可通过3D打印快速简便地制作。然而，某些设备在视野变化时无法保证自洽性。在此类情况下，建议联系设备供应商，由其确认是否存在不兼容问题，并可能在未来的更新中予以解决。否则，只要在所有扫描过程中（包括校准和正式成像）保持相同的视野，该方法仍然是可靠的。

对于某些因放置位置偏差而进行的生产扫描，若可识别出足够的载体结构，则可将其转换至校准位置。对于 体内 成像过程中，麻醉后的动物必须始终保持在同一个载具中，而构建一种能够同时牢固适配两种设备的单一载具并不总能实现。通常情况下，会使用适用于示踪剂成像模态的小鼠床，再将其临时调整安置到CT设备中。例如，在 图 5A由于机械限制，将MPI小鼠床置于CT小鼠床上。这种放置方式存在轴向间隙和滚动可能，导致定位不可靠。在此情况下，建议设计一种适配器，取代下层小鼠床，实现上下床体的互锁配合。例如，可在下部结构上安装耳轴，并在上层小鼠床底部增加相应的孔位。

然而，由于在CT图像中可以识别出小鼠床，因此有可能对已有图像进行回顾性校正。该方案需要先进行校准扫描，然后计算叠加图像相对于底层图像的差异性变换。操作流程类似，但还必须利用小鼠床的结构作为解剖标志点，将每一次实际获取的CT扫描图像与校准扫描图像进行映射。

小鼠定位、图像配准、变换及多模态融合的CT扫描示意图
图 5：定位问题的故障排除。（A）MPI小鼠床放置在CT小鼠床之上，因此在CT中的位置无法可靠重现。通过将每幅CT图像与用于估计差分变换的参考CT图像进行融合，可实现自洽性。（B-D）简化为二维示意图。（B）将每幅实际采集的CT图像作为叠加层载入，并利用CT中可见的小鼠床结构，将其配准至参考CT图像（底层）。校正后的实际CT图像现在与参考CT图像一致，可结合差分变换T使用。（C）利用模体的定位标记，将MPI叠加图像配准至参考CT图像。（D）多模态图像完成组装。为此，每幅CT图像通过其各自的差分变换映射至参考位置；随后，MPI叠加图像也使用适用于该设备所有图像的差分变换注册至参考位置。请点击此处查看该图的放大版本。

为了将生产用 CT 扫描图像映射到校准扫描图像，请参考本方案的第 3 节，并结合以下修改。为便于说明，以下描述继续以 CT 底图与 MPI 叠加图为例：在步骤 3.1 中，将 CT 校准扫描图像（图像 A）作为底图载入，将待校正的 CT 扫描图像作为叠加图载入。利用 MPI 小鼠床的结构作为步骤 3.2 的标记物，或作为步骤 3.3 的视觉参考。跳过步骤 3.4，但需保存叠加图以表示校正后的 CT 体积（菜单 文件 > 叠加图 > 将叠加图另存为）。在随后弹出的对话框中输入新名称，然后点击 保存。通过导航至 菜单 文件 > 叠加图 > 关闭叠加图 来关闭当前叠加图。将下一个需要校正的 CT 扫描图像作为叠加图载入，并从方案的步骤 3.2 继续操作。该步骤背后的概念如 图 5B 所示。

在所有最近保存的CT体积数据中，小鼠床现在已几乎与校准扫描在所有方面对齐。作为标准流程的一部分，使用微分变换T将校准扫描配准到MPI图像上（图5C）。随后在合并CT图像与MPI时，始终使用经过校正的CT体积数据（图5D）。

解决图像翻转和缩放问题
本文介绍的配准方法假设图像质量较为准确，仅对旋转和平移进行调整。该方法无法校正翻转的图像或不正确的缩放。然而，这两个问题可在计算差异变换之前手动解决。

不同制造商的数据格式不一致，可能导致某些数据集（尤其是 DICOM 格式的数据）在软件中显示为镜像翻转。由于模体和小鼠床通常具有对称性，这一问题可能不会立即显现。当扫描图像中包含相应成像模式下可识别的文字时，更容易发现图像是否被翻转，例如在 图 3H 所示模体中可见的凸起文字，其方向为正确朝向。在 图 6 所示的示例中，CT 数据被加载为底层，MPI 数据被加载为叠加层。该图像为一只小鼠置于带有定位标记物的 MPI 小鼠床上进行的在体扫描。MPI 小鼠床放置在一个 µCT 小鼠床之上（图 6A）。若按照操作规程，并在底层和叠加层中以一致的旋转方向标记定位点，则会出现明显不匹配的结果（图 6B）。然而，通过仔细检查，可以识别出该问题。这些定位点构成一个非对称三角形。在轴向视图中（图 6C、D），观察三角形边长从最短、中等到最长的顺序，CT 数据中呈现顺时针旋转，而 MPI 数据中则呈现逆时针旋转。这表明其中一幅图像发生了横向翻转。在此情况下，我们假设 CT 数据是准确的。为了校正 MPI 叠加图像，需对图像进行翻转：操作时，将选定图层切换至叠加层，然后点击 菜单 编辑 > 翻转 > 翻转 X。软件计算出的差异变换已包含所有必要的旋转参数，因此即使图像看似在其他方向上被翻转，“翻转 X”也已足够。

CT 与 MPI 叠加示意图；带标记的配准分析；测量配准精度。
图 6：配准转换的故障排除。 CT 数据以体素尺寸 0.240 mm 作为底层载入，MPI 数据以体素尺寸 0.249 mm 作为叠加层载入。小鼠床包含定位标记。(A) 未校正叠加图像的三维视图。CT 底层中的定位标记用箭头指示。MPI 叠加层中的定位标记在 NIH 颜色表中显示为球形。(B) 未进行适当校正时执行转换所得到的错配结果。融合残差 = 6.94 mm。(C) 测量 CT 中定位标记之间的距离。按顺时针方向从最短到最长距离排列。(D) 测量 MPI 中定位标记之间的距离。按逆时针方向从最短到最长距离排列。与 CT 测量结果比较，得出缩放因子为 0.928774。(E) 经翻转和缩放校正后的叠加图像。(F) 配准成功转换后的三维视图。(G) 配准成功转换后的轴向视图。融合残差 = 0.528 mm。 请点击此处查看该图的放大版本。

具有不正确体素尺寸的数据集也可以手动校正。由于模体的尺寸应为已知，因此可以在图像中进行验证。最简单的方法是使用已知长度的边缘。按住 [Ctrl + 右键] 并在边缘的一端点击，然后在按住鼠标按钮的同时将鼠标指针移动到边缘的另一端，随后松开按钮。在弹出的对话框中，软件会显示图像中所测距离的长度。如 图6 所示，在比较两种模态下标记点之间的距离时，可以明显看出尺寸并不一致（图6C、D）。此处仍假设CT数据是准确的。为了调整缩放比例，需计算一个缩放因子（SF）。由于各三角形边长的比值（CT/MPI）并非完全相同，因此取平均商值：SF = ((l1CT/l1MPI) + (l2CT/l2MPI) + (l2CT/l2MPI)) / 3。

随后，通过将每个维度乘以 SF 来调整叠加层的体素大小。为此，请将选定图层切换为叠加层并打开 菜单 编辑 > 改变体素尺寸. 计算每个维度，输入数值，然后单击 好的两种校正方法的结果如图所示 图6E随后，根据方案将覆盖图像与底层图像进行配准。最终的配准结果如图所示。 图6F，G虽然这为校正现有扫描提供了一种快速解决方案，但我们建议在生产使用中对成像设备进行校准。

局限性
该方法仅适用于由立方体形体素构成的现有体数据的空间共配准。它不包含从成像设备生成的原始数据（例如CT中的投影）计算体积的重建过程。与此步骤相关的各种图像增强技术包括迭代方法20,21以及人工智能的应用21。尽管所述方法原则上可应用于所有产生具有立方体形体素的三维图像的成像模态，但它不能用于将三维数据与二维数据融合，例如MRI体积数据与二维红外热成像22或荧光成像的结合，而后者在图像引导手术应用中可能具有重要意义。三维数据的配准无法校正诸如MRI图像在线圈边缘处发生的畸变等问题。虽然并非必需，但在重建过程中校正这些畸变可获得最佳结果。自动变换也无法解决图像翻转或比例尺错误的问题。然而，这两个问题可通过本方案故障排除部分所述的手动方法予以解决。

该方法的意义
该方法消除了在常规扫描中使用标记物的需要，具有多项优势。它特别适用于那些需要维护或频繁更换标记物的成像方式。例如，大多数 MRI 标记物依赖于水分，但会随着时间推移逐渐干燥；而放射性 PET 标记物则会发生衰变。通过在常规扫描中去除对标记物的依赖，可缩小扫描视野，从而缩短采集时间。这在高通量实验环境中有助于降低成本，并减少 CT 扫描中的 X 射线剂量。降低辐射剂量尤为重要，因为在纵向成像研究中，辐射可能影响实验动物的生物学通路23。

此外，该方法并不局限于特定的成像模式。这种灵活性的代价是自动化步骤较少。一种先前发表的融合 µCT 与 FMT 数据的方法，在每次扫描时均利用小鼠载物床上的内置标记物，可在重建过程中实现自动标记检测与畸变校正24。其他方法则通过利用图像相似性来消除对标记物的需求。尽管该方法能够获得良好的效果，并同样可校正畸变25，但其仅适用于两种成像模式提供足够相似图像的情况。而在解剖结构细节丰富的成像模式与基于示踪剂的成像模式组合中，通常并不满足这一条件。然而，此类组合对于评估靶向药物的药代动力学至关重要26，而靶向药物在诸如抗癌纳米治疗等领域具有重要应用27, 28。

由于在临床前研究中的质量控制比临床应用中的要求更宽松，因此成像设备组合时的错位问题已被广泛认知29。通过扫描模体并确定差异性变换，可对受此错位影响的数据进行回顾性校正，从而可能降低成本并减少对动物的伤害。除了使用定位标记物计算差异性变换并将其应用于常规扫描的已验证方法外，本文还描述并采用了其他多种图像融合方法。有关各种可用软件的综述可参见Birkfellner等人的研究30。

综上所述，本方法为多模态图像配准提供了一种有效的解决方案。该方案可轻松适用于多种成像模式，且所提供的故障排除技术增强了方法对常见问题的鲁棒性。

披露

FG 是格雷姆泽信息技术有限公司（Gremse-IT GmbH）的所有者，该公司是亚琛工业大学（RWTH Aachen University）的衍生企业，致力于生物医学图像分析软件的商业化。J. J 是幻体科技有限责任公司（Phantech LLC）的共同所有者，该公司致力于分子成像用模体（phantom）的商业化。其余作者声明，本研究在不存在任何可能被解释为潜在利益冲突的商业或财务关系的情况下进行。M. T 撰写了原始稿件。J. J 完成了文章中展示的具有代表性的 CT/SPECT 扫描。B. S 和 Y. Z 完成了文章中具有代表性的 CT/MPI 扫描。F. G 监督了本研究并修订了文章。所有作者均对本文做出了贡献，并批准了提交的版本。

致谢

作者感谢北莱茵-威斯特法伦州联邦政府、欧洲联盟（欧洲区域发展基金）、德国研究基金会（CRC1382 项目编号 403224013 - SFB 1382，项目 Q1）提供的经费支持。

材料

本文使用的材料清单
姓名公司目录编号评论
177Lu放射性示踪剂
定制化 MPI 小鼠实验床
霍特·罗德·德雷恩佐 Phantech LLC. Madison, WI, 美国D271626线性填充通道德伦佐模体
Imalytics Preclinical 3.0Gremse-IT有限公司，德国亚琛分析软件
Magnetic InsightMagnetic Insight 公司，阿拉米达，加利福尼亚州，美国MPI成像设备
Quantum GX microCTPerkinElmerµCT成像设备
U-SPECT/CT-UHRMILabs B.V., CD  荷兰豪滕CT/SPECT 成像设备
VivoTrax（5.5 Fe mg/mL）Magnetic Insight 公司，阿拉米达，加利福尼亚州，美国MIVT01-LOT00004MPI 标记物

参考文献

  1. Hage, C., et al. Characterizing responsive and refractory orthotopic mouse models of hepatocellular carcinoma in cancer immunotherapy. PLOS ONE. 14 (7), (2019).
  2. Mannheim, J. G., et al. Comparison of small animal CT contrast agents. Contrast Media & Molecular Imaging. 11 (4), 272-284 (2016).
  3. Kampschulte, M., et al. Nano-computed tomography: technique and applications. RöFo - Fortschritte auf dem Gebiet der Röntgenstrahlen und der bildgebenden Verfahren. 188 (2), 146-154 (2016).
  4. Wang, X., Jacobs, M., Fayad, L. Therapeutic response in musculoskeletal soft tissue sarcomas: evaluation by magnetic resonance imaging. NMR in Biomedicine. 24 (6), 750-763 (2011).
  5. Hage, C., et al. Comparison of the accuracy of FMT/CT and PET/MRI for the assessment of Antibody biodistribution in squamous cell carcinoma xenografts. Journal of Nuclear Medicine: Official Publication, Society of Nuclear Medicine. 59 (1), 44-50 (2018).
  6. Borgert, J., et al. Fundamentals and applications of magnetic particle imaging. Journal of Cardiovascular Computed Tomography. 6 (3), 149-153 (2012).
  7. Vermeulen, I., Isin, E. M., Barton, P., Cillero-Pastor, B., Heeren, R. M. A. Multimodal molecular imaging in drug discovery and development. Drug Discovery Today. 27 (8), 2086-2099 (2022).
  8. Liu, Y. -H., et al. Accuracy and reproducibility of absolute quantification of myocardial focal tracer uptake from molecularly targeted SPECT/CT: A canine validation. Journal of Nuclear Medicine Official Publication, Society of Nuclear Medicine. 52 (3), 453-460 (2011).
  9. Zhang, Y. -D., et al. Advances in multimodal data fusion in neuroimaging: Overview, challenges, and novel orientation. An International Journal on Information Fusion. 64, 149-187 (2020).
  10. Nahrendorf, M., et al. Hybrid PET-optical imaging using targeted probes. Proceedings of the National Academy of Sciences. 107 (17), 7910-7915 (2010).
  11. Zhang, S., et al. In vivo co-registered hybrid-contrast imaging by successive photoacoustic tomography and magnetic resonance imaging. Photoacoustics. 31, 100506(2023).
  12. Yamoah, G. G., et al. Data curation for preclinical and clinical multimodal imaging studies. Molecular Imaging and Biology. 21 (6), 1034-1043 (2019).
  13. Schönemann, P. H. A generalized solution of the orthogonal procrustes problem. Psychometrika. 31 (1), 1-10 (1966).
  14. Filippou, V., Tsoumpas, C. Recent advances on the development of phantoms using 3D printing for imaging with CT, MRI, PET, SPECT, and ultrasound. Medical Physics. 45 (9), e740-e760 (2018).
  15. Gear, J. I., et al. Radioactive 3D printing for the production of molecular imaging phantoms. Physics in Medicine and Biology. 65 (17), 175019(2020).
  16. Sra, J. Cardiac image integration implications for atrial fibrillation ablation. Journal of Interventional Cardiac Electrophysiology: An International Journal of Arrhythmias and Pacing. 22 (2), 145-154 (2008).
  17. Zhao, H., et al. Reproducibility and radiation effect of high-resolution in vivo micro computed tomography imaging of the mouse lumbar vertebra and long bone. Annals of Biomedical Engineering. 48 (1), 157-168 (2020).
  18. Gremse, F., et al. Imalytics preclinical: interactive analysis of biomedical volume data. Theranostics. 6 (3), 328-341 (2016).
  19. Willmott, C. J., Matsuura, K. On the use of dimensioned measures of error to evaluate the performance of spatial interpolators. International Journal of Geographical Information Science. 20 (1), 89-102 (2006).
  20. Thamm, M., et al. Intrinsic respiratory gating for simultaneous multi-mouse µCT imaging to assess liver tumors. Frontiers in Medicine. 9, 878966(2022).
  21. La Riviere, P. J., Crawford, C. R. From EMI to AI: a brief history of commercial CT reconstruction algorithms. Journal of Medical Imaging. 8 (5), 052111(2021).
  22. Hoffmann, N., et al. Framework for 2D-3D image fusion of infrared thermography with preoperative MRI. Biomedical Engineering / Biomedizinische Technik. 62 (6), 599-607 (2017).
  23. Boone, J. M., Velazquez, O., Cherry, S. R. Small-animal X-ray dose from micro-CT. Molecular Imaging. 3 (3), 149-158 (2004).
  24. Gremse, F., et al. Hybrid µCt-Fmt imaging and image analysis. Journal of Visualized Experiments. 100, e52770(2015).
  25. Bhushan, C., et al. Co-registration and distortion correction of diffusion and anatomical images based on inverse contrast normalization. NeuroImage. 115, 269-280 (2015).
  26. Lee, S. Y., Jeon, S. I., Jung, S., Chung, I. J., Ahn, C. -H. Targeted multimodal imaging modalities. Advanced Drug Delivery Reviews. 76, 60-78 (2014).
  27. Dasgupta, A., Biancacci, I., Kiessling, F., Lammers, T. Imaging-assisted anticancer nanotherapy. Theranostics. 10 (3), 956-967 (2020).
  28. Zhu, X., Li, J., Peng, P., Hosseini Nassab, N., Smith, B. R. Quantitative drug release monitoring in tumors of living subjects by magnetic particle imaging nanocomposite. Nano Letters. 19 (10), 6725-6733 (2019).
  29. McDougald, W. A., Mannheim, J. G. Understanding the importance of quality control and quality assurance in preclinical PET/CT imaging. EJNMMI Physics. 9 (1), 77(2022).
  30. Birkfellner, W., et al. Multi-modality imaging: a software fusion and image-guided therapy perspective. Frontiers in Physics. 6, 00066(2018).

重印与许可

标签

多模态跨设备无标记前临床成像技术的共配准
联系我们
向图书馆推荐

隐私

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。