Summary
本研究介绍了早期多发性肺结节患者整个肺的三维 （3D） 重建方法。它提供了结节分布及其与肺组织相互作用的全面可视化，简化了这些患者的诊断和预后评估。
Abstract
对于早期多发性肺结节患者，从诊断的角度来看，必须确定这些结节在整个肺部的空间分布、大小、位置以及与周围肺组织的关系。这对于识别原发病变和为医生制定更有科学依据的治疗计划至关重要。然而，基于机器视觉的模式识别方法容易受到假阳性和假阴性的影响，因此不能完全满足这方面的临床需求。基于最大强度投影（MIP）的可视化方法可以更好地说明局部和单个肺结节，但缺乏对多个肺结节分布和空间特征的宏观和整体描述。
因此，本研究提出了一种全肺三维重建方法。它使用医学图像处理技术在整个肺部的背景下提取肺部的 3D 轮廓，并在 3D 空间中对肺、肺动脉和多个肺结节进行 3D 重建。该方法能够全面刻画全肺多发性结节的空间分布和放射学特征，为评估多发性肺结节的诊断和预后提供了一种简单方便的手段。
Introduction
早期多发性肺结节是肺部的小而圆形的生长物，可以是良性的，也可以是恶性的 1,2,3。虽然孤立性肺结节更容易诊断和治疗，但早期多发性肺结节患者面临着重大的诊断和治疗挑战。为了制定有效的治疗计划，必须准确识别这些结节在整个肺中的空间分布、大小、位置以及与周围肺组织的关系 4,5。传统的诊断方法在准确识别早期多发性肺结节方面存在局限性。
医学图像处理技术和机器学习算法的最新进展有可能提高早期肺结节检测和诊断的准确性和效率。已经提出了各种方法，例如基于机器视觉的模式识别方法和基于最大强度投影 （MIP） 的可视化方法6,7,8,9,10。然而，这些方法存在一些局限性，例如假阳性、假阴性11、12、13、14、15，以及缺乏对早期多发性肺结节分布和空间特征的宏观和整体描述。
为了解决这些局限性，本研究提出了一种全肺三维重建方法，该方法利用医学图像处理技术在全胸部扫描的背景下提取肺部的三维轮廓。然后，该方法在 3D 空间中对肺、肺动脉和早期多发性肺结节进行 3D 重建。这种方法可以更全面、更准确地表示整个肺部早期多发性结节的空间分布和放射学特征。
所提出的方法涉及几个关键步骤。首先，将医学图像导入到3D图像处理软件中，并使用基于阈值的分割技术提取肺部区域;随后，将提取的肺区域与周围的胸壁和胸椎的骨结构分开。然后使用最大强度投影 （MIP） 算法在 3D 空间中重建早期多发性肺结节及其与周围血管的关系。最后，显示重建的肺、肺动脉和结节的三维模型，以供进一步分析。
与现有方法相比，该方法具有几个优点。与依赖 2D 图像的传统方法不同，该方法利用 3D 体积来更准确、更全面地表示早期多发性肺结节。该方法还克服了与模式识别方法和MIP可视化方法相关的误报和漏报的局限性。此外，该方法对早期多发性肺结节的分布和空间特征进行了宏观和整体的描述，这对于制定有效的治疗方案至关重要。
该方法在早期多发性肺结节的诊断和治疗中具有多种潜在应用。准确识别早期多发性结节的空间分布和放射学特征，有助于肺癌的早期诊断和治疗。此外，该方法可用于监测疾病的进展并评估治疗计划的有效性。
基于机器视觉的模式识别方法6、7、8 在识别肺结节方面显示出前景，但存在假阳性和假阴性等局限性。另一方面，MIP可视化方法提供了更准确的单个结节表示，但缺乏对早期多发性结节的分布和空间特征的宏观和整体描述。所提出的全肺3D重建方法克服了这些局限性，并提供了更准确和全面的早期多发性肺结节表示。
等素变换16,17 是指将具有不同体素大小的 3D 图像转换为具有均匀体素大小的 3D 图像的过程。在医学图像处理领域，3D 体积通常由不同大小的体素组成，这可能导致计算和可视化问题。等体素变换的目的是通过对原始 3D 体积中的体素进行重新采样和插值来解决这些问题，从而生成具有一致体素大小的新 3D 图像。该技术在各种医疗环境中都有应用，包括图像配准、分割和可视化。因此，本研究提出了一种全肺三维重建方法，利用医学图像处理技术，在全胸部扫描的背景下提取肺部的三维轮廓。该方法可以更准确、更全面地表示整个肺早期多发性结节的空间分布和放射学特征。本研究有助于为早期多发性肺结节患者制定更准确、更有效的诊断和治疗策略。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
本研究获得北京中医药大学附属东直门医院伦理委员会（DZMEC-KY-2019.90）的伦理审查。在这个特定病例中，提供了对研究方法的有条不紊的描述，概述了一个涉及一名患有多发性肺结节的 65 岁女性患者的病例。该患者通过数字建模为她的诊断提供了知情同意书，并授权将她的数据用于科学研究目的。模型重建功能源自市售软件工具（参见 材料表）。
1. 数据准备和等体素变换
- DICOM（医学数字成像和通信）数据准备和数据属性
注：参数的变化相对不受研究方法的影响。- 将患者的 DICOM 数据复制到定义的工作目录。
- 使用文件浏览器检查每个文件目录，以识别具有最多扫描层数的图像序列以进行分析。
- 通过提供 DICOM 文件作为输入参数，在 MATLAB 中使用 Dicominfo 函数。这将使您能够直接在 MATLAB 环境中提取基本参数，例如切片厚度和像素间距。
注意：这些参数在配置 3D 体积的显示速率时非常重要。在本研究中使用的数据集中，切片厚度为 1 mm，像素间距相当于 0.7188 mm，总共扫描了 387 层。
- 正确排序扫描数据
注意：对于体积构造，应对每个图像的顺序进行排序。- 使用 Dicominfo 函数检索每个图像的位置数据。通过引用信息来访问位置 信息。MATLAB 工作区中的 SliceLocation 。
- 使用 SliceLocation 函数将位置数据保存到变量中，并为其生成绘图（图 1）。
- 通过使用位于 GUI 右上角的 “数据提示 ”按钮向其添加数据点来增强绘图。该数据点应标记正常序列的最大位置，该位置对应于患者成像中的最顶层位置（图1）。
- 通过对图像进行排序来组织所有图像，然后提取从第一个位置到最大位置的图像。通过调用 VolumeResort 函数来实现此目的。
- 保护由 512 像素 x 512 像素 x 340 层组成的体积数据，使其免受有效图像及其排序索引的影响。这些信息对将来的参考很有价值，特别是在识别重要结节方面。
- 异戊菌素转化
注意：3D Isovoxel 变换允许后续处理在所有维度上保持相同的显示比例。- 使用 Matlab 中的 size 函数检查 3D 体积的三维比例，即 512 像素 x 512 像素 x 340 层。
- 要使用 Slice_View 命令功能查看 3D 体积（图 2），请记录包含 60 到 340 肺的序列扫描范围。然后，只需使用命令 V1=V0（：，：，60：340） 即可获得包含整个肺所有数据的 3D 体积。V1 的大小为 512 像素 x 512 像素 x 281 层。
- 利用MATLAB命令函数 dicominfo 得到图像序列的切片厚度，为1 mm，像素间距为0.7188。使用以下命令计算等体素变换的 z 轴数： round （281 x 1/0.7188）。等体素变换的层数应为 391。
- 使用 Matlab 命令函数 imresize3 在 V1 上执行等体素变换。使用命令 V2=imresize3（V1， [512， 512， 391]） 执行脚本。然后使用 3D_Slice_View 函数查看等体素变换后的 3D 体积（图 3）。
2. 消除计算机断层扫描（CT）设备造成的噪声干扰
注意：在 图 2 中，代表 CT 设备病床的高强度信号是可见的，这可能会干扰图像分割。为了消除这种干扰，需要空间滤波器设计。
- 利用图 2 中的“数据提示”按钮在交互式界面中添加连续数据点。这将允许人们创建一条连接这些点的线，有效地排除了病人的病床。接下来，右键单击 Data Tips 并选择 Export Cursor Data to Workspace，将空间滤波的参考边界导出到 MATLAB 工作区（图 3）。在这种情况下，边界散射矩阵被命名为“CI”。
- 调用 Noise_Clean 函数，使用工作区中的输入参数“CI”将空间过滤应用于 V2。此操作将产生一个 3D 体积，该体积可消除 CT 设备中的干扰信号。最后，使用 Slice_View 命令函数可视化生成的体积， 如图 4 所示。
3.肺轮廓提取
- 首先，在 图 4 所示的 GUI 中选择一个切片作为模板。例如，为图像分割设计选择第 232 张图像，并使用命令 I=V2（：，：，232） 将其分配给变量“I”。然后，通过执行命令 imageSegmenter（I） 打开 MATLAB Image Segmenter GUI，如图 5 所示。
- 图 5 展示了一系列图像分割工具。首先，从顶部工具栏中选择“自动 聚类 ”工具，然后单击鼠标左键执行命令。图像将自动分为两类。鉴于在步骤 2.2 中执行的去噪过程，此阶段的图像分割变得相对简单。
- 接下来，单击右上角的“显示二进制”按钮以黑白 二进制显示 图像。此时，肺部区域将显示为黑色。要使肺部区域变白，请从顶部工具栏中选择“ 反转蒙版 ”按钮，然后单击鼠标左键执行命令。
- 要消除肺部区域外的白色，请选择顶部工具栏上的 “清除边框 ”按钮，然后用鼠标左键单击执行。完成此步骤后，仅保留白色肺部区域。但是，此时肺部区域内残留的任何黑影都需要填充。为此，选择工具栏中的 Fill Holes 按钮，单击该按钮后的结果如图 6 所示。
- 肺图像分割所涉及的所有步骤都显示在左下角 图 6 的 GUI 中。通过单击右上角的 “导出 ”按钮，将这些自动化步骤保存为批处理肺部区域分割的功能。在弹出的脚本编辑器中，单击“保存”按钮，将函数 保存 在当前工作目录中。
4. 具有多个肺结节的全肺的.3D重建
注：将每张图像的肺分割图像的点积与原始图像一起取，相当于对体积进行3D空间滤波，有效滤除肺外的干扰信号，得到肺的三维结构。
- 在 MATLAB 工作区中启动 3Dlung_Volume 函数。
注意：此功能使用步骤 3.5 的输出对每个图像进行图像分割。然后，它在二元肺掩模和原始图像之间执行点积运算，以生成仅包含肺组织的新 3D 体积。在功能完成后出现的 GUI（图 7）中，可以对整个 3D 肺容积进行可视化和执行最大强度投影 （MIP） 操作。 - 在 GUI 中，找到右上角的第一个下拉菜单。选择“MIP 投影”，然后从下面的“内置颜色图”选项中选择喷射颜色图。接下来，在第四个视图（3D 体积视图）右上角的下拉菜单中，选择最大化。这个动作将产生一个完整的肺3D体积（图8），可以从任何角度观察，根据需要移动和操纵。
注意：在 图 8 所示的人机交互部分中，可以通过按住鼠标左键并移动它来自由调整视角。滚动鼠标中键可以放大或缩小。 - 对于高级对比度和颜色增强操作，请使用 GUI 右侧的控制面板。
5.重点检查优势性肺结节
注意：在3D空间（图8）中，多个肺结节中的主要病变区域变得清晰可见。这些结节的数量、大小和浓度是主要病变的关键特征，为疾病评估提供了有价值的见解。
- 再次调用 Slice_View 函数，但这次输入在步骤 4.2 中获得的整个肺的 3D 体积。在生成的 GUI（图 9）中，使用底部滚动条导航到主要肺结节所在的区域，跨越扫描 48 到 70。
- 继续调用 3Dlung_Horizon 函数对感兴趣区域 （ROI） 进行 3D 重建，包括整个肺 3D 体积中的第 48 至 70 节。此操作将生成一个专为可视化肺结节而定制的 GUI 界面， 如图 10 所示。在此 GUI 中，可以从各个角度探索病变的详细特征。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
在数据预处理阶段，DICOM数据排序应该是第一步（图1），以确保在3D重建过程中每一层的扫描顺序正确。接下来，执行各向同性变换以确保 3D 体积的正确纵横比（图 2）。之后，对原始 3D 体积进行空间滤波（图 3），以消除来自 CT 设备病床的干扰信号（图 4）。为了获得整个肺的3D轮廓，在每次扫描时进行图像分割（图5）以创建二元肺图像（图6）。基于肺部的 3D 轮廓，重建整个肺 3D 体积（图 7）并以 3D 形式可视化（图 8）。对于主要病变区域（图9），可以进行单独的3D可视化（图10）以仔细识别病变的详细特征。
Isovoxel 变换可确保在后续处理过程中在所有维度上保持相同的尺度。 图 2 显示了等体素变换后的切片视图。在此图形用户界面 （GUI） 中，可以查看完整的原始 3D 体积数据。
图 3 和图 4 演示了用于消除 CT 设备床信号干扰的空间滤波过程。否则，具有嘈杂信号的图像就无法在后续步骤中完成肺结构的分割。
图5和图6展示了肺轮廓提取功能，可以自动提取肺部轮廓，为后续肺结构的3D重建提供了基础条件。
图7和图8显示了整个肺的3D重建，揭示了肺组织和多个肺结节的空间分布。通过消除来自肺外组织的信号干扰，可以准确描述多个肺结节的空间位置、大小和浓度。
图 9 和图 10 显示了感兴趣的优势肺结节的 3D 可视化。由于排除了来自肺外的信号干扰，图像的对比度得到了改善。从任何角度观察 3D 结构的能力使医生能够对优势肺结节的病变特征做出更准确的判断。
图 1：图像的位置图。该图根据图像的文件名序列显示图像的位置。请点击这里查看此图的较大版本.
图 2：用于 3D 体积切片视图的 GUI。 图形用户界面 （GUI），用于查看 Isovoxel 变换后的 3D 体积切片。 请点击这里查看此图的较大版本.
图 3：参考边界散射矩阵。 表示用于空间滤波的参考边界散射的矩阵。 请点击这里查看此图的较大版本.
图 4：空间过滤后的 3D 体积切片视图。 应用空间过滤后 3D 体积中的切片视图。 请点击这里查看此图的较大版本.
图 5：图像分割器 GUI。 图像分割器工具的图形用户界面 （GUI）。 请点击这里查看此图的较大版本.
图 6：肺区阴影填充的结果。 使用“填充孔”按钮填充肺部区域的黑色阴影后生成的图像。 请点击这里查看此图的较大版本.
图 7：具有多个肺结节的 3D 肺重建。 整个肺的 3D 重建显示早期多发性肺结节。请点击这里查看此图的较大版本.
图 8：用于 3D 肺容积查看的交互式 GUI。 交互式图形用户界面 （GUI），用于查看和操作整个 3D 肺容积。 请点击这里查看此图的较大版本.
图 9：用于导航主要肺结节区域的切片视图。 切片视图，用于导航整个 3D 肺容积中包含优势肺结节的区域。 请点击这里查看此图的较大版本.
图 10：优势肺结节的 3D 可视化。 肺容积内优势肺结节的三维可视化。 请点击这里查看此图的较大版本.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
这项研究引入了一种独特的方法，用于创建整个肺部的完整三维 （3D） 重建，采用先进的医学图像处理技术在全胸部扫描的背景下描绘肺部的 3D 形状。该技术可以更精确、更全面地描述整个肺部早期多发性结节的空间排列和放射学特征。本研究为提高早期多发性肺结节患者诊断和治疗策略的准确性和有效性做出了宝贵贡献。
关键步骤
在这项研究中，确定了几个关键步骤对于协议的成功至关重要：（1）对DICOM扫描序列坐标进行排序和排列，以生成准确的肺部扫描3D体积（步骤1.2.2）;（2）各向同性变换，以确保3D体积的正确纵横比，这对于后续的3D重建至关重要（步骤1.3.4）;（3）使用早期多发性肺结节模型重建整个肺，从而能够识别主要的肺结节区域（步骤4.1）;（4） 包含主要病灶的局部区域的详细可视化和检查（步骤 5.2）。
修改和故障排除
肺组织结构的分割可能会受到扫描序列中灰度阈值偏移的影响，可能导致某些扫描中的图像分割不准确。在分割不准确的情况下，可以设计一个单独的过滤器（重复步骤3）来获得精确的肺组织轮廓。保持等体素变换的最高精度16,17 对于确保数据的准确利用至关重要。预计这些步骤将在未来变得更加智能和自动化。随着大规模医学成像模型的进步，通过计算机视觉进行精确轮廓识别也是未来发展的重要方向11。
局限性
简化肺轮廓提取的实施可能会导致肺部 3D 轮廓边界处出现错误，从而可能影响肺边缘附近小结节的可视化。然而，在多发性肺结节的情况下，当可视化显性病变区域时，这种限制的影响是最小的。
与现有方法相关的意义
与计算机视觉方法相比，该方法提供了肺组织结构的全面表示，包括多个肺结节与肺组织之间的关系，同时避免了假阳性和假阴性的问题。此外，它能有效地过滤掉来自其他组织结构的信号干扰，从而以增强对比度和清晰度进行更精确和准确的诊断。
未来应用
这种 3D 可视化方法在各种临床应用中具有巨大的潜力，例如促进医患沟通、实现精确诊断、支持数据驱动的循证分类、帮助制定治疗计划和评估预后。它可以协助术前计划，为手术切除多个肺结节提供术中导航，并监测结节大小和形状随时间的变化以评估治疗效果。总体而言，它有能力提高多发性肺结节诊断和治疗的临床决策。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
作者没有要披露的利益冲突。本研究 材料表 中列出的肺结节模型重建软件工具是北京智能熵科技有限公司的商业软件。本软件工具的知识产权归本公司所有。
Acknowledgments
该出版物由国家中医药管理局组织的第五届全国中医药临床优秀人才研究计划资助。官方网络链接 http://www.natcm.gov.cn/renjiaosi/zhengcewenjian/2021-11-04/23082.html。
Materials
| Name | Company | Catalog Number | Comments |
| MATLAB | MathWorks | 2022B | Computing and visualization |
| Tools for Modeling | Intelligent Entropy | PulmonaryNodule V1.0 | Beijing Intelligent Entropy Science & Technology Co Ltd. Modeling for CT/MRI fusion |
References
- Mazzone, P. J., Lam, L. Evaluating the patient with a pulmonary nodule: A review. JAMA. 327 (3), 264-273 (2022).
- MacMahon, H., et al. Guidelines for management of incidental pulmonary nodules detected on ct images: from the fleischner society. Radiology. 284 (1), 228-243 (2017).
- Yankelevitz, D. F., Yip, R., Henschke, C. I. Impact of duration of diagnostic workup on prognosis for early lung cancer. Journal of Thoracic Oncology. 18 (4), 527-537 (2023).
- Zhao, W., et al. PUNDIT: Pulmonary nodule detection with image category transformation. Medical Physics. 50, 2914-2927 (2023).
- Ather, S., Kadir, T., Gleeson, F. Artificial intelligence and radiomics in pulmonary nodule management: current status and future applications. Clinical Radiology. 75 (1), 13-19 (2020).
- Gruden, J. F., et al. Incremental benefit of maximum-intensity-projection images on observer detection of small pulmonary nodules revealed by multidetector CT. American Journal of Roentgenology. 179 (1), 149-157 (2002).
- Guleryuz Kizil, P., et al. Diagnostic importance of maximum intensity projection technique in the identification of small pulmonary nodules with computed tomography. Tuberk Toraks. 68 (1), 35-42 (2020).
- Valencia, R., et al. Value of axial and coronal maximum intensity projection (MIP) images in the detection of pulmonary nodules by multislice spiral CT: comparison with axial 1-mm and 5-mm slices. European Radiology. 16, 325-332 (2006).
- Jabeen, N., et al. Diagnostic accuracy of maximum intensity projection in diagnosis of malignant pulmonary nodules. Cureus. 11 (11), e6120 (2019).
- Naeem, M., et al. Comparison of maximum intensity projection and volume rendering in detecting pulmonary nodules on multidetector computed tomography. Cureus. 13 (3), e14025 (2021).
- Bianconi, F., et al. Comparative evaluation of conventional and deep learning methods for semi-automated segmentation of pulmonary nodules on CT. Quantitative Imaging in Medicine and Surgery. 11 (7), 3286-3305 (2021).
- Christe, A., et al. Computer-aided diagnosis of pulmonary fibrosis using deep learning and CT images. Investigative Radiology. 54 (10), 627-632 (2019).
- Kim, Y., et al. Applications of artificial intelligence in the thorax: a narrative review focusing on thoracic radiology. Journal of Thoracic Disease. 13 (12), 6943-6962 (2021).
- Schreuder, A., et al. Artificial intelligence for detection and characterization of pulmonary nodules in lung cancer CT screening: ready for practice. Translational Lung Cancer Research. 10 (5), 2378-2388 (2021).
- Zheng, S., et al. Automatic pulmonary nodule detection in CT scans using convolutional neural networks based on maximum intensity projection. IEEE Transactions on Medical Imaging. 39 (3), 797-805 (2019).
- Yabuuchi, H., et al. Clinical application of radiation dose reduction for head and neck CT. European Journal of Radiology. 107, 209-215 (2018).
- Rana, B., et al. Regions-of-interest based automated diagnosis of Parkinson's disease using T1-weighted MRI. Expert Systems with Applications. 42 (9), 4506-4516 (2015).
