Summary
本研究的目的是开发一种新的肺结节3D数字模型，作为医生和患者之间的沟通桥梁，也是诊断前和预后评估的尖端工具。
Abstract
利用医学图像对肺结节进行三维（3D）重建，为诊断和治疗肺结节引入了新的技术方法，这些方法正逐渐被医生和患者所认可和采用。尽管如此，由于设备差异、拍摄时间和结节类型，构建相对通用的肺结节 3D 数字模型以进行诊断和治疗具有挑战性。本研究的目的是提出一种新的肺结节3D数字模型，作为医生和患者之间的桥梁，也是预诊断和预后评估的前沿工具。许多人工智能驱动的肺结节检测和识别方法采用深度学习技术来捕获肺结节的放射学特征，这些方法可以实现良好的曲线下面积（AUC）性能。然而，假阳性和假阴性仍然是放射科医生和临床医生面临的挑战。从肺结节分类和检查的角度对特征的解释和表达仍然不尽如人意。本研究结合已有的医学图像处理技术，提出了一种水平位和冠状位全肺连续三维重建的方法。与其他适用方法相比，该方法使用户能够快速定位肺结节并识别其基本特性，同时还可以从多个角度观察肺结节，从而为诊断和治疗肺结节提供更有效的临床工具。
Introduction
肺结节的全球发病率各不相同，但一般估计约 30% 的成人胸片上至少可见一个肺结节1。肺结节的发病率在特定人群中较高，例如重度吸烟者和有肺癌或其他肺部疾病病史的人。需要注意的是，并非所有肺结节都是恶性的，但有必要进行全面评估以排除恶性肿瘤2。肺癌的早期发现和诊断对于提高生存率至关重要，建议对高危人群进行定期低剂量计算机断层扫描 （LDCT） 筛查。许多人工智能驱动的肺结节检测和识别方法3,4,5,6,7采用深度学习技术来捕获肺结节的放射学特征，这些方法可以实现良好的曲线下面积（AUC）性能。然而，假阳性和假阴性仍然是放射科医生和临床医生面临的挑战。从肺结节分类和检查的角度对特征的解释和表达仍然不尽如人意。同时，基于LDCT的肺结节三维重建作为各类结节的数字模型越来越受到关注。
肺结节的 3D 重建是一个生成肺部小生长或肿块的 3D 表示的过程。此过程通常涉及利用医学专业知识和数据智能方法的医学图像分析技术的应用。由此产生的3D数字模型提供了对结节的更详细和准确的描述，从而能够改进其大小，形状以及与周围肺组织的空间关系的可视化和分析8,9,10,11,12。这些信息有助于诊断和监测肺结节，特别是那些疑似癌性的肺结节。通过促进更精确的分析，肺结节的3D重建有可能提高诊断的准确性并为治疗决策提供信息。
最大强度投影（MIP）是肺结节3D重建领域的一种流行技术，用于创建3D图像的2D投影8,9,10,11,12 它在可视化从CT扫描的数字成像和医学通信（DICOM）文件中提取的体积数据时特别有用。MIP 技术的工作原理是沿查看方向选择强度最高的体素（3D 体积数据的最小单位）并将其投影到 2D 平面上。这导致2D图像强调强度最高的结构并抑制强度较低的结构，这使得识别和分析相关特征变得更加容易9,10,11,12。但是，MIP并非没有限制。例如，投影过程可能导致信息丢失，并且生成的2D图像可能无法准确表示底层对象的3D结构。尽管如此，MIP仍然是医学成像和可视化的宝贵工具，并且随着技术和计算能力的进步，其使用也在不断发展11。
在这项研究中，开发了一个连续的MIP模型来可视化肺结节，该模型易于使用，对放射科医生，医生和患者友好，并允许识别和估计肺结节的特性。这种处理方法的主要优点包括以下方面：（1）消除模式识别引起的假阳性和假阴性，这使得专注于帮助医生获得有关肺结节的位置，形状和3D大小以及它们与周围脉管系统的关系的更全面的信息;（2）即使没有放射科医生的协助，使专科医生也能获得肺结节特征的专业知识;（3）提高医患沟通效率和预后评估。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
注意：在数据预处理阶段，必须对原始DICOM数据进行排序和截获，以确保与各种设备的兼容性和一致的结果。必须为强度处理保留足够的可调容量，并且连续的3D视角对于观察至关重要。在该协议中，提供了对研究方法的系统描述，详细介绍了涉及一名 84 岁女性肺结节的病例。该患者通过数字建模 为 她的诊断提供了知情同意，并授权将她的数据用于科学研究目的。模型重建功能源自肺结核软件工具（详见 材料表 ）。获得北京中医药大学附属东直门医院伦理委员会伦理许可（DZMEC-KY-2019.90）。
1. 数据收集和准备
- 用于检测肺结节的LDCT数据
注意：参数值中看到的差异不取决于所使用的研究方法。- 获得患者同意以获取 DICOM 数据。将所有数据传输到指定的工作目录。
- 识别扫描层数最多、层厚度最薄的数据目录，根据文件信息优化精度。通常，患者拥有的DICOM扫描文件越多，扫描层厚度就越薄。
- 通过实现 Dicominfo 函数，并使用DICOM文件作为函数参数，在MATLAB环境中获取切片厚度和像素间距参数。这些参数对于设置 3D 体积显示速率至关重要。对于本研究中使用的示例数据，切片厚度为1 mm，像素间距为0.5 mm，总共扫描了200层。
- 更正扫描数据的排序
注意：每个图像的顺序应按体积构造进行排序。- 使用函数Dicominfo读取每个图像的位置数据。通过输入信息获取位置 。将位置切片放入 MATLAB 工作区。
- 实现 SliceLocation 函数来存储变量的位置数组，并绘制该变量的绘图（图 1）。
- 通过使用 GUI 右上角的 “数据 提示”按钮，将数据提示添加到表示正常序列最大位置值（患者成像的顶部位置; 图1）。
- 对所有图像进行排序，并通过实现函数 VolumeTResort 将从 1 开始的图像提取到最大位置值。
- 使用排序索引存储有效图像的体积，这对于追溯重要结节很有用。
- 检查胸腔体积
注意：拥有定义明确的数据存储结构使后续工作更加方便。- 实现 VolumeInspect 函数以显示构造体积的三个视图。在冠状轴上上下拖动十字准线交叉点以快速浏览水平轴中的所有图像（图2）。
- 将十字准线移动到水平轴以浏览冠状轴上的所有图像。十字准线在 3D 体积中处于相同的空间坐标中;因此，在一个轴上移动它将更改图像在其他两个轴上的位置。
- 对于 容积检查 功能，请使用 GUI 中肺部的默认强度窗口。通过按住鼠标左键并在轴上拖动来调整实际的过滤器性能。
2. 水平三维重建的数字模型
注意：3Dlung_Horizon子过程从水平角度对肺结节进行彻底检查。
- 在MATLAB工作场所实现 Build_3Dlung_Horizon 功能，重建肺滤光窗下肺结节的3D数字模型，然后打开GUI检查水平3D模型（图3）。
- 与步骤1.3.2不同， 图3 中的GUI是一个连续的3D肺结构，其中可以清楚地看到各种类型的肺结节及其与肺组织的相对空间关系。当用鼠标拖动GUI上的滚动条时，可以观察到连续的3D肺结构。
- 图 3 中 GUI 的右上角提供了用于放大、缩小、返回全局视图以及标记所选像素坐标的图标。使用缩放功能观察病变的局部特征并输出相关的3D结构输出图片。使用标记像素坐标按钮计算两点之间的距离，以测量结节的大小。
- 默认颜色条是喷气式颜色图，这意味着蓝色到红色表示从低到高的值。右键单击弹出菜单中的 “颜色条 ”以选择常见的灰色颜色图并重置整个 GUI。
- 如果对滤镜窗口不满意，使用鼠标左键在图中中间上下拖动，调整窗口级别。左右拖动调整窗口宽度，颜色条上会显示相应的准确过滤范围。
3. 为任何特定结节构建三维数字模型
注意：切片编号是函数3D_Nodules的参数，它重建了一个可以从各个角度查看的 3D 数字模型。
- 要确定切片数量，如图 3 所示，请检查滚动条的右上角; 在图 3 中，切片编号为 70。使用具有两个参数（包括切片数和在步骤 1.3 中创建的胸廓体积）的函数 Build_3D_Nodules ，为特定结节重建 3D 数字模型。这是一个用户定义的模型，因为输入切片编号是可变的，并且取决于用户。
- 如果 Build_3D_Nodules 功能执行正确，用户可以在弹出的GUI中从各个角度检查位于某个切片编号中的肺结节（图4）。为此，请执行以下操作：
- 按住鼠标左键，如图 4的中心所示，并向任意方向拖动以改变肺结节的视角。应该注意的是，观察角度应考虑解剖学考虑，并尝试显示肺结节的医学特征以及结节与周围组织之间的关系。
- 使用右上角的缩放和移动图标，如图 3 所示。此外，通过滚动鼠标中键，用户可以连续放大或缩小模型视图。
- 图 4 中的 GUI 在左下角显示了模型的坐标指示，其中 z 轴上的正方向是水平位置的扫描方向。实现操作系统提供的屏幕截图工具，以保存结节所需的 3D 投影。
4. 日冕3D重建的数字模型
注意：执行Build_3Dlung_Coronal子过程以从替代冠状体的角度评估肺结节，从而帮助临床医生和患者对结节的位置和属性有更精确和全面的理解。
- 在MATLAB工作场所实现 Build_3Dlung_Coronal 功能，重建肺过滤窗下肺结节的3D数字模型，然后按照功能准备打开GUI，检查冠状3D模型（图5）。
- 图5中的GUI显示了一个连续的冠状3D肺结构，其中可以清楚地看到各种类型的肺结节及其与肺组织的相对空间关系。用鼠标拖动GUI上的滚动条，观察连续冠状3D肺结构。
- 如图 5 所示，GUI 的右上角还提供了用于放大、缩小、返回全局视图和标记所选像素坐标的图标。使用这些功能观察病变的局部特征并生成相关的3D结构图片。标记像素坐标以计算两点之间的距离，通常用于测量结节的大小。
- 默认颜色条是喷射颜色图，其中从蓝色到红色的颜色表示从低到高的值。右键单击弹出菜单中的颜色条以选择常见的灰色颜色图并重置整个 GUI。
- 如果滤镜窗口不合适，使用鼠标左键在图中中间上下拖动，调整窗口级别;左右拖动调整窗口宽度，颜色条上会显示相应的准确过滤范围。
5. 输出优势肺结节的3D视频
注意：将肺结节的最佳3D数字模型转换为动态3D视频，使医生和患者能够更好地理解病情并做出准确的判断，这对于制定有效的治疗计划尤为重要。
- 在工作区中，准备所需的3D数字模型，并预先可视化肺结节和肺组织之间的相对空间关系，以便从各个角度显示（图3 和 图4）。
- 在这项研究中，Adobe Captivate 2019用于记录所有GUI交互过程。首先，打开软件，然后创建一个新的屏幕录制项目。关闭相机，将弹出红屏录制范围框，仅录制屏幕操作。在本研究中，5.1 版 GUI 包含在框中。单击录制按钮以操作GUI，并生成屏幕录制的数字视频文件。
- 记录完肺结节的动态显示后，点击任务栏中的图标返回软件的操作环境。
- 通过使用视频发布功能，保存录制的肺结节三维数字模型动态视频。单击文件 >分发 并配置文件存储路径。命名文件，并保存所需的数字视频文件。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
为了使该方法适用于更广泛的设备，需要根据DICOM文件系统的内部坐标（图1）重新组织每次扫描的堆叠顺序，以生成正确的3D卷（图2）。基于准确的体积数据，我们利用患者肺水平和冠状MIP的算法连续重建（图4 和 图5）对患者的肺结节进行精确诊断和治疗。
来自不同设备的DICOM数据通常不会沿着患者的解剖位置从低到高按正确的顺序排序。但是，对于模型重建，必须按从低到高的正向顺序对每个图像进行排序。 图1 不仅显示了DICOM序列位置的典型分布，还显示了确定图像序列位置边界所需的GUI交互。此步骤是模型重建过程中数据准备的重要组成部分。
图2 基本上代表了整个肺在轴面、冠状面和矢状面的3D体积的三个视图。如果先前的数据准备和体积计算正确，则可以查看每个视图中的肺部图像，如图 2所示。此 GUI 还允许通过拖动鼠标查看不同窗口级别的图像来进行窗口级过滤。 如图 2 所示，底层体积作为 3D 模型重建的数据基础。
图 3 显示了轴视图中的连续 3D 重建结果。在该GUI中，医生可以沿轴视图连续观察患者的肺结构，快速定位肺结节，并观察结节与周围肺组织之间的关系。如图 3所示，还可以执行结核视图的局部放大、窗口水平的恢复以及像素位置的标记等操作。颜色条显示与图像中不同强度值相对应的颜色。
图 4 所示的 GUI 使医生能够从任何角度观察感兴趣的肺结节。
图5 显示了日冕视图中的连续3D重建结果。在这个GUI中，医生可以沿着冠状视图连续观察患者的肺结构，快速定位肺结节，观察结节与周围肺组织的关系。如图 5所示，还可以执行结核视图的局部放大、窗口水平的恢复以及像素位置的标记等操作。颜色条显示与图像中不同强度值相对应的颜色。
图 1：根据文件名序列的图像位置图。该图显示了DICOM序列位置的典型分布，并指示了确定图像序列的位置边界所需的GUI交互。请点击此处查看此图的大图。
图 2：肺 3D 体积的三个视图的 GUI。 该图表示整个肺在轴面、冠状面和矢状面的 3D 体积的三个视图。如果先前的数据准备和体积计算正确，则可以查看每个视图中的肺图像。 请点击此处查看此图的大图。
图 3：用于从水平视图检查肺结节的 GUI。 该图显示了轴视图中的连续 3D 重建结果。医生可以沿轴视图连续观察患者的肺结构，定位肺结节，观察结节与周围肺组织的关系。颜色条中的颜色对应于图像中的不同强度值。 请点击此处查看此图的大图。
图 4：检查特定肺结节的 3D 数字模型。 GUI允许用户从任何角度观察感兴趣的肺结节。 请点击此处查看此图的大图。
图 5：用于从冠状视图检查肺结节的 GUI。 该图显示了日冕视图中的连续 3D 重建结果。在这个GUI中，医生可以沿着冠状视图连续观察患者的肺结构，快速定位肺结节，观察结节与周围肺组织的关系。颜色条中的颜色对应于图像中的不同强度值。 请点击此处查看此图的大图。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
不同的 LDCT 设备在输出的 DICOM 映像序列方面存在显著差异，尤其是在文件系统管理方面。因此，要在方案后期重建肺结节的关键三维数字模型，数据预处理步骤尤为重要。在数据准备和预处理阶段（步骤1.2.2），可以使用 图1所示的序列对序列z轴坐标进行正确排序，也可用于正确排列建模所需的正确图像顺序，并为后续建模工作生成正确的3D体积。水平轴和冠轴的3D重建（步骤2.1和步骤4.1）为医生和患者提供了从两个最常用的角度对肺结节进行双重检查。检测结节并呈现其空间特征以及与肺组织（尤其是肺动脉）的关系，以及使用软件工具对于疾病诊断和治疗计划的制定至关重要。在医患沟通方面，一个好的3D动态视频（步骤5.2）是一个很好的沟通工具，支持患者了解自己的病情和预后。
在讨论本研究的临床和研究场景时，必须解决的一个重要问题是如何为专业医生和患者提供对正在治疗的肺结节的清晰和全面的了解。通常，患者会将不同设备和历史时期的检查结果带给医生，在没有放射科医生支持的情况下，医生需要对患者肺结节的大小、位置和特征做出准确的判断，以便提供适当的治疗计划。另一方面，患者需要有效地了解和跟踪自身肺结节的发展状态和治疗效果。因此，无论病例需要了解来自不同设备和时间的CT数据，弥合放射科医生和专科医生之间的差距，还是帮助更好的医患沟通，本研究都提供了解决这些场景的理想解决方案和技术手段。
尽管目前的工具在肺结节的3D建模和特征可视化方面表现出优异的性能，但仍有发展和改进的空间。首先，可以开发一个在二维三视图和三维模型之间相互索引的GUI，以促进两个视角的交叉验证。其次，任意视角的连续3D模型也值得进一步开发。第三，整合患者治疗计划和预后的长期跟踪和管理也是进化的重要方向，因为这对于肺结节领域的完整医学成像解决方案具有帮助。
由于机器学习需要生成大量不同类型的肺结节13的一致医学图像序列样本，以及AI计算能力的相当规模，目前还不可能基于3D体积特征14,15识别和自动分类肺结节。这是一个研究方向，将在这项工作的后期阶段继续关注。
本研究的意义在于为肺结节的诊断和治疗提供连续的三维数字模型。医师和患者通过三维空间中从不同角度观察结节的特征，可以更好地了解病情，做出更理性的判断，这对结节预后的评估也具有重要的参考价值。在现有工作的基础上，可以引入深度机器学习，从更多维度的角度对肺结节进行分类。通过使用临床治疗案例，可以使用该方法跟踪药物和其他治疗的疗效，为肺结节的预后评估提供越来越准确的定量依据。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
肺结节模型重建软件工具PulmonaryNodule是北京智能熵科技有限公司的商用软件。本软件工具的知识产权归本公司所有。作者没有利益冲突需要披露。
Acknowledgments
本刊得到了国家中医药管理局（http://www.natcm.gov.cn/renjiaosi/zhengcewenjian/2021-11-04/23082.html）组织的第五届全国中医药临床优秀人才研究计划的支持。
Materials
| Name | Company | Catalog Number | Comments |
| MATLAB | MathWorks | 2022B | Computing and visualization |
| Tools for Modeling | Intelligent Entropy |
PulmonaryNodule V1.0 | Beijing Intelligent Entropy Science & Technology Co Ltd. Modeling for CT/MRI fusion |
References
- Mazzone, P. J., Lam, L. Evaluating the patient with a pulmonary nodule: A review. JAMA. 327 (3), 264-273 (2022).
- MacMahon, H., et al. Guidelines for management of incidental pulmonary nodules detected on CT images: From the Fleischner Society 2017. Radiology. 284 (1), 228-243 (2017).
- Ather, S., Kadir, T., Gleeson, F. Artificial intelligence and radiomics in pulmonary nodule management: Current status and future applications. Clinical Radiology. 75 (1), 13-19 (2020).
- Bianconi, F., et al. Comparative evaluation of conventional and deep learning methods for semi-automated segmentation of pulmonary nodules on CT. Quantitative Imaging in Medicine and Surgery. 11 (7), 3286-3305 (2021).
- Christe, A., et al. Computer-aided diagnosis of pulmonary fibrosis using deep learning and CT images. Investigative Radiology. 54 (10), 627-632 (2019).
- Kim, Y., Park, J. Y., Hwang, E. J., Lee, S. M., Park, C. M. Applications of artificial intelligence in the thorax: A narrative review focusing on thoracic radiology. Journal of Thoracic Disease. 13 (12), 6943-6962 (2021).
- Schreuder, A., Scholten, E. T., van Ginneken, B., Jacobs, C. Artificial intelligence for detection and characterization of pulmonary nodules in lung cancer CT screening: Ready for practice. Translational Lung Cancer Research. 10 (5), 2378-2388 (2021).
- Gruden, J. F., Ouanounou, S., Tigges, S., Norris, S. D., Klausner, T. S. Incremental benefit of maximum-intensity-projection images on observer detection of small pulmonary nodules revealed by multidetector CT. American Journal of Roentgenology. 179 (1), 149-157 (2002).
- Guleryuz Kizil, P., Hekimoglu, K., Coskun, M., Akcay, S. Diagnostic importance of maximum intensity projection technique in the identification of small pulmonary nodules with computed tomography. Tuberk Toraks. 68 (1), 35-42 (2020).
- Valencia, R., et al. Value of axial and coronal maximum intensity projection (MIP) images in the detection of pulmonary nodules by multislice spiral CT: Comparison with axial 1-mm and 5-mm slices. European Radiology. 16, 325-332 (2006).
- Jabeen, N., Qureshi, R., Sattar, A., Baloch, M. Diagnostic accuracy of maximum intensity projection in diagnosis of malignant pulmonary nodules. Cureus. 11 (11), e6120 (2019).
- Naeem, M., et al. Comparison of maximum intensity projection and volume rendering in detecting pulmonary nodules on multidetector computed tomography. Cureus. 13 (3), e14025 (2021).
- Armato, S. G., et al. The lung image database consortium (LIDC) and image database resource initiative (IDRI): A completed reference database of lung nodules on CT scans. Medical Physics. 38 (2), 915-931 (2011).
- Xie, Y., et al. Knowledge-based collaborative deep learning for benign-malignant lung nodule classification on chest CT. IEEE Transactions on Medical Imaging. 38 (4), 991-1004 (2018).
- Zheng, S., et al. Automatic pulmonary nodule detection in CT scans using convolutional neural networks based on maximum intensity projection. IEEE Transactions on Medical Imaging. 39 (3), 797-805 (2019).
