需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

一种用于肺结节诊断与治疗的三维数字模型

3.1K 次观看

DOI:

10.3791/65423

2023年5月19日

本文内容

摘要

本研究的目的是开发一种新型的肺结节三维数字模型,该模型可作为医生与患者之间沟通的桥梁,同时也是用于诊断前评估和预后评价的前沿工具。

摘要

利用医学影像对肺结节进行三维(3D)重建,为肺结节的诊断与治疗引入了新的技术手段,这些方法正逐步被临床医生和患者所认可与采用。然而,由于设备差异、扫描时间不同以及结节类型多样,构建一种相对通用的肺结节三维数字模型用于诊疗仍具挑战性。本研究旨在提出一种新型肺结节三维数字模型,该模型不仅可作为医患之间的沟通桥梁,还可作为诊断前评估与预后判断的前沿工具。目前许多基于人工智能的肺结节检测与识别方法采用深度学习技术来提取肺结节的影像学特征,这些方法可实现较高的曲线下面积(AUC)性能。然而,假阳性与假阴性问题仍为放射科医生和临床医师所面临的主要挑战。从肺结节分类与检查角度对特征进行解读与表达的效果仍不理想。本研究结合现有的医学图像处理技术,提出一种在横断面与冠状面方向上对全肺进行连续三维重建的方法。与其他适用方法相比,该方法可使用户快速定位肺结节,识别其基本特性,并从多个视角观察肺结节,从而为肺结节的诊断与治疗提供更为有效的临床工具。

引言

肺结节的全球发病率存在差异,但通常估计约有30%的成年人在胸部X光片上可观察到至少一个肺结节1。在特定人群中,如重度吸烟者以及有肺癌或其他肺部疾病病史的个体,肺结节的发病率更高。需要注意的是,并非所有肺结节均为恶性,但必须进行充分评估以排除恶性可能2。肺癌的早期发现和诊断对于提高生存率至关重要,因此建议对高风险人群进行低剂量计算机断层扫描(LDCT)的定期筛查。目前许多基于人工智能的肺结节检测与识别方法3,4,5,6,7采用深度学习技术来捕捉肺结节的影像学特征,这些方法能够实现较高的曲线下面积(AUC)性能。然而,假阳性与假阴性结果仍是放射科医生和临床医生面临的挑战。从肺结节分类与检查的角度对特征进行解读和表达,目前仍不尽如人意。与此同时,基于LDCT的肺结节三维重建作为多种类型结节的数字化模型,正受到越来越多的关注。

肺结节的三维重建是一种生成肺部小肿块或结节三维图像的过程。该过程通常涉及应用医学图像分析技术,结合医学专业知识与数据智能方法。所生成的三维数字模型能够更详细、准确地呈现结节的形态,从而改善对其大小、形状及其与周围肺组织空间关系的可视化与分析8,9,10,11,12。此类信息有助于肺结节的诊断与监测,尤其是对疑似恶性病变的判断。通过实现更精确的分析,肺结节三维重建有望提高诊断准确性,并为治疗决策提供依据。

最大密度投影(Maximum intensity projection, MIP)是肺结节三维重建领域中一种常用的技术,用于将三维图像生成二维投影8,9,10,11,12。该技术特别适用于可视化通过CT扫描获取的医学数字成像和通信(DICOM)文件中的体数据。MIP技术通过沿观察方向选择具有最高强度的体素(三维体数据的最小单位)并将其投影到二维平面上来实现成像。由此生成的二维图像可突出显示高强度结构,同时抑制低强度结构,从而更易于识别和分析相关特征9,10,11,12。然而,MIP也存在一定的局限性。例如,投影过程可能导致信息丢失,所生成的二维图像可能无法准确反映原始对象的三维结构。尽管如此,MIP仍是医学影像与可视化中的重要工具,随着技术进步和计算能力的提升,其应用仍在不断发展11

本研究开发了一种连续的MIP模型,用于可视化肺结节,该模型易于使用,对放射科医生、临床医生和患者均友好,且可实现肺结节特征的识别与评估。该处理方法的主要优势包括以下几个方面:(1)消除因模式识别产生的假阳性和假阴性结果,从而有助于协助医生更全面地获取肺结节的位置、形态、三维尺寸及其与周围血管关系的信息;(2)使专科医生即使在无放射科医生协助的情况下,也能掌握肺结节特征的专业知识;(3)提升医生与患者之间的沟通效率以及预后评估的准确性。

访问受限。请登录或开始试用以查看此内容。

方案

注意:在数据预处理阶段,必须对原始 DICOM 数据进行排序和截取,以确保与各种设备的兼容性并获得一致的结果。强度处理需预留充足的可调节空间,且观察时必须保证连续的三维视角。本方案系统描述了研究方法,详细阐述了一例 84 岁女性肺结节患者的病例。该患者已签署知情同意书,同意将其用于诊断研究 通过 数字建模并授权将其数据用于科学研究目的。该模型重建功能源自 PulmonaryNodule 软件工具(见 材料表 有关详细信息)。伦理批准由北京中医药大学附属东直门医院伦理委员会(DZMEC-KY-2019.90)获得。

1. 数据收集与准备

  1. 用于肺结节检测的低剂量CT(LDCT)数据
    注意:所观察到的参数值差异与所采用的研究方法无关。
    1. 获取患者同意以采集DICOM数据。将所有数据传输至指定的工作目录。
    2. 根据文件信息,识别扫描层数最多且层厚最薄的数据目录,以优化准确性。通常情况下,患者拥有的DICOM扫描文件越多,扫描层厚越薄。
    3. 在MATLAB环境中,通过调用Dicominfo函数并将DICOM文件作为函数参数,获取切片厚度和像素间距参数。这些参数对于设置三维体数据的显示比例至关重要。本研究所用示例数据的切片厚度为1 mm,像素间距为0.5 mm,共扫描200层。
  2. 校正扫描数据的排序
    注意:为构建三维体积数据,每幅图像的序列应进行排序。
    1. 使用Dicominfo函数读取每幅图像的位置数据。在MATLAB工作区中输入info.SliceLocation以获取位置信息。
    2. 调用SliceLocation 函数将位置数组存储为变量,并绘制其图像(图1)。
    3. 在图形用户界面(GUI)右上角使用数据提示(Data Tips)按钮,在代表正常序列最大位置值的点(即患者影像的顶部位置)添加数据提示(图1)。
    4. 对所有图像进行排序,并通过调用VolumeResort函数提取从第1层到最大位置值的图像。
    5. 将有效图像的体积数据按排序后的索引进行存储,以便后续追溯重要结节。
  3. 检查胸腔体积数据
    注意:建立清晰的数据存储结构有助于后续工作的开展。
    1. 调用VolumeInspect 函数以显示所构建体积数据的三个视图。在冠状面轴上上下拖动十字光标,可快速浏览水平轴上的所有图像(图2)。
    2. 将十字光标移至水平轴,以浏览冠状面轴上的所有图像。由于十字光标在三维体积数据中处于相同的空间坐标,因此在一个轴上移动光标将同步改变另外两个轴上图像的位置。
    3. 对于VolumeInspect 函数,在GUI中使用肺部默认的强度窗设置。通过按住鼠标左键并在轴上拖动,可调整实际的滤波效果。

2. 水平三维重建的数字模型

注意:3Dlung_Horizon 子流程会从水平视角对肺结节进行彻底检查。

  1. 在 MATLAB 工作区中实现 Build_3Dlung_Horizon 函数,以在肺部滤波窗下重建肺结节的三维数字模型,然后打开图形用户界面(GUI)查看水平方向的三维模型(图3)。
  2. 与步骤 1.3.2 不同,图3 中的图形用户界面显示的是一个连续的三维肺部结构,其中各类肺结节及其与肺组织之间的相对空间关系均可清晰可见。当用鼠标拖动图形用户界面上的滚动条时,可观察到连续的三维肺部结构。
  3. 图3 所示图形用户界面的右上角提供了放大、缩小、恢复全局视图以及标记所选像素坐标的图标。使用缩放功能可观察病灶的局部特征,并输出相应的三维结构图像;使用“标记像素坐标”按钮可计算两点之间的距离,从而测量结节的大小。
  4. 默认的颜色条为 jet 色图,即从蓝色到红色表示数值由低到高。在弹出菜单中右键单击 Color Bar,可选择常用的灰度色图并重置整个图形用户界面。
  5. 若对滤波窗不满意,可用鼠标左键在图像中部上下拖动以调整窗位,左右拖动以调整窗宽,相应的精确滤波范围将在颜色条上显示。

3. 为任意特定结节构建三维数字模型

注意:切片数量是函数 3D_Nodules 的一个参数,该函数用于重建一个可从各个角度查看的三维数字模型。

  1. 确定切片编号时,如图3所示,查看滚动条右上角的位置;在图3中,切片编号为70。使用包含两个参数的函数Build_3D_Nodules,这两个参数分别为切片编号和步骤1.3中创建的胸腔体积,以重建特定结节的三维数字模型。该模型为用户自定义模型,因为输入的切片编号可变,取决于用户选择。
  2. Build_3D_Nodules函数正确执行,用户可在弹出的图形用户界面(GUI)中从不同视角查看位于特定切片编号处的肺结节(见图4)。为此,请执行以下操作:
    1. 按住鼠标左键(如图4中心所示),并向任意方向拖动,以改变肺结节的观察视角。需注意,观察角度应考虑解剖学因素,尽量同时展示肺结节的医学特征及其与周围组织的关系。
  3. 使用右上角的缩放与移动图标,操作方式如图3所示。此外,通过滚动鼠标中键,用户可连续放大或缩小模型视图。
  4. 图4中的GUI在左下角显示模型的坐标指示,其中z轴正方向为水平位扫描方向。使用操作系统提供的截图工具,保存所需的结节三维投影图像。

4. 冠状面三维重建的数字模型

注意:执行 Build_3Dlung_Coronal 子程序可从另一个冠状面视角评估肺结节,从而帮助临床医生和患者更精确、全面地了解结节的位置及特征。

  1. 在 MATLAB 工作区中调用 Build_3Dlung_Coronal 函数,以在肺部滤波窗下重建肺结节的三维数字模型,然后打开该函数生成的图形用户界面(GUI),查看冠状面三维模型(图5)。
  2. 图5 所示的图形用户界面展示了一个连续的冠状面三维肺部结构,其中各类肺结节及其与肺组织的相对空间关系均可清晰可见。使用鼠标拖动界面上的滚动条,可观察连续的冠状面三维肺部结构。
  3. 图5 所示,图形用户界面的右上角还提供了放大、缩小、恢复全局视图以及标记所选像素坐标的图标。利用这些功能可观察病灶的局部特征,并生成相应的三维结构图像。标记像素坐标可用于计算两点之间的距离,常用于测量结节的大小。
  4. 默认的颜色条为 jet 色谱,其中颜色从蓝色到红色表示数值由低到高。在弹出菜单中右键点击颜色条,可选择常用的灰度色谱,并重置整个图形用户界面。
  5. 若滤波窗设置不合适,可使用鼠标左键在图像中部上下拖动以调整窗位;左右拖动以调整窗宽,相应的精确滤波范围将在颜色条上显示。

输出肺部优势结节的三维视频

注意:将肺结节的最佳三维数字模型转化为动态三维视频,有助于医生和患者更好地理解病情并做出准确判断,这对于制定有效的治疗方案尤为重要。

  1. 在工作区中准备所需的三维数字模型,并从不同角度预览肺结节与肺组织之间待展示的相对空间关系(图3图4)。
  2. 本研究使用 Adobe Captivate 2019 记录所有图形用户界面(GUI)交互过程。首先,打开软件并创建一个新的屏幕录制项目。关闭摄像头,此时将弹出红色屏幕录制范围框,仅用于记录屏幕操作。本研究中,版本 5.1 的 GUI 界面包含在该范围内。点击录制按钮以操作 GUI,生成屏幕录制的数字视频文件。
  3. 完成肺结节动态展示的录制后,点击任务栏中的图标,返回软件的操作环境。
  4. 利用视频发布功能,保存肺结节三维数字模型的动态视频。点击 文件 > 分发,配置文件存储路径,命名文件并保存所需的数字视频文件。

访问受限。请登录或开始试用以查看此内容。

结果

为了使该方法适用于更广泛的设备,需要根据DICOM文件系统的内部坐标重新组织每次扫描的堆叠顺序(图1),以生成正确的三维体积图像(图2)。基于精确的体积数据,我们采用算法对患者肺部的水平位和冠状位MIP图像进行连续重建(图4图5),以实现对肺结节的精确诊断与治疗。

来自不同设备的DICOM数据通常未按照患者解剖位置从低到高正确排序。然而,在模型重建过程中,每幅图像必须按从低到高的正向顺序排列。图1不仅展示了DICOM序列位置的典型分布,还提供了用于确定图像序列位置边界的图形用户界面(GUI)交互操作。此步骤是模型重建过程中数据准备的重要环节。

图2 主要展示了整个肺部...

访问受限。请登录或开始试用以查看此内容。

讨论

不同的低剂量计算机断层扫描(LDCT)设备在输出的DICOM图像序列上存在显著差异,尤其是在文件系统管理方面。因此,为了在后续步骤中重建肺结节的关键三维数字模型,数据预处理步骤尤为重要。在数据准备与预处理阶段(步骤1.2.2),可通过采用图1所示的序列对序列z轴坐标进行正确排序,从而准确排列建模所需的图像顺序,并生成正确的三维体数据,用于后续建模工作。在横断面和冠状面轴向上的三维重建(步骤2.1和步骤4.1)可为医生和患者提供从两种最常用视角对肺结节进行双重验证。检测结节并展示其空间特征及其与肺组织(尤其是肺动脉)的关系,并结合软件工具进行分析,对于疾病诊断和治疗方案的制定至关重要。在医患沟通方面,一段高质量的三维动态视频(步骤5.2)是一种极佳的沟通工具,有助于患者理解自身的病情及预后情况。

在讨论本研究的临床与科研场景时,一个必须解决的重要问题是,如何向专业医生和患者清晰、全面地呈现肺结节在治疗过程中的情况。通常情况下,患者会携带来自不同设备和不同历史时期的检查结果就诊,而在缺乏放射科医生支持的情况下,临床医生需要准确...

访问受限。请登录或开始试用以查看此内容。

披露

用于肺结节模型重建的软件工具PulmonaryNodule,是由北京智熵科技有限公司开发的商业软件。该软件工具的知识产权归该公司所有。作者声明无任何利益冲突。

致谢

本出版物得到了国家中医药管理局组织的第五批全国中医药临床优秀人才研究项目的支持(http://www.natcm.gov.cn/renjiaosi/zhengcewenjian/2021-11-04/23082.html)。 

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
MATLABMathWorks 2022B计算与可视化 
用于建模的工具 智能
 熵
肺结节 V1.0北京智熵科技 & Technology Co Ltd.
CT/MRI 融合建模

参考文献

  1. Mazzone, P. J., Lam, L. Evaluating the patient with a pulmonary nodule: A review. JAMA. 327 (3), 264-273 (2022).
  2. MacMahon, H., et al. Guidelines for management of incidental pulmonary nodules detected on CT images: From the Fleischner Society 2017. Radiology. 284 (1), 228-243 (2017).
  3. Ather, S., Kadir, T., Gleeson, F. Artificial intelligence and radiomics in pulmonary nodule management: Current status and future applications. Clinical Radiology. 75 (1), 13-19 (2020).
  4. Bianconi, F., et al. Comparative evaluation of conventional and deep learning methods for semi-automated segmentation of pulmonary nodules on CT. Quantitative Imaging in Medicine and Surgery. 11 (7), 3286-3305 (2021).
  5. Christe, A., et al. Computer-aided diagnosis of pulmonary fibrosis using deep learning and CT images. Investigative Radiology. 54 (10), 627-632 (2019).
  6. Kim, Y., Park, J. Y., Hwang, E. J., Lee, S. M., Park, C. M. Applications of artificial intelligence in the thorax: A narrative review focusing on thoracic radiology. Journal of Thoracic Disease. 13 (12), 6943-6962 (2021).
  7. Schreuder, A., Scholten, E. T., van Ginneken, B., Jacobs, C. Artificial intelligence for detection and characterization of pulmonary nodules in lung cancer CT screening: Ready for practice. Translational Lung Cancer Research. 10 (5), 2378-2388 (2021).
  8. Gruden, J. F., Ouanounou, S., Tigges, S., Norris, S. D., Klausner, T. S. Incremental benefit of maximum-intensity-projection images on observer detection of small pulmonary nodules revealed by multidetector CT. American Journal of Roentgenology. 179 (1), 149-157 (2002).
  9. Guleryuz Kizil, P., Hekimoglu, K., Coskun, M., Akcay, S. Diagnostic importance of maximum intensity projection technique in the identification of small pulmonary nodules with computed tomography. Tuberk Toraks. 68 (1), 35-42 (2020).
  10. Valencia, R., et al. Value of axial and coronal maximum intensity projection (MIP) images in the detection of pulmonary nodules by multislice spiral CT: Comparison with axial 1-mm and 5-mm slices. European Radiology. 16, 325-332 (2006).
  11. Jabeen, N., Qureshi, R., Sattar, A., Baloch, M. Diagnostic accuracy of maximum intensity projection in diagnosis of malignant pulmonary nodules. Cureus. 11 (11), e6120(2019).
  12. Naeem, M., et al. Comparison of maximum intensity projection and volume rendering in detecting pulmonary nodules on multidetector computed tomography. Cureus. 13 (3), e14025(2021).
  13. Armato, S. G., et al. The lung image database consortium (LIDC) and image database resource initiative (IDRI): A completed reference database of lung nodules on CT scans. Medical Physics. 38 (2), 915-931 (2011).
  14. Xie, Y., et al. Knowledge-based collaborative deep learning for benign-malignant lung nodule classification on chest CT. IEEE Transactions on Medical Imaging. 38 (4), 991-1004 (2018).
  15. Zheng, S., et al. Automatic pulmonary nodule detection in CT scans using convolutional neural networks based on maximum intensity projection. IEEE Transactions on Medical Imaging. 39 (3), 797-805 (2019).

访问受限。请登录或开始试用以查看此内容。

重印与许可

标签

3D DICOM