基于卷积神经网络的脑肿瘤分类和分割框架，使用磁共振图像进行脑肿瘤分类和分割

Summary

在MRI中利用深度学习算法进行脑肿瘤分类和分割，并利用U-Net进行分析。InceptionV3、DenseNet201 和 Inception-ResNet-v2 在肿瘤类型和分级预测方面表现出色。GPT-4.0 增强混合模型，用于自动生成医疗报告和诊断辅助。

Abstract

脑肿瘤的早期诊断对于优化患者的预后和治疗选择至关重要。脑肿瘤的准确分割和分类对于创建专业治疗技术至关重要。随着 MRI 在脑部诊断中的利用率增加，计算机视觉技术也在改进，拥有一个良好且有效的模型来根据 MRI 扫描识别和分类肿瘤仍然具有挑战性。为了解决这个问题，作者提出了一种基于深度学习的技术来从不同的数据集中对脑肿瘤进行分割和分类。图像预处理采用了九种增强方法来增强模型性能。MRI 的分割是使用 U-Net 模型完成的。

基于InceptionV3和DenseNet201开发的分类模型预测肿瘤的存在，并将其分为胶质瘤、脑膜瘤和垂体。InceptionV3 的肿瘤分类准确率为 99.15%，高于 DenseNet201 的 98.75%。在Inception-ResNet-v2的基础上，通过聚类为HGG和LGG进行额外的肿瘤分类。Inception-ResNet-v2 以 96.64% 的准确率识别肿瘤分级 （1-4）。自主系统将混合模型与 GPT-4.0 集成以生成报告。因此，当用于利用从 MRI 扫描捕获的输入图像自动识别和分离脑肿瘤时，这种新颖的框架非常适合临床。

Introduction

脑肿瘤可能会严重损害患者和家属的生活质量，在美国每年治疗的每 100 例癌症中就有 1 例脑肿瘤 ^1,2,3。神经胶质瘤是美国人群中最常见的原发性脑肿瘤，发病率为每 100,000 人中有 6.5 例。它们出现在星形胶质细胞、少突胶质细胞和室管膜细胞中，这些神经胶质细胞为大脑神经元提供营养。神经胶质瘤根据肿瘤中受影响的神经胶质细胞及其遗传特征分为不同类型，这现在可能有助于预测肿瘤随着时间的推移可能经历的行为以及最有可能有效的治疗 ^4,5,6。神经胶质瘤会使大脑功能丧失，甚至根据其位置和生长速度而致命。脑膜瘤占所有原发性脑肿瘤的 15-20%。在正常筛查中，他们的患病率为一系列手术中的每 100 人中就有 1 人。它们被认为起源于蛛网膜帽细胞。脑膜瘤根据其位置表现出广泛的行为，从良性到极具攻击性。他们表现出多种症状，但大多数患者仍然没有症状。

相关的症状和体征主要是由邻近结构受压引起的，因此它们也可能出现运动癫痫发作、感觉障碍、言语障碍、嗅觉丧失等症状。垂体瘤是第三大最常见的原发性颅内肿瘤，仅次于神经胶质瘤和脑膜瘤，约占所有切除的原发性脑肿瘤的 10%。由于垂体激素分泌过多或过少、垂体柄收缩或对周围结构（尤其是视交叉）的影响，它们可能以多种方式发生。

与标准脑部CT扫描相比，MRI图像包含较大的组织对比度范围^7,8,9。因此，开发一种常规的自动脑肿瘤分割方法对于正确诊断和治疗这些患者至关重要。因此，开发一种可靠的脑肿瘤分割自动技术对于正确诊断和治疗这些患者至关重要。这些智能方法将帮助神经外科医生和放射科医生更好地评估肿瘤的体积、形状，并更准确地定义肿瘤与邻近正常组织之间的边界。

机器学习可能有助于确定脑肿瘤的类型和存在，但由于其模型具有预测性，因此需要更多的人工干预。相比之下，深度学习模型可以学习和检测特征，因为神经网络将是全自动整个检测过程的关键。已经为放射科医生开发了许多机器学习 （ML） 方法，以便他们在识别和分类 MR 图像时获得不寻常的视觉。在整个癌症检测方式中，最有效的方法是通过医学成像。这些方法有助于识别和检测恶性肿瘤。这种方法至关重要，因为它不具有与其他医疗实践相关的侵入性。这些程序不是侵入性的 10,11,12。这项工作的新颖之处在于，它提供了一个独特的基于 DL 的框架，用于使用 MRI 图像对脑肿瘤进行自动、准确和高效的多类分类和分级，从而减少了手动解释的需要。

作者提出了使用 nLBP 和 LBP 特征提取方法的脑肿瘤分类模型。模型精确地表征了最常见的脑癌类型。使用特征提取方案nLBPD = 1和KNN模型¹¹实现了95.56%的最大准确率。作者调查了深度学习 （DL） 在放射学中的临床应用，并记录了该领域内涉及的作¹³。他们强调了DL在多个临床领域的临床意义。DL 在某些放射学实施中取得了令人满意的结果，但技术不成熟，无法取代放射科医生的诊断专业¹⁴。将 DL 算法与放射科医生相结合可以提高诊断效果和效率。MRI 已在众多研究中进行了评估，以证明其可能通过各种研究设计应用于脑肿瘤分类。

Afshar等人提出了一种改进的CapsNet架构，用于对主要脑肿瘤进行分类，通过应用肿瘤边界，使用3,064张图像和感兴趣的辅助输入区域，以投入更大的精力，并改进其他方法，准确率为90.89%¹⁵。Gumaei等人提出了一种基于混合特征提取的方法，用于使用RELM对脑肿瘤进行分类。作者使用最小-最大归一化对大脑图像进行归一化，并使用RELM进行分类，以获得94.23%的准确率¹⁶。Rezaei等人提出了一种使用MRI进行分割和脑肿瘤分类的综合方案。使用的步骤是消除噪声、通过支持向量机 （SVM） 进行分割、提取特征以及使用 DE 选择特征。使用 WSVM、KNN 和 HIK-SVM 分类器对肿瘤切片进行分类。分类器采用基于MODE的集成方法，准确率达到92.46%¹⁷。Fouad等人提出了通过HDWT-HOG特征描述符和WOA对脑肿瘤进行分类，以减少特征。该方法使用带有 Bagging 的集成方法。使用装袋时，平均准确率为 96.4%，使用加压时，达到的值为 95.8%¹⁸。

Ayadi等人介绍了使用归一化和具有梯度直方图的密集加速鲁棒特征等技术对脑肿瘤进行分类的过程，提高了图像搜索质量，并由此产生了判别特征开发。采用SVM分类器，评价数据^集19的准确率达到高达90.27%。Srujan等人提出了一种16层卷积神经网络（CNN）DL架构，该架构结合了ReLU和Adam优化器等激活函数，以实现95.36%的分类准确率²⁰。Tejaswini等设计了用于脑膜瘤、胶质瘤和垂体脑癌诊断的CNN模型，验证准确率为87.16%，训练准确率为92.79%。肿瘤区域也通过 Otsu 阈值、模糊 cmeans 和分水岭技术进行分割²¹。Huang等人提出了用于脑癌分类的CNN-BCN。采用随机图法设计网络架构，目标精度高达95.49%²²。Ghassemi等人设计了一个用于脑肿瘤图像分类的DL模型²³.通过利用预训练网络作为 GAN 判别器，从 MR 图像中获得了强大的特征和学习模式。基于五重交叉验证，该方法通过用数据增强和丢弃等技术代替全连接层，准确率达到了 95.6%。Deepak等人将SVM与CNN相结合，对脑肿瘤图像进行分类。在使用五重交叉验证协议进行测试后，自动化系统实现了 95.82% 的准确率，优于其他技术²⁴。Noreen等人采用Xception和InceptionV3等预训练和微调的网络进行脑癌鉴定。这些模型采用了广泛的机器学习技术，如 RF、SVM 和 KNN，在 InceptionV3²⁵ 的集合中实现了 94.34% 的准确率。

Shaik 等人对医学图像处理中的脑肿瘤进行了分类，并提出了一种马奈方法，该方法通过结合空间和跨通道注意力，同时保持通道之间的时间联系来优先考虑肿瘤。在原发性脑肿瘤分类任务中，该方法达到了 96.51% 的准确率²⁶。Ahmad等人创建了一个用于对脑肿瘤进行分类的深度生成神经网络。该技术使用 VAE 和 GAN 在脑肿瘤的 MR 图像上实现了 96.25% 的准确率^27,28。Alanazi 等人提出了一种 DL 模型来识别脑肿瘤亚型。该技术涉及创建多个 CNN 模型并应用迁移学习来微调 22 层 CNN 模型的权重。该模型的 MRI 图像准确率分别为 95.75% 和 96.89%，分别为^29,30。Almalki 等人将 ML 技术应用于 MRI，以快速分析四种脑肿瘤的严重程度。将 MRI 分解为 8 x 8 像素图像，使他们能够提取高斯和非线性尺度特征以及微小细节。识别出重要特征，划分为400个非线性尺度特征，并与每张MR图像合并。他们使用SVM分类器，准确率达到95.33%，^31,32。Kumar等比较了InceptionV3、AlexNet和ResNet50三种CNN模型对原发肿瘤的分类，并采用数据增强方法。AlexNet 在特异性和准确性方面击败了其他人，获得了 96.2%³³ 的分数。

Ullah 等人深入研究用于脑肿瘤诊断的更深入的学习模型。DeepEBTDNet 通过应用 DSIHE 并通过 LIME^34,35 确保可解释性来提高 MRI 质量。具有20个卷积层的TumorResNet用于实现99.33%的分类准确率，提供了一种一致的自动化早期脑肿瘤诊断和治疗计划方法³⁶。Kumar等人提出了多种先进的DL架构，用于脑肿瘤分类和检测。PBTC模型结合了MRI预处理，ACLS分割和OHBO优化的HRNN-BiLSTM，以实现97.8%的准确率³⁷。具有伯克利小波变换和增强薮猫优化的双通道CNN对四种类型的肿瘤的准确率达到98.8%³⁸。Disci 等人使用 MRI 数据评估预训练的 DL 模型来对脑肿瘤进行分类，并通过 Xception³⁹ 实现了 98.73% 的准确率。

Protocol

数据集描述和探索性分析
该数据集由多个来源组成，以增强模型的可靠性和准确性。Merged_dataset包含来自数据集 A （3,054）、数据集 B （3,264）、数据集 C （10,000） 和数据集 D （4,292） 的 20,620 张图像。此外，还添加了 Brad 数据集中的 1,425 张神经胶质瘤肿瘤分级（HGG、LGG）图像。这种多样化的数据集将确保更好的泛化、减少偏差并提高模型的性能。大型数据集可以进行全面评估，因此，在分类任务的实际应用中获得正确预测的可能性更高。

本次调查使用了两个不同的数据集。2005年至2010年间，第一台是从中国天津医科大学南方医院和总医院收购的。该集合包括来自 233 名肿瘤患者以及 II 级和 III 级神经胶质瘤个体的 T1 加权对比增强图像。该数据集提供了非常全面的肿瘤类别分布和一般数据分析。对于高级别神经胶质瘤 （HGG），有 1,050 张图像可用，对于低级别神经胶质瘤 （LGG），有 375 张图像，这意味着更严重的病例 （HGG） 受到更多关注。

图 1 显示了分为三种脑肿瘤类型的 MRI 扫描。每行是一种肿瘤，每个类别有三个样本图像。扫描在不同的方向和视图上具有不同的特征，包括轴向、矢状面和冠状面。神经胶质瘤样本具有浸润脑组织的不规则结构。脑膜瘤样本在大脑表面附近表现为局部肿块，垂体瘤样本位于大脑中心附近。这些示例呈现了肿瘤外观的可变性，从而有助于训练 ML 模型，以便在医学图像分析中准确检测和分类肿瘤。

图 1：肿瘤的 MRI 扫描。脑膜瘤、神经胶质瘤和垂体瘤的轴向、矢状面和冠状面的 MRI 扫描，突出了不同的成像特征。 请点击此处查看此图的大图。

神经胶质瘤的图像数量最多，略高于 6,000 张。脑膜瘤大约有 6,000 张图像，而垂体瘤的图像几乎与脑膜瘤一样多。这三个类别之间似乎几乎相等，这意味着每种肿瘤类型在训练或任何分析中都得到了很好的代表。胶质瘤的中位文件大小最大，尽管脑膜瘤的范围更有限，异常值也更多。垂体的中等方差包含一些明显的异常值。每个类别都包含一些非常大的文件大小。

图 2 显示了三种肿瘤类型的图像特征的 PCA。主成分 1 捕获的最大方差，并将垂体（右簇）与其他垂体显着分开。神经胶质瘤和脑膜瘤在左侧重叠，表明它们的特征表示具有可比性，并且它们的可分离性减弱。

图 2：图像特征的 PCA。 提取的区分神经胶质瘤、脑膜瘤和垂体肿瘤类别的特征的主成分分析。 请点击此处查看此图的大图。

图 3 所示的相关热图描述了图像元数据属性之间的关系：File_Size、高度和宽度。File_Size与高度 （-0.01） 和宽度 （0.0039） 的相关性非常低。

图 3：元数据的相关热图。 显示图像元数据属性（如文件大小、高度和宽度）之间关系的热图。 请点击此处查看此图的大图。

高度和宽度也显示出非常低的正相关关系，为 0.0039。对角线值为 1，表示每个变量与自身的完美相关性。通常，这些属性大多是不相关的，这意味着文件大小、图像高度和宽度之间存在独立变化。

方法和拟议的架构
图 4 表示了基于 MRI 数据系统地检测、分类和分析脑肿瘤的工作流程。该方法包括先进的预处理、分割和 DL 技术，以实现稳健的肿瘤预测和分类。

图 4：所提出方法的工作流程。 使用 MRI 数据进行肿瘤检测、分类和分析的逐步工作流程。 请点击此处查看此图的大图。

该过程首先集成多个数据集（表示为 A、B、C 和 D）。然后，将数据集组合成一个综合数据集，以获得整体数据。它还涉及用于图像分割、聚类和分类目的的 Brad 数据集。合并数据集涉及附加每个数据集和组合目录中的所有图像，确保数据集全面统一，以便进一步分析和多分类模型开发。

其次，预处理完成，这是提高数据质量和可变性的重要一步。对原始 MRI 图像应用了九种增强过程，以提高模型性能和数据集多样性。将图像大小调整为通用尺寸可以协调它们，而 RGB 到灰度的转换则简化了处理。水平/垂直翻转提高了鲁棒性，变焦旋转模仿了不同的成像条件。使用 Sobel 滤波提高了特征敏锐度，噪声添加提高了可变性。锐化遮罩提高了图像的锐度，高度和宽度移动增加了位置变化。当它们结合起来时，它们中的每一个都可以提高模型的泛化性和分类准确性。所有这些都保证了该模型在广泛的成像情况下进行推广。总共有 20,620 张 MRI 图像，用于模型开发的后预处理图像总数产生 185,580 张图像。

然后，使用U-Net模型对合并后的数据集进行分割，该模型在医学成像中得到了高度利用。该架构经过微调和训练，可从 MRI 扫描中识别肿瘤区域。此步骤生成掩蔽图像，突出肿瘤并消除不相关的细节。对图像进行分割可确保更好地输入用于分类和分析的数据。

下一步，这些模型将进行微调，将图像分类为不同的类别，利用迁移学习来提高准确性，同时减少训练时间。对于分类，使用了许多预训练的深度学习模型，每个模型都有特殊的优势。由于其易用性和图像分类效率，VGG16 和 VGG19 被频繁使用。EfficientNetB0 和 EfficientNetB7 具有最佳的计算效率，可提供尖端性能。ResNet101 更深层次的架构通过有效捕获复杂的模式来提高分类准确性。之后，通过训练的算法将 MRI 数据分类为四种肿瘤分类，确保准确诊断。神经胶质细胞是神经胶质瘤肿瘤的来源，神经胶质瘤会损害大脑功能。脑膜瘤肿瘤发生在脑膜中，脑膜是大脑和脊髓的保护层。垂体是垂体肿瘤的部位，影响激素平衡和生理过程。

然后，为了帮助准确诊断，使用 K 最近邻 （KNN） 等聚类技术来预测肿瘤分级。高级别胶质瘤 （HGG） 的三级和四级表示严重的肿瘤发展。低级别神经胶质瘤 （LGG） 的 1 级和 2 级分别是生长较慢、侵袭性较小的肿瘤。这种分级对于确定肿瘤的侵袭性至关重要，因此可以直接进行临床管理。

最后，为了评估分类模型的有效性，根据重要标准对它们进行对比。评估它们的影响以确定增强和分割策略是否提高了模型性能。为了保证可靠性和有效性，还检查了各种数据集的性能，并将分类准确性与最先进的模型进行了对比。

该工作流程将数据准备、预处理、分割、分类和分级集成在一个连贯的框架中。它通过应用尖端的DL方法和严格的预处理，提高了脑肿瘤检测和分类的准确性。肿瘤分级的加入进一步支持了临床决策，使其成为一个全面的肿瘤分析系统。

图 5：深度学习框架。 提出使用深度学习模型的脑肿瘤分类框架。 请点击此处查看此图的大图。

图 5 是与医学图像分类系统相关的架构，该系统借助深度学习等先进计算技术来识别脑肿瘤。它从正在分类的 MRI 图像集合开始。因此，这将是分类过程的支柱。然后，输入数据进入数据预处理模块，在该模块中进行归一化或调整大小和图像增强，以及消除噪声。预处理对输入图像进行标准化，以充分利用模型的训练阶段。整个步骤是关于准备经历后续的计算密集型阶段。在预处理步骤之后，数据被馈送到特征提取模块。在这里，可以使用计算技术或模型，也许是 CNN 等 DL 模型，来识别图像中的特征。提取的特征可能包括指示异常或肿瘤特征的模式。然后，将这组特征输入到分类模型中。鉴于这可能旨在区分不同的类别，包括肿瘤的存在与否以及肿瘤的类型，该模型依赖于相当复杂的架构，可能是 Inception-ResNet-v2 等，以进行准确的预测。它确定扫描的脑部图像中是否存在肿瘤。此分类步骤分为“肿瘤”和“无肿瘤”。当发现肿瘤时，系统将肿瘤类型分类为神经胶质瘤、脑膜瘤或垂体。这些类型中的每一种都具有模型使用提取的特征来识别的特征。对于确定的肿瘤，然后确定肿瘤的等级。等级范围从 1 到 4，表明肿瘤的严重程度和进展。1 级攻击性最小，而 4 级最严重。这种分类有助于医疗诊断和治疗计划。最终输出包括肿瘤的存在及其类型和等级。这种输出对于临床应用在患者护理和治疗中做出决策非常有价值。

该过程代表了医学图像分析和肿瘤类型分类的集成管道。从原始数据开始，通过准备数据、特征提取和分类，依次进行。该系统确定它是否确实有肿瘤，指定其类型，并给出严重程度或等级。该管道使用更复杂的计算形式，简化了医学成像中的诊断，从而可以更快、更准确地评估脑肿瘤。模块化工作流程确保了灵活性，可以单独优化组件以提高性能。

Results

训练环境利用 Kaggle 的 NVIDIA Tesla T4 GPU，促进高效的模型训练。重要的库是 TensorFlow、PyTorch、Keras、NumPy 和 Pinecone，它们有助于强大的深度学习管道。选择 DenseNet201、InceptionV3 和 Inception-ResNet-v2 是因为它们在医学成像中表现出的功效。这些设计提供了深度特征提取、稳健的梯度流和混合强度，通过利用卓越的卷积和残差学习能力，提高了准确性，最大限度地减少了过度拟合，并改进了脑肿瘤检测中的模型泛化。在 DenseNet201 中，每一层都接收来自前几层的输入，从而减少梯度消失问题并实现特征重用。它有 201 层，采用一系列密集块，每个块都包含许多卷积层。与传统的卷积网络相比，该模型因其训练效率以及以更少的参数获得高精度的能力而受到认可。DenseNet201 常用于图像分类任务，并在各种基准数据集上表现出强大的性能。这显示了模型架构及其相应的超参数调整如何成功组合，以最小的错误级别对数据进行分类。低损失值描述了模型在训练阶段最小化其错误的有效性;这表明在学习过程中很有可能出现强收敛。

Discussion

脑肿瘤的早期诊断可能对于挽救个人生命至关重要，因为脑肿瘤可能非常危险和致命。目前，肿瘤诊断依赖放射科医生的人工解读，这可能会导致早期发现恶性肿瘤的延误和人为错误。因此，本文引入了一种多分类脑肿瘤诊断模型，该模型可以精确检测、定位和分类肿瘤，特别是在处理不同形状、大小和纹理时。它结合了医学成像的混合方法和先进的深度学习模型，以提高准确性并执行多重分类。脑部 MRI 分为三组：神经胶质瘤、脑膜瘤和垂体。它应用了一种精确和自动的分割模型，可以将大脑 MRI 与在原点拍摄的输入图像进行分割。由于肿瘤可能存在于大量不同的位置并具有不同的形状和结构，因此很难自动分割肿瘤。肿瘤切片分割模型是基于U-Net架构开发的。分类最大限度地减少了不使用分割时分类模型所花费的时间。

该研究还调查了数据集增强的影响。使用大量数据集以及两个预训练模型对分类模型进行了测试。由于模型训练需要高计算的GPU处理，作者使用了在高端笔记本电脑上运行的KaggleGPU，并在模型训练过程中使用了批处理技术。这项研究强调了医学成像中的可持续方法，通过利用迁...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
快速文本	Facebook 人工智能	不适用	单词表示和分类
谷歌 Colab	谷歌	不适用	基于云的 Jupyter Notebook 环境
谷歌 Colab GPU/TPU	谷歌	不适用	基于云的硬件加速
英特尔酷睿 i5/i7 或 AMD 锐龙 5/7	英特尔 / AMD	不适用	用于本地执行的处理器（如果需要）
Matplotlib	开源	不适用	数据可视化库
NLTK的	开源	不适用	用于文本处理的自然语言工具包
数字	开源	不适用	数值计算库
NVIDIA GTX 1650 或更高版本（可选）	英伟达	不适用	用于深度学习任务的 GPU
熊猫	开源	不适用	数据作库
蟒蛇	Python 软件基础	不适用	ML 和 NLP 的编程语言
PyTorch	元人工智能	不适用	深度学习框架
RAM（最低 8GB，推荐 16GB）	各种	不适用	ML 任务的内存要求
Scikit-学习	开源	不适用	机器学习库
海裔	开源	不适用	统计数据可视化
空间赛	爆炸人工智能	不适用	工业级 NLP 库
SSD 存储（最低 256GB，推荐 512GB）	各种	不适用	用于数据集处理的存储
张量流	谷歌	不适用	深度学习框架