增强型多模态融合用于优化脑肿瘤检测：评估与比较分析

摘要

本研究通过整合并评估五种预训练模型，提出了一种优化的脑肿瘤检测方法。该方法利用先进的图像增强技术、超参数调优以及多种优化器，实现了更高的准确率和泛化能力，为脑肿瘤诊断的医学影像分析领域做出了重要贡献。

摘要

脑肿瘤构成了重大的医学挑战，需要准确且高效的检测方法以实现及时干预。本研究整合了多种预训练基础模型，如 VGG16、MobileNetV2、DenseNet121、InceptionV3 和 ResNet50，提出了一种用于脑肿瘤诊断的新方法。研究提出了一种简洁且标准化的技术框架，可适配多种基础模型，确保一致性，便于维护，并有利于模型间的比较。为了增加训练数据集的多样性并提升模型的泛化能力，采用了调整亮度和对比度等显著的图像增强方法。此外，设计了一种高效的训练流程，利用数据生成器高效处理大规模数据集，同时节约计算资源。

本研究对三种不同的优化器（Adam、随机梯度下降和Adamax）分别应用于各预训练基础模型的情况进行了全面分析，并对超参数进行了系统性调整。采用召回率、准确率、精确率、F1分数及混淆矩阵等指标评估模型性能，从而全面理解模型的行为特征。通过对各模型性能的系统性比较，深入分析了其优势与不足，为脑肿瘤检测应用中的模型选择与决策提供了科学依据。其中，MobileNetV2在使用Adam优化器时取得了最高的整体性能，准确率达到96%，精确率为96%，召回率为94%，F1分数为95%。DenseNet121和VGG16也表现良好，准确率分别为95%和94%。InceptionV3的性能略低于表现最佳的模型，其准确率为93%，精确率为93%，召回率为91%，F1分数为92%。ResNet50的表现相对较低，准确率为77%，精确率为78%，召回率为76%，F1分数为76%。这些指标充分证明了所提出方法在脑肿瘤检测任务中的稳健性与有效性。

引言

脑肿瘤，无论良性或恶性，都对人类健康和福祉构成重大威胁。这些肿瘤的及时发现对于决定患者的预后具有关键作用，因此成为医学领域的首要任务^1,39（另见补充 表S1）。早期发现脑肿瘤不仅是一项重要的医疗目标，更是患者的关键生命线。通过实现及时干预并获得有效的治疗选择，有助于改善预后，增强患者信心，并减轻这一棘手疾病的总体负担⁴⁰。借助MRI等技术对疾病进展进行持续监测，对于调整治疗策略^1,3以及发现潜在并发症至关重要。早期发现不仅能提高患者生存率，还能通过提供成功治疗的希望和更好的长期预后，显著提升生活质量。

深度学习在脑肿瘤检测中发挥着关键作用，能够以无与伦比的能力分析复杂的医学影像数据^4,5,6，具有极高的精确度和速度。深度学习模型，特别是采用卷积神经网络（CNN）等先进神经网络结构的模型，能够从多种医学影像模态（如计算机断层扫描（CT）、正电子发射断层扫描（PET）和磁共振成像（MRI））中自主识别出复杂的模式和特征，表现出极高的有效性^7,41.

深度学习在识别脑肿瘤方面的一个关键优势是能够在极早期阶段检测到肿瘤^8,9,10,11。通过识别医学影像中可能逃过人类观察的细微异常，深度学习算法使医疗提供者能够及时启动治疗，从而防止肿瘤进展^{12,15,17,18,19,20}，并改善患者预后^15,17。这一能力对于指导治疗决策和预测患者预后至关重要^24,25,26。深度学习模型在大规模数据集上进行训练^27,28,29，能够掌握影像特征与肿瘤病理之间的复杂关系，提供精确且可靠的诊断见解^30,31,32,33。

深度学习的最新进展将最初为自然语言处理设计的基于变换器（transformer）的架构引入医学影像领域，成为改变游戏规则的工具。与传统的卷积神经网络（CNN）不同，变换器利用自注意力机制捕捉数据的全局依赖关系，使其在肿瘤分割与分类等复杂任务中表现出色。Saeed 等人⁴¹ 和 Mehmood 等人³⁸ 的研究强调了增强型变换器模型（如 DeepLabV3+ 和 TransResUNet）的成功应用，这些模型显著提高了脑肿瘤检测中分割的准确性与可解释性。这些模型有助于更深入地理解医学图像，Xuanzhi 等人⁴⁰ 的研究即展示了变换器在预测建模中的应用。

它们能够在较少依赖大规模标注数据集的情况下，描绘出复杂的空间关系，正在改变这一领域，为更灵活、可扩展的诊断方案铺平道路。这标志着医学影像领域的一次重大转变，强调在检测与分析中实现更高的精确性与效率。利用深度学习检测脑肿瘤已成为医学影像中的一个关键研究方向，其发展得益于迁移学习和优化方法的进步¹。尽管取得了这些进展，仍存在诸多挑战，例如模型性能的不稳定性、对优化技术的探索不足，以及对超参数调优和数据增强策略的评估有限。

医学影像中的迁移学习

优化技术：现有的优化算法在计算效率与收敛速度之间往往难以平衡，尤其是在高维空间中。因此，需要能够根据不同问题的特征动态调整的自适应与混合优化方法。

数据增强与预处理：当前的数据增强技术可能会引入不切实际的变换，难以推广到真实世界的应用场景。在考虑特定领域约束并保持数据完整性的自适应增强策略方面，仍需开展更多研究。

模型比较：大多数模型比较研究集中于基准数据集，这些数据集可能无法反映现实世界中的复杂性。目前在多样化、含噪声且类别不平衡的数据集上评估模型性能方面存在研究空白，而此类评估对于理解模型的真实泛化能力至关重要。

通过深度学习模型进行特征提取：尽管深度学习模型能够自动提取特征，但其通常缺乏可解释性。在可解释的特征提取方法方面仍需开展更多工作，以揭示所学习到的表征的内在机制。

优化策略：许多优化策略未能充分利用领域特定知识，导致产生次优解。需要开展研究，将具有领域感知的启发式方法融入优化框架中，以提升性能。

数据增强中的挑战：数据增强可能导致冗余或误导性信息，从而对模型性能产生负面影响。在深度学习应用中，如何平衡增强数据的多样性与数据的真实性仍是一个尚未解决的挑战。

对所提议研究中实验工作的深入分析揭示了其显著的优势与不足。积极方面在于，迁移学习模型在提取复杂特征方面已证明具有高度有效性，使其在脑肿瘤检测等任务中表现出色。此外，包括广泛使用的Adam优化器及 newer methods 在内的先进优化技术，已展现出提升模型收敛速度和整体性能的能力。

然而，某些局限性仍然存在。针对优化器与模型之间相互作用的研究较为有限，而这类研究可能为实现最佳性能提供更深入的见解。此外，超参数调优未得到足够重视，这一点已被视为一个缺陷，因为超参数调优在确保不同应用之间结果的可重复性和一致性方面起着至关重要的作用。

本文从特征提取与迁移学习的基础性工作开始，逐步推进到优化与数据增强等前沿领域，并最终指出现有研究中的关键空白。现有文献中凸显出若干重要研究空白。一个显著问题是迁移学习模型的基准测试缺乏一致性，即在不同优化器之间未进行统一评估，这一点已在研究^6,36中指出。另一个空白在于对超参数调优的探索有限，以及其在影响模型性能方面所起的关键作用尚未得到充分重视，相关发现见于研究^14,37。此外，现有研究中所采用的数据增强策略往往缺乏充分的理论依据，特别是这些策略对模型鲁棒性与泛化能力的影响尚不明确，这一现象已在文献^15,23中被观察到。这些空白表明，未来的研究亟需更加标准化且严谨的方法体系。

为弥补这些不足，本研究在五个预训练模型——VGG16、MobileNetV2、DenseNet121、InceptionV3 和 ResNet50——与三种优化器（Adam、SGD、Adamax）组合的基础上，进行了全面评估。通过填补基准测试方面的空白并探索优化器与模型之间的相互作用，本研究对模型性能动态进行了系统分析。采用网格搜索进行严格的超参数调优，优化了学习率、批量大小和 dropout 率等关键参数，从而显著提升了模型性能。

该研究还引入了定制化的数据增强策略，包括亮度和对比度调整，以提升模型的泛化能力。通过使用关键指标的标准化评估框架，确保了不同模型之间公平且一致的比较。值得注意的是，MobileNetV2 在脑肿瘤检测任务中表现最佳，提供了可操作的见解，并为医学影像研究中的可重复性和效率设立了新基准。

本研究中包含的预训练模型有 VGG16、MobileNetV2、DenseNet121、InceptionV3 和 ResNet50，这些模型在图像分类等任务中经过广泛测试并被证明有效，同时因其独特的架构优势可实现多样化的表征。VGG16 提供了一种简单而强大的框架，用于提取分层特征；而 MobileNetV2 则具有轻量化特点，其架构适用于资源受限的环境。DenseNet121 通过密集连接实现特征重用，从而提升效率。InceptionV3 利用 Inception 模块，能够在不同尺度上捕捉特征。ResNet50 借助残差连接，可有效避免梯度消失问题。三种优化器均选用 SGD 作为基准，与 Adam 优化器进行对比，后者结合了动量和自适应学习率，具有较快的收敛速度；同时还选用了 Adamax，该优化器在处理稀疏梯度时表现出较强的鲁棒性。

本研究通过在一个综合框架内结合多种架构评估、优化器分析和超参数调优，为该领域带来了独特的贡献，显著拓展了现有知识体系。其系统化的方法和详尽的报告确保了研究的可重复性，使其他研究人员能够复现研究结果，或以此为基础推动进一步发展。此外，本工作的实际意义显著，其成果可直接指导未来医学影像系统的开发，推动临床应用在准确性和效率方面的提升。

本研究的工作重点在于开发一个简洁且标准化的代码库，该代码库可兼容不同的基础模型，确保实现过程的一致性、便于维护，并促进模型间的比较。此外，本文提出了一种新方法，通过整合预训练的基础模型（包括 VGG16、MobileNetV2、DenseNet121、InceptionV3 和 ResNet50），利用它们独特的网络结构进行脑肿瘤检测。研究工作涉及图像增强方法，如亮度和对比度调整，以增加训练数据集的多样性并提升模型的泛化能力。本研究的目标是设计并实现一个高效的训练流程，利用数据生成器平滑处理大规模数据集，有效训练模型的同时节约计算资源。通过对三种不同的优化器——Adam、随机梯度下降（SGD）和 Adamax——应用于五个不同的预训练基础模型（VGG16、MobileNetV2、DenseNet121、InceptionV3 和 ResNet50）的情况进行深入分析，全面评估所提出方法的性能。最后，通过考察召回率、准确率、精确率、F1 分数以及混淆矩阵等关键指标，对模型性能进行深入评估，以全面理解模型的行为特性。

方案

图7 展示了所提出方法整体方法论的示意图。在建议的方法中，脑肿瘤的MRI扫描图像通过两种常用技术——归一化和缩放——进行预处理。本研究采用了若干流行的预训练迁移学习模型，如VGG16、MobileNetV2、DenseNet121、ResNet50和InceptionV3。模型训练完成后，在假设病例上进行测试，并基于准确率、召回率、精确率和F1分数等多种性能指标对模型性能进行深入分析。该提出的技术利用深度学习提高脑肿瘤分类的效率和准确性，有望在未来改善医学诊断流程。

1. 数据集获取

1. 获取数据集：从 Kaggle 下载脑肿瘤 MRI 扫描数据集，该数据集包含 7023 张图像，分为四类：垂体瘤、无肿瘤、脑膜瘤和胶质瘤。
2. 划分数据集：将数据集划分为训练集（5,712 张图像）和测试集（1,311 张图像）。
   注意：确保训练集和测试集中的类别分布均衡，以实现无偏模型评估。图 8 展示了训练数据集中各类别图像的可视化分布情况。在 图 9 中可看到来自四个不同类别的部分 MRI 图像样本。

2. 数据预处理

1. 图像转换：
   1. 使用 Python 图像库（PIL）将每张 MRI 图像转换为数值表示形式。
      1. 确保已安装 PIL（Pillow）和 numpy。
      2. 使用 PIL 打开 MRI 扫描图像。
      3. 如有需要，将图像转换为灰度图以简化处理。
      4. 转换为 NumPy 数组 —— 将图像转换为数值格式。
2. 数据增强：
   1. 亮度调整：使用 ImageEnhance.Brightness 函数将图像亮度在 0.8 至 1.2 的范围内随机调整。
   2. 对比度调整：应用 ImageEnhance.Contrast 函数将图像对比度在 0.8 至 1.2 的范围内随机调整。
      注意：这些增强技术用于模拟真实世界成像条件的变化，以提高模型的鲁棒性。
3. 归一化：使用 PIL 库加载图像并应用数据增强（例如翻转、旋转），将增强后的图像转换为 NumPy 数组。随后，将增强后的图像转换为数值表示形式（img_array = np.array(img_aug)）。根据机器学习模型的需求，对数组进行重塑或展平（img_vector = img_array.flatten()）。最后，通过将像素值除以 255.0 进行归一化，确保其值落在 [0, 1] 范围内。
   注意：此步骤确保模型输入的一致性，有助于训练的稳定性和性能提升。

3. 肿瘤分类的迁移学习

1. 模型选择：选择用于迁移学习的预训练模型，包括 VGG16、MobileNetV2、DenseNet121、InceptionV3 和 ResNet50。
2. 特征提取：通过将预训练模型的大部分层设置为不可训练，将其用作特征提取器。请参考以下代码行将各层设为不可训练：for layer in base_model.layers[:15]:
   layer.trainable = False
   注意：此步骤利用了从大规模、多样化数据集中学习到的层次化表征，从而在目标医学数据集上实现更好的泛化能力。
3. 微调：使用以下代码片段解冻每个预训练模型的最后三层，以适应脑肿瘤检测这一特定任务：for layer in base_model.layers[-3:]: layer.trainable = True
   注意：微调使模型能够专注于与脑部异常检测相关的特征。

4. 用于肿瘤分类的深度学习模型

1. 标准化的模型结构：
   1. 为每个模型添加一个 Flatten 层，将分层特征转换为一维数组。展平后，添加 Dense 层以执行分类或回归任务。
   2. 加入 Dropout 层（丢弃率分别为 0.3 和 0.2），以减少过拟合并提高泛化能力。
2. Dense 层：
   1. 添加一个包含 128 个神经元的 Dense 层，使用修正线性单元（ReLU）激活函数。
   2. 包含一个最终的 Dense 层，使用 softmax 激活函数对脑肿瘤图像进行多类别分类。
      注意：这种在各模型中统一的结构可确保评估和比较的一致性。

5. 训练与优化

1. 输入规范：将所有模型的图像输入尺寸标准化为 (224, 224, 3)。将 include_top 参数设置为 False，以排除全连接的分类层，仅将模型用作特征提取器。
2. 权重初始化：所有模型均使用 imagenet 预训练权重进行初始化，以确保比较的公平性和有效性。
3. 模型编译：所有模型均采用 sparse_categorical_crossentropy 作为损失函数，并使用 sparse_categorical_accuracy 作为评估指标。
   注：当标签为整数时，所选损失函数适用于多分类任务。
4. 优化策略：
   1. 批量大小：测试 16、32 和 64 的批量大小，以确定在训练速度和性能之间最优的取值。
   2. 学习率：Adam 优化器使用 0.0001 的学习率，SGD 和 Adamax 优化器使用 0.001 的学习率。
   3. Dropout 率：评估 0.2、0.3 和 0.5 的 Dropout 率，以防止过拟合。
      注：这些参数针对每个模型进行调优，以确保最佳性能。
5. 训练参数：统一设置批量大小为 20，并对所有模型训练 50 个轮次。
   基于轮次实施早停机制，以防止过拟合并减少不必要的计算开销。
   注：该标准化流程有助于公平比较各模型的性能。

6. 模型评估

1. 性能指标：使用准确率、精确率、召回率和 F1 分数等指标评估每个模型。
2. 混淆矩阵：构建混淆矩阵，以详细分析各类别之间的误分类情况。
   注意：这些评估可揭示每个模型的优缺点，为后续改进提供指导。

结果

对五个模型——VGG16、MobileNetV2、DenseNet121、InceptionV3 和 ResNet50——的性能评估包括准确率曲线、混淆矩阵和分类报告的详细分析。这些指标和可视化工具对于评估模型在脑肿瘤检测中的能力至关重要。准确率曲线动态地展示了模型在训练轮次（epochs）中的学习进展，同时揭示了模型可能存在的过拟合现象及收敛情况。

准确率指标对模型在所有类别中的分类性能提供了全面评估。宏平均（Macro Avg）通过计算F1分数、召回率和精确率的未加权平均值，对所有类别提供公平的评估。而加权平均则通过根据每个类别的样本数量对平均值进行加权，考虑了类别不平衡问题。综合这些评估指标与可视化结果，可为解析和比较各模型在脑肿瘤识别这一复杂任务中的性能表现提供坚实依据。

随机梯度下降（SGD）优化器

讨论

模型性能

深度学习模型（预训练）的有效使用是脑肿瘤识别性能优异的主要原因。用于评估性能的主流架构组合包括VGG16、MobileNetV2、DenseNet121、InceptionV3和ResNet50。这些模型由于使用大量图像数据进行了预训练，具备出色的特征提取能力。其权重已根据脑肿瘤数据集进行了优化，能够识别出提示肿瘤存在的复杂模式和细微差异。此外，还采用了全面的图像增强方法。该增强过程通过减少过拟合并提升模型的泛化能力，从而获得了更优的性能指标。

优化技术

为提升脑肿瘤检测模型的性能，系统地研究了多种优化技术。其中测试了三种不同的优化器：ADAM、Adamax 和 SGD（随机梯度下降）。每种优化器的不同特性会影响训练过程中的收敛...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
GPU 基础设施与 Jupyter Notebook	Kaggle（在线平台提供商）	Tesla-P100	Kaggle’s Jupyter Notebook 服务提供的 GPU 基础设施，采用最新的 NVIDIA Tesla P100 GPU
Intel Core i5-8350U	Intel	i5-8350U	用于本地处理的 Intel Core i5-8350U CPU @ 1.70GHz（最大 1.90 GHz）
内存（RAM）	标准	8GB_RAM	用于数据处理的 8 GB 内存
操作系统	Microsoft	Windows_64	用于本地处理的 64 位 Windows 操作系统
Python 库	Python 社区	N/A	NumPy、scikit-learn、PIL、TensorFlow 2.12、Keras 2.12