本研究提出了一种方法FusionNetX，通过增强DenseNet121和EfficientNetB7的特征融合能力，对五个公开可用的数据集进行脑肿瘤分类。该方法结合了数据增强、预处理和混合模型定制（中间融合），在多个评估参数上均表现出更优性能，准确率达到了98.77%至99.89%之间。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文内容
摘要
摘要
脑肿瘤被认为是世界上最致命的疾病之一，误诊会危及患者生命并降低生存率。基于深度学习技术（尤其是卷积神经网络）的磁共振成像（MRI）对于克服这一难题至关重要，因为它能够更详细地检查大脑内部结构，并具备出色的學習和预测能力。目前，对脑部肿瘤进行准确诊断的需求仍然十分迫切。因此，本文提出了一种基于增强特征融合的深度学习模型（FusionNetX），该模型利用了两个预训练模型DenseNet121和EfficientNetB7的优势，并采用定制的微调超参数，包括可训练层和不可训练层。所提出的FusionNetX模型应用于五个公开的脑肿瘤数据集：Br35H、Figshare、Sartaj、Masoud和Balanced Brain Tumor。通过调整图像尺寸和数据增强等预处理步骤，提升了图像质量并缓解了过拟合问题。使用多种性能评估指标（如准确率、损失值、阳性预测值、阴性预测值、真阳性率、真阴性率、F1分数、假阴性率和假阳性率）进行评估，结果表明，所提出的FusionNetX模型在Br35H数据集上的准确率达到99.33%，在Figshare上为99.13%，在Masoud上为99.89%，在BBT-Dataset上为99.19%，在Sartaj上为98.77%。此外，还采用晚期融合和基于注意力机制的融合方法对这五个脑肿瘤数据集进行了评估，以凸显所提出FusionNetX模型的有效性，结果显示其性能显著更优，在所有数据集上的准确率提升了0.3%至1.9%。进一步地，计算了受试者工作特征曲线（ROC曲线），结合各项性能评估指标的结果表明，所提出的FusionNetX模型能够准确检测和预测脑肿瘤，有助于医疗从业人员及时做出临床决策。
引言
如今，癌症因其严重性和发病率不断上升，已成为人体最致命的疾病。人体内发现的多种癌症疾病，如脑肿瘤、乳腺癌、肺结节、肾癌等，导致死亡率持续升高。当人体内的细胞或组织异常增殖时，便会形成癌症。 当癌症发生转移时，可能损害其他人体器官，从而变得更加危险1。由于大脑控制着所有身体功能，任何对大脑的损害都可能对全身造成深远影响。 因此，脑肿瘤或脑癌对人类具有极高的致死性2。此外，脑肿瘤主要分为良性和恶性两大类。“良性”基本指非癌性，仅表示脑部存在可通过改变周围环境而修复的问题。而恶性肿瘤则因其具有转移性而被视为危险，异常细胞或组织可在身体其他部位之间迁移，干扰其他器官功能，从而增加体内癌症扩散的风险3。
此外，根据美国脑肿瘤协会和世界卫生组织（WHO）的分类，垂体瘤、脑膜瘤和胶质瘤是脑癌的三大主要类型4。胶质瘤起源于胶质细胞，这类细胞为大脑中的神经元提供营养支持。垂体瘤起源于位于大脑底部的垂体，该腺体负责调控多种身体功能；而脑膜瘤则起源于脑膜，脑膜是保护包裹大脑和脊髓的膜状结构。此外，临床上常采用多种医学影像技术对机体内部结构进行诊断性检查，包括X射线、计算机断层扫描（CT）和磁共振成像（MRI）5,
访问受限。请登录或开始试用以查看此内容。
方案
世界上最严重的疾病是脑肿瘤。准确的诊断有助于提高患者的生存率。然而，目前仍需要一种能够在早期检测出脑肿瘤的精确诊断系统。为解决这一问题，本文提出了一种更为可靠的检测方法，该方法采用基于DenseNet121和EfficientNetB7模型的混合双深度学习机制，并结合优化的超参数和精细调整的网络层，以实现对脑肿瘤早期阶段的精确检测。所提出的方法以2D MRI图像作为输入，针对Br35H二分类数据集输出是否存在肿瘤的预测结果，同时对另外四个多分类数据集实现肿瘤分类。因此，本节展示了该方法从数据收集到最终输出的主要步骤，包括数据获取、数据预处理、数据划分、模型选择、特征提取、肿瘤预测以及所提出模型的评估，如图1所示。
图 1：所提出方法的工作流程。该示意图展示了所提出模型的....
访问受限。请登录或开始试用以查看此内容。
结果
本部分详细介绍了在五种脑癌开源数据集（包括 Br35H、Figshare、Sartaj、Masoud 和 Balanced Brain Tumor 数据集）上测试所提出的双特征融合模型的结果，并根据多种统计性能评估参数对其性能进行评估，这些参数包括准确率42,43,44、误分类率（MCR）45、精确率（也称为阳性预测值，PPV）46、阴性预测值（NPV）、真阳性率（TPR，也称为灵敏度47或召回率）、真阴性率（TNR，也称为特异性）、F1 分数48、假阴性率（FNR）和假阳性率（FPR）。以下公式展示了上述性能评估参数的数学表达形式。
访问受限。请登录或开始试用以查看此内容。
讨论
综上所述，所提出的模型工作流程如下：首先，选择图像尺寸为 224 × 224，该尺寸适中，便于任何深度学习模型从数据样本中提取并学习合适的特征，同时保留所有重要信息；随后进行数据增强，这有助于使数据样本朝更多样化的方向变化，对模型从不同平面或角度提取特征具有重要作用。旋转范围设为 7%，宽度和高度平移范围为 0.05，缩放范围为 0.01。同时应用水平和垂直翻转，以将数据移动和缩放到不同角度。此外，数据集按 80% 训练集和 20% 验证集进行划分，以确保方法的平衡性，并采用固定随机种子（random_state = 42）进行数据打乱。接下来，在所提出的模型中应用 L2 正则化器，其系数（λ）为 0.01，该正则化器通过在训练过程中惩罚较大的权重，帮助模型防止过拟合并增强泛化能力，同时有助于平滑损失函数并减小权重的幅值。此外，在模型的全部 3 个模块中均应用了 Dropout 层，Dropout 比例分别为 0.3、0.2 和 0.1，对应于全连接层中 1024、512 和 256 个神经元，以克服每个模块在训练过程中的过拟合问题。每个全连接层均采用 Leaky ReLU 激活函数（AF），该函数在输入为负时允许存在较小梯度，有助于缓.......
访问受限。请登录或开始试用以查看此内容。
披露
作者无任何利益冲突需要披露。此外，手稿及图表均未使用人工智能工具生成。
致谢
作者感谢沙特阿拉伯利雅得公主诺拉·宾特·阿卜杜勒拉赫曼大学研究人员支持项目（PNURSP2026R192）以及公主诺拉·宾特·阿卜杜勒拉赫曼大学提供的支持。作者同时感谢参与本研究的研究对象及相关机构。
资金支持：
本工作由韩国国家研究基金会（NRF）资助，该基金会由韩国政府（MSIT）提供资金（项目编号：RS-2023-00218176）以及顺天乡大学研究基金支持。沙特阿拉伯利雅得阿卜杜勒拉赫曼·宾特·努拉公主大学研究人员支持项目（PNURSP2026R192），阿卜杜勒拉赫曼·宾特·努拉公主大学。
....访问受限。请登录或开始试用以查看此内容。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| Br35H 脑肿瘤数据集 | Kaggle（数据集贡献者） | https://www.kaggle.com/datasets/ahmedhamada0/brain-tumor-detection | 公开数据集；二分类（有肿瘤 / 无肿瘤）300 张 MRI 图像 |
| Figshare 脑肿瘤数据集 | Kaggle / Figshare | https://doi.org/10.6084/m9.figshare.1512427 | 公开数据集；多分类（胶质瘤、脑膜瘤、垂体瘤）3064 张 MRI 图像 |
| Sartaj 脑肿瘤分类 MRI 数据集 | Kaggle（Sartaj Bhuvaji 提供的数据集） | https://doi.org/10.34740/kaggle/dsv/12745533 | 公开数据集；多分类（胶质瘤、脑膜瘤、无肿瘤、垂体瘤）3264 张 MRI 图像 |
| Masoud 脑肿瘤 MRI 数据集 | Kaggle（Masoud Nickparvar 提供的数据集） | https://doi.org/10.34740/kaggle/dsv/14832123 | 公开数据集；多分类（胶质瘤、脑膜瘤、无肿瘤、垂体瘤）7023 张 MRI 图像 |
| BBT-数据集（脑肿瘤数据集） | Kaggle（数据集贡献者） | https://doi.org/10.34740/kaggle/dsv/6758053 | 公开数据集；平衡的多分类脑肿瘤数据集，共 5248 张 MRI 图像 |
| Python | Python 软件基金会 | https://www.python.org | 编程语言，版本 3.10.13 |
| TensorFlow / Keras | Google / TensorFlow 开发团队 | https://www.tensorflow.org | 深度学习框架；用于模型构建、训练与评估，版本 2.15.0 |
| EfficientNetB7（预训练模型） | Google / Keras Applications | https://keras.io/api/applications/efficientnet/ | 基于 ImageNet 预训练的主干网络；用于特征提取 |
| DenseNet121（预训练模型） | Keras Applications | https://keras.io/api/applications/densenet/ | 基于 ImageNet 预训练的主干网络；用于特征提取 |
| scikit-learn | scikit-learn 开发团队（NumFOCUS） | https://scikit-learn.org | 标签编码、训练集-测试集划分、评估指标（分类报告、混淆矩阵、ROC/AUC） |
| OpenCV (cv2) | OpenCV 团队 | https://opencv.org | 图像加载与尺寸调整 |
| NumPy | NumPy 开发团队（NumFOCUS） | https://numpy.org | 数值计算与数组操作 |
| pandas | pandas 开发团队（NumFOCUS） | https://pandas.pydata.org | 数据组织与指标表格化 |
参考文献
- He Z, et al. A review on methods for diagnosis of breast cancer cells and tissues. Cell Prolif. 2020;53(7):e12822. doi:10.1111/cpr.12822.
- Siegel RL, Giaquinto AN, Jemal A. Cancer statistics, 2024. CA Cancer J Clin. 2024;74(1):12–49.
- Varuna Shree N, Kumar TNR. Identification and classification of brain tumor MRI images with feature extraction using DWT and probabilistic neural network. Brain Inform. 2018;5(1):23–30.
- Ghoreishi Mokri SM, Valadbeygi N, Grigoryeva V. Diagnosis of glioma, menigioma and pituitary brain tumor using MRI images recognition by deep learning in Python. EAI Endorsed Trans Intell Syst Mach Learn Appl. 2024;1:1–9.
访问受限。请登录或开始试用以查看此内容。