本文提出了一种基于可解释卷积神经网络(CNN)的皮肤病变分类框架,该框架结合了高诊断准确率与模型可解释性。该方法可对病变图像进行分类,并为其预测结果生成可视化解释。实验结果表明,该框架具有优异的性能和更高的透明度,有助于临床决策,并协助皮肤科医生实现皮肤疾病的早期检测。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文提出了一种基于可解释卷积神经网络(CNN)的皮肤病变分类框架,该框架结合了高诊断准确率与模型可解释性。该方法可对病变图像进行分类,并为其预测结果生成可视化解释。实验结果表明,该框架具有优异的性能和更高的透明度,有助于临床决策,并协助皮肤科医生实现皮肤疾病的早期检测。
在多项研究中,利用深度卷积神经网络对皮肤区域疾病进行诊断已被证明可达到与皮肤科医生相当的准确度水平。然而,目前仍存在诸多挑战,包括在某些情况下性能欠佳、泛化能力差,以及由于使用“黑箱”模型而导致的可解释性较低等问题。这些问题为实际应用带来了重大障碍,因为在实现准确诊断的同时,还必须具备可解释性,因此亟需找到有效的解决方案。为克服上述困难,本研究开发了一种用于皮肤病变分类的可解释深度学习框架(EDLF-SLC)。该框架结合多种机器学习与可解释人工智能(XAI)方法,以三阶段方式提升模型的准确性与可解释性。在第一阶段,融合从多个预训练CNN架构中提取的深度表征,以保留不同网络架构所学习到的互补性判别信息,随后采用径向基函数核的支持向量机(SVM)进行分类。第二阶段使用具有径向基函数核的支持向量机(SVM)对所获得的特征进行分类。最后,在第三阶段,通过局部可解释的模型无关解释方法(LIME)对模型的预测结果进行解释。实验结果表明,EDLF-SLC在准确率上达到88.0%,精确率为89.0%,召回率为87.0%,F1分数为88.0%,在本研究考虑的实验条件下,其性能优于多种近期报道的方法,展现出较强的竞争力。
皮肤病变是皮肤病学和肿瘤学中的主要问题,因其范围从良性异常到恶性肿瘤(如黑色素瘤)不等,而黑色素瘤是最致命的皮肤癌类型。2020年,全球黑色素瘤新发病例约达32.5万例,死亡人数超过5.7万例1。尽管筛查和治疗技术的进步已改善了患者的预后,但诊断延迟以及医疗资源获取受限仍导致较高的死亡率和寿命损失年数,尤其是在年轻人群中尤为显著2,3。
传统诊断主要依赖肉眼观察和皮肤镜检查,导致诊断过程依赖于临床医生的经验,容易产生主观性、观察者间差异、不必要的活检以及延长的检查时间4,5,6。为克服这些局限性,深度学习特别是卷积神经网络(CNN)已成为实现皮肤病变自动分类的有效解决方案。基于CNN的模型,包括DDCNN-F7、YOLOv7-XAI8以及多种其他架构9,10,11,12,13,已能够通过自动学习具有区分性的图像特征,实现较高的诊断准确率。尽管这些模型取得了成功,但大多数深度学习模型以“黑箱”方式运行,限制了临床医生的信任,阻碍了其在常规医疗实践中的应用。因此,可解释性人工智能技术被引入,通过提供对预测结果的可视化解释来提高模型的透明度。在这些方法中,局部可解释模型无关解释(Local Interpretable Model-Agnostic Explanations)通过识别对模型决策影响最大的图像区域,生成可解释的局部解释14。
皮肤病变分类已从传统的临床评估发展为基于人工智能的先进诊断系统,这一演变源于对准确、可靠且早期检测皮肤癌的需求。该领域的发展经历了五个主要阶段——传统诊断方法、计算机辅助诊断(CAD)、机器学习(ML)、深度学习(DL),以及近年来的可解释人工智能(XAI)和联邦学习(FL)——反映了人们持续努力提高诊断准确性、一致性、可扩展性和临床可信度,同时克服传统检查方法的局限性。早期的计算方法试图通过源自ABCD规则的手工设计图像描述符来模拟临床推理,这些规则包括不对称性、边界不规则性、颜色变化和病变直径。这些特征与贝叶斯网络、决策树、专家系统和模糊推理模型相结合,用于支持黑色素瘤的诊断,多项研究报道其分类准确率超过90%15,16,17。尽管这些方法为计算机辅助诊断奠定了重要基础,但它们完全依赖于人工设计的特征和预定义的诊断规则,因此在面对图像质量、病变形态、光照条件和采集环境的变化时,表现出有限的鲁棒性。
为解决这些不足,传统的计算机辅助诊断(CAD)系统作为介于常规图像分析与现代基于人工智能的框架之间的中间步骤应运而生。CAD 系统结合手工设计的特征提取方法与传统分类器,以提高诊断的一致性并辅助临床决策。一些混合方法将层次聚类与循环神经网络及长短期记忆网络架构相结合,实现了接近 99.5% 的分类准确率18。其他基于 CAD 的框架则融合了梯度提升分类器与基于 SHAP 的解释方法,在保持较强诊断准确性的同时提升了模型的可解释性19。尽管这些系统相较于纯规则驱动的方法已有显著改进,但仍高度依赖手工设计的特征提取、大量预处理、精细标注的数据集以及多阶段的处理流程。
机器学习技术通过实现数据驱动的学习而非显式规则设计,进一步推动了皮肤病变自动分类的发展。结合卷积神经网络与传统机器学习分类器(包括逻辑回归和k近邻算法)的混合框架在基准数据集上表现出优异的分类性能,准确率超过95%9。自监督多模态学习通过联合利用皮肤镜图像和临床图像,进一步改善了特征表示,在减少对大量人工标注依赖的同时提升了分类性能20。其他研究将卷积神经网络与广义判别分析、SURF描述符以及优化算法相结合,以提高特征区分能力和分类准确性21。采用DenseNet-201、InceptionV3和二叉树优化算法的自动特征选择技术在保持较高诊断性能的同时进一步增强了特征表示能力22。迁移学习方法利用预训练模型(如AlexNet和GoogLeNet),即使在训练数据有限的情况下也展现出良好的分类能力23。然而,大多数机器学习方法仍依赖于精心设计的预处理流程、人工构建的优化策略、平衡的数据集以及大量的超参数调优。其外部验证有限以及对类别不平衡的敏感性进一步限制了其在多样化临床环境中的实际应用。
深度学习(DL)的引入通过直接从原始图像数据进行端到端学习,从根本上改变了皮肤病变分类的自动化方式。卷积神经网络(CNN)消除了对手工设计特征工程的依赖,同时在多个基准数据集上显著提升了诊断性能。大多数基于CNN的方法通过日益复杂的网络架构,在病变分类方面表现出显著改进。关注对称性的CNN模型探索了具有临床意义的病变特征,但仅实现了中等水平的平衡准确率24。其他研究将EfficientNet架构与LIME和SHAP解释方法相结合,在提高可解释性的同时引入了定量的可信度评估指标25。结合病变分割、集成学习与CNN的混合深度学习系统在多个ISIC数据集上表现出优异性能,但仍对分割质量与类别不平衡问题较为敏感26。
近年来,日益复杂的混合架构通过整合互补的深度学习技术,进一步提高了分类准确率。结合YOLOv5和独立成分分析的条件生成对抗网络实现了超过99%的分类准确率,但其较高的计算复杂度限制了实际部署应用27。类似地,LSTM–ResNet混合架构能够有效学习时空特征表示,但需要显著增加计算资源28。基于Transformer的模型(如Sap-Former)利用全局上下文信息以增强特征表示能力,但需要大量预处理、大规模标注数据集以及强大的计算能力29。轻量级替代方案如S-MobileNet试图在计算效率与诊断准确性之间取得平衡30,而无监督域自适应方法尽管在训练样本有限时效果有所下降,仍可提升跨域泛化能力31。结合改进的卷积注意力模块与快照集成学习的注意力增强型混合网络在猴痘皮肤病变分类中也表现出良好性能,但类别不平衡、图像多样性以及可解释性不足等问题仍未得到解决32。采用更深网络结构和混合损失函数的定制化残差架构进一步将分类准确率提升至99%以上,但带来了显著增加的计算开销和训练时间33。多项系统综述研究一致指出,深度学习能够通过自动学习判别性图像特征,在性能上显著优于传统手工特征方法,但成像伪影、光照变化、计算复杂性以及临床泛化能力有限等问题仍持续存在34。
尽管深度学习显著提高了诊断准确性,但关于模型透明度、不确定性估计以及临床可信部署的担忧,促使人们对可解释人工智能(XAI)和联邦学习的兴趣日益增长。多项研究探讨了不确定性量化技术,包括保形预测、蒙特卡洛丢弃法和证据深度学习,表明可靠的置信度估计能够显著提升决策支持能力,尽管这会带来额外的计算和数据相关限制35。基于Transformer的互学习框架也被提出,以解决类别不平衡问题,同时提高特征学习效率36。其他方法将全分辨率卷积神经网络与基于图的优化技术相结合,以改善病灶分割与分类37,而整合多种互补特征表示的混合深度学习框架在需要大量预处理的情况下,仍实现了接近99.5%的分类准确率38。
近年来,研究 increasingly focused on 将可解释性直接整合到深度学习框架中,以增强临床医生的信任并促进实际临床应用。采用多种卷积神经网络架构并结合 Grad-CAM 和 Score-CAM 的可解释系统,在内部和外部数据集上均成功定位了具有诊断意义的病灶区域,同时保持了具有竞争力的分类性能39。将皮肤镜图像与临床元数据相结合的混合 CNN–Transformer 框架,在利用 SHAP 和 Grad-CAM 生成具有临床意义的可视化解释的同时,进一步提升了预测性能40。其他基于 Transformer 的混合架构整合了 EfficientNetV2S、Swin Transformers、改进的 Xception 网络以及图注意力机制,有效捕捉了病灶的全局与局部互补特征,但其庞大的参数量以及在少数类别上的有限性能限制了实际部署41。类似地,混合 YOLOv8–Vision Transformer 框架通过自适应增强结合 SHAP 和 Grad-CAM 解释,在病灶定位、多类别分类和可视化可解释性方面表现出改进;然而,这些方法仍主要依赖基准数据集,在少数病灶类别上的鲁棒性有限42。多篇综述文章总结了这些进展,强调了现代深度学习技术所取得的显著成就,同时也指出了在计算效率、可解释性、数据集依赖性和临床验证方面持续存在的挑战43,44,45。表1总结了近期发表的一些利用深度学习算法进行皮肤病变分类的研究工作。
尽管近期深度学习方法在皮肤病变分类方面取得了显著进展,但大多数现有方法仍受限于高计算复杂度、对大规模标注数据集的依赖、模型可解释性不足,以及在多样化真实临床环境中的验证不充分。为克服这些局限性,本文提出了一种EDLF-SLC框架,该框架将从多种卷积神经网络(CNN)架构中提取的互补特征与支持向量机(SVM)分类器相结合,以实现稳健且准确的分类。该框架进一步采用增强的预处理方法以提升图像质量并缓解类别不平衡问题,同时引入LIME技术对个体预测提供可视化解释,从而增强模型的透明度及临床可信度。
本研究的贡献主要体现在以下三个方面。首先,作者提出了一种鲁棒的框架EDLF-SLC,该框架将先进的卷积神经网络(CNN)与支持向量机(SVM)分类器相结合,以实现准确且可靠的皮肤病变分类。其次,作者实施了增强的预处理技术,以解决类别不平衡问题并降低图像噪声,从而提升输入图像的质量以及分类模型的整体性能。第三,作者引入了局部可解释模型无关解释方法(LIME),通过突出显示对分类决策影响最大的图像区域,来可视化和解释模型的个体预测结果,从而提高所提出框架的透明度和可解释性。
访问受限。请登录或开始试用以查看此内容。
本研究未涉及人类受试者的招募或可识别患者数据的收集。所有实验均使用从Kaggle资源库获取的公开可用的ISIC 2020皮肤病变数据集进行,因此无需机构伦理委员会批准和知情同意。本研究使用的所有材料均列于材料表中。
特征提取与融合
皮肤病变图像通过多个预训练的卷积神经网络(CNN)模型进行处理。从选定的预训练CNN架构中提取的深度特征向量被拼接,以构建每张皮肤病变图像的统一特征表示。所采用的融合策略保留了不同CNN架构学习到的互补视觉信息,使后续的支持向量机(SVM)分类器能够同时利用低层次的纹理特征和高层次的语义表示。尽管主成分分析或基于互信息的特征选择等降维技术可降低特征维度,但本研究有意保留完整的融合特征表示,因为融合后的特征空间对于所使用的径向基函数SVM(RBF-SVM)分类器而言在计算上仍可处理,同时保留了来自异构CNN骨干网络提取的互补诊断信息。
分类
利用融合的特征向量训练具有径向基函数(RBF)核的支持向量机(SVM)分类器。采用超参数优化技术确定最优的分类设置。随后,该分类器将皮肤病变划分为相应的类别。
可解释性
为了提高可解释性,采用LIME生成可视化解释,突出显示对分类结果贡献最为显著的图像区域。这些解释将有助于临床医生理解和验证模型的决策。
评估方案
使用基准皮肤病变数据集对所提出的框架进行评估。通过准确率、精确率、召回率和 F1 分数来评估性能。通过与现有的机器学习和深度学习方法进行对比实验,以证明所提出框架的有效性。
预期结果
本研究预期将产生一个准确且可解释的皮肤病变分类系统。初步实验结果表明,EDLF-SLC 的准确率达到 88.0%,精确率为 89.0%,召回率为 87.0%,F1 得分为 88.0%,优于多种竞争方法。通过整合 LIME 解释,预期可增强系统的可信度,并促进人工智能辅助诊断系统在临床实践中的应用。
意义
本研究通过解决皮肤病变诊断中可解释医疗人工智能领域的性能与透明度挑战,推动了该领域的发展。所提出的框架有望帮助皮肤科医生做出更可靠且可解释的诊断决策,最终改善患者诊疗效果。此外,本节中,作者提供了本研究中所应用的材料与方法的相关信息。具体而言,作者首先描述了实验所用的数据集,随后深入讨论了用于皮肤病变分类的可解释深度学习框架。
数据集
本研究基于公开可用的 ISIC 2020 数据集(国际皮肤影像协作组织),该数据集可在 Kaggle 网站获取(https://www.kaggle.com/datasets/fanconic/skin-cancer-malignant-vs-benign)。ISIC 数据库被公认为皮肤影像学领域最优质的资源之一,因其提供了多种不同类型皮肤病变的皮肤镜图像,如图1所示。尤为重要的是,该数据集包含良性与恶性病变的图像,适用于进行皮肤癌的二分类任务46。当前数据集共包含 3,297 张图像,其中 1,800 张为良性,1,497 张为恶性。为了更高效地开展实验,需将数据划分为训练集与测试集。具体而言,训练集包含 2,637 张图像,其中良性 1,440 张,恶性 1,197 张;测试集包含 660 张图像,其中良性 360 张,恶性 300 张。数据集的汇总信息见表2。
提出的EDLF-SLC模型
本文提出了一种高效且易于理解的皮肤病变良恶性分类解决方案,该方法基于一种新颖的可解释深度学习技术,采用混合策略,结合了多个预训练卷积神经网络模型的优势。卷积神经网络在从医学图像中提取高层语义特征方面已被证明非常有效。利用这一能力,所提出的用于皮肤病变分类的可解释深度学习框架(EDLF-SLC)通过融合多个预训练CNN模型,实现了更优越的性能。为确保医学决策过程所需的透明性,本方法引入LIME技术,以生成对输出结果的局部人类可读解释。整个框架可分为三个主要阶段,如图2所示,分别为:(1)数据预处理,(2)特征提取与分类,(3)可解释性。
模型架构与集成
作为初步步骤,我们选取了七种流行的深度学习模型(MobileNetV2、ResNet50、EfficientNetB0、Xception、InceptionResNetV2、NASNetLarge 和 MobileNet),并分别在验证数据集上进行评估。最终选定了其中效果最好的四种模型(ResNet50、EfficientNetB0、MobileNet 和 Xception)用于特征提取阶段。在所提出的框架中,每张输入图像 x 会独立地通过选定的预训练模型。这些模型的最后一个全连接层均被移除,并从其前一层中提取特征向量。fResNet50(x)、fEfficientNetB0(x)、fMobileNet(x) 和 fXception(x) 分别表示上述各模型输出的特征向量。通过将这些特征向量进行拼接,得到一个新的聚合特征向量 F(xi):
F(xi) = [f(ResNet50)(xi);f(EfficientNetB0)(xi);f(MobileNet)(xi);f(Xception)(xi)] (1)
随后,F(xi)已通过具有径向基函数(RBF)核的支持向量机(SVM)分类器,以获得分类结果。所提出框架的完整算法如下所示: 补充文件 1.
该框架采用直接的特征级融合,因为每个预训练的卷积神经网络(CNN)架构通过其独特的网络结构和学习到的特征层次,捕捉皮肤病变的不同判别特征。因此,拼接这些异构的特征表示能够保留互补信息,从而在分类前实现更全面的病变表征。尽管主成分分析(PCA)或基于互信息的特征选择等降维技术可降低融合后特征的维度,但本研究有意保留完整的融合特征向量,因为其维度对于所采用的径向基函数支持向量机(RBF-SVM)分类器而言在计算上仍可处理,同时保留了不同CNN主干网络提取的互补诊断信息。因此,该设计优先保留互补的深度特征表示,而非在分类前剔除可能具有信息量的特征。
数据准备
数据准备包括数据预处理以及将数据集划分为训练集和测试集。预处理旨在通过消除不一致性、删除重复元素、格式化输入图像以及进行特征缩放,以提高数据质量,从而稳定地训练出性能良好的模型。所有图像均已通过 Z 分数归一化方法归一化至 [−1, 1] 范围内:
(2)
其中 µ and σ 分别代表相应图像的平均值和标准差。数据集已被分为两个子集,即训练集(70.0%)和测试集(30.0%)。
数据增强
为避免过拟合并提高模型的泛化能力,对训练集采用了一些数据增强方法。图像增强通过修改图像来人工扩展数据集,同时不改变医学状况的本质特征。增强流程使用 Keras Sequential API 构建,采用的变换包括随机水平翻转、小角度旋转、调整大小、缩放、亮度/对比度调整、缩放以及一些轻微的位移。增强后图像的代表性示例如图3所示。
预训练模型
在所提出的框架中,采用了多种预训练的深度学习模型,用于从输入图像中提取特征。这些模型包括 MobileNet、ResNet50、EfficientNetB0、Xception、NASNetLarge、Inception-ResNet-v2 和 MobileNetV2。MobileNet 和 MobileNetV2 是轻量级深度学习模型,通过使用深度可分离卷积实现高效的计算。ResNet50 采用残差连接机制来训练模型,从而避免训练过程中出现梯度消失问题。EfficientNetB0 通过复合缩放方法在效率与精度之间取得平衡。Xception 利用深度可分离卷积对 Inception 网络进行扩展。NASNetLarge 采用神经网络架构搜索技术构建最优的深度神经网络结构,而 Inception-ResNet-v2 则结合了 Inception 模型与残差连接机制,形成一种混合结构。从 ResNet50(1,024 个特征)、EfficientNetB0(1,280 个特征)、MobileNet(1,024 个特征)和 Xception(2,048 个特征)中提取的特征向量被拼接,生成一个统一的 5,376 维表示。选择这种融合策略是为了保留不同卷积神经网络架构所学习到的互补性表征,而非在分类前降低表征维度。生成的特征向量随后输入至 RBF-SVM 分类器,由其在融合后的特征空间中确定最优的非线性决策边界。
可解释的人工智能模型(LIME)
为了对模型的预测结果提供一定的局部可解释性,作者采用了为每个具体模型预测生成局部人类可读解释的方法,即LIME47。对于任意输入图像,LIME首先将其分割为称为超像素的较小单元。随后,从原始图像生成若干扰动样本,并利用深度神经网络模型对每个扰动样本进行预测。接着,通过拟合一个加权线性模型来分析这些扰动样本,其权重取决于各扰动与原始输入样本的接近程度。在线性模型拟合完成后,估算各特征的重要性得分,以表明每个超像素在最终标签预测中的作用。这些重要性得分将在最终的解释图像中以可视化方式突出显示。LIME算法详见补充文件2。
访问受限。请登录或开始试用以查看此内容。
所开发分类框架的性能评估基于源自混淆矩阵的传统评价指标。混淆矩阵通过表示针对每个定义类别所做出的正确与错误分类数量,能够全面地理解分类器的性能,从而可以分析所有类型的错误。例如,在疾病诊断中,假阳性与假阴性均尤为重要。假阳性值较高可能表明分类器具有高灵敏度,但同时,大量的假阴性则表明其灵敏度较低,并可能带来潜在的健康风险。本文采用了以下性能指标:准确率(accuracy)、精确率(precision)、召回率(recall)、F1分数(F1-score)、特异性(specificity)、真阳性率(TPR)和假阳性率(FPR)。这些指标的计算公式如下所示:
准确率 = (TP + TN) / (TP + TN + FP + FN) (3)
精确率 = TP/(TP+FP) (4)
访问受限。请登录或开始试用以查看此内容。
本文提出的用于皮肤病变分类的可解释深度学习框架(EDLF-SLC)表明,将互补的深度特征表示与可解释的人工智能相结合,能够同时提升分类性能和模型透明度。该框架通过整合多种预训练的卷积神经网络架构(ResNet50、EfficientNetB0、MobileNet 和 Xception)进行特征提取,并采用支持向量机(SVM)完成最终分类,充分利用不同特征提取器的优势,生成比单一主干网络更丰富且更具判别性的病变表征。此外,通过引入局部可解释模型无关解释方法(LIME),该框架可提供局部化的视觉解释,使临床医生能够理解对每项预测贡献最大的图像区域,从而增强对模型诊断决策的信心。
实验结果表明,EDLF-SLC 在与基准 CNN 模型(包括 MobileNet、Xception 和 ResNet50)的比较中表现出具有竞争力的性能,凸显了互补特征融合与基于 SVM 分类方法的有效性。与近期先进方法的对比进一步验证了所提出框架的竞争力。例如,两项研究48,49 报道了使用基...
访问受限。请登录或开始试用以查看此内容。
作者声明不存在利益冲突。
作者谨向泰夫大学表示诚挚的感谢,感谢其提供的研究环境和机构支持,这些支持促进了本工作的顺利完成。
访问受限。请登录或开始试用以查看此内容。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| ISIC 2020 皮肤病变数据集 | 国际皮肤影像协作组织 (ISIC) | ISIC 2020 挑战赛数据集 | 用于模型开发与评估的皮肤镜图像数据集。 |
| Keras | Keras 团队 | 集成于 TensorFlow | 深度学习模型的构建与训练。 |
| LIME(局部可解释模型无关解释方法) | Ribeiro 等人 | Python 软件包 | 为模型预测生成局部可视化解释。 |
| Matplotlib | Matplotlib 开发者 | 最新兼容版本 | 学习曲线、混淆矩阵及评估图表的可视化。 |
| NumPy | NumPy 开发者 | 最新兼容版本 | 数值计算与数组操作。 |
| NVIDIA Tesla T4 GPU | NVIDIA 公司 | 16 GB VRAM | 模型训练与推理加速。 |
| Pandas | Pandas 开发团队 | 最新兼容版本 | 数据处理与实验结果管理。 |
| 预训练 CNN 模型 | TensorFlow/Keras Applications | ResNet50、EfficientNetB0、MobileNet、Xception | 从皮肤镜图像中提取深度特征。 |
| Python | Python 软件基金会 | 版本 3.9 | 实现所用的编程语言。 |
| PyTorch | PyTorch 基金会 | 版本 2.3.1 | 用于特征提取与模型实现的深度学习框架。 |
| Scikit-learn | Scikit-learn 开发者 | 最新兼容版本 | 支持向量机(SVM)、评估指标与数据预处理。 |
| 支持向量机(RBF 核) | Scikit-learn | SVC | 融合后的深度特征表示的分类。 |
| TensorFlow | Google LLC | 版本 2.x | 用于模型训练与推理的深度学习框架。 |
| Ubuntu 操作系统 | Canonical Ltd. | Ubuntu 20.04 | 实验运行环境。 |
访问受限。请登录或开始试用以查看此内容。