需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

一种可复现的实验方案：用于开发与评估医疗系统中的可解释人工智能模型

101 次观看

⸱

DOI：

10.3791/73848

⸱

2026年9月15日

 , 
1Vishwakarma University

本文内容

摘要

本方案提供了一套可重复的工作流程，用于在医疗保健领域开发、评估和解释可解释的人工智能模型。该流程整合了标准化的数据准备、模型开发、可解释性技术、定量评估以及可重复性实践，以提高模型的透明度、可靠性和临床适用性。

摘要

人工智能（AI）正日益被采纳为临床决策、疾病预测、医学诊断和个性化医疗中的重要工具。然而，缺乏透明度、可解释人工智能（XAI）方法实施不一致以及可重复性有限，仍是AI模型在临床环境中可信部署的主要障碍。本文提出了一种系统化、可重复且透明的协议，用于开发、评估和解释面向医疗应用的可解释AI模型。该工作流程包括计算环境搭建、数据获取与表征、预处理、特征工程、模型开发、超参数优化、预测性能评估、可解释性分析、统计验证以及可重复性评估。该协议整合了多种XAI方法，如SHapley加性解释（SHAP）、局部可解释模型无关解释（LIME）、梯度加权类激活映射（Grad-CAM）、积分梯度、注意力可视化以及反事实解释，以生成全局和局部的模型解释。本协议强调若干关键环节，包括标准化医疗数据集的准备、稳定机器学习模型的构建、预测性能的评估、生成具有临床意义的解释，以及在多次实验中对可重复性进行统计评估。通过将模型开发、可解释性、定量与定性评估、统计验证及可重复性评估整合到统一的工作流程中，本协议为开发透明且可重复的医疗AI模型提供了全面的框架。

引言

人工智能通过实现对复杂临床数据的智能分析并支持循证医学决策，已成为现代医疗保健的重要组成部分1。随着电子健康记录、医学影像系统、可穿戴设备和基因组技术的快速发展，医疗保健领域实现了快速数字化，产生了大量异构数据，这些数据需要先进的计算方法才能有效解读2。

机器学习（ML）和深度学习（DL）算法在从多维医疗数据集中提取有意义的模式方面展现出卓越的能力，从而提高了诊断准确性、疾病预测能力和患者预后评估3。基于人工智能的模型已成功应用于放射学、病理学、心脏病学、肿瘤学、眼科学及其他医学专业，协助临床医生更早地发现疾病并推荐个性化的治疗策略4。这些技术还有助于优化工作流程、减少诊断差异性，并提高医疗资源的利用效率5。

计算硬件、云计算和开源人工智能框架的最新进展加速了智能医疗应用的开发与部署6。因此，人工智能已成为精准医学和临床决策支持系统的关键使能技术7。尽管取得了这些进展，人工智能在常规临床实践中的广泛应用仍然有限，因为许多高性能模型对其预测生成过程缺乏透明度8。

大多数深度学习算法作为复杂的黑箱模型运行，其内部决策过程难以被临床医生和研究人员理解9。尽管这些模型通常能够实现优异的预测性能，但其缺乏透明性会削弱用户的信任，并对临床验证、监管审批和患者安全构成挑战10。在将人工智能辅助决策纳入常规临床实践之前，医疗专业人员必须能够对其决策依据进行解释，尤其是在高风险的医疗环境中11。

可解释人工智能（XAI）已成为提高机器学习模型透明度和可解释性的有效方法12。XAI 技术并非将预测模型视为黑箱系统，而是提供有关对个体预测产生影响的特征、图像区域或临床变量的信息13。此类解释有助于临床医生更好地理解模型行为，识别潜在偏差，并判断人工智能生成的决策是否与既有的医学知识一致14。

针对医疗保健应用，已提出多种可解释性技术。SHapley加性解释（SHAP）基于合作博弈论，用于衡量每个特征对模型预测的贡献15。局部可解释性模型无关解释方法（LIME）通过构建简化模型，解释黑箱模型的预测结果16。对于使用深度学习模型的医学图像任务，梯度加权类激活映射（Grad-CAM）生成热图，直观显示对分类决策有贡献的图像区域17。这些方法的结合显著提高了人工智能系统在不同医疗领域中的透明度18。

尽管医疗领域对可解释性方法的关注日益增加，但其在文献中的应用仍存在差异。研究人员不仅在预处理策略的使用上有所不同，而且在模型架构设计、评估指标乃至解释方法的选择上也存在差异19。此外，许多论文报告了较高的预测准确率，但未能对解释结果的质量或其可重复性进行充分评估20。

可重复性是现代人工智能科学研究中的主要瓶颈之一。论文通常未披露软件版本、计算环境、预处理流程、超参数设置、随机种子初始化以及硬件配置21。因此，独立研究人员常常无法复现已发表的结果，或难以使用其他数据集或软件平台验证已发表的方法22。缺乏详细的文档记录是阻碍人工智能系统开展基准测试、协作研究及临床转化的因素之一23。

鉴于这些挑战，多个组织和监管机构已强调医疗保健领域的人工智能应具备透明性、可信度和可重复性24。现有的报告指南虽已改善了方法学报告的质量，但主要侧重于应报告的内容，而非提供研究人员可直接实施的标准化实验流程25。因此，仍亟需一项综合性的实验方案，将数据集准备、模型开发、可解释性分析、统计评估以及可重复性实践整合到统一的实验工作流程中26。

标准化的实验方案为医疗人工智能领域带来了多项优势。此外，它有助于保持方法学上的一致性，促进独立研究之间的比较，提高计算实验的透明度，并实现对已发表结果的可靠验证27。标准化的工作流程还通过清晰记录、可在不同实验室和医疗机构中重复的操作程序，支持教育培训、协作研究以及监管评估28。

本研究开发并测试了一种可重复的实验方案，用于在医疗系统中训练和评估人工智能模型。该方案规定了配置计算环境、预处理医疗数据集、开发机器学习模型、应用可解释性人工智能（XAI）方法、评估预测性能、进行统计验证以及评估可重复性等方面的标准29。将这些组件整合为一个连贯的工作流程，有望提高医疗人工智能研究的透明度、可靠性和可重复性，并有助于构建可信的智能健康系统30。

访问受限。请登录或开始试用以查看此内容。

方案

本研究验证实验使用了公开可获取的、去标识化的皮马印第安人糖尿病数据集，未涉及可识别的患者记录或新患者招募。因此，无需获得知情同意及机构伦理审查委员会（IRB）/伦理批准，所有分析均依照适用的数据集使用条款及机构科研政策进行。

本验证示例使用公开的皮马印第安人糖尿病数据集，该数据集包含768条用于二分类糖尿病预测的记录。对该数据集应用了完整的九阶段核心工作流程。这九个核心阶段包括数据集选择与验证、计算环境配置、数据预处理、数据集划分、模型开发与训练、预测性能与计算性能评估、可解释性分析、统计验证以及可重复性评估。外部验证和临床专家评估被保留为可选的验证模块，在本示例中未予执行。图1展示了核心协议的工作流程，表1仅总结了本示例中实施的九个核心阶段；可选的外部验证和临床专家评估在方案部分有单独描述，不包含在九个实验阶段之内。

1. 选择并验证医疗数据集

  1. 选择 Pima 印第安人糖尿病数据集作为本研究验证示例的主要数据集。核实数据集来源、样本量、预测目标、类别分布及数据结构。
  2. 应用预定义的纳入、排除及数据质量标准。在模型开发前删除重复和无效记录。
  3. 在 表2 中记录数据集来源、特征、预测任务、类别分布、纳入与排除标准以及划分策略。
  4. 应用数据集与模型选择的决策标准
    1. 在选择数据集、模型架构、预处理策略或可解释性方法之前，首先明确预测目标。
    2. 根据预测目标匹配数据集模态。针对结构化临床变量选择表格数据，针对医学图像选择影像数据，针对生理信号选择时间序列数据，针对临床叙述文本选择文本数据；当同一患者或研究单元具备多种互补模态时，选择多模态数据。
    3. 根据样本量、结局可用性、类别分布、缺失情况、标注质量、临床相关性、数据完整性及可获取性评估候选数据集。选择满足预定义要求的数据集。
    4. 当样本量、计算资源或可解释性要求限制了复杂架构的使用时，针对结构化表格数据选择传统机器学习模型。当拥有充足的训练数据以及高维输入（如医学图像、生理信号或临床文本）时，选择深度学习架构。
    5. 仅当同一患者或研究单元具备多种模态数据且能够可靠对齐而不引入信息泄露时，才选择多模态架构。根据所选数据模态的特征选择相应的预处理操作。
    6. 根据模型和数据模态选择可解释性方法。对于合适的表格模型，使用模型无关方法（如 SHAP 或 LIME）；对于基于图像的模型，在适用情况下使用特定于模态的方法（如 Grad-CAM）。
    7. 记录数据集、预处理策略、模型及可解释性方法选择的依据。将这些决策作为可重复性记录的一部分予以保存。

2. 配置用于可解释人工智能模型开发的计算环境

  1. 根据所选模型的要求配置操作系统、CPU、内存、存储和 GPU。创建独立的 Python 环境，并安装所需的机器学习、深度学习、统计、可视化和可解释性人工智能（XAI）库。
  2. 在 表3 中记录实际使用的计算环境、模型架构以及用于验证实验的超参数。明确说明优化器、学习率、批量大小、最大训练轮数、损失函数、正则化参数、验证策略、早停配置、随机种子设置、可解释性方法、硬件、操作系统、Python 版本以及相关软件库的版本。将这些实际用于实验的设置与通用或推荐的协议设置区分开来。
  3. 在复现 Pima 印第安人糖尿病数据集验证及其相应的预测、可解释性、统计分析和可重复性结果时，使用 表3 中报告的配置。
  4. 运行验证脚本，确认能够成功导入软件包、加载数据集、执行模型并生成输出结果。保留最终确定的环境配置以确保可重复性。

3. 为可解释人工智能模型开发准备和表征医疗保健数据集

  1. 选择并获取医疗数据集
    1. 选择适合既定临床预测任务的医疗数据集。根据研究目标、数据类型、样本量、标注质量、类别平衡性和临床相关性，评估候选数据集。
    2. 当公开可用的基准数据集能够充分满足预测任务需求并支持独立验证时，优先选用此类数据集。
    3. 在获取机构内部或自建数据集之前，须获得必要的伦理审批、机构许可和数据访问授权。从经过验证的存储库或授权的机构数据库中获取所选数据集。
    4. 保留原始数据集文件，不得修改，并记录数据提供方、版本、获取信息、许可条件、纳入标准、排除标准及附带的元数据。将数据集组织为原始数据、标注、元数据和补充信息的独立目录。
  2. 表征医疗数据集
    1. 识别预测变量、结果标签、特征类型、数据模态和类别分布。确定受试者数量、样本数量、特征维度以及可用的标注信息。
    2. 确认数据集特征与所选人工智能方法相兼容。
    3. 仅使用Pima Indians Diabetes Dataset作为验证九阶段核心协议的实验数据集。仅将表2中列出的其他数据集用于展示该通用协议在临床表格数据、电子健康记录、皮肤镜图像、生理时间序列数据和医学影像中的适用性。不得将这些额外数据集用于模型训练、测试、统计验证或生成报告中的实验结果。
  3. 评估数据集质量
    1. 检查数据集中是否存在重复记录、损坏文件、缺失值、标注错误和异常数据条目。删除确认的重复记录，并修正已核实的格式异常。记录所有数据集质量控制流程。
    2. 在使用多模态数据集时，通过受试者标识符验证影像、临床、实验室和生理数据之间的一致性。
    3. 删除重复或不一致的记录，处理缺失值，标准化数值特征，编码分类变量，并应用模态特定的预处理方法。将数据集划分为独立的训练集、验证集和测试集。参见图2了解医疗数据集准备、预处理、划分和质量评估的工作流程。
  4. 确保数据隐私与伦理合规
    1. 从医疗数据中移除直接标识符。在需要时应用匿名化或假名化处理程序。依照适用的伦理规范、数据保护法规、知情同意要求和机构规定处理患者健康信息。
    2. 记录适用的伦理审批、豁免、数据治理流程、匿名化方法以及数据集准备流程。
    3. 在相关信息可用且符合伦理允许的前提下，通过比较模型在相关人口统计学或临床亚组中的表现，评估潜在的算法偏倚。
    4. 记录模型的预期用途、目标人群、模型局限性、潜在失效模式、人工监督要求，以及适用的伦理、数据保护和医疗监管要求。
    5. 将识别出的公平性局限性和负责任人工智能的考量纳入最终模型文档中。
      注：获取一个标准化且有记录的医疗数据集，该数据集应适用于人工智能模型开发，符合伦理要求，并无重大已知不一致问题。

4. 为人工智能模型训练预处理和划分医疗数据

  1. 执行质量控制
    1. 检查数据集中是否存在重复记录、缺失值、无效值、不一致的标签、异常值以及损坏的文件。
    2. 根据预定义的标准删除或修正无效观测值，并记录所有排除情况。验证预测变量和结果标签的一致性。
  2. 处理缺失数据
    1. 量化每个变量的缺失程度。根据预定义的填补或排除策略进行处理。
    2. 仅使用训练数据估计填补参数，并将拟合后的转换应用于验证集和测试集数据。
  3. 数据归一化与变换
    1. 应用所选模型所需的特征缩放、归一化、编码、降维或其他变换。所有依赖数据的变换均仅使用训练数据进行拟合。
    2. 将拟合后的变换不变地应用于验证集和测试集数据。
  4. 量化训练数据中的类别不平衡情况。仅对训练数据集应用类别加权、SMOTE、过采样或数据增强方法。保持验证集和测试集数据原有的分布不变。
  5. 确认训练集与评估集之间不存在任何共享的受试者、重复观测、增强样本、预处理统计量、特征选择标准或合成样本。

5. 开发并配置可解释人工智能模型

  1. 通过指定输入数据模态、预处理操作、模态特异性特征编码器、特征融合机制、预测层和可解释性模块，定义模型架构。
  2. 根据预测任务和输入模态选择机器学习或深度学习架构。配置输入层、特征提取组件、隐藏层、输出层和激活函数。定义优化器、学习率、批量大小、损失函数、训练轮数、正则化方法、丢弃率、早停策略以及学习率调度方案。
  3. 仅使用训练数据和验证数据优化超参数。
  4. 在 表3 中记录最终确定的架构和超参数配置。
  5. 训练前验证输入与输出的维度兼容性。
    注意：建立一个完全配置的可解释人工智能（XAI）模型，包含合适的架构、明确定义的超参数以及集成的可解释性技术。

6. 训练、优化和保存XAI模型

  1. 加载预定义的训练和验证数据集以及最终的模型配置。使用预定义的随机种子和训练参数初始化模型。
  2. 使用指定的优化器、损失函数、批量大小和停止条件训练模型。
  3. 监控验证集性能，并保留符合预定义模型选择标准的检查点。在独立的测试数据集上评估所选检查点，不再进行进一步优化。
  4. 保存训练好的模型、预处理配置、超参数、随机种子和训练日志。
    注意：获得一个使用准备好的医疗数据集进行训练和验证的优化后的可解释人工智能（XAI）模型。为确保可重复性，保留性能最佳的模型、超参数、训练日志、预处理配置以及计算环境。

7. 评估预测性能与计算性能

  1. 评估预测性能
    1. 在完成模型训练和超参数优化后，加载已优化的模型和独立测试数据集。测试过程中保持训练好的模型参数和预处理流程不变。
    2. 对测试数据集中的所有样本生成预测结果，并将预测输出与相应的实际标签进行比较。
  2. 计算性能指标
    1. 根据预测任务的类型选择相应的评估指标。
    2. 对于分类任务，视情况计算准确率、精确率、召回率、特异性、F1分数、平衡准确率、马修斯相关系数（MCC）以及受试者工作特征曲线下面积（AUC-ROC）；对于回归任务，视情况计算平均绝对误差（MAE）、均方根误差（RMSE）、决定系数（R2）及其他相关指标。
  3. 评估模型泛化能力与鲁棒性
    1. 当存在独立于开发数据集之外收集的外部数据时，使用该外部数据集对模型进行评估。
    2. 优先选用来自不同医疗机构、地理区域或患者人群的外部数据集，以评估模型的可迁移性。
    3. 当具有纵向数据时，使用后续时间段收集的数据进行时间上的验证。
    4. 当有多中心数据可用时，通过在各参与机构分别评估最终模型来进行多中心验证。
    5. 在可行的情况下，使用来自不同地理区域的独立人群进行地理验证。
    6. 报告开发数据集与外部数据集之间的性能差异及其置信区间。
  4. 评估计算性能
    1. 在预定义的计算环境下测量模型训练时间，在相同计算条件下测量推理和测试时间，以及内存消耗、模型大小和硬件利用率。
    2. 在多次独立运行中重复计算性能的测量。
    3. 计算平均执行时间，以降低实验变异的影响。
  5. 比较模型性能
    1. 选择适当的传统机器学习或深度学习方法用于对比评估。
    2. 使用相同的数据集评估所提出的可解释人工智能（XAI）模型和对比模型，并对所有对比模型应用相同的预处理流程和评估指标。
    3. 在相同的计算环境中进行所有对比实验。
      注意：在测试的计算条件和数据集下，获取预测稳定性与可重复性的实验证据。

8. 生成并评估 XAI 输出结果

  1. 生成模型解释
    1. 加载优化后的XAI模型。选择未用于模型训练的评估样本。应用预定义的可解释性方法，且不修改已训练的模型或预处理流程。
    2. 生成全局和局部模型解释
      1. 生成全局解释，以表征预测模型的整体行为。
      2. 生成局部解释，以表征单个模型预测。
      3. 对Pima印第安人糖尿病数据集应用SHAP方法，生成表格模型预测的全局和局部解释。
      4. 生成SHAP汇总图，以可视化各特征贡献的整体方向和幅度。
      5. 使用平均绝对SHAP值生成SHAP特征重要性图，按特征对模型预测的总体贡献进行排序。
      6. 为具有代表性的测试集预测生成SHAP瀑布图，以说明患者特异性的特征贡献。
      7. 生成SHAP特征依赖图，以考察选定特征与其对模型输出贡献之间的关系。
      8. 对具有代表性的测试集预测应用LIME方法，生成单个模型预测的局部解释。
      9. 生成患者特异性的反事实解释，以说明预测结果变化所关联的特征改变。
      10. 根据数据模态和模型架构选择其他可解释性技术。
      11. 对于适用的基于图像的模型，使用Grad-CAM或显著性图；对于基于Transformer的架构，使用注意力可视化；对于可微分模型，使用积分梯度法。
      12. 将Grad-CAM、显著性图、注意力可视化和积分梯度法视为通用的、依赖于模态的协议选项，除非实际执行了相应分析，否则不得将其解释或报告为Pima印第安人糖尿病数据集验证中的实验结果。
    3. 将可解释性方法应用于Pima数据集的示例验证
      1. 对Pima印第安人糖尿病数据集应用SHAP和LIME方法，生成表格模型预测的全局和局部解释。
      2. 基于Pima数据集的验证结果，生成SHAP汇总图、特征重要性图、瀑布图和特征依赖图等可视化结果。
      3. 为具有代表性的测试集预测生成LIME局部解释。
      4. 生成患者特异性的反事实解释，以说明模型预测变化所关联的特征改变。
      5. 将Grad-CAM、注意力可视化、显著性图和积分梯度法视为适用于其他医疗数据类型和模型架构的、依赖于模态的可解释性选项。
      6. 除非实际执行了相应分析，否则不得将Grad-CAM、注意力可视化、显著性图或积分梯度法作为Pima数据集示例验证中的实验发现进行报告。
  2. 评估解释质量
    1. 评估生成的解释是否反映了模型的预测过程。评估在重复实验运行中解释的稳定性，以及在相同计算条件下解释输出的一致性。
    2. 在适用情况下，评估解释输出对输入数据变化的敏感性。将生成的解释与现有领域知识或专家解释进行比较。
    3. 在可进行此类比较时，识别与已知医学知识相符的预测特征或解剖区域。
    4. 记录生成的解释与现有临床解释之间的一致或不一致程度。
  3. 量化预测不确定性
    1. 使用适合所选模型架构和医疗应用场景的不确定性估计方法，为评估样本生成预测置信度估计。
    2. 在适用时，应用蒙特卡洛dropout、基于集成的预测、贝叶斯推断、共形预测或其他经过验证的不确定性估计方法。
    3. 使用蒙特卡洛dropout时，重复进行随机预测，并为每个评估样本计算平均预测值和预测方差。
    4. 报告预测置信度或不确定性区间，并与相应的模型预测一同呈现。
    5. 评估不确定性估计是否能够识别出可靠性较低或预测误差增加的预测。保留不确定性估计方法、参数、随机种子及生成的不确定性输出，以确保可重复性。
  4. 记录并保存可解释性输出
    1. 保存所有生成的特征重要性评分、热图、显著性图、注意力可视化结果及患者特异性解释。使用标准化文件格式存储可解释性输出，并与训练好的模型及预处理配置一并归档。
    2. 记录用于生成解释的计算设置、解释参数、执行时间及软件版本。完整保存可解释性文档，以支持独立审查和可重复性验证。
  5. 定量评估解释质量
    1. 通过系统性扰动或屏蔽被识别为重要的特征，并测量模型输出的相应变化，来评估解释的保真度。通过比较归因幅度与模型预测变化的大小，计算解释保真度评分。
    2. 通过为重复运行、扰动输入或临床相似样本生成解释，并计算所得归因模式之间的相似性，来评估解释的稳定性。在受控输入扰动下，通过测量预测输出变化与解释归因估计变化之间的差异，计算不保真度。
    3. 对于医学图像解释，当存在参考标注时，使用专家定义的兴趣区域评估定位准确性。通过合格临床专家根据预定义解释标准进行独立评估，以判断其临床实用性。
    4. 当多位专家独立评估解释的相关性或一致性时，计算Cohen's kappa或Fleiss' kappa。
      注：生成表征已训练AI模型预测行为的全局和局部解释。保留可解释性输出及相应配置，以实现透明解释和可重复评估。

9. 进行统计学验证与可重复性评估

  1. 进行统计验证
    1. 根据研究目的、实验设计、数据分布以及所评估变量的特征，选择适当的统计方法。
    2. 根据情况，将连续变量报告为均值 ± 标准差或中位数和四分位距，分类变量报告为频数和百分比。
    3. 在训练集上进行五折交叉验证，以评估模型性能的稳定性，并报告准确率、AUC-ROC、精确率、召回率和F1分数在各折中的均值 ± 标准差。使用1,000次自助重采样法估计独立测试集性能指标的95%置信区间。
    4. 使用McNemar检验对配对准确率进行比较，使用DeLong检验对相关AUC-ROC进行比较，使用1,000次重采样的配对自助检验对F1分数进行比较，以将所提出的模型与CNN、随机森林和SVM基线模型进行对比。
    5. 报告每次比较对应的检验统计量和精确p值，并采用双侧显著性水平α = 0.05。
  2. 进行模型性能的统计比较
    1. 将所提出的可解释AI模型与选定的最先进的机器学习和深度学习基线模型进行比较。
    2. 在比较两组时，根据情况应用Student's t-检验或Mann-Whitney U检验。对于涉及两组以上且适用的参数化比较，应用单因素方差分析（ANOVA）。对于涉及两组以上且适用的非参数化比较，应用Kruskal-Wallis检验。
    3. 根据原始稿件中的规定，将p < 0.05视为具有统计学意义。
    4. 对所有预定义的统计比较采用双侧显著性水平α = 0.05，并报告相应的检验统计量和p值。
    5. 报告主要预测性能指标的95%置信区间。
    6. 在适当情况下，使用自助重采样法估计性能度量的置信区间。当同一受试者由两个模型进行评估时，使用DeLong检验比较相关的ROC-AUC值。当为同一受试者生成配对的分类结果时，使用McNemar检验进行比较。在适当情况下，使用配对自助程序比较F1分数或其他衍生性能指标。
    7. 在可获得概率预测时，使用校准图、校准斜率/截距以及Brier分数评估校准性。
    8. 对于Pima印第安人糖尿病数据集的示例验证，使用为所提出模型和基线模型预定义的配对统计比较方法。根据比较的性质，将所选检验一致地应用于配对测试集预测或重复运行的性能测量。采用双侧显著性水平α = 0.05，并报告检验统计量和精确p值。除非结果在“结果”部分中呈现，否则不得报告其他统计检验已被执行。
    9. 采用双侧检验，并使用预定义阈值p < 0.05解释统计学显著性。
  3. 评估模型稳健性
    1. 在保持预定义的数据集划分、预处理流程、模型架构、超参数、软件环境和评估协议的前提下，使用不同的随机种子重复完整的训练和评估过程10次。
    2. 记录每次独立运行的AUC-ROC、准确率和F1分数，并报告10次运行的均值 ± 标准差。
    3. 比较多次重复运行中得到的性能值，以评估在不同随机初始化下的预测稳定性和可重复性。
  4. 评估可解释性的可重复性
    1. 当包含解释稳定性评估时，在多次实验运行中生成特征归因、注意力图或其他解释输出。使用适当的相似性或基于排序的一致性度量，对重复运行中的解释输出进行定量比较。
    2. 对于当前Pima印第安人糖尿病数据集的示例验证，除非已执行相应的重复解释输出和分析，否则不得报告定量的解释稳定性指标。
    3. 在有适当的临床评估时，评估模型生成的解释与临床医生解读之间的一致性。根据情况计算Cohen's kappa或Fleiss' kappa，以评估评分者之间的一致性。
  5. 记录可重复性
    1. 保存原始数据、预处理流程、源代码、训练好的模型、超参数配置、可解释性输出、统计分析脚本和生成的结果。
    2. 记录整个工作流程中使用的软件环境和硬件配置。使用归档的文件和配置独立重新执行完整的工作流程。
    3. 将复现的预测性能与原始实验结果进行比较，将复现的模型解释与原始的可解释性输出进行比较。
    4. 记录复制过程中观察到的任何差异。更新实验文档，以反映独立执行过程中发现的可重复性观察结果。
      注：获得可在重复实验中评估的、经过统计验证的预测性能和可解释性结果。保留足够的计算、分析和方法学文档，以支持对完整工作流程的独立验证。
  6. 可重复性检查清单
    1. 记录数据集名称、版本、获取日期、来源、纳入标准、排除标准和最终样本量。记录所有预处理操作、转换参数、归一化设置、特征选择流程和数据划分规则。
    2. 记录操作系统、CPU、GPU、内存、Python版本、框架版本和库版本。记录所有模型架构规格和超参数。
    3. 记录优化器、学习率、批量大小、训练轮数、损失函数、正则化方法和早停准则。记录所有随机种子和随机数生成器设置。
    4. 保存训练好的模型权重和预处理配置。保存训练日志、评估脚本、统计分析脚本和可解释性输出。记录最终实验所使用的模型和软件版本。
    5. 保存独立复现所需的完整计算环境。
    6. 记录源代码、数据集、模型权重和支持材料的可用性，需符合伦理、法律、许可和隐私限制。
    7. 独立重新执行归档的工作流程，并将复现结果与原始结果进行比较。
    8. 使用标准化检查清单记录完整的可重复性要求。

访问受限。请登录或开始试用以查看此内容。

结果

采用 Pima Indians Diabetes Dataset 作为代表性医疗数据集，实现了所提出的可解释人工智能（XAI）框架。该 Pima Indians Diabetes Dataset 被用作唯一的实验验证数据集。所有报告的预测性能、可解释性、统计分析及可重复性结果均基于此数据集生成。TCGA-BRCA、TCGA-UCEC、MIMIC-III、ISIC 2019、HAM10000、OhioT1DM 和 BraTS 2021 未进行实验评估，仅作为示例说明该通用协议在不同医疗数据模态中的适用性。在移除无效和重复记录后，使用了完整的数据集，并在模型开发前执行了指定的预处理操作。数据集采用预定义的分层划分策略，被划分为独立的训练集、验证集和测试集。三个子集之间的样本相互独立，以最大程度降低数据泄露的可能性。

使用预定义的架构和超参数配置了预测模型。采用 Adam 优化器对模型进行训练，训练过程中使用预定义的学习率和批量大小，最多训练 100 个周期。根据验证损失应用早停策略，并保留验证性能最优的模型。为提高可重复性，指定了用于数据集划分、模型初始化和重复实验的随机种子。

...

访问受限。请登录或开始试用以查看此内容。

讨论

结果表明，本研究提出的方案可作为一种标准化且可重复的工作流程，用于在多种医疗健康数据集上开发和评估可解释人工智能（XAI）系统。如表2和图3所示，系统化的预处理通过缺失值处理、数据归一化、特征缩放和数据集划分，生成了标准化的数据并提高了数据质量。这些预处理步骤至关重要，因为数据准备过程中的差异可能引入偏差、降低预测性能，并损害可解释性分析的可靠性。因此，必须在训练、验证和测试数据集上统一应用一致的预处理流程，以提高可重复性并防止数据泄露19,20。

模型训练结果如图所示 图4 和 表4 表现出一致且稳定的学习行为。训练损失和验证损失同时下降，以及预测准确率的提升，表明模型收敛适当，且无明显过拟合现象。超参数优化、早停法、dropout 和正则化方法进一步有助于实现稳定且可重复的模型...

访问受限。请登录或开始试用以查看此内容。

披露

作者声明，他们在本研究中不存在任何可能影响本研究工作的竞争性经济利益、商业关系或个人关系。作者无任何利益冲突需要披露。

致谢

作者感谢各自所属机构在本医疗可解释人工智能（XAI）协议的开发与实验验证过程中提供的机构支持。作者还感谢用于开展实验分析的计算设施和软件资源。本研究未获得任何外部资金资助。作者声明在本研究中使用了 Python 3.11、Matplotlib 3.9 和 SciPy 1.13 进行计算分析、数据可视化以及图表的生成。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
CaptumMeta AI最新稳定版PyTorch 可解释性
CUDA ToolkitNVIDIA12.2GPU 加速
cuDNNNVIDIA9.x深度学习后端
GitGit SCM最新稳定版版本控制
GitHubGitHub Inc.Web 平台源代码仓库
Grad-CAMjacobgil最新发布版CNN 可视化
Jupyter NotebookProject Jupyter最新稳定版交互式开发
LightGBMMicrosoft4.x梯度提升
LIMELIME 社区0.2.0局部可解释性
MatplotlibMatplotlib 开发团队3.9可视化
Microsoft ExcelMicrosoftMicrosoft 365数据组织
NumPyNumPy 开发团队1.26数值计算
NVIDIA RTX 4090 GPUNVIDIA24 GB VRAM模型训练
OpenCVOpenCV 组织4.10图像预处理
PandasPandas 开发团队2.2数据预处理
Pillow (PIL)Python Imaging Library10.x图像处理
PlotlyPlotly Technologies5.x交互式可视化
PythonPython 软件基金会3.11编程环境
PyTorchPyTorch 基金会2.3深度学习
Scikit-learnScikit-learn 开发者1.5机器学习
SciPySciPy 开发团队1.13科学计算
SeabornSeaborn 开发团队0.13统计图表
SHAPSHAP 社区0.46全局可解释性
SimpleITKInsight 软件联盟2.x医学图像处理
StatsmodelsStatsmodels 开发团队0.14统计分析
系统内存 (System RAM)任意厂商32 GB 或更高内存
TensorBoardGoogle2.15训练监控
TensorFlowGoogle2.15深度学习
Ubuntu Linux / Windows 11Canonical / Microsoft22.04 LTS / 11操作系统
Visual Studio CodeMicrosoft最新稳定版代码开发
XGBoostXGBoost 开发团队2.1梯度提升

参考文献

  1. Acosta JN, Falcone GJ, Rajpurkar P, Topol EJ. Multimodal biomedical AI. Nat Med. 2022;28(9):1773-1784.
  2. Tang AS, et al. Harnessing EHR data for health research. Nat Med. 2024;30(7):1847-1855.
  3. Zhang A, Xing L, Zou J, Wu JC. Shifting machine learning for healthcare from development to deployment and from models to data. Nat Biomed Eng. 2022;6(11):1330-1345.
  4. Bera K, et al. Predicting cancer outcomes with radiomics and artificial intelligence in radiology. Nat Rev Clin Oncol. 2022;19(2):132-146.
  5. Wenderott K, Krups J, Zaruchas F, Weigl M. Effects of artificial intelligence implementation on efficiency in medical imaging—a systematic literature review and meta-analysis. NPJ Digit Med. 2024;7(1):265.
  6. Kaissis GA, Makowski MR, Rückert D, Braren RF. Secure, privacy-preserving and federated machine learning in medical imaging. Nat Mach Intell. 2020;2(6):305-311.
  7. He J, et al. The practical implementation of artificial intelligence technologies in medicine. Nat Med. 2019;25(1):30-36.
  8. Antoniadi AM, et al. Current challenges and future opportunities for XAI in machine learning-based clinical decision support systems: A systematic review. Appl Sci (Basel). 2021;11(11):5088.
  9. Samek W, et al. Explaining deep neural networks and beyond: A review of methods and applications. Proc IEEE. 2021;109(3):247-278.
  10. Holzinger A, et al. Causability and explainability of artificial intelligence in medicine. WIREs Data Min Knowl Discov. 2019;9(4).
  11. Markus AF, Kors JA, Rijnbeek PR. The role of explainability in creating trustworthy artificial intelligence for health care: A comprehensive survey of the terminology, design choices, and evaluation strategies. Nat Biomed Eng. 2021;5(9):996-1011.
  12. Arrieta AB, et al. Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Inf Fusion. 2020;58:82-115.
  13. Selvaraju RR, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization [conference paper]. Presented at: IEEE International Conference on Computer Vision (ICCV); Venice, Italy; 2017:618-626. https://openaccess.thecvf.com/content_iccv_2017/html/Selvaraju_Grad-CAM_Visual_Explanations_ICCV_2017_paper.html
  14. Tonekaboni S, Joshi S, McCradden MD, Goldenberg A. What clinicians want: Contextualizing explainable machine learning for clinical end use. Nat Mach Intell. 2019;1(12):572-584.
  15. Sundararajan M, Taly A, Yan Q. Axiomatic attribution for deep networks [conference paper]. Presented at: 34th International Conference on Machine Learning; Sydney, Australia; 2017;70:3319-3328. https://proceedings.mlr.press/v70/sundararajan17a.html
  16. Ribeiro MT, Singh S, Guestrin C. “Why should I trust you?”: Explaining the predictions of any classifier [conference paper]. Presented at: 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining; San Francisco, CA; 2016:1135-1144.
  17. Desai S, Ramaswamy HG. Ablation-CAM: Visual explanations for deep convolutional network via gradient-free localization [conference paper]. Presented at: IEEE/CVF Winter Conference on Applications of Computer Vision (WACV); 2020:983-991.
  18. Belle V, Papantonis I. Principles and practice of explainable machine learning. Front Big Data. 2021;4:688969.
  19. Vilone G, Longo L. Notions of explainability and evaluation approaches for explainable artificial intelligence. Inf Fusion. 2021;76:89-106.
  20. Ali S, et al. Explainable artificial intelligence (XAI): What we know and what is left to attain trustworthy artificial intelligence. Inf Fusion. 2023;99:101805.
  21. Gundersen OE, Kjensmo S. State of the art: Reproducibility in artificial intelligence [conference paper]. Presented at: Thirty-Second AAAI Conference on Artificial Intelligence; New Orleans, LA; 2018:1644-1651. https://ojs.aaai.org/index.php/AAAI/article/view/11503
  22. Hutson M. Artificial intelligence faces reproducibility crisis. Science. 2018;359(6377):725-726.
  23. Pineau J, et al. Improving reproducibility in machine learning research: A report from the NeurIPS 2019 reproducibility program. J Mach Learn Res. 2021;22(164):1-20.
  24. U.S. Food and Drug Administration, Health Canada, Medicines and Healthcare products Regulatory Agency. Good Machine Learning Practice for Medical Device Development: Guiding Principles. 2021.
  25. Liu X, et al. Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: The CONSORT-AI extension. Nat Med. 2020;26(9):1364-1374.
  26. Mongan J, Moy L, Kahn CE Jr. Checklist for Artificial Intelligence in Medical Imaging (CLAIM): A guide for authors and reviewers. Radiol Artif Intell. 2020;2(2).
  27. Peng RD. Reproducible research in computational science. Science. 2011;334(6060):1226-1227.
  28. Collins GS, et al. Protocol for development of the TRIPOD-AI and PROBAST-AI reporting and risk-of-bias tools for studies developing, validating, or updating prediction models based on artificial intelligence. BMJ Open. 2021;11.
  29. Kapoor S, Narayanan A. Leakage and the reproducibility crisis in machine-learning-based science. Patterns. 2023;4(9):100804.
  30. Wiens J, et al. Do no harm: A roadmap for responsible machine learning for health care. Nat Med. 2019;25(9):1337-1340.

访问受限。请登录或开始试用以查看此内容。

重印与许可

探索更多文章

可解释人工智能医疗人工智能模型模型可解释性可重复性协议预测性能特征工程统计验证SHAP 解释LIME 解释反事实解释
联系我们
向图书馆推荐

隐私政策

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。