需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

FedMediFormer-XAI：基于联邦多模态变换器与扩散增强及图神经网络药物推荐的糖尿病诊疗框架

160 次观看

⸱

DOI：

10.3791/73113

⸱

2026年9月8日

 ,  , 
1Department of Computer Engineering, Bharati Vidyapeeth (Deemed to be University) College of Engineering, 2School of Computer Science and Engineering, Vellore Institute of Technology, 3Department of Computer Science and Engineering, Kathmandu University

本文内容

摘要

本方案提出 FedMediFormer-XAI，一种通过联邦学习、多模态变换器、基于扩散的数据增强、基于图的个性化药物推荐以及可解释人工智能技术来保护隐私的多模态糖尿病智能框架，用于实现精准预测、透明决策和个性化糖尿病管理。

摘要

糖尿病管理面临诸多障碍，例如医疗数据碎片化、隐私问题、可解释性差以及缺乏个性化的治疗指导。本研究提出了 FedMediFormer-XAI，这是一个统一且完善的框架，融合了联邦学习、多模态变换器、基于扩散的数据增强、用于药物推荐的图神经网络（GNN）以及可解释人工智能（XAI），以实现糖尿病智能管理。该系统利用多种类型的医疗健康数据，例如临床记录、人群健康指标、连续血糖监测数据、视网膜眼底图像、可穿戴传感器测量值以及药理学信息。为生成合成样本并解决类别不平衡问题，采用了扩散模型，并使用多模态变换器架构来学习不同数据源之间的关联。联邦学习使得在不共享原始患者数据的前提下，以保护隐私的方式协同训练模型。GNN 组件用于捕捉患者-药物和药物-药物相互作用，从而实现个性化药物推荐。SHapley 加性解释（SHAP）、注意力可视化、积分梯度和反事实推理等可解释性方法，为预测和推荐结果提供了透明的解释。在代表性实现中，所提出的框架达到了 94.2% 的准确率、93.1% 的精确率、92.8% 的召回率、92.9% 的 F1 分数、0.88 的马修斯相关系数（MCC）以及 0.96 的受试者工作特征曲线下面积（AUC-ROC）。基于图的推荐模块实现了精确率 = 0.89、召回率 = 0.84 和归一化折损累计增益（NDCG）= 0.91。该方案提供了一种结构化方法，用于整合异构医疗数据，结合多模态变换器、联邦学习、基于扩散的数据增强、基于图的推荐以及可解释人工智能。报告的计算结果表明，该框架在糖尿病预测和个性化用药推荐方面具有潜力，而联邦化设计支持去中心化的数据处理。未来仍需开展前瞻性多中心临床评估，以验证其临床实用性、泛化能力及实际应用价值。

引言

糖尿病是影响人类健康的最主要的慢性代谢性疾病之一，其患病人数持续增长，长期后果严重，且患者治疗费用高昂，已成为重大的公共卫生问题1,2。据报告，目前全球有超过5.37亿成年人患有糖尿病，预计在未来几十年内这一数字将显著上升3。如果血糖水平得不到有效控制，患者将面临最严重的并发症，如冠心病4、肾功能损伤5、神经损伤6、视力丧失7和脑卒中8。因此，尽早识别疾病、定期监测患者病情，并通过先进的医疗手段对患者进行指导和干预，是帮助患者实现更健康生活的重要措施，同时也有助于减轻国家医疗系统的经济负担9,10。

如今，电子健康记录（EHR）、可穿戴设备、持续葡萄糖监测（CGM）系统、视网膜成像技术以及移动健康应用程序的使用正在迅速普及，产生了大量异构的医疗健康数据，可供分析利用11。这些不同的数据采集工具能够提供关于人体在疾病不同阶段的功能状态、患者对不同类型治疗的反应，以及其在现实生活中的行为模式等多方面的信息12。人工智能（AI）已被证明是处理高度复杂数据、预测糖尿病、监测疾病进展以及辅助医生进行临床决策的最佳解决方案13。此外，包括随机森林、支持向量机和梯度提升方法在内的机器学习算法，在评估糖尿病风险方面已取得优异成果14。近年来，深度学习架构实现了自动特征提取，并在多种医疗健康应用中显著提升了预测性能15。

通过多模态学习方法，糖尿病智能分析能力已得到显著提升，该方法将结构化临床记录、生理测量数据、视网膜图像和行为指标整合到一个统一的预测框架中16。利用多种信息来源，多模态模型能够识别出在单独分析每种模态时无法察觉的模式17。基于Transformer的模型最近已能非常有效地从多种类型的医疗健康数据中学习长距离依赖关系和上下文关联18。然而，类别不平衡、数据缺失、数据异质性以及泛化能力有限等问题，仍然阻碍了多模态人工智能系统在临床环境中的广泛应用19。

尽管取得了这些进展，许多现有的糖尿病智能系统仍依赖于集中式学习框架，这种框架本质上要求将来自不同机构的患者数据集中到一个单一的存储库中20。此类方法已引发关于患者隐私、数据保管、网络安全和法规合规性的争议21。事实上，由于法律和伦理方面的考虑，医疗机构在共享敏感患者数据方面常常受到限制22。在此背景下，联邦学习正成为一种可行的解决方案，因为它能够在不共享实际患者数据的情况下训练协作模型23。通过去中心化的优化和安全的参数聚合，联邦学习能够利用地理上分散的数据集进行知识整合，从而实现隐私保护下的健康数据分析24。然而，在联邦医疗场景中，通信开销、客户端异质性和收敛稳定性仍然是主要挑战25。

目前使用的糖尿病智能系统另一个缺点是缺乏透明度以及对个体化治疗的支持。许多深度学习模型表现得如同“黑箱”，这给希望了解预测和推荐背后逻辑的临床医生带来了困扰26。可解释性人工智能（XAI）方法，例如SHAP、积分梯度法、注意力可视化和反事实推理，正显示出在提升模型透明度和增强临床医生信任方面的巨大潜力27。此外，图神经网络（GNNs）已成为捕捉患者-药物和药物-药物相互作用的最先进工具，从而实现个体化用药推荐和药物安全性评估28。新兴的扩散模型还为生成真实的合成医疗数据以及解决类别不平衡问题提供了有效解决方案29。

Transformer、联邦学习、基于扩散的合成数据生成、图神经网络以及可解释的人工智能在医疗健康应用中均已展现出良好的前景；然而，这些技术在单一可重复的糖尿病智能框架内的整合仍十分有限。现有方法通常独立处理上述各个组成部分，例如仅关注隐私保护学习而缺乏个性化治疗推荐，或进行多模态预测但未采用去中心化训练，又或实现可解释性却缺少基于图结构的临床决策支持。尽管扩散模型可用于类别平衡，Transformer 架构能够学习异构医疗数据模态间的关联，但将这些互补技术进行标准化整合的方案仍然匮乏。因此，本研究提出一种统一的方法学流程，将多模态预测、基于扩散的数据增强、联邦优化、基于图结构的个性化药物推荐以及可解释的人工智能整合于一个可重复的工作流程中，为未来的临床验证与转化应用奠定基础。

与假设可获取患者层面多模态数据集的研究不同，本方案整合了异构的公开数据集，而无需进行直接的患者匹配。针对每个数据源分别训练独立的模态特异性模型，并通过跨模态注意力机制融合潜在特征嵌入。该设计在保持方法学严谨性的同时，实现了跨多种医疗数据仓库的多模态知识整合。

本方案主要适用于方法学开发和分布式医疗人工智能环境，在此类环境中，不同来源的异构数据分布于多个独立的存储库或机构中，且无法直接进行数据集中。在当前的实现中，模态特定的数据集相互独立，且未按患者进行匹配；因此，多模态融合是在学习得到的表征层面进行，而非通过患者层面的直接对应关系实现。实际应用时需具备适当关联的多模态患者数据、各参与单位间一致的数据预处理流程和结局定义、合适的计算基础设施，以及符合相关的伦理、隐私和监管要求。

本文介绍了FedMediFormer-XAI，一种联邦多模态Transformer框架，能够在统一架构下通过预测、推荐和可解释性功能实现保护隐私的糖尿病智能分析。该框架集成了基于扩散的数据增强技术以解决类别不平衡问题、用于糖尿病预测的多模态Transformer学习、用于协作式模型开发的联邦学习、基于图神经网络的个性化药物推荐，以及可解释的人工智能方法，以透明的方式支持临床决策。所提出的FedMediFormer-XAI框架的整体架构和工作流程如图1所示。

所提出的 FedMediFormer-XAI 框架的主要贡献总结如下：（1）提出了一种统一的协议，将联邦学习、多模态 Transformer、基于扩散的数据增强、基于图神经网络的个性化药物推荐以及可解释的人工智能整合到一个可重复的糖尿病智能工作流程中。（2）开发了一种保护隐私的联邦学习策略，能够在模拟的分布式医疗客户端之间进行协同模型训练，而无需共享原始患者数据。（3）引入了一种多模态 Transformer 架构，用于从结构化临床记录、连续血糖监测数据、眼底图像以及人群健康指标中联合学习互补表征。（4）采用基于扩散的合成数据生成方法，以减少类别不平衡问题，在保留原始训练数据统计特征的同时提升模型鲁棒性。（5）采用基于 GraphSAGE 的异质图学习模块，建模患者-药物和药物-药物关系，实现个性化用药推荐及考虑药物相互作用的治疗方案排序。（6）集成了多种可解释人工智能技术，包括 SHapley Additive exPlanations（SHAP）、积分梯度、注意力可视化和反事实解释，以提高模型透明度，并提供可解释的预测与推荐结果。（7）提供了一套全面的验证协议，包括预测性能评估、联邦学习效果评估、推荐系统评估、可解释性分析、以临床医生为中心的评估、外部验证以及可重复性评估。

访问受限。请登录或开始试用以查看此内容。

方案

本研究中使用的所有数据集均来自公开可用的存储库，并包含去标识化的患者信息。这些数据集包括Pima印第安人糖尿病数据集、美国疾病控制与预防中心（CDC）糖尿病健康指标数据集、OhioT1DM数据集、APTOS 2019致盲性检测数据集、药物评论数据集以及药物-药物相互作用数据集。本研究未涉及直接的患者招募、干预措施、样本采集或对可识别个人健康信息的访问。本研究仅限于对公开可用的匿名数据集进行二次分析，以用于方法学的开发与验证，并依照机构对这类数据使用的要求开展。本方案中所述的以人为中心的评估旨在未来实施，未在当前研究中进行。开展此类评估的研究人员应获得机构伦理委员会的适当批准，获取所有参与者的书面知情同意，并遵守适用的机构要求、数据使用协议及国家法规。

1. 配置计算环境

  1. 安装 Python 3.11 作为主要编程环境。安装 PyTorch 2.3 和 TensorFlow 2.15 以进行深度学习模型的开发与训练。安装 Transformers 库（v4.45）以实现基于 Transformer 的架构。
  2. 安装 PyTorch Geometric（v2.5）以支持图神经网络的构建与训练。安装 SHAP（v0.47）和 Captum（v0.8）以执行可解释性分析和特征归因分析。
  3. 安装 NumPy、Pandas 和 Scikit-learn 用于数值计算、数据预处理及机器学习工具。安装 OpenCV 和 Matplotlib 用于图像处理与可视化任务。安装 NetworkX 用于构建和分析药物相互作用图谱。
  4. 安装 CUDA Toolkit 及兼容的 NVIDIA GPU 驱动程序，以实现硬件加速计算。配置至少具备 32 GB 系统内存的 NVIDIA RTX 4090 GPU。将训练、验证和测试过程中的随机种子设置为 42，以确保结果的可重复性。检查所用软件库的安装情况与兼容性。记录分析过程中使用的软件版本、硬件规格及模型配置参数。

2. 准备并预处理数据集

  1. 下载并整理所需的临床、生理、影像和药理数据集，将其归入特定模态的存储库，并验证其完整性。根据指定要求确认数据集特征、预测目标及整合层次 表1和表2工作流程如图所示。 图2.
  2. 删除重复、无效或不一致的记录以及缺失关键变量的记录。将每个适用的数据集划分为患者独立的训练集（70%）、验证集（15%）和测试集（15%）。仅使用训练集拟合中位数填补、最小-最大值缩放和分类变量编码，并将拟合后的转换不变地应用于验证集和测试集。仅在训练集上进行合成数据生成。根据以下要求验证数据划分及防止数据泄露： 补充表1。
  3. 导入葡萄糖、食物摄入、胰岛素剂量、体力活动和睡眠数据。标准化时间戳，将事件对齐至固定时间间隔，对未记录的葡萄糖值进行线性插值，将连续记录划分为等长的时间窗口，并应用z分数归一化以生成时序变换器输入。
  4. 加载眼底视网膜图像，剔除损坏或无法读取的文件、重复图像、标签缺失的图像，以及存在严重伪影或视网膜视野显示不足的图像。
  5. 将保留的图像调整为 224 像素大小 × 224 像素，将像素强度归一化至 [0, 1]，并应用限制对比度自适应直方图均衡化（CLAHE）。
  6. 使用随机旋转增强训练图像 ±15°，以0.5的概率进行水平翻转，0.9–1.1范围内的随机缩放×，以及亮度调节在 ±20%。不要对验证或测试图像应用随机增强。将处理后的图像存储，用于Vision Transformer的训练。
  7. 根据摘要中所述的数据集整合策略，整合模态特异性表征 表2. 当缺乏通用的患者标识符时，不得在独立的数据库之间进行直接的患者层面匹配。
  8. 将每个公开数据集存储为独立的、特定模态的数据集，因为不同数据仓库之间不共享患者标识符。
  9. 独立使用相应的数据集训练模态特异性特征提取器：（a）临床记录 → TabTransformer 编码器；（b）人群健康指标 → TabTransformer 编码器；（c）连续血糖监测 → 时间变换器；（d）视网膜眼底图像 → 视觉Transformer；（e）药理学数据 → GraphSAGE 模块
  10. 分别从每种模态中独立提取潜在特征嵌入。仅通过所提出的跨模态注意力融合模块融合学习到的潜在嵌入，而非合并原始患者记录。
  11. 确保在独立的公共数据集之间不进行人为的患者匹配。在整个预处理、数据增强和模型开发过程中，为每个数据集保持独立的训练、验证和测试划分。
  12. 存储融合的多模态特征表示，用于下游预测、联邦学习、可解释性分析和个性化药物推荐图2).

3. 执行基于扩散的数据增强

  1. 使用 TabDDPM 对结构化的表格型临床和人群健康数据集应用基于扩散的增强方法。仅从预处理后的训练数据分区生成合成样本，以防止信息泄露。模型配置请参照补充表 2。
  2. 使用 Adam 优化器（学习率 = 1 × 10⁻4；批量大小 = 256）训练 TabDDPM，最多训练 500 个轮次。若验证损失在连续 20 个轮次中未改善至少 0.001，则触发早停机制。针对代表性不足的类别生成合成样本。
  3. 使用 Kolmogorov–Smirnov (KS) 统计量、Jensen–Shannon 散度、Wasserstein 距离、逐特征相关性分析以及下游分类性能评估合成数据的质量。通过直方图重叠、核密度估计和成对相关系数比较原始数据与合成数据的特征分布。
  4. 仅当各类别的特征分布与原始训练数据保持一致（KS 检验，p > 0.05；Jensen–Shannon 散度 < 0.10）且不包含不合理的临床数值时，才接受合成样本。将被接受的样本与原始训练数据集合并，以生成类别均衡的数据集。增强流程如图 3所示。
  5. 通过使用原始训练数据集和增强后的训练数据集重新训练糖尿病预测模型，验证合成数据的有效性。比较准确率、F1 分数、MCC 和 AUC-ROC，以评估模型泛化能力与分布偏差的变化。

4. 开发多模态变换器模型

如图4所示，为结构化临床数据、连续血糖监测（CGM）序列和眼底视网膜图像配置模态特异的编码器，构建多模态Transformer模型。利用跨模态注意力机制整合所得表征，用于糖尿病预测及基于图结构的个性化药物推荐。

  1. 开发临床编码器
    1. 初始化 TabTransformer 编码器架构。输入标准化的临床变量和人群健康指标。利用 Transformer 注意力机制生成上下文特征表示。
    2. 配置 TabTransformer 编码器，包含 32 个结构化临床输入变量、128 的嵌入维度、4 个 Transformer 层、8 个注意力头、512 的前馈维度、0.20 的 dropout 率，以及高斯误差线性单元（GELU）激活函数。
    3. 学习能够捕捉患者属性间关系的潜在临床嵌入。存储生成的临床嵌入，用于多模态整合。
  2. 开发连续血糖监测编码器
    1. 初始化时序 Transformer 编码器。将连续血糖监测序列和生理测量数据输入其中。使用自注意力机制对时间依赖性进行编码。
    2. 配置时序 Transformer，序列长度为 96 个时间步，采样间隔为 15 分钟，嵌入维度为 128，包含 4 个 Transformer 层、8 个注意力头，采用正弦位置编码，dropout 率为 0.20。
    3. 生成反映患者血糖动态的序列嵌入。保留时间嵌入，以供后续融合过程使用。
  3. 开发视觉 Transformer 编码器
    1. 初始化视觉 Transformer 架构。输入预处理后的视网膜眼底图像。将图像划分为固定大小的图像块。
    2. 配置视觉 Transformer，输入图像分辨率为 224 × 224 像素，图像块大小为 16 × 16 像素，嵌入维度为 768，包含 12 个 Transformer 模块、12 个注意力头，dropout 率为 0.10。
    3. 生成图像块级别的特征表示。获取表征视网膜病变和疾病相关生物标志物的视觉特征。保留图像嵌入，用于多模态融合。
  4. 执行跨模态融合
    1. 从临床、CGM 和视觉 Transformer 编码器中提取潜在表示，并通过独立的线性投影和层归一化（Layer Normalization），将每种模态投影到一个共同的 256 维潜在空间。
    2. 拼接投影后的模态标记，添加可学习的模态类型嵌入，并应用多头跨模态注意力机制，以实现临床、CGM 和视网膜表示之间的信息交换。将注意力模块配置为 8 个注意力头、256 维的模型空间、1,024 维的前馈层、GELU 激活函数、0.10 dropout、残差连接和层归一化。
    3. 对每种模态特定的标记组进行均值池化，并拼接所得表示。将拼接后的 768 维向量投影为 512 维的统一多模态表示，并保留注意力权重和融合后的表示，用于后续的可解释性分析和消融实验。
    4. 将统一表示传递至糖尿病预测模块和基于 GraphSAGE 的药物推荐模块。在整个融合过程中保持原始的模态特定训练、验证和测试划分，不在独立数据集间进行人为的患者级别匹配。
    5. 根据 补充表 3 中总结的模型参数配置多模态 Transformer。

5. 配置联邦学习

  1. 配置联邦学习框架，以实现地理上分散的医疗机构之间的协作式模型训练，同时不交换患者级别的数据。各参与机构利用本地可用数据进行本地模型优化。仅向中央聚合服务器共享受保护的模型参数。在保护患者隐私的同时，推动多模态模型的协同开发。
  2. 将多模态数据集进行分离，并分发给多个联邦客户端，以模拟不同医疗机构在不共享数据的情况下进行协作的场景。
  3. 配置联邦学习网络，包含10家参与医院客户端、1个中央聚合服务器、每轮通信进行5个本地训练周期、共进行100轮通信、客户端参与比例为80%、每轮通信随机选择客户端，且每轮至少有8家客户端参与。
  4. 为每位客户端分配属于特定机构的数据集，以确保数据的本地化和保密性。使用基于狄利克雷分布的非独立同分布（非IID）策略，将多模态训练数据划分给10个模拟的医院客户端。 以生成异质的类别分布、人口构成以及客户端数据集规模。
  5. 使用固定的随机种子以确保可重复性。验证生成的客户端级别分布，并在联邦训练过程中保持这些数据划分不变。验证集和测试集应独立于客户端划分。
  6. 使用从中央聚合服务器接收到的全局模型参数初始化每个本地客户端。利用客户端的本地训练数据对本地多模态Transformer模型进行五个训练周期的训练。采用AdamW优化器对本地模型进行优化，学习率为1 × 10⁻4.
  7. 完成本地训练后计算本地模型参数更新。在将本地模型参数传输至中心聚合服务器之前对其进行保护。将受保护的本地模型参数传输至中心聚合服务器以进行全局聚合。
  8. 从所有参与的医院客户端接收受保护的模型参数。在聚合前验证所接收模型更新的完整性。使用联邦平均（FedAvg）算法聚合本地模型权重。利用聚合后的模型参数更新全局多模态Transformer模型。
  9. 将更新后的全局模型参数分发给参与的医院客户端。重复进行本地训练和全局聚合过程，直至完成100轮通信或满足预设的收敛条件。
  10. 使用指定的安全聚合机制和 AES-256 加密来保护传输的模型参数。通过数字证书对参与的客户端进行身份认证。
  11. 使用传输层安全协议（TLS）1.3 建立加密通信通道。每轮通信结束后，仅保留聚合后的全局模型参数。
  12. 使用原始数据暴露、未经授权的数据共享、成员推断和模型反演评估来评价隐私与安全性。对于成员推断，将攻击的AUC-ROC与随机基线（0.50）进行比较；对于反演评估，针对视网膜图像采用结构相似性指数度量（SSIM）和峰值信噪比（PSNR），针对数值特征采用归一化重建误差进行评估。
  13. 通过确认服务器无法访问未聚合的单个客户端更新，验证安全聚合的有效性。验证 AES-256/TLS 1.3 加密保护机制，并确认不存在未加密的模型更新传输。
  14. 在适用的情况下，比较联邦式与集中式配置之间的隐私度量，并报告其中指定的度量指标 补充表4.
  15. 估计局部Transformer训练的计算复杂度为O(N × L × d2，其中 N 表示样本数量，L 表示 Transformer 层数，d 表示嵌入维度。
  16. 估计联邦聚合的计算复杂度为 O(K × P），其中 K 表示参与的客户端数量，P 表示可训练模型参数的数量。
  17. 在每轮通信过程中，仅在参与的客户端与中心聚合服务器之间交换受保护的模型参数。根据模型大小、参与客户端数量以及通信轮数计算通信开销。
  18. 将参数交换的开销与传输相应多模态医疗数据集的预估成本进行比较。根据汇总的参数配置联邦学习框架 补充表4。 联邦学习的工作流程和参数聚合过程如图所示 图5.

6. 构建个性化药物推荐模块

  1. 将药理学、药物、患者治疗和药物相互作用数据导入计算环境。构建包含患者、药物、疾病、实验室检测和临床风险因素节点的异质医疗图谱。
  2. 将患者-疾病、患者-药物、疾病-药物、药物-药物相互作用以及患者-实验室检测关系定义为图谱中的边。在模型训练前验证图谱结构，并移除重复、无效或断开的关联。
  3. 使用年龄、性别、体重指数（BMI）、糖化血红蛋白（HbA1c）、血糖、血压和糖尿病病程表示患者节点。使用药物类别、作用机制、剂量、给药频率和已知不良反应表示药物节点。
  4. 使用疾病严重程度、疾病分期和相关并发症表示疾病节点。在进行GraphSAGE训练前，对分类属性进行编码，并对连续型节点特征进行归一化处理。
  5. 利用预处理后的节点特征初始化节点嵌入。在邻域聚合过程中，为每个目标节点最多采样25个相邻节点。采用均值聚合方法整合相邻节点的表示，并利用聚合后的邻域表示更新目标节点的嵌入。
  6. 在每一层GraphSAGE后应用修正线性单元（ReLU）激活函数。对生成的节点嵌入进行归一化处理。在整个模型中重复邻域聚合过程，共进行三层GraphSAGE操作。
  7. 配置GraphSAGE模型：隐藏层维度为256，嵌入维度为128，共三层GraphSAGE层，邻域采样大小为25，dropout率为0.30，学习率为1 × 10⁻4，批量大小为512，最大训练轮数为100。使用Adam优化器对模型进行优化。
  8. 从训练好的GraphSAGE模型中计算患者特异性嵌入。计算候选药物的嵌入向量。计算患者表示与候选药物表示之间的适配得分。根据预测的适配得分对候选药物进行排序。
  9. 利用现有的药物-药物相互作用信息识别并剔除禁忌或潜在不安全的药物。返回排名最高的五种符合条件的药物，作为个性化的Top-5推荐方案。
  10. 使用贝叶斯个性化排序（BPR）损失函数训练推荐模型。优化排序目标，使临床适宜的药物得分高于较不合适的候选药物。
  11. 识别对每项药物推荐有影响的邻近节点及具有临床意义的图谱关系。计算患者、疾病、实验室检测和药物相关特征在推荐中所贡献的特征归因得分。
  12. 生成基于图谱的可视化解释，展示影响每项个性化药物推荐的关系。GraphSAGE推荐模型的配置参数详见补充表5。基于图谱的个性化药物推荐工作流程见图6。

7. 进行可解释性评估

  1. 进行 SHAP 分析
    1. 将训练好的多模态 Transformer 模型和保留的测试数据集加载到计算环境中。
    2. 使用训练好的预测模型和由 100 个训练样本组成的背景样本初始化 SHAP 解释器，背景样本需从训练数据集中通过按糖尿病结局类别分层的随机抽样方法选取。背景样本应保持完整训练集分区的近似类别分布，并使用固定的随机种子 42 以确保样本选择的可重复性。计算所选测试样本的 SHAP 值。
    3. 根据绝对 SHAP 值计算全局特征重要性，生成全局和局部 SHAP 可视化结果，并保留计算出的数值用于后续的定量和统计分析。
  2. 进行积分梯度分析
    1. 从保留的测试数据集中选择具有代表性的正确分类和错误分类样本。在计算积分梯度前，定义模态特定的基线输入。对归一化的临床和连续血糖监测（CGM）数值特征使用零基线，表示归一化特征贡献为零；对归一化的视网膜图像输入使用全零值基线图像。
    2. 在基线与原始输入之间使用 100 个插值步长计算积分梯度归因分数。对得到的归因分数进行归一化处理，以便在不同特征和模态间进行比较。生成归因可视化图，以识别对模型个体预测有影响的临床、时序和影像特征。
  3. 进行注意力可视化
    1. 从训练好的 Transformer 层中提取代表性测试样本的注意力矩阵。计算相应注意力头的平均注意力权重。生成注意力热图，以可视化临床、时序和视网膜影像表征之间的跨模态交互。识别在预测过程中获得高注意力权重的主要临床、时序和视网膜特征。
    2. 从训练好的多模态 Transformer 中提取一个随机选择的保留测试样本的注意力权重，并可视化相应的临床特征、CGM 时序、视网膜空间以及跨模态注意力分布。
  4. 生成反事实解释
    1. 从保留的测试数据集中选择具有代表性的患者记录。在生成反事实样本前，定义可修改患者特征的临床允许范围和约束条件。将连续型特征限制在训练数据中观察到的范围内，将分类特征限制在训练数据中出现的有效类别内。不得修改不可变的人口统计学特征，包括年龄和性别。
    2. 仅对允许修改的特征进行最小程度的修改，同时保持预定义的临床和特征域约束，以生成反事实样本。拒绝包含超出训练数据范围的值、无效分类状态或对不可变特征进行修改的反事实样本。识别能够改变预测结果所需的最小临床合理特征修改。
    3. 报告被修改的特征、原始值、反事实值以及模型预测的相应变化。可解释性评估工作流程如图7所示，代表性注意力可视化和反事实解释输出见补充图1。
  5. 评估解释质量
    1. 计算保真度以量化生成的解释与预测模型行为之间的一致性。通过在微小输入扰动下重复生成解释并比较所得归因模式来计算稳定性。通过比较临床相似测试样本生成的解释来评估一致性。
    2. 通过确定对每个解释有显著贡献的特征数量或比例来计算稀疏性。评估完整性以判断归因特征是否充分解释了相应的模型输出。通过测量输入特征在受控扰动后归因分数的变化来评估敏感性。
    3. 计算不保真度以量化特征归因与模型预测实际变化之间的不一致程度。记录所有定量可解释性指标以供后续统计分析。
  6. 进行前瞻性临床医生验证
    1. 为未来前瞻性临床验证，招募临床专家前须获得相应机构伦理委员会的批准。在获得伦理批准后，招募 12 名临床医生，包括 6 名内分泌科医生、3 名糖尿病专科医生和 3 名临床药理学家，并在评估开始前获得所有参与者的知情同意。
    2. 随机选择代表性模型预测及其对应的解释供临床医生评估。使用标准化评估格式将所选解释独立呈现给每位参与评估的临床医生。
    3. 要求每位临床医生使用五点李克特量表评估解释的有用性、临床相关性、可解释性和可信度。记录匿名化的临床医生评分，并按第 7.7 步规定计算评分者间一致性及相关统计指标。
  7. 进行统计分析
    1. 在选择统计比较方法前，先评估定量评价分数的分布情况。对正态分布的配对测量数据采用配对 t 检验，对非正态分布的配对测量数据采用 Wilcoxon 符号秩检验。
    2. 计算 Fleiss' kappa 以量化参与临床医生之间的评分者间一致性。计算主要可解释性指标和临床医生评估指标的 95% 置信区间。设定统计显著性阈值为 p < 0.05。
  8. 报告计算得到的检验统计量、置信区间和 p 值，并结合相应评估结果进行阐述。根据补充表6中总结的标准评估并报告可解释性指标。

8. 评估模型性能

  1. 使用准确率、精确率、召回率、F1分数、MCC和AUC-ROC，将FedMediFormer-XAI与逻辑回归、随机森林、XGBoost、TabTransformer、视觉Transformer、时序Transformer以及集中式多模态Transformer进行比较。
  2. 对每个基线模型采用相同的预定义训练、验证和测试策略进行评估，以确保与所提出的框架进行一致的比较。
  3. 在独立的实验运行中重复模型评估，并记录每次运行中获得的性能指标。计算准确率、精确率、召回率、F1分数、MCC和AUC-ROC的均值、标准差（SD）和95%置信区间（CI）。以均值±标准差的形式报告性能结果，并附上相应的95%置信区间。
  4. 评估FedMediFormer-XAI与每个基线模型之间成对性能差异的正态性。对符合正态分布的成对测量值采用配对t检验，对非正态分布的成对测量值采用Wilcoxon符号秩检验。设定统计显著性阈值为 p < 0.05。
  5. 报告相应的检验统计量、p值和95%置信区间，以量化观察到的性能差异的统计显著性和不确定性。
  6. 统计模型最终收敛所需的全部通信轮次。密切关注全局模型在联邦训练过程中的表现。研究通信轮次随时间变化的收敛情况。
  7. 检查参数聚合的效果。分析去中心化学习对预测性能的影响。比较联邦学习与集中式学习的结果。
  8. 评估各通信轮次中的联邦收敛情况，并比较联邦学习与集中式学习的预测性能。使用Precision@5、Recall@5和NDCG@5评估药物推荐效果。
  9. 生成负样本——从符合条件的候选药物池中选择未在相应患者中观察到的阳性患者-药物相互作用的药物作为负样本。从负样本池中排除所有已知的阳性相互作用和所有禁忌药物。在推荐训练中保持固定的负样本与正样本采样比例为1:1，并使用固定的随机种子42以确保负样本选择的可重复性。
  10. 仅根据保留的评估数据为每位患者建立相关项目集。将患者u的相关项目集Ru​定义为在保留的真实记录中满足阳性患者-药物标准的药物集合。不得使用模型预测来构建Ru。在排序前从候选推荐集中移除禁忌药物。
  11. 为每位评估患者生成排名最高的五种符合条件的药物。计算Precision@5，即五种推荐药物中属于该患者相关项目集Ru的比例。计算Recall@5，即在五种推荐中检索到的患者相关药物所占比例。使用推荐药物的分级相关性计算NDCG@5，对临床适宜的药物赋予更高的相关性，对不相关药物赋予零相关性。在所有评估患者中汇总这些指标，并报告平均的Precision@5、Recall@5和NDCG@5。
  12. 在模型评估前构建推荐真实情况，并将保留的患者-药物相互作用与推荐训练数据分开。在GraphSAGE训练、负采样或候选排序过程中，不得使用测试集中的药物相互作用、测试集标签或未来的治疗信息。
  13. 通过测量保真度来检查解释结果与模型行为的一致性。通过多次检验评估解释的稳定性。根据面向医生的标准判断解释的可理解性。
  14. 探究不同类型数据之间解释结果的一致性。验证所生成解释的临床价值。本研究中使用的所有评估指标汇总于补充表7中。

9. 进行前瞻性临床医生验证

  1. 在获得适当的伦理审批和知情同意后，按照第7.6–7.8步中所述的受试者招募、评估、数据收集和统计分析流程，开展前瞻性临床医生验证。前瞻性临床医生验证设计（包括受试者构成、评估标准、比较条件及计划的统计分析）详见补充表8。

10. 进行验证与可重复性评估

  1. 通过系统地从完整的 FedMediFormer-XAI 框架中移除各个组件，同时保持相同的数据集划分、预处理流程、训练设置和评估标准，开展消融研究。评估完整模型以及不含扩散增强、联邦学习、基于 GraphSAGE 的药物推荐和多模态融合的配置方案。
  2. 使用准确率、精确率、召回率、F1 分数、马修斯相关系数（MCC）和受试者工作特征曲线下面积（AUC-ROC）将消融后的配置与完整的 FedMediFormer-XAI 框架进行比较。量化每项性能指标的变化，以确定每个框架组件的贡献。将验证结果与内部测试结果进行比较，以评估泛化能力。进行统计显著性检验，以确定观察到的性能差异的可靠性。
  3. 当存在具有兼容输入变量和结局定义的独立外部数据集时，使用该数据集评估框架的泛化能力。采用与内部测试数据集相同的预处理和评估流程，并将所得性能指标与内部测试结果进行比较。
  4. 在多次重复实验中进行统计显著性分析。在统计检验前评估成对性能差异的正态性。对符合正态分布的成对测量值采用配对 t 检验，对非正态分布的成对测量值采用 Wilcoxon 符号秩检验。设定统计显著性阈值为 p < 0.05。
  5. 计算准确率、精确率、召回率、F1 分数、MCC 和 AUC-ROC 的均值及 95% 置信区间。报告主要模型比较对应的检验统计量、p 值和置信区间。记录所有用于复现所报告实验的模型参数、预处理流程、训练配置和评估协议。
  6. 保存所报告实验使用的源代码、配置文件、评估脚本和训练模型的规格说明。详细记录模型训练过程、实验设置、随机种子和评估结果。
  7. 验证可用的可复现性材料的完整性和一致性。确保所记录的方法和材料为独立复现实验流程提供了充分的信息。
  8. 在 补充表 9 中总结本研究使用的可复现性资源和验证流程。记录消融研究的流程及评估主要框架组件贡献的评估标准。

访问受限。请登录或开始试用以查看此内容。

结果

预测性能分析
与评估的单模态和传统基线模型相比，FedMediFormer-XAI 表现出更优的预测性能。基于扩散的数据增强改善了少数类别的表征，其最终的预测性能总结于表3中。重复运行评估表明，各模型在预测性能上具有稳定性。FedMediFormer-XAI 实现了最高的整体性能，准确率为 94.20 ± 0.34%（95% 置信区间：93.78–94.62），精确率为 93.10 ± 0.30%（95% 置信区间：92.73–93.47），召回率为 92.80 ± 0.28%（95% 置信区间：92.45–93.15），F1 分数为 92.90 ± 0.28%（95% 置信区间：92.55–93.25）。该模型的马修斯相关系数（MCC）为 0.88 ± 0.02（95% 置信区间：0.86–0.90），AUC-ROC 为 0.96 ± 0.01（95% 置信区间：0.95–0.97）。集中式多模态 Transformer 模型取得了次优的整体性能，而单模态和传统的机器学习模型则表现出相对较低的预测性能。这些结果表明，多模态表征学习结合联邦优化可实现更优且更稳定...

访问受限。请登录或开始试用以查看此内容。

讨论

关键发现的解读
代表性结果表明，可以将多模态 Transformer 学习、联邦学习、基于扩散的数据增强、基于图神经网络的药物推荐以及可解释的人工智能整合为一个统一的糖尿病智能框架。通过整合临床记录、人群健康指标、连续血糖监测数据、视网膜眼底图像和药理学信息，所提出的 FedMediFormer-XAI 框架在支持可解释性和去中心化模型开发的同时，表现出强大的预测性能。该多模态学习方法从不同的医疗数据模态中提取出具有信息量的特征，从而实现了更准确的糖尿病预测和个性化的治疗推荐。

联邦学习的优势
所提出框架的一个重要贡献是整合了联邦学习，以实现去中心化的协作式模型构建。与传统的集中式学习方法不同，联邦学习允许多个机构参与模型训练，而无需直接共享原始患者数据。关键研究结果表明，联邦学习在支持去中心化数据处理的同时，仍能保持与集中式学习相当的预测准确性。这一特性在医疗场景中尤为重要，因为在这些场景中，数据共享常受到机构政策和隐私保护要求的限制。

访问受限。请登录或开始试用以查看此内容。

披露

作者声明，他们不存在可能影响本研究工作报道的任何竞争性财务利益、利益冲突或个人关系。在本文撰写过程中，人工智能工具仅用于协助语言润色、稿件组织、格式编排和编辑。所有科学内容、研究设计、方法、数据分析、结果解释和结论均由作者开发、验证并批准。作者对本稿件中所呈现工作的准确性、完整性和原创性负全部责任。

致谢

作者感谢本研究中使用的公开数据集和开源软件资源的开发者与维护者。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
AES 加密NISTAES-256联邦学习中静态数据/受保护的模型参数加密
APTOS 2019 盲症检测数据集Kaggle/APTOS2019年发布视网膜眼底图像数据集；公开可用且去标识化；https://www.kaggle.com/competitions/aptos2019-blindness-detection/data
CaptumMeta AI版本 0.8模型可解释性与归因分析
CUDA 工具包NVIDIA版本 12.2GPU加速计算
糖尿病健康指标数据集（美国疾病控制与预防中心行为风险因素监测系统 2015）美国疾病控制与预防中心/行为风险因素监测系统；Kaggle2015年发布人群健康指标；公开可用且去标识化；https://www.kaggle.com/datasets/alexteboul/diabetes-health-indicators-dataset
糖尿病视网膜病变检测数据集Kaggle公开发布视网膜图像数据集；公开可用且去标识化；https://www.kaggle.com/c/diabetic-retinopathy-detection/data
数字证书--联邦学习中的客户端认证
药物相互作用数据集Kaggle公开发布药物-药物相互作用图数据；公开可用且已去标识化；https://www.kaggle.com/datasets/rohanharode07/drug-drug-interaction
药物评价数据集加州大学欧文分校机器学习资料库数据集 462药物疗效与评论数据集；公开可用且已去标识化；https://archive.ics.uci.edu/dataset/462/drug+review+dataset+drugs+com
MatplotlibMatplotlib 开发者版本 3.9可视化
MTS 糖尿病数据集Kaggle公开发布可穿戴传感器/糖尿病预测数据集；公开可用且已去标识化；https://www.kaggle.com/datasets/marshalpatel3558/diabetespredictiondataset
NetworkXNetworkX 开发者版本 3.3药物相互作用图谱的构建与分析
NumPyNumPy 开发者版本 1.26数值计算
NVIDIA RTX 4090 GPUNVIDIARTX 4090模型训练与推理；至少 32 GB 系统内存
OhioT1DM 数据集俄亥俄大学公开发布连续血糖监测数据集；公开可用且已去标识化；https://webpages.charlotte.edu/rbunescu/data/ohiot1dm/OhioT1DM-dataset.html
OpenCVOpenCV 基金会版本 4.10图像处理
PandasPyData版本 2.2数据处理与预处理
皮马印第安人糖尿病数据集UCI 机器学习库数据集 34临床糖尿病预测数据集；公开可用且已去标识化；https://archive.ics.uci.edu/dataset/34/diabetes
PythonPython 软件基金会版本 3.11主要编程环境
PyTorchMeta AI版本 2.3深度学习模型开发与训练
PyTorch GeometricPyG 团队版本 2.5图神经网络的构建与训练
Scikit-learnScikit-learn 开发者版本 1.5机器学习工具与评估
安全聚合机制--联邦学习中局部模型参数的安全聚合
SHAPSHAP 开发者版本 0.47可解释人工智能与特征归因分析
TensorFlow谷歌版本 2.15深度学习模型开发与训练
变换器Hugging Face4.45 版本基于Transformer的架构实现
传输层安全IETFTLS 1.3用于联邦参数交换的加密通信通道
工作站通用型-计算环境；至少 32 GB 系统内存

参考文献

  1. Al-Hejri AM, et al. A hybrid explainable federated-based vision transformer framework for breast cancer prediction via risk factors. Sci Rep. 2025;15:18453.
  2. Dosovitskiy A, et al. An image is worth 16×16 words: transformers for image recognition at scale [conference presentation]. Presented at: International Conference on Learning Representations (ICLR); 2021. [https://arxiv.org/abs/2010.11929]
  3. Touvron H, et al. Training data-efficient image transformers & distillation through attention [conference presentation]. Presented at: 38th International Conference on Machine Learning; 2021. [https://arxiv.org/abs/2012.12877]
  4. Kotelnikov A, Baranchuk D, Rubachev I, Babenko A. TabDDPM: modelling tabular data with diffusion models [conference presentation]. Presented at: 40th International Conference on Machine Learning (ICML); 2023. [https://arxiv.org/abs/2209.15421]
  5. Pinaya WHL, et al. Brain imaging generation with latent diffusion models [conference presentation]. Presented at: International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI); 2022. [https://arxiv.org/abs/2209.07162]
  6. Ho J, Jain A, Abbeel P. Denoising diffusion probabilistic models [conference presentation]. Presented at: Advances in Neural Information Processing Systems (NeurIPS); 2020. [https://arxiv.org/abs/2006.11239]
  7. Song Y, et al. Score-based generative modeling through stochastic differential equations [conference presentation]. Presented at: International Conference on Learning Representations (ICLR); 2021. [https://arxiv.org/abs/2011.13456]
  8. Li T, Sahu AK, Talwalkar A, Smith V. Federated learning: challenges, methods, and future directions. IEEE Signal Process Mag. 2020;37(3):50-60.
  9. Kairouz P, et al. Advances and open problems in federated learning. Found Trends Mach Learn. 2021;14(1-2):1-210.
  10. Rieke N, et al. The future of digital health with federated learning. NPJ Digit Med. 2020;3:119.
  11. Kaissis GA, Makowski MR, Rückert D, Braren RF. Secure, privacy-preserving and federated machine learning in medical imaging. Nat Mach Intell. 2020;2(6):305-11.
  12. Sheller MJ, et al. Federated learning in medicine: facilitating multi-institutional collaborations without sharing patient data. Sci Rep. 2020;10:12598.
  13. McMahan HB, et al. Communication-efficient learning of deep networks from decentralized data [conference presentation]. Presented at: International Conference on Artificial Intelligence and Statistics (AISTATS); 2017. [https://arxiv.org/abs/1602.05629]
  14. Lundberg SM, et al. From local explanations to global understanding with explainable AI for trees. Nat Mach Intell. 2020;2(1):56-67.
  15. Ribeiro MT, Singh S, Guestrin C. Why should I trust you? Explaining the predictions of any classifier [conference presentation]. Presented at: ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD); 2016. [https://arxiv.org/abs/1602.04938]
  16. Wachter S, Mittelstadt B, Russell C. Counterfactual explanations and algorithmic recourse in healthcare AI. AI Ethics. 2021;1(2):123-37.
  17. Chen J, Liao W, Yu W. Explainable AI for precision medicine: a systematic review. Brief Bioinform. 2024;25(2):bbae045.
  18. Zitnik M, Agrawal M, Leskovec J. Modeling polypharmacy side effects with graph neural networks. Bioinformatics. 2020;36(2):i457-i466.
  19. Wu Z, et al. A comprehensive survey on graph neural networks. IEEE Trans Neural Netw Learn Syst. 2021;32(1):4-24.
  20. Hamilton WL. Graph representation learning. Morgan & Claypool Publishers; San Rafael (CA); 2020.
  21. Shang J, Ma T, Xiao C, Sun J. Pre-training of graph augmented transformers for medication recommendation [conference presentation]. Presented at: International Joint Conference on Artificial Intelligence (IJCAI); 2021. [https://arxiv.org/abs/1906.00346]
  22. Wang X, et al. Neural graph collaborative filtering. IEEE Trans Knowl Data Eng. 2021;33(5):2136-49.
  23. Yu KH, Beam AL, Kohane IS. Artificial intelligence in healthcare. Nat Biomed Eng. 2021;5(8):719-31.
  24. Muhammad G, Hossain MS, Kumar N. EEG-based pathology detection for home health monitoring. IEEE J Sel Areas Commun. 2021;39(2):603-10.
  25. Alshehri F, Muhammad G. Internet of Things and edge computing in healthcare: a survey. IEEE Access. 2021;9:3660-78.
  26. Vaid A, et al. Federated learning of electronic health records to improve mortality prediction. JMIR Med Inform. 2021;9(1):e24207.
  27. Lim WYB, et al. Dynamic contract design for federated learning in smart healthcare applications. IEEE Internet Things J. 2021;8(23):16853-62.
  28. Chikumo OT, et al. Transformer-based models for disease prediction using electronic health records: a systematic review. J Appl Artif Intell Comput. 2026;10(1):1-18.
  29. Lai T. Interpretable medical imagery diagnosis with self-attentive transformers: a review of explainable AI for healthcare. Diagnostics (Basel). 2023;13(18):3021.

访问受限。请登录或开始试用以查看此内容。

重印与许可

探索更多文章

联邦学习图神经网络糖尿病预测可解释人工智能合成数据生成患者隐私个性化医疗
联系我们
向图书馆推荐

隐私政策

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。