非共置和异构数据集智能联合学习框架

摘要

该协议描述了实现一个智能联邦学习框架，用于在异构、非共址数据集中训练分布式机器学习模型，同时保持数据隐私并实现模型可解释性。

摘要

联邦学习在分布式模型训练方面具有显著潜力，同时保护隐私，但由于非共址数据集的异质性，它面临收敛性、公平性和可解释性的挑战。本研究提出了一个智能联邦学习框架（IFLF），通过采用由数据、客户端、聚合、适应与优化及可解释性层组成的多层架构，以应对这些挑战。

该框架在非IID数据分布下表现出稳定收敛，聚合策略支持平衡优化。学习率调制方法通过整合异构客户端更新和优化过程中减少偏差，有助于训练的稳定。引入了可解释的人工智能技术，包括SHAP和LIME，以提升客户和全球层面的透明度。

IFFL基于四个基准数据集进行评估（FEMNIST（视觉）、FLamby（医疗成像）、FedGraphNN（图学习）和CICIDS2017（网络安全））。该框架的平均准确率达到了92.8%，收敛速度更快，客户端间的性能差异更小。

引言

来自移动设备、医疗系统、工业传感器和网络物理基础设施的分布式数据迅速增加，增加了对协作机器学习技术的需求，同时保护数据隐私。传统的机器学习方法依赖于集中式数据整合，即来自不同来源的数据集被收集并存储在单一存储库中。尽管这种方法有助于模型训练，但也引发了关于数据隐私、法规合规性和通信开销的担忧。联邦学习（FL）被认可为一种有前景的方法，使多个客户端能够联合训练一个全球模型而不泄露本地数据¹.在这种去中心化学习方案中，客户端训练本地模型，只有模型更新会与中央服务器共享。这种方法降低了隐私风险，同时促进分布式环境中的协作模型开发 ^2,3.

然而，联邦学习在实际应用上仍面临局限性。其中一个主要挑战是统计异质性，客户数据集分布不同。非IID数据分布显著影响联邦优化中的收敛稳定性和模型泛化。为解决这一问题，提出了几种方法。FedProx引入了一个近端正则化项，以稳定异质客户间的训练⁵.FedNova调整因客户参与不平衡而产生的目标不一致⁶.此外，服务器端自适应优化策略被提出以改善收敛⁷，而SCAFFOLD则采用方差减少技术减轻分布式优化⁸中的客户端漂移。

近期研究探讨了聚类和个性化技术，以应对联邦环境中的异质性。集群联合学习框架将数据分布相似的客户分组，以提高训练一致性和模型性能 ^9,10。个性化的联邦学习方法如Ditto和FedAMP，旨在平衡全球模型表现与客户特定适应性^11,12。同样，pFedMe和Per-FedAvg等方法采用基于正则化的微调来实现客户级适应^13,14。其他方法，包括FedRep和FedRoD，则将独立的联邦培训区分为全球和客户特定代表，^15,16。

联邦学习的另一个挑战是资源异质性和系统可扩展性。在大规模分布式系统中，客户端的计算能力和通信带宽通常各不相同。FedBN通过局部批次归一化¹⁷解决特征分布异质性。基于层级的联合学习框架将客户组织成层级培训层级，以管理资源差异¹⁸。客户选择策略如HACCS和Oort通过在培训中优先考虑可靠参与者来提升系统效率^19,20。像FedScale这样的基准测试平台支持对联邦学习算法的大规模评估²¹。

通信效率是联邦学习中的另一个关键关注点，因为分布式客户端之间模型更新频繁交换。现有方法包括高效通信训练策略，如周期平均和模型量子化²²，以及模型压缩技术。知识蒸馏通过传递紧凑的表示方式降低通信成本，同时保持性能²³.其他方法包括减少客户参与度，并在^{分布式培训}中应用压缩技术。优化方法如Quped和FetchSGD进一步解决了通信和内存效率的挑战^25,26。

除了优化和沟通，可解释性已成为联邦学习系统的重要方面。可解释人工智能（XAI）方法如SHAP和LIME为模型预测提供了特征级解释。这些技术支持对医疗和网络安全等关键领域模型行为的理解^{2 7,2 8}。最新研究强调，将可解释性融入联邦学习系统可以提升透明度和可信度 2 ^9,30。

本研究提出了一种智能联邦学习框架（IFLF），以提升异构联邦环境中的收敛稳定性、公平性、通信效率和可解释性。该框架将基于可靠性的聚合、自适应优化机制和可解释的人工智能技术整合到统一架构中。

该框架结构化为多层系统，包括数据层、客户端层、聚合层、适应层、优化层以及可解释层。智能聚合结合客户可靠性和相似度指标来确定自适应权重。自适应学习率调制机制支持在异构客户端分布间的稳定优化。可解释性组件为分布式环境中的模型预测提供了解释。

本研究探讨了智能聚合、自适应学习率调制和可解释机制在异构联邦学习环境中的影响。它评估了聚合策略如何影响收敛稳定性和模型性能，自适应学习率调制如何支持数据异质性下的训练，以及可解释性技术如何增强模型透明度。所提的智能联合学习框架结构分为五层——数据层、客户端层、聚合层、适应与优化层以及可解释层——实现了分布式环境中高效且稳定的联邦训练。评估考虑了关键性能方面，包括收敛行为、公平性、通信效率和可解释性，使用多个基准数据集。

分布式客户端对私有数据集进行本地训练，并将加密模型更新传输到中央服务器。服务器评估客户端的可靠性和相似性，计算聚合权重，并更新全局模型。自适应学习率调整支持稳定收敛，可解释的人工智能方法提供可解释的输出。本文其余部分的组织如下。相关工作部分回顾了异构联邦学习的最新进展。协议部分描述了拟议框架的实现过程。结果部分呈现实验发现，讨论部分概述其影响和未来方向。

相关工作
近期研究涵盖了不同数据模式和应用领域的异构联邦学习。原型引导的联合学习方法通过共享代表性的原型而非原始数据，促进分布式机构间的协作。³¹。FedGraphNN 提供了一个基准测试平台，用于评估图神经网络设置中的联邦学习算法³²。OpenFGL支持跨联邦学习场景³³的大规模基准测试。FLamby在严格隐私限制下，提供跨跨孤岛的联合医疗数据集，支持联邦学习³⁴。

系统级框架也被开发以支持可扩展的联邦学习部署。Flower为分布式环境中的联邦学习算法实现和评估提供了灵活的基础设施³⁵。已有动态蒸馏方法被提出以提升模型在异构数据分布下的表现³⁶。此外，调查研究还强调了联邦学习系统中异质性、可扩展性和可解释性方面面临的关键挑战³⁷。这些研究共同强调了整合自适应聚合、优化策略和可解释机制的统一框架，以实现现实世界中稳健的联邦学习。

方案

概述
开发了一个智能联合学习框架（IFLF），以高效管理非共置环境中的数据和系统异质性。系统架构由五个层组成：数据层、客户端层、聚合层、适配与优化层以及可解释层。模块部署在分布式计算架构上，配备中央聚合服务器和多个客户端节点。安全套接字连接（SSL/TLS）用于节点间通信，以确保隐私和数据完整性。以下程序用于准备数据集、建立架构、进行联邦训练并评估可解释性。

计算环境配置
计算环境通过安装实现联邦学习框架所需的软件框架进行配置。Python被用作模型开发和实验的主要编程语言。安装了包括TensorFlow或PyTorch在内的机器学习库用于神经网络训练，同时还增加了NumPy、Scikit-learn和Pandas等库用于数据预处理和分析。安装了如Flower或PySyft等联合学习库以模拟分布式客户端环境。计算环境配置在配备GPU加速的工作站上（如有）。所有客户端和聚合服务器都配置为通过安全套接字连接（SSL/TLS）通信。在启动联邦训练前，所有所需数据集都已验证可在每个客户端节点的本地存储中访问。用于复现该协议所需的软件框架、数据集和计算环境已在 材料表中总结。

联邦节点的初始化
中央聚合服务器采用了Flower联合学习框架进行配置。聚合服务器的启动方式如下命令：

Python server.py --round 100 --client 10 --secure_connection True

单个客户端节点通过以下命令在不同的终端或计算环境中启动：
Python client.py --client_id 01

安全套接字通信通过使用 OpenSSL 工具包生成 SSL/TLS 证书进行配置。
OpenSSL Req -x509 -newkey RSA：4096 -keyout key.pem -out cert.pem -days 365

服务器与客户端之间的安全通信通过在配置文件中指定证书路径实现。连接性通过执行测试通信轮次验证，然后再启动联邦训练过程。

数据集准备与描述
选取了具有代表性的公共数据集，以评估不同领域和数据模式的表现。FEMNIST 是一个先进的手写字符识别 MNIST 数据库，包含 62 类（A–Z，a–z，数字 0–9），每个客户端代表一名写入者的数据，从而产生自然的非 IID 分布。FLamby是一个医学影像基准测试，由不同的跨筒仓医学数据集（如心脏MRI、组织病理图像）组成，每个医院或机构都作为联邦客户。FedGraphNN 是一个涵盖引文网络、分子分类和社交图等任务的图神经网络基准测试，其中客户端包含不同的子图或节点特征。CICIDS2017 是一个用于入侵检测的网络安全数据集，包含80多种网络流量特征，涵盖DDoS、PortScan和僵尸网络等攻击类型，每个客户端代表一个独立的网络域或传感器。

数据集统计
总结了实验中使用数据集的关键特征，以确保联邦学习设置的可重复性。FEMNIST 包含约 805,263 个手写字符样本，分布于 3,550 名写入者，分为 62 个类别，代表大写字母、小写字母和数字，每个客户端对应一名写入者，平均约有 200–300 个样本。FLamby提供了跨孤岛的医疗数据集，本研究中医学影像数据集包含约2万个来自多家医院的样本，每家医院作为独立的联合客户。FedGraphNN包含多个图学习数据集，如引用网络和分子图，通常包含数千个节点和边，节点特征向量维度根据任务不同，维度在50–500之间。CICIDS2017包含约280万条网络流量，包含从网络数据包中提取的80项统计特征，并包含多种攻击类别，如DDoS、PortScan和僵尸网络流量，每个联邦客户端代表不同的网络环境或监控传感器。本研究所用数据集于2017年至2023年间发布，并已公开供联邦学习研究使用。实验中使用数据集的统计特征总结于 表1。

数据集	领域	采样	特色	课程	客户	上映年份
女性主义者	视觉（手写字符）	8,05,263	图像像素数（28×28）	62	3,550	2017
弗兰比	医疗影像	~20,000	图像特征	二元/多职业	5	2023
联邦图形NN	图学习	~10k–100k 节点	50–500 节点特征	任务相关	7	2021
CICIDS2017	网络安全	~280万次流量	80	多重攻击类别	10	2017

表1：智能联合学习框架实验中使用的数据集摘要。 下表总结了本研究所用数据集的特征，包括应用领域、样本总数、特征数量、类别数量、联邦客户端数量以及数据集发布年份。这些统计数据概述了用于评估该框架的异质数据模式。

客户端级异构性
客户端级异构性通过数据集分区引入。虽然评估中使用了来自不同领域的四个数据集，但每个联邦数据集通过客户端级划分引入了异质性。每个数据集被分配给多个客户端，导致本地数据分布不完全相同（非IID）。不同的样本子集或班级被分配给个别客户，以模拟真实的联邦学习条件，代表每个数据集中的统计异质性。大约5%至10%的总数据集分配给每个客户端，同时保持类别不平衡，以模拟现实世界的非IID联邦环境。本研究中所说的异质数据集指的是客户层面的统计异质性，而非独立实验数据集之间的差异。基准数据集表现出不同形式的统计异质性，包括FEMNIST中个体书写风格的差异、FLamby数据集中影像协议和患者人口统计的差异、FedGraphNN数据集的结构性差异，以及CICIDS2017中多样的网络流量模式，共同形成了挑战联邦优化算法的真实非IID数据分布。

数据集特异性预处理
在联合训练前，进行了数据集特定的预处理操作以标准化输入格式。对于 FEMNIST，手写字符图像被转换为灰度，调整为 28×28 像素，并归一化至 [0， 1]，删除损坏或不完整的样本，类别标签为一热编码，样本按写入 ID 组织，使每个写入者对应联邦客户端。对于FLamby，医学图像被调整为224×224像素，使用数据集特定的均值和标准差进行归一化，使用水平翻转、旋转和对比度调整等技术进行增强，并按医院标识进行划分。对于FedGraphNN，图结构通过定义节点特征、邻接矩阵和边关系构建，节点特征向量进行规范化，图数据转换为稀疏邻接表示，并将图作为子图在客户端间划分。对于CICIDS2017，删除重复记录，将缺失值与均值一起补入，编码类别特征，应用特征归一化，并通过分层抽样平衡良性和攻击性流量。每个客户端数据集被划分为80%训练子集、10%验证子集和10%测试子集，确保类别分布得以保留。客户端数据集存储在独立文件夹（Client_01、Client_02等），本地节点访问受限以保护隐私。

智能联合学习框架（IFLF）架构
智能联邦学习框架组织为五层架构，包括数据层、客户端层、聚合层、适配与优化层以及可解释层，如 图1所示。架构层设计为顺序传递信息。在根据客户端所有权准备并分区异构数据集后，数据层将信息传输到客户端层，在那里本地模型进行训练并生成模型更新。这些更新被发送到聚合层，由可靠性和相似度指标引导加权客户贡献的聚合。适应与优化层通过根据梯度方差调整学习率参数，确保全局训练过程的顺畅。最后，可解释层利用了可解释的人工智能方法，如SHAP和LIME，来解释全局模型并产生预测解释。

图1。智能联邦学习框架的架构。 该框架分为五个层级：数据、客户端、聚合、适配与优化，以及可解释性。来自非共址、异构客户端的数据会被本地处理，基于可靠性和相似性进行聚合，进行自适应优化，并使用 SHAP 或 LIME 进行解读。箭头表示客户端与中央服务器之间的迭代通信，形成联邦学习循环。 请点击此处查看该图的放大版本。

数据层
数据集按客户端所有权和隐私要求划分，并为每个客户端保留专用存储位置。采用了不同的预处理流程，并对功能进行了规范化，以确保跨域的输入格式标准化。

客户端层
分布式客户端代表设备、组织或机构被建立，每个客户端都获得了初始化相同参数的全局模型副本。局部训练使用客户端特定数据集，采用随机梯度下降或亚当等优化方法，仅传递模型参数或梯度以保护数据隐私。

聚合层
一个中央聚合单元接收所有客户端的加密模型更新，并在聚合前评估其可靠性和相似性。基于验证性能的可靠性评分用于确定客户端更新的重要性，并通过聚类或余弦相似度等方法评估更新间的相似性。进行了加权聚合，更新后的全球模型重新分发给客户。

适配与优化层
优化参数根据不同客户的训练进展动态调整。学习率被安排以降低更新方差，并采用了近端正则化和自适应加权等额外技术以减少客户端漂移并提升收敛稳定性。

可解释层
使用了可解释的人工智能方法，如SHAP和LIME，用于生成特征归因评分和模型解释。输出包括特征重要性排名、归因图和视觉解释，这些内容在领域特定知识的背景下进行解读，以确保透明度。

联邦训练
智能联邦学习框架通过在中央聚合服务器初始化全局模型，随后定义训练超参数，包括学习率、通信轮次和局部历期来实现。全局模型参数分发给所有客户端，客户随后使用其私有数据集进行本地训练。计算了本地训练丢失和验证准确率，并在向聚合服务器发送前生成并加密了模型更新。客户端更新的可靠性基于验证性能，使用方程 1进行评估。

（1）

其中 acc_i 表示客户端 i 的验证准确性。

客户端更新之间的相似度通过梯度向量的余弦相似度计算，定义见方程 2。

（2）

其中 g_i 和 g_j 代表不同客户端的梯度矢量。

自适应聚合权重通过结合信度和相似度评分计算，定义见方程 3。

（3）

每个客户端的自适应聚合权重通过结合信度和相似度评分确定。信度指标反映了本地客户端模型的验证准确性，而相似度指标则测量了客户端梯度更新之间的余弦相似度。

因此，聚合权重 w_i 优先考虑那些既证明了可靠验证性能，又显示出与全局优化目标一致更新方向的客户端。

归一化权重确保所有参与客户端的总贡献加为一，从而在全球模型更新中保持稳定。

权重被归一化为 。

全球模型更新
客户模型采用加权平均进行聚合，如方程 4所示。

（4）

其中 M_i 代表客户端 i 的局部参数。

更新后的全局模型参数已广播给所有客户端。

自适应学习率调制
监测了客户在不同通信轮次间梯度的差异。学习率根据方程 5动态调整。

（5）

其中 Var（g） 表示客户之间的梯度方差。

更新后的学习率在下一个本地培训周期中应用。自适应学习率由中央聚合服务器控制，并在后续培训轮次中全局应用于所有客户端。这一全球调整确保了优化行为的一致性，同时考虑了客户更新的差异。由于学习率调制是在服务器层面进行的，所有参与客户端都会收到更新后的学习率以及广播全局模型参数。

联合学习绩效评估
全局模型准确性通过汇总后的测试数据集进行评估，如方程 6所示。

（6）

其中TP表示真阳性预测数，TN代表真阴性预测，FP表示假阳性预测，FN代表假阴性预测

通过计算客户准确性差异来衡量客户间的公平性。

通信成本计算为客户端与聚合服务器之间在所有通信轮次中传输的模型参数总数。因此，总通信开销如方程 7所示被估算。

（7）

其中R是通信轮数，C是客户端数，S代表模型大小。

使用SHAP计算全局特征重要性评分，利用LIME生成局部解释以分析单个预测。特征归因结果被可视化以解释模型行为。

故障排除
当客户端数据集高度异质或包含极度不平衡的类别分布时，就会发生不稳定收敛。在这种情况下，本地训练周期被缩短或降低初始学习率以稳定梯度更新。高度偏倚的客户端分布导致聚合过程中少数客户端占主导地位，通过调整可靠性权重阈值或增加客户端参与多样性来缓解这一问题。网络中断导致的客户端参与不可靠，干扰了通信轮次;因此，部分参与被启用，使聚合服务器能够继续处理可用的客户端更新。当模型被过度正则化或在不足的数据上训练时，就会出现可解释性失败或特征归因不一致，并且在验证数据预处理步骤的同时，确保模型收敛后生成了SHAP或LIME解释。

模型初始化、局部训练、智能聚合、自适应优化和可解释性分析的迭代序列如 图2所示，代表智能联合学习框架（IFLF）的整体工作流程。

图2。智能联邦学习框架的工作流程。 图示了迭代阶段循环，包括初始化、局部训练、聚合、自适应优化和可解释性，展示了框架的端到端运行。 请点击此处查看该图的放大版本。

绩效评估
计算了包括准确率、精度、召回率和F1分数在内的全球和局部指标。公平性通过当地客户准确度的差异来衡量。通信效率以每轮传输的数据大小来衡量。模型性能与典型的联邦基线（如FedAvg、FedProx和FedOpt）进行了评估。结果通过收敛曲线、混淆矩阵和可解释性图呈现。所有实验设置、日志和检查点均被存储以确保可重复性。

工作流程总结
IFFF循环通过持续重复本地训练、智能聚合、自适应优化和可解释性分析来实现。数据隐私通过将数据保存在本地节点，同时促进协作模型改进来实现。这些措施包含了解决非共置客户端公平、透明度和性能的机制。

结果

概述
本研究报告的所有实验结果均通过五次独立运行平均，采用不同的随机初始化和客户抽样配置，以确保鲁棒性。表现指标，包括准确率、精度、回忆和F1分数，以平均±标准差的形式呈现。各运行间观察到的标准差保持在较小范围内（通常为±0.5%至±1.2%），表明该框架在异构联邦环境中表现稳定且一致。

智能联合学习框架（IFLF）在四个基准数据集——FEMNIST、FLamby、FedGraphNN和CICIDS2017上进行了测试，以评估其泛化性、公平性和可解释性。所有实验均在模拟的联邦环境中进行，配备一台中央聚合服务器和十个分布式客户端节点，代表独立机构或设备。所有实验均在同步联合学习框架下进行，参与的客户端在每轮通信中并行进行本地训练，并将模型更新传输到中央服务器。服务器在每轮结束时汇总所有收到的更新以计算全局模型，然后将该模型广播回客户端，用于下一轮迭代。为了反映实际部署条件，允许部分客户端参与，即每轮只有部分可用客户端贡献更新。IFFL的有效性与包括FedAvg、FedProx、FedOpt和FedBN在内的基础联邦算法进行了比较，使用相同的超参...

讨论

所提议的智能联邦学习框架（IFLF）解决了来自异构和分布式环境的联邦学习挑战。对四个数据集的系统评估表明，结合聚合和自适应优化能提升收敛稳定性和全局模型性能。通过将客户端的可靠性和相似性纳入聚合过程，该框架减少了不一致更新的影响，同时在全球优化过程中更重视更可靠的客户端贡献。这种方法比 FedAvg、FedProx 和 FedOpt 等基线联邦学习算法实现更高的准确性和更快的收敛速度。

自适应学习率调制机制有助于在客户端数据分布异构的情况下实现稳定训练。固定的优化参数可能导致在具有不同客户端数据特性的联邦环境中出现振荡。自适应学习率根据客户在通信轮次中更新的差异调整优化步长，减少梯度不一致，实现视觉、医疗、图学习和网络安全等领域的平滑融合。

通过聚合策略，沟通效率和客户公平性也得到了提升。该框架评估可靠性和相似度指标，以平衡客户在模型聚合过程中的贡献，即使在数据分布异质的情况下也能如此。通信开销的减少表明，自适应参与和加权聚合可以在保持模型性能的同时降低带宽消...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
CICIDS2017 数据集	加拿大网络安全研究所	公开数据集	入侵检测
FedGraphNN 数据集	联邦图形NN	公开数据集	图学习
FEMNIST 数据集	LEAF基准测试	公开数据集	视觉数据集
FLamby 数据集	FLamby 项目	公开数据集	医疗数据集
花	花卉框架	1.6	联邦学习模拟
GPU工作站	NVIDIA	RTX GPU	模型训练
数字派	NumPy 开发者	1.26	数值计算
蟒蛇	Python 软件基础	3.1	编程语言
Scikit-learn	Scikit-learn	1.3	机器学习工具
张量流 / PyTorch	谷歌 / Meta	最新消息	深度学习框架