Cadre d’apprentissage fédéré intelligent pour les ensembles de données non colocatifs et hétérogènes

Résumé

Ce protocole décrit la mise en œuvre d’un cadre d’apprentissage fédéré intelligent pour entraîner des modèles d’apprentissage automatique distribué à travers des ensembles de données hétérogènes et non colocalisés, tout en préservant la confidentialité des données et en permettant l’interprétabilité du modèle.

Résumé

L’apprentissage fédéré possède un potentiel significatif pour l’entraînement distribué de modèles tout en préservant la confidentialité, mais il fait face à des défis liés à la convergence, à l’équité et à l’interprétabilité en raison de l’hétérogénéité des ensembles de données non colocalisés. Cette étude propose un cadre intelligent d’apprentissage fédéré (IFLF) pour répondre à ces défis par une approche adaptative utilisant une architecture multi-couches composée de couches de données, client, agrégation, adaptation, optimisation et interprétabilité.

Le cadre démontre une convergence stable sous des distributions de données non-IID, avec des stratégies d’agrégation soutenant une optimisation équilibrée. L’approche de modulation par taux d’apprentissage contribue à un entraînement stable en intégrant des mises à jour clients hétérogènes et en réduisant la divergence lors de l’optimisation. Des techniques d’IA explicables, notamment SHAP et LIME, sont intégrées pour améliorer la transparence tant au niveau client qu’international.

L’IFLF est évalué sur quatre ensembles de données de référence (FEMNIST (vision), FLamby (imagerie de santé), FedGraphNN (apprentissage des graphes) et CICIDS2017 (cybersécurité)). Le cadre a atteint une précision moyenne de 92,8 %, avec une convergence plus rapide et une variabilité des performances réduite entre les clients.

Introduction

L’augmentation rapide des données distribuées provenant des appareils mobiles, des systèmes de santé, des capteurs industriels et des infrastructures cyberphysiques a accru le besoin de techniques collaboratives d’apprentissage automatique qui préservent également la confidentialité des données. Les méthodes classiques d’apprentissage automatique reposent sur la consolidation centralisée des données, dans laquelle des ensembles de données provenant de différentes sources sont rassemblés et stockés dans un seul dépôt. Bien qu’une telle approche facilite l’entraînement du modèle, elle soulève des préoccupations liées à la confidentialité des données, à la conformité réglementaire et à la surcharge de communication. L’apprentissage fédéré (FL) a été reconnu comme une approche prometteuse permettant à plusieurs clients d’entraîner conjointement un modèle global sans révéler leurs données^{locales 1}. Dans ce schéma d’apprentissage décentralisé, les clients entraînent des modèles locaux, et seules les mises à jour des modèles sont partagées avec un serveur central. Cette approche réduit les risques liés à la vie privée tout en permettant le développement collaboratif de modèles à travers des environnements distribués ^2,3.

Néanmoins, l’apprentissage fédéré rencontre des limites dans son déploiement pratique. L’un des principaux défis est l’hétérogénéité statistique, où les ensembles de données clients suivent des distributions différentes. Les distributions de données non-IID affectent significativement la stabilité de la convergence et la généralisation des modèles dans l’optimisation^{fédérée 4}. Pour résoudre ce problème, plusieurs méthodes ont été proposées. FedProx introduit un terme de régularisation proximale pour stabiliser la formation entre des clients^{hétérogènes 5}. FedNova corrige les incohérences objectives résultant d’une participation client^{déséquilibrée 6}. De plus, des stratégies d’optimisation adaptative côté serveur ont été proposées pour améliorer la convergence⁷, tandis que SCAFFOLD utilise des techniques de réduction de la variance pour atténuer la dérive client lors de l’optimisation^{distribuée 8}.

Des études récentes ont exploré des techniques de regroupement et de personnalisation pour répondre à l’hétérogénéité dans les environnements fédérés. Les frameworks d’apprentissage fédéré en grappe regroupent les clients avec des distributions de données similaires afin d’améliorer la cohérence de l’entraînement et la performance du modèle ^9,10. Les méthodes d’apprentissage fédérées personnalisées telles que Ditto et FedAMP visent à équilibrer la performance globale des modèles avec une adaptation spécifique^{au client 11,12}. De même, des méthodes telles que pFedMe et Per-FedAvg utilisent un ajustement fin basé sur la régularisation pour l’adaptation au niveau^{client 13,14}. D’autres approches, notamment FedRep et FedRoD, séparent les représentations mondiales et spécifiques aux clients pour la formation fédérée^{indépendante 15,16}.

Un autre défi dans l’apprentissage fédéré est l’hétérogénéité des ressources et la scalabilité du système. Dans les systèmes distribués à grande échelle, les clients disposent souvent de capacités de calcul et de bandes passantes de communication variables. FedBN traite l’hétérogénéité de la distribution des caractéristiques via la normalisation locale par lots¹⁷. Les cadres d’apprentissage fédéré basés sur des niveaux organisent les clients en niveaux de formation hiérarchiques pour gérer les différences de ressources¹⁸. Les stratégies de sélection des clients telles que HACCS et Oort améliorent l’efficacité du système en priorisant les participants fiables lors de^{la formation 19,20}. Des plateformes de benchmarking telles que FedScale prennent en charge l’évaluation à grande échelle des algorithmes d’apprentissage^{fédéré 21}.

L’efficacité de la communication est une autre préoccupation clé dans l’apprentissage fédéré, compte tenu de l’échange fréquent de mises à jour de modèles entre les clients distribués. Les approches existantes incluent des stratégies d’entraînement efficaces en communication telles que la moyenne périodique et la quantification^{des modèles 22}, ainsi que des techniques de compression de modèles. La distillation des connaissances réduit les coûts de communication en transférant des représentations compactes tout en préservant la performance²³. D’autres approches incluent la réduction de la participation des clients et l’application de techniques de compression dans la formation^{distribuée 24}. Des méthodes d’optimisation telles que Quped et FetchSGD répondent en outre aux défis de communication et d’efficacité mémoire^25,26.

Au-delà de l’optimisation et de la communication, l’interprétabilité est devenue un aspect important des systèmes d’apprentissage fédérés. Les méthodes d’intelligence artificielle explicable (XAI) telles que SHAP et LIME fournissent des explications au niveau des caractéristiques pour les prédictions des modèles. Ces techniques aident à comprendre le comportement des modèles dans des domaines critiques tels que la santé et la cybersécurité², ^7,2, ⁸. Des études récentes soulignent que l’intégration de l’explicabilité dans les systèmes d’apprentissage fédérés améliore la transparence et la fiabilité^{2 9,30}.

Cette étude propose un Cadre d’Apprentissage Fédéré Intelligent (IFLF) pour améliorer la convergence, la stabilité, l’équité, l’efficacité de la communication et l’interprétabilité dans des environnements fédérés hétérogènes. Le cadre intègre l’agrégation basée sur la fiabilité, des mécanismes d’optimisation adaptative et des techniques d’IA explicables au sein d’une architecture unifiée.

Le cadre est structuré comme un système multi-couches composé de couches Données, Client, Agrégation, Adaptation, Optimisation et Interprétabilité. L’agrégation intelligente intègre des indicateurs de fiabilité et de similarité du client pour déterminer la pondération adaptative. Un mécanisme adaptatif de modulation du taux d’apprentissage soutient une optimisation stable à travers des distributions clients hétérogènes. Les composantes d’interprétabilité fournissent des explications des prédictions des modèles dans des environnements distribués.

Cette étude étudie l’impact de l’agrégation intelligente, de la modulation adaptative du taux d’apprentissage et des mécanismes d’interprétabilité dans des environnements d’apprentissage fédérés hétérogènes. Elle évalue comment les stratégies d’agrégation influencent la stabilité de la convergence et la performance du modèle, comment la modulation adaptative du taux d’apprentissage soutient l’entraînement sous hétérogénéité des données, et comment les techniques d’interprétabilité améliorent la transparence du modèle. Le cadre d’apprentissage fédéré intelligent proposé est structuré en cinq couches — couche données, couche client, couche d’agrégation, couche d’adaptation et d’optimisation, et couche d’interprétabilité — permettant une formation fédérée efficace et stable dans des contextes distribués. L’évaluation prend en compte des aspects clés de la performance, notamment le comportement de convergence, l’équité, l’efficacité de la communication et l’interprétabilité, en utilisant plusieurs ensembles de données de référence.

Les clients distribués effectuent une formation locale sur des ensembles de données privés et transmettent des mises à jour de modèles chiffrées à un serveur central. Le serveur évalue la fiabilité et la similarité du client, calcule les poids d’agrégation et met à jour le modèle global. L’ajustement adaptatif du taux d’apprentissage soutient une convergence stable, et les méthodes d’IA explicables fournissent des résultats interprétables. Le reste de cet article est organisé comme suit. La section Travaux connexes passe en revue les avancées récentes dans l’apprentissage fédéré hétérogène. La section Protocole décrit la mise en œuvre du cadre proposé. La section Résultats présente les résultats expérimentaux, et la discussion expose les implications et les orientations futures.

TRAVAUX CONNEXES
Des études récentes ont abordé l’apprentissage fédéré hétérogène à travers diverses modalités de données et domaines d’application. Les approches d’apprentissage fédéré guidé par prototype permettent la collaboration entre institutions distribuées en partageant des prototypes représentatifs au lieu des données^{brutes 31}. FedGraphNN fournit une plateforme de benchmarking pour évaluer les algorithmes d’apprentissage fédéré dans les paramètres de réseaux neuronaux^{graphiques 32}. OpenFGL prend en charge un benchmarking à grande échelle dans les scénarios d’apprentissage^{fédéré 33}. FLamby propose des ensembles de données de santé inter-silos pour l’apprentissage fédéré sous strictes contraintes de^{confidentialité 34}.

Des cadres au niveau du système ont également été développés pour soutenir des déploiements d’apprentissage fédéré évolutifs. Flower offre une infrastructure flexible pour mettre en œuvre et évaluer des algorithmes d’apprentissage fédéré dans des environnements^{distribués 35}. Des méthodes de distillation dynamique ont été proposées pour améliorer la performance des modèles sous des distributions de données^{hétérogènes 36}. De plus, les études d’enquête mettent en lumière les principaux défis liés à l’hétérogénéité, à la scalabilité et à l’interprétabilité dans les systèmes d’apprentissage^{fédérés 37}. Ces travaux mettent ensemble l’accent sur la nécessité de cadres unifiés qui intègrent l’agrégation adaptative, des stratégies d’optimisation et des mécanismes d’interprétabilité pour un apprentissage fédéré robuste dans des applications réelles.

Protocole

Aperçu
Un cadre d’apprentissage fédéré intelligent (IFLF) a été développé pour gérer efficacement l’hétérogénéité des données et des systèmes dans des environnements non colocalisés. L’architecture système se composait de cinq couches : la couche données, la couche client, la couche d’agrégation, la couche d’adaptation et d’optimisation, et la couche d’interprétabilité. Les modules étaient déployés via une configuration de calcul distribué avec un serveur d’agrégation central et plusieurs nœuds clients. Les connexions sécurisées par socket (SSL/TLS) étaient utilisées pour la communication entre les nœuds afin d’assurer la confidentialité et l’intégrité des données. La procédure suivante a été utilisée pour préparer des ensembles de données, mettre en place l’architecture, mener des formations fédérées et évaluer l’interprétabilité.

Configuration de l’environnement de calcul
L’environnement informatique a été configuré en installant les cadres logiciels nécessaires à la mise en œuvre du cadre d’apprentissage fédéré. Python a été utilisé comme principal langage de programmation pour le développement et l’expérimentation de modèles. Des bibliothèques d’apprentissage automatique, dont TensorFlow ou PyTorch, ont été installées pour l’entraînement des réseaux neuronaux, ainsi que d’autres bibliothèques telles que NumPy, Scikit-learn et Pandas pour le prétraitement et l’analyse des données. Des bibliothèques d’apprentissage fédérées telles que Flower ou PySyft ont été installées pour simuler des environnements clients distribués. L’environnement informatique était configuré sur une station de travail équipée d’accélération GPU, lorsque disponible. Tous les clients et le serveur d’agrégation étaient configurés pour communiquer via des connexions socket sécurisées (SSL/TLS). Tous les ensembles de données requis ont été vérifiés pour être accessibles dans le stockage local de chaque nœud client avant d’initier la formation fédérée. Les cadres logiciels, les ensembles de données et l’environnement informatique nécessaires à la reproduction du protocole sont résumés dans le Table of Materials.

Initialisation des nœuds fédérés
Le serveur central d’agrégation a été configuré à l’aide du cadre d’apprentissage fédéré Flower. Le serveur d’agrégation a été lancé à l’aide de la commande suivante :

python server.py --rondes 100 --clients 10 --secure_connection Vrai

Les nœuds clients individuels étaient lancés sur des terminaux ou environnements informatiques distincts à l’aide de la commande suivante :
Python client.py --client_id 01

La communication sécurisée par socket était configurée en générant des certificats SSL/TLS à l’aide de la boîte à outils OpenSSL.
openssl req -x509 -newkey rsa :4096 -keyout key.pem -out cert.pem -days 365

La communication sécurisée entre le serveur et les clients était rendue possible en spécifiant les chemins des certificats dans le fichier de configuration. La connectivité a été vérifiée en effectuant un tour de communication test avant le lancement du processus d’entraînement fédéré.

Préparation et description de l’ensemble de données
Des ensembles de données publics représentatifs ont été sélectionnés pour évaluer les performances dans différents domaines et modalités de données. FEMNIST est une base de données MNIST avancée pour la reconnaissance manuscrite de caractères, contenant 62 classes (A–Z, a–z, chiffres 0–9), où chaque client représente les données d’un auteur, induisant des distributions naturelles non-IID. FLamby est une référence d’imagerie médicale composée de différents ensembles de données médicaux inter-silos (par exemple, IRM cardiaque, images histopathologiques), où chaque hôpital ou institution agit comme un client fédéré. FedGraphNN est une référence pour les réseaux de neurones à graphes couvrant des tâches telles que les réseaux de citation, la classification des molécules et les graphes sociaux, où les clients contiennent des sous-graphes ou des caractéristiques de nœuds différentes. CICIDS2017 est un ensemble de données de cybersécurité pour la détection d’intrusion avec plus de 80 caractéristiques des flux de trafic réseau à travers différents types d’attaques tels que DDoS, PortScan et Botnet, où chaque client représente un domaine réseau ou un capteur distinct.

Statistiques de jeu de données
Les caractéristiques clés des ensembles de données utilisés dans les expériences ont été résumées afin d’assurer la reproductibilité de la configuration d’apprentissage fédéré. FEMNIST contient environ 805 263 exemples de caractères manuscrits répartis sur 3 550 auteurs, avec 62 classes représentant les lettres majuscules, minuscules et chiffres, et chaque client correspond à un seul auteur avec environ 200 à 300 échantillons en moyenne. FLamby fournit des ensembles de données de santé inter-silos et, dans cette étude, l’ensemble d’images médicales contient environ 20 000 échantillons collectés dans plusieurs hôpitaux, où chaque hôpital agit comme un client fédéré indépendant. FedGraphNN inclut plusieurs ensembles de données d’apprentissage de graphes tels que des réseaux de citations et des graphes moléculaires, contenant généralement des milliers de nœuds et d’arêtes avec des vecteurs de caractéristiques de nœuds variant de 50 à 500 dimensions selon la tâche. CICIDS2017 contient environ 2,8 millions de flux de trafic réseau avec 80 caractéristiques statistiques extraites de paquets réseau et inclut plusieurs catégories d’attaque telles que DDoS, PortScan et Botnet, où chaque client fédéré représente un environnement réseau ou un capteur de surveillance différent. Les ensembles de données utilisés dans cette étude ont été publiés entre 2017 et 2023 et sont disponibles publiquement pour la recherche sur l’apprentissage fédéré. Les caractéristiques statistiques des ensembles de données utilisés dans les expériences sont résumées dans le tableau 1.

Jeu de données	Domaine	Échantillons	Caractéristiques	Classes	Clients	Année de sortie
FEMNIST	Vision (caractères manuscrits)	8,05,263	Pixels d’image (28×28)	62	3,550	2017
FLamby	Imagerie de santé	~20 000	Caractéristiques d’image	Binaire / multi-classe	5	2023
FedGraphNN	Apprentissage des graphes	~10k–100k nœuds	Caractéristiques de 50–500 nœuds	Dépendant de la tâche	7	2021
CICIDS2017	Cybersécurité	~2,8 millions de débits	80	Classes d’attaque multiples	10	2017

Tableau 1 : Résumé des ensembles de données utilisés dans les expériences du Cadre d’apprentissage intelligent fédéré. Le tableau résume les caractéristiques des ensembles de données utilisés dans cette étude, incluant le domaine applicatif, le nombre total d’échantillons, le nombre de caractéristiques, le nombre de classes, le nombre de clients fédérés et l’année de publication du jeu de données. Ces statistiques offrent un aperçu des modalités de données hétérogènes utilisées pour évaluer le cadre.

Hétérodégénéité au niveau du client
L’hétérogénéité au niveau du client a été introduite via le partitionnement des ensembles de données. Bien que quatre ensembles de données provenant de domaines différents aient été utilisés pour l’évaluation, l’hétérogénéité a été introduite au sein de chaque jeu de données fédéré via un partitionnement au niveau client. Chaque jeu de données était réparti entre plusieurs clients, aboutissant à des distributions locales de données non identiques (non-IID). Différents sous-ensembles d’échantillons ou de classes ont été attribués à chaque client pour simuler des conditions d’apprentissage fédérées réalistes, représentant l’hétérogénéité statistique au sein de chaque ensemble de données. Environ 5 à 10 % de l’ensemble des données étaient attribués à chaque client tout en maintenant un déséquilibre de classe pour émuler des environnements fédérés non IID réels. Le terme ensembles de données hétérogènes dans cette étude fait référence à l’hétérogénéité statistique au niveau du client plutôt qu’aux différences entre des ensembles de données expérimentales indépendants. Les ensembles de données de référence présentaient différentes formes d’hétérogénéité statistique, incluant des variations dans les styles d’écriture individuels dans FEMNIST, des différences dans les protocoles d’imagerie et la démographie des patients dans les ensembles de données FLamby, des variations structurelles dans les ensembles de données FedGraphNN, ainsi que des schémas de trafic réseau diversifiés dans CICIDS2017, créant collectivement des distributions de données non-IID réalistes qui remettent en cause les algorithmes d’optimisation fédérée.

Prétraitement spécifique à chaque jeu de données
Des opérations de prétraitement spécifiques à chaque ensemble de données ont été réalisées pour standardiser les formats d’entrée avant l’entraînement fédéré. Pour FEMNIST, les images manuscrites de caractères étaient converties en niveaux de gris, redimensionnées à 28×28 pixels, et normalisées à l’intervalle [0, 1], avec des échantillons corrompus ou incomplets supprimés, les étiquettes de classe encodées en one-hot, et les échantillons organisés par identifiants d’auteur afin que chaque auteur corresponde à un client fédéré. Pour FLamby, les images médicales ont été redimensionnées à 224×224 pixels, normalisées à l’aide de la moyenne et de l’écart-type spécifiques à chaque ensemble de données, augmentées par des techniques telles que le basculement horizontal, la rotation et l’ajustement du contraste, puis partitionnées selon les identifiants hospitaliers. Pour FedGraphNN, les structures de graphes ont été construites en définissant les caractéristiques des nœuds, les matrices d’adjacence et les relations d’arête, les vecteurs de caractéristiques des nœuds ont été normalisés, les données des graphes ont été converties en représentations d’adjacence clairsemées, et les graphes ont été répartis entre les clients en tant que sous-graphes. Pour CICIDS2017, les enregistrements en double ont été supprimés, les valeurs manquantes ont été imputées à la moyenne, les caractéristiques catégorielles ont été encodées, la normalisation des caractéristiques a été appliquée, et le trafic bénin et d’attaque a été équilibré à l’aide d’un échantillonnage stratifié. Chaque jeu de données client était divisé en sous-ensembles de 80 % d’entraînement, 10 % de validation et 10 % de tests, garantissant ainsi la préservation des distributions de classes. Les ensembles de données clients étaient stockés dans des dossiers séparés (Client_01, Client_02, ...), et l’accès aux nœuds locaux était restreint pour des raisons de confidentialité.

Architecture du Cadre d’apprentissage fédéré intelligent (IFLF)
Le Cadre d’apprentissage fédéré intelligent était organisé en une architecture à cinq couches comprenant la couche des données, la couche client, la couche d’agrégation, la couche d’adaptation et d’optimisation, et la couche d’interprétabilité, comme illustré dans la Figure 1. Les couches architecturales ont été conçues pour transmettre l’information de manière séquentielle. Après avoir préparé et partitionné des ensembles de données hétérogènes selon la propriété du client, la couche de données transmettait les informations à la couche client, où les modèles locaux étaient entraînés et les mises à jour des modèles générées. Ces mises à jour étaient envoyées à la couche d’agrégation, où les métriques de fiabilité et de similarité guidaient l’agrégation des contributions pondérées des clients. La couche d’adaptation et d’optimisation assurait un processus d’entraînement global fluide en variant les paramètres du taux d’apprentissage en fonction de la variance du gradient. Enfin, la couche d’interprétabilité a exploité des méthodes d’intelligence artificielle explicables telles que SHAP et LIME pour interpréter le modèle global et produire des explications des prédictions.

Figure 1. Architecture du cadre d’apprentissage fédéré intelligent. Le cadre est divisé en cinq couches : Données, Client, Agrégation, Adaptation et Optimisation, et Interprétabilité. Les données provenant de clients hétérogènes non colocats sont traitées localement, agrégées en fonction de la fiabilité et de la similarité, optimisées de manière adaptative et interprétées à l’aide de SHAP ou de LIME. Des flèches indiquent la communication itérative entre les clients et le serveur central formant la boucle d’apprentissage fédérée. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Couche de données
Les ensembles de données étaient divisés selon la propriété du client et les exigences de confidentialité, avec des emplacements de stockage dédiés maintenus pour chaque client. Différents pipelines de prétraitement ont été appliqués, et des fonctionnalités ont été normalisées pour garantir des formats d’entrée standardisés entre les domaines.

Couche client
Des clients distribués représentant des appareils, organisations ou institutions ont été mis en place, chacun recevant une copie identique du modèle global initialisée avec les mêmes paramètres. L’entraînement local était réalisé à l’aide de jeux de données spécifiques au client, avec des méthodes d’optimisation telles que la descente du gradient stochastique ou Adam, tandis que seuls les paramètres ou gradients du modèle étaient communiqués pour préserver la confidentialité des données.

Couche d’agrégation
Une unité centrale d’agrégation recevait les mises à jour chiffrées des modèles de tous les clients et évaluait leur fiabilité et similarité avant l’agrégation. Des scores de fiabilité basés sur la performance de validation ont été utilisés pour déterminer l’importance des mises à jour clients, et la similarité entre les mises à jour a été évaluée à l’aide de méthodes telles que le clustering ou la similarité cosinus. L’agrégation pondérée a été réalisée, et le modèle global mis à jour a été redistribué aux clients.

Couche d’adaptation et d’optimisation
Les paramètres d’optimisation ont été ajustés dynamiquement en fonction de l’avancement de la formation chez les clients. Les taux d’apprentissage ont été programmés pour réduire la variance des mises à jour, et des techniques supplémentaires telles que la régularisation proximale et la pondération adaptative ont été appliquées pour atténuer la dérive client et améliorer la stabilité de convergence.

Couche d’interprétabilité
Des méthodes d’intelligence artificielle explicables telles que SHAP et LIME ont été utilisées pour générer des scores d’attribution de caractéristiques et des explications de modèles. Les résultats comprenaient des classements d’importance des caractéristiques, des cartes d’attribution et des explications visuelles, interprétées dans le contexte des connaissances spécifiques au domaine afin d’assurer la transparence.

Entraînement fédéré
Le Cadre d’Apprentissage Fédéré Intelligent a été implémenté par l’initialisation du modèle global au serveur central d’agrégation, suivi de la définition des hyperparamètres d’entraînement, incluant le taux d’apprentissage, les rondes de communication et les époques locales. Les paramètres mondiaux du modèle ont été distribués à tous les clients, qui ont ensuite effectué des entraînements locaux en utilisant leurs jeux de données privés. La perte locale d’entraînement et la précision de validation étaient calculées, et des mises à jour de modèles étaient générées et chiffrées avant transmission au serveur d’agrégation. La fiabilité des mises à jour clients a été évaluée en fonction de la performance de validation à l’aide de l’Équation 1.

(1)

Où Acc_i représente la précision de validation du client i.

La similarité entre les mises à jour des clients a été calculée à l’aide de similarité cosinus des vecteurs de gradient, telle que définie dans l’équation 2.

(2)

Où g_i et _{g j} représentent les vecteurs de gradient de différents clients.

Les poids d’agrégation adaptative ont été calculés en combinant les scores de fiabilité et de similarité, tels que définis dans l’équation 3.

(3)

Le poids d’agrégation adaptatif pour chaque client a été déterminé en combinant les scores de fiabilité et de similarité. La métrique de fiabilité reflétait la précision de validation du modèle client local, tandis que la métrique de similarité mesurait la similarité cosinus entre les mises à jour du gradient client.

Le poids d’agrégation w_i a donc priorisé des clients qui démontraient à la fois une performance de validation fiable et affichaient des orientations de mise à jour cohérentes avec l’objectif global d’optimisation.

Les pondérations normalisées ont permis de totaliser la contribution totale de tous les clients participants à un, maintenant ainsi la stabilité dans la mise à jour globale du modèle.

Les poids ont été normalisés de sorte que .

Mise à jour mondiale du modèle
Les modèles clients ont été agrégés à l’aide d’une moyenne pondérée, comme montré dans l’équation 4.

(4)

Où M_i représente les paramètres locaux du client i.

Les paramètres mondiaux mis à jour du modèle ont été diffusés à tous les clients.

Modulation du taux d’apprentissage adaptatif
La variance des gradients clients entre les rondes de communication a été surveillée. Le taux d’apprentissage a été ajusté dynamiquement selon l’équation 5.

(5)

Où Var(g) représente la variance du gradient entre les clients.

Le taux d’apprentissage mis à jour a été appliqué lors du cycle local de formation suivant. Le taux d’apprentissage adaptatif était contrôlé par le serveur central d’agrégation et appliqué globalement sur tous les clients lors des tours d’entraînement suivants. Cet ajustement global a permis un comportement d’optimisation cohérent tout en tenant compte de la variance dans les mises à jour des clients. Comme la modulation du taux d’apprentissage était effectuée au niveau du serveur, tous les clients participants recevaient le taux d’apprentissage mis à jour ainsi que les paramètres du modèle global de diffusion.

Évaluation de la performance en apprentissage fédérée
La précision globale du modèle a été évaluée à l’aide du jeu de données de tests agrégé, comme montré dans l’équation 6.

(6)

Où TP représente le nombre de prédictions véritablement positives, TN représente les prédictions véritablement négatives, FP représente les prédictions faussement positives, et FN représente les prédictions faussement négatives

L’équité entre les clients a été mesurée en calculant la variance de la précision client.

Le coût de communication était calculé comme le nombre total de paramètres du modèle transmis entre les clients et le serveur d’agrégation sur toutes les rondes de communication. La surcharge totale de communication a donc été estimée comme montré dans l’équation 7.

(7)

Où R est le nombre de tours de communication, C le nombre de clients, et S représente la taille du modèle.

L’analyse de l’interprétabilité du modèle a été réalisée à l’aide de SHAP pour calculer les scores globaux d’importance des caractéristiques et de LIME pour générer des explications locales pour les prédictions individuelles. Les résultats d’attribution des caractéristiques ont été visualisés pour interpréter le comportement du modèle.

Dépannage
La convergence instable s’est produite lorsque les ensembles de données clients étaient très hétérogènes ou contenaient des distributions de classes extrêmement déséquilibrées. Dans de tels cas, les époques d’entraînement locales ont été réduites ou le taux d’apprentissage initial a été diminué pour stabiliser les mises à jour du gradient. Des distributions clients fortement asymétriques ont conduit à la domination d’un petit nombre de clients lors de l’agrégation, ce qui a été atténué en ajustant le seuil de pondération de fiabilité ou en augmentant la diversité de la participation des clients. La participation client peu fiable causée par des interruptions réseau perturbait les rondes de communication ; par conséquent, une participation partielle a été autorisée, permettant au serveur d’agrégation de poursuivre les mises à jour disponibles des clients. Une défaillance d’interprétabilité ou une attribution de caractéristiques incohérente survenaient lorsque les modèles étaient sur-régularisés ou entraînés sur des données insuffisantes, et les étapes de prétraitement des données étaient vérifiées tout en garantissant que des explications SHAP ou LIME étaient générées après la convergence des modèles.

La séquence itérative d’initialisation du modèle, d’entraînement local, d’agrégation intelligente, d’optimisation adaptative et d’analyse interprétable est représentée à la Figure 2, qui représente le flux de travail global du Cadre d’Apprentissage Fédéré Intelligent (IFLF).

Figure 2. Flux de travail du Cadre d’Apprentissage Fédéré Intelligent. La figure illustre le cycle itératif des phases, incluant l’initialisation, la formation locale, l’agrégation, l’optimisation adaptative et l’interprétabilité, illustrant le fonctionnement de bout en bout du framework. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Évaluation des performances
Des indicateurs globaux et locaux, notamment la précision, la propreté, la mémoire et le score F1, ont été calculés. L’équité était mesurée par la variance de la précision locale des clients. L’efficacité de la communication a été examinée comme la taille des données transférées par tour. La performance du modèle a été évaluée selon des références fédérées typiques telles que FedAvg, FedProx et FedOpt. Les résultats ont été présentés à l’aide de courbes de convergence, de matrices de confusion et de graphiques d’interprétabilité. Tous les paramètres expérimentaux, journaux et points de contrôle étaient stockés pour garantir leur reproductibilité.

Résumé du flux de travail
Le cycle IFLF a été réalisé par une répétition continue de la formation locale, une agrégation intelligente, une optimisation adaptative et une analyse interprétable. La confidentialité des données était assurée en conservant les données sur les nœuds locaux tout en permettant l’amélioration collaborative du modèle. Ces étapes ont intégré des mécanismes visant à garantir l’équité, la transparence et la performance entre les clients non colocalisés.

Résultats

Aperçu
Tous les résultats expérimentaux rapportés dans cette étude ont été moyennés sur cinq exécutions indépendantes avec des initialisations aléatoires différentes et des configurations d’échantillonnage clients afin d’assurer la robustesse. Les indicateurs de performance, incluant la précision, la précision, la mémoire et le score F1, sont présentés sous forme de moyenne ± écart-type. L’écart-type observé sur les périodes est restée dans une petite fourchette (généralement ±0,5 % à ±1,2 %), indiqua...

Discussion

Le cadre d’apprentissage fédéré intelligent proposé (IFLF) répond aux défis de l’apprentissage fédéré issus d’environnements hétérogènes et distribués. Une évaluation systématique sur quatre ensembles de données indique que la combinaison de l’agrégation et de l’optimisation adaptative améliore la stabilité de la convergence et la performance globale du modèle. En intégrant la fiabilité et la similarité des clients dans le processus d’agrégation, le cadre réduit l’influence des mises à j...

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
CICIDS2017 Jeu de données	Institut canadien de cybersécurité	Jeu de données public	Détection d’intrusion
Jeu de données FedGraphNN	FedGraphNN	Jeu de données public	Apprentissage des graphes
Jeu de données FEMNIST	LEAF Benchmark	Jeu de données public	Jeu de données de vision
Jeu de données FLamby	Projet FLamby	Jeu de données public	Ensemble de données en santé
Fleur	Cadre floral	1.6	Simulation d’apprentissage fédérée
Station de travail GPU	NVIDIA	RTX GPU	Entraînement des modèles
NumPy	Développeurs NumPy	1.26	Calcul numérique
Python	Fondation Python Software	3.1	Langage de programmation
Scikit-learn	Scikit-learn	1.3	Utilitaires ML
TensorFlow / PyTorch	Google / Meta	Dernières nouvelles	Cadre d’apprentissage profond