Intelligent Federated Learning Framework voor niet-gecoloceerde en heterogene datasets

Samenvatting

Dit protocol beschrijft de implementatie van een Intelligent Federated Learning Framework voor het trainen van gedistribueerde machine learning-modellen over heterogene, niet-gecoloceerde datasets, terwijl gegevensprivacy behouden blijft en modelinterpretatie mogelijk wordt.

Samenvatting

Gefedereerd leren heeft aanzienlijk potentieel voor gedistribueerde modeltraining terwijl privacy behouden blijft, maar het ondervindt uitdagingen op het gebied van convergentie, eerlijkheid en interpreteerbaarheid vanwege de heterogeniteit van niet-gecoloceerde datasets. Deze studie stelt een Intelligent Federated Learning Framework (IFLF) voor om deze uitdagingen aan te pakken via een adaptieve aanpak met een meerlaagse architectuur bestaande uit Data-, Client-, Aggregatie-, Adaptatie- en Optimalisatie- en interpreteerbaarheidslagen.

Het raamwerk toont stabiele convergentie onder niet-IID dataverdelingen, waarbij aggregatiestrategieën gebalanceerde optimalisatie ondersteunen. De leersnelheidsmodulatiebenadering draagt bij aan stabiele training door heterogene clientupdates te integreren en divergentie tijdens optimalisatie te verminderen. Verklaarbare AI-technieken, waaronder SHAP en LIME, worden geïntegreerd om de transparantie op zowel klant- als mondiaal niveau te verbeteren.

De IFLF wordt geëvalueerd op vier benchmarkdatasets (FEMNIST (visie), FLamby (gezondheidszorgbeeldvorming), FedGraphNN (graf leren) en CICIDS2017 (cybersecurity)). Het framework behaalde een gemiddelde nauwkeurigheid van 92,8%, met snellere convergentie en verminderde prestatievariabiliteit tussen klanten.

Inleiding

De snelle toename van gedistribueerde data afkomstig van mobiele apparaten, zorgsystemen, industriële sensoren en cyber-fysieke infrastructuren heeft de behoefte aan collaboratieve machine learning-technieken die ook gegevensprivacy waarborgen, vergroot. Conventionele machine learning-methoden zijn afhankelijk van gecentraliseerde dataconsolidatie, waarbij datasets van verschillende bronnen worden verzameld en opgeslagen in één repository. Hoewel zo'n aanpak modeltraining vergemakkelijkt, roept het zorgen op met betrekking tot gegevensprivacy, naleving van regelgeving en communicatie-overhead. Federated learning (FL) wordt erkend als een veelbelovende aanpak die meerdere klanten in staat stelt gezamenlijk een globaal model te trainen zonder hun lokale data te onthullen¹. In dit gedecentraliseerde leerschema trainen clients lokale modellen, en alleen modelupdates worden gedeeld met een centrale server. Deze aanpak vermindert privacyrisico's en maakt samenwerking mogelijk voor modelontwikkeling over gedistribueerde omgevingen ^2,3.

Desalniettemin kent gefedereerd leren beperkingen in de praktische inzet. Een van de grootste uitdagingen is statistische heterogeniteit, waarbij klantdatasets verschillende verdelingen volgen. Niet-IID dataverdelingen beïnvloeden de convergentiestabiliteit en modelgeneralisatie in federated optimization^{aanzienlijk 4}. Om dit probleem aan te pakken, zijn er verschillende methoden voorgesteld. FedProx introduceert een proximale regularisatieterm om training te stabiliseren bij heterogene patiënten⁵. FedNova corrigeert objectieve inconsistenties die voortkomen uit onevenwichtige klantparticipatie⁶. Daarnaast zijn server-side adaptieve optimalisatiestrategieën voorgesteld om convergentie⁷ te verbeteren, terwijl SCAFFOLD variantiereductietechnieken gebruikt om clientdrift tijdens gedistribueerde optimalisatie⁸ te beperken.

Recente studies hebben clustering- en personalisatietechnieken onderzocht om heterogeniteit in gefedereerde omgevingen aan te pakken. Gegroepeerde gefedereerde leerframeworks groeperen clients met vergelijkbare dataverdelingen om de trainingsconsistentie en modelprestaties te verbeteren ^9,10. Gepersonaliseerde gefedereerde leermethoden zoals Ditto en FedAMP zijn erop gericht de wereldwijde modelprestaties in balans te brengen met klantspecifieke aanpassingen^11,12. Evenzo gebruiken methoden zoals pFedMe en Per-FedAvg regularisatie-gebaseerde fine-tuning voor client-niveau adaptatie^13,14. Andere benaderingen, waaronder FedRep en FedRoD, scheiden wereldwijde en klantgerichte vertegenwoordigingen voor onafhankelijke gefedereerde training ^15,16.

Een andere uitdaging bij gefedereerd leren is bron-heterogeniteit en systeemschaalbaarheid. In grootschalige gedistribueerde systemen beschikken clients vaak over wisselende rekenkracht en communicatiebandbreedtes. FedBN pakt de heterogeniteit van feature-distributie aan via lokale batchnormalisatie¹⁷. Laaggebaseerde gefedereerde leerframeworks organiseren cliënten in hiërarchische trainingslagen om resourceverschillen te beheren¹⁸. Klantselectiestrategieën zoals HACCS en Oort verbeteren de systeemefficiëntie door betrouwbare deelnemers tijdens training te prioriteren^19,20. Benchmarkingplatforms zoals FedScale ondersteunen grootschalige evaluatie van gefedereerde leeralgoritmen²¹.

Communicatie-efficiëntie is een andere belangrijke zorg bij gefedereerd leren, gezien de frequente uitwisseling van modelupdates tussen gedistribueerde clients. Bestaande benaderingen omvatten communicatie-efficiënte trainingsstrategieën zoals periodiek gemiddeling en modelkwantisatie²², evenals modelcompressietechnieken. Kennisdestillatie verlaagt de communicatiekosten door compacte representaties over te brengen en tegelijkertijd de prestaties^{te behouden 23}. Aanvullende benaderingen zijn het verminderen van de participatie van de cliënt en het toepassen van compressietechnieken binnen gedistribueerde training²⁴. Optimalisatiemethoden zoals Quped en FetchSGD pakken verder communicatie- en geheugenefficiëntieproblemen^{aan 25,26}.

Naast optimalisatie en communicatie is interpreteerbaarheid een belangrijk aspect geworden van gefedereerde leersystemen. Uitlegbare methoden van kunstmatige intelligentie (XAI) zoals SHAP en LIME bieden feature-niveau uitleg voor modelvoorspellingen. Deze technieken ondersteunen het begrip van modelgedrag in kritieke domeinen zoals gezondheidszorg en cyberbeveiliging^{2 7,2 8}. Recente studies tonen aan dat het integreren van uitlegbaarheid in gefedereerde leersystemen de transparantie en betrouwbaarheid verbetert^{2 9,30}.

Deze studie stelt een Intelligent Federated Learning Framework (IFLF) voor om convergentiestabiliteit, eerlijkheid, communicatie-efficiëntie en interpreteerbaarheid te verbeteren in heterogene gefedereerde omgevingen. Het framework integreert betrouwbaarheidsgebaseerde aggregatie, adaptieve optimalisatiemechanismen en verklaarbare AI-technieken binnen een uniforme architectuur.

Het framework is gestructureerd als een meerlaags systeem bestaande uit lagen Data, Client, Aggregatie, Adaptatie, Optimalisatie en Interpreteerbaarheid. Intelligente aggregatie bevat klantbetrouwbaarheid en gelijkheidsmetrics om adaptieve weging te bepalen. Een adaptief modulatiemechanisme voor leersnelheid ondersteunt stabiele optimalisatie over heterogene clientverdelingen. Interpreteerbaarheidscomponenten geven verklaringen van modelvoorspellingen over verspreide omgevingen.

Deze studie onderzoekt de impact van intelligente aggregatie, adaptieve leersnelheidsmodulatie en interpreteerbaarheidsmechanismen in heterogene gefedereerde leeromgevingen. Het evalueert hoe aggregatiestrategieën de convergentiestabiliteit en modelprestaties beïnvloeden, hoe adaptieve leersnelheidsmodulatie training onder dataheterogeniteit ondersteunt, en hoe interpreteerbaarheidstechnieken de transparantie van het model vergroten. Het voorgestelde Intelligent Federated Learning Framework is gestructureerd in vijf lagen—Data Layer, Client Layer, Aggregation Layer, Adaptation and Optimization Layer en Interpretability Layer—waardoor efficiënte en stabiele gefedereerde training mogelijk is in gedistribueerde settings. De evaluatie houdt rekening met belangrijke prestatieaspecten, waaronder convergentiegedrag, eerlijkheid, communicatie-efficiëntie en interpreteerbaarheid, waarbij meerdere benchmarkdatasets worden gebruikt.

Gedistribueerde clients voeren lokale training uit op privédatasets en verzenden versleutelde modelupdates naar een centrale server. De server evalueert de betrouwbaarheid en gelijkenis van de client, berekent aggregatiegewichten en werkt het globale model bij. Aanpassing van adaptieve leersnelheid ondersteunt stabiele convergentie, en verklaarbare AI-methoden leveren interpreteerbare output. De rest van dit artikel is als volgt georganiseerd. De sectie Gerelateerd Werk bespreekt recente ontwikkelingen in heterogeen gefedereerd leren. De sectie Protocol beschrijft de implementatie van het voorgestelde raamwerk. De sectie Resultaten presenteert experimentele bevindingen en de Discussie schetst implicaties en toekomstige richtingen.

GERELATEERD WERK
Recente studies hebben heterogeen gefedereerd leren behandeld over diverse datamodaliteiten en toepassingsdomeinen. Prototype-geleide federated learning-benaderingen maken samenwerking tussen gedistribueerde instellingen mogelijk door representatieve prototypes te delen in plaats van ruwe^data. FedGraphNN biedt een benchmarkplatform voor het evalueren van gefedereerde leeralgoritmen in grafneurale netwerkinstellingen³². OpenFGL ondersteunt grootschalige benchmarking over gefedereerde leerscenario's³³. FLamby biedt cross-silo zorgdatasets voor gefedereerd leren onder strikte privacybeperkingen³⁴.

Er zijn ook systeemniveau-frameworks ontwikkeld om schaalbare federated learning-implementaties te ondersteunen. Flower biedt een flexibele infrastructuur voor het implementeren en evalueren van gefedereerde leeralgoritmen in gedistribueerde omgevingen³⁵. Dynamische destillatiemethoden zijn voorgesteld om de modelprestaties te verbeteren onder heterogene dataverdelingen³⁶. Daarnaast belichten enquêtestudies belangrijke uitdagingen met betrekking tot heterogeniteit, schaalbaarheid en interpreteerbaarheid in gefedereerde leersystemen³⁷. Deze werken benadrukken gezamenlijk de noodzaak van uniforme frameworks die adaptieve aggregatie, optimalisatiestrategieën en interpreteerbaarheidsmechanismen integreren voor robuust gefedereerd leren in toepassingen in de praktijk.

Protocol

Overzicht
Een Intelligent Federated Learning Framework (IFLF) is ontwikkeld om data en systeemheterogeniteit efficiënt te beheren in niet-colocatieomgevingen. De systeemarchitectuur bestond uit vijf lagen: de Datalaag, Clientlaag, Aggregatielaag, Adaptatie- en Optimalisatielaag en de Interpretabiliteitslaag. De modules werden ingezet via een gedistribueerde computing-opstelling met een centrale aggregatieserver en meerdere clientknooppunten. Beveiligde socketverbindingen (SSL/TLS) werden gebruikt voor communicatie tussen knooppunten om privacy en gegevensintegriteit te waarborgen. De volgende procedure werd gebruikt om datasets voor te bereiden, de architectuur op te zetten, gefedereerde training uit te voeren en interpreteerbaarheid te beoordelen.

Configuratie van computationele omgevingen
De computationele omgeving werd geconfigureerd door de vereiste softwareframeworks te installeren voor de implementatie van het gefedereerde leerframework. Python werd gebruikt als de primaire programmeertaal voor modelontwikkeling en experimenten. Machine learning-bibliotheken zoals TensorFlow of PyTorch werden geïnstalleerd voor training van neurale netwerken, samen met extra bibliotheken zoals NumPy, Scikit-learn en Pandas voor datapreprocessing en analyse. Gefedereerde leerbibliotheken zoals Flower of PySyft werden geïnstalleerd om gedistribueerde clientomgevingen te simuleren. De computeromgeving werd geconfigureerd op een werkstation dat was uitgerust met GPU-versnelling, waar beschikbaar. Alle clients en de aggregatieserver waren geconfigureerd om te communiceren via beveiligde socketverbindingen (SSL/TLS). Alle benodigde datasets werden geverifieerd om toegankelijk te zijn binnen de lokale opslag van elke clientnode voordat gefedereerde training werd gestart. De softwareframeworks, datasets en rekenkundige omgeving die nodig zijn om het protocol te reproduceren, worden samengevat in de Materiaaltabel.

Initialisatie van gefedereerde knooppunten
De centrale aggregatieserver werd geconfigureerd met behulp van het Flower-gefedereerde leerframework. De aggregatieserver werd gestart met het volgende commando:

python server.py --ronden 100 --clients 10 --secure_connection True

Individuele clientnodes werden op aparte terminals of computeromgevingen gestart met behulp van het volgende commando:
python client.py --client_id 01

Beveiligde socketcommunicatie werd geconfigureerd door SSL/TLS-certificaten te genereren met behulp van de OpenSSL-toolkit.
OpenSSL Req -x509 -newkey rsa:4096 -keyout key.pem -out cert.pem -days 365

Veilige communicatie tussen de server en clients werd mogelijk gemaakt door de certificaatpaden in het configuratiebestand op te geven. De connectiviteit werd geverifieerd door een testcommunicatieronde uit te voeren voordat het gefedereerde trainingsproces werd gestart.

Voorbereiding en beschrijving van datasets
Representatieve publieke datasets werden geselecteerd om prestaties te evalueren over verschillende domeinen en datamodaliteiten. FEMNIST is een geavanceerde MNIST-database voor handgeschreven tekenherkenning, bestaande uit 62 klassen (A–Z, a–z, cijfers 0–9), waarbij elke client de gegevens van één schrijver vertegenwoordigt, wat natuurlijke niet-IID-verdelingen induceert. FLamby is een medische beeldvormingsbenchmark die bestaat uit verschillende cross-silo medische datasets (bijv. hart-MRI, histopathologische beelden), waarbij elk ziekenhuis of instelling als gefedereerde cliënt fungeert. FedGraphNN is een benchmark voor grafneurale netwerken die taken behandelen zoals citatienetwerken, molecuulclassificatie en sociale grafen, waarbij clients verschillende subgrafen of knooppunten bevatten. CICIDS2017 is een cybersecuritydataset voor inbraakdetectie met meer dan 80 functies van netwerkverkeersstromen over aanvalstypen zoals DDoS, PortScan en botnet, waarbij elke client een apart netwerkdomein of sensor vertegenwoordigt.

Datasetstatistieken
De belangrijkste kenmerken van de in de experimenten gebruikte datasets werden samengevat om reproduceerbaarheid van de gefedereerde leeropstelling te waarborgen. FEMNIST bevat ongeveer 805.263 handgeschreven tekenvoorbeelden verspreid over 3.550 schrijvers, met 62 klassen die hoofdletters, kleine letters en cijfers vertegenwoordigen, en elke cliënt komt overeen met één enkele schrijver met gemiddeld ongeveer 200–300 voorbeelden. FLamby biedt cross-silo zorgdatasets, en in deze studie bevat de medische beeldvormingsdataset ongeveer 20.000 monsters verzameld uit meerdere ziekenhuizen, waarbij elk ziekenhuis als onafhankelijke gefedereerde cliënt fungeert. FedGraphNN bevat meerdere grafenleerdatasets zoals citatienetwerken en molecuulgrafieken, die doorgaans duizenden knooppunten en randen bevatten met knooppuntkenmerken van 50–500 dimensies, afhankelijk van de taak. CICIDS2017 bevat ongeveer 2,8 miljoen netwerkverkeersstromen met 80 statistische kenmerken die uit netwerkpakketten zijn gehaald en omvat meerdere aanvalscategorieën zoals DDoS, PortScan en botnetverkeer, waarbij elke gefedereerde client een andere netwerkomgeving of monitoringsensor vertegenwoordigt. De datasets die in deze studie zijn gebruikt, zijn vrijgegeven tussen 2017 en 2023 en zijn openbaar beschikbaar voor onderzoek naar gefedereerd leren. De statistische kenmerken van de in de experimenten gebruikte datasets worden samengevat in Tabel 1.

Dataset	Domein	Samples	Kenmerken	Klassen	Klanten	Uitgavejaar
FEMNIST	Visie (Handgeschreven karakters)	8,05,263	Beeldpixels (28×28)	62	3,550	2017
FLamby	Beeldvorming in de gezondheidszorg	~20.000	Beeldkenmerken	Binair / multi-klasse	5	2023
FedGraphNN	Grafenleren	~10k–100k knooppunten	50–500 knooppunten kenmerken	Taakafhankelijk	7	2021
CICIDS2017	Cyberbeveiliging	~2,8 miljoen stromen	80	Meerdere aanvalsklassen	10	2017

Tabel 1: Samenvatting van datasets gebruikt in de Intelligent Federated Learning Framework-experimenten. De tabel vat de kenmerken van de in deze studie gebruikte datasets samen, waaronder toepassingsdomein, totaal aantal steekproeven, aantal features, aantal klassen, aantal gefedereerde clients en het releasejaar van de dataset. Deze statistieken geven een overzicht van de heterogene datamodaliteiten die worden gebruikt om het kader te evalueren.

Heterogeniteit op cliëntniveau
Heterogeniteit op clientniveau werd geïntroduceerd door dataset-partitionering. Hoewel vier datasets uit verschillende domeinen werden gebruikt voor evaluatie, werd heterogeniteit binnen elke gefedereerde dataset geïntroduceerd via client-level partitionering. Elke dataset werd verdeeld over meerdere clients, wat resulteerde in niet-identieke lokale dataverdelingen (niet-IID). Verschillende subsets van steekproeven of klassen werden toegewezen aan individuele clients om realistische gefedereerde leeromstandigheden te simuleren, waarmee statistische heterogeniteit binnen elke dataset werd weergegeven. Ongeveer 5–10% van de totale dataset werd aan elke client toegewezen, terwijl de klasse-onbalans behouden bleef om realistische niet-IID gefedereerde omgevingen te emuleren. De term heterogene datasets in deze studie verwijst naar statistische heterogeniteit op cliëntniveau in plaats van naar verschillen tussen onafhankelijke experimentele datasets. De benchmarkdatasets vertoonden verschillende vormen van statistische heterogeniteit, waaronder variaties in individuele schrijfstijlen in FEMNIST, verschillen in beeldvormingsprotocollen en patiëntdemografieën in FLamby-datasets, structurele variaties in FedGraphNN-datasets en diverse netwerkverkeerspatronen in CICIDS2017, waarmee gezamenlijk realistische niet-IID-dataverdelingen ontstonden die gefedereerde optimalisatie-algoritmen uitdagen.

Dataset-specifieke preprocessing
Dataset-specifieke preprocessing-operaties werden uitgevoerd om invoerformaten te standaardiseren vóór gefedereerde training. Voor FEMNIST werden handgeschreven tekenafbeeldingen omgezet naar grijstinten, verkleind tot 28×28 pixels en genormaliseerd naar het interval [0, 1], waarbij corrupte of onvolledige samples werden verwijderd en class labels one-hot gecodeerd werden, en samples georganiseerd op schrijvers-ID's zodat elke schrijver correspondeerde met een gefedereerde client. Voor FLamby werden medische beelden verkleind naar 224×224 pixels, genormaliseerd met dataset-specifieke gemiddelde en standaarddeviatie, aangevuld met technieken zoals horizontaal flippen, rotatie en contrastaanpassing, en gepartitioneerd volgens ziekenhuisidentificaties. Voor FedGraphNN werden grafstructuren geconstrueerd door knooppuntkenmerken, adjacentiematrices en randrelaties te definiëren, werden knooppuntkenmerken genormaliseerd, grafiekgegevens werden omgezet in spaarzame adjacentierepresentaties en werden grafen gepartitioneerd over clients als subgrafen. Voor CICIDS2017 werden dubbele records verwijderd, ontbrekende waarden met het gemiddelde geïncluteerd, werden categorische kenmerken gecodeerd, werd feature-normalisatie toegepast en werden goedaardige en aanvalsverkeer in balans gebracht met behulp van gestratificeerde steekproeven. Elke cliëntdataset werd verdeeld in 80% trainings-, 10% validatie- en 10% test-subsets, zodat de klassenverdelingen behouden bleven. Clientdatasets werden opgeslagen in aparte mappen (Client_01, Client_02, ...), en de toegang tot lokale nodes was beperkt om privacyredenen.

Architectuur van het Intelligent Federated Learning Framework (IFLF)
Het Intelligent Federated Learning Framework was georganiseerd in een vijflaagse architectuur bestaande uit de Data Layer, Client Layer, Aggregation Layer, Adaptation and Optimization Layer en Interpretability Layer, zoals geïllustreerd in Figuur 1. De architectonische lagen waren ontworpen om informatie sequentieel door te geven. Na het voorbereiden en partitioneren van heterogene datasets volgens client-eigendom, stuurde de Data Layer informatie naar de Client Layer, waar lokale modellen werden getraind en modelupdates werden gegenereerd. Deze updates werden naar de Aggregatielaag gestuurd, waar betrouwbaarheids- en gelijkenismaatstaven de aggregatie van gewogen klantbijdragen begeleidden. De Adaptatie- en Optimalisatielaag zorgde voor een soepel globaal trainingsproces door de leersnelheidsparameters te variëren in overeenstemming met de gradiëntvariantie. Ten slotte maakte de interpretability layer gebruik van verklaarbare kunstmatige intelligentiemethoden zoals SHAP en LIME om het globale model te interpreteren en verklaringen van voorspellingen te produceren.

Figuur 1. Architectuur van het Intelligent Federated Learning Framework. Het raamwerk is verdeeld in vijf lagen: Data, Client, Aggregatie, Aanpassing en Optimalisatie, en Interpreteerbaarheid. Data van niet-gecolocatiede, heterogene clients worden lokaal verwerkt, geaggregeerd op basis van betrouwbaarheid en gelijkenis, adaptief geoptimaliseerd en geïnterpreteerd met SHAP of LIME. Pijlen geven de iteratieve communicatie tussen clients en de centrale server aan, waarmee de gefedereerde leerloop wordt gevormd. Klik hier om een grotere versie van deze figuur te bekijken.

Datalaag
Datasets werden verdeeld op basis van klanteigendom en privacyvereisten, waarbij speciale opslaglocaties voor elke client werden bijgehouden. Verschillende preprocessing-pijplijnen werden toegepast en functies werden genormaliseerd om gestandaardiseerde invoerformaten over domeinen heen te waarborgen.

Clientlaag
Gedistribueerde clients die apparaten, organisaties of instellingen vertegenwoordigden, werden opgezet en ontvingen elk een identieke kopie van het globale model met dezelfde parameters. Lokale training werd uitgevoerd met client-specifieke datasets en optimalisatiemethoden zoals stochastic gradient descent of Adam, terwijl alleen modelparameters of gradiënten werden gecommuniceerd om gegevensprivacy te waarborgen.

Aggregatielaag
Een centrale aggregatie-eenheid ontving versleutelde modelupdates van alle clients en evalueerde hun betrouwbaarheid en gelijkenis vóór de aggregatie. Betrouwbaarheidsscores op basis van validatieprestaties werden gebruikt om het belang van klantupdates te bepalen, en de gelijkenis tussen updates werd beoordeeld met methoden zoals clustering of cosinusgelijkenis. Gewogen aggregatie werd uitgevoerd en het bijgewerkte globale model werd opnieuw verdeeld onder klanten.

Adaptatie- en optimalisatielaag
Optimalisatieparameters werden dynamisch aangepast op basis van de voortgang van de training bij de cliënt. Leersnelheden werden gepland om de updatevariantie te verminderen, en aanvullende technieken zoals proximale regularisatie en adaptieve weging werden toegepast om clientdrift te beperken en de convergentiestabiliteit te verbeteren.

Interpreteerbaarheidslaag
Verklaarbare kunstmatige intelligentiemethoden zoals SHAP en LIME werden gebruikt om feature-attributiescores en modelverklaringen te genereren. De output omvatte functieranglijsten, attributiekaarten en visuele uitleg, die werden geïnterpreteerd in de context van domeinspecifieke kennis om transparantie te waarborgen.

Gefedereerde training
Het Intelligent Federated Learning Framework werd geïmplementeerd door initialisatie van het globale model op de centrale aggregatieserver, gevolgd door de definitie van trainingshyperparameters, waaronder leersnelheid, communicatierondes en lokale epochs. De parameters van het globale model werden aan alle cliënten verspreid, die vervolgens lokale training uitvoerden met hun eigen datasets. Lokale trainingsverlies en validatienauwkeurigheid werden berekend, en modelupdates werden gegenereerd en versleuteld voordat ze naar de aggregatieserver werden verzonden. De betrouwbaarheid van clientupdates werd geëvalueerd op basis van validatieprestaties met behulp van Vergelijking 1.

(1)

Waar Acc_i de validatienauwkeurigheid van client i vertegenwoordigt.

De gelijkenis tussen clientupdates werd berekend met behulp van cosinusgelijkenis van gradiëntvectoren, zoals gedefinieerd in Vergelijking 2.

(2)

Waarbij g_{, i} en g_j de gradiëntvectoren van verschillende clients vertegenwoordigen.

Adaptieve aggregatiegewichten werden berekend door betrouwbaarheids- en gelijkenisscores te combineren, zoals gedefinieerd in Vergelijking 3.

(3)

Het adaptieve aggregatiegewicht voor elke cliënt werd bepaald door betrouwbaarheids- en gelijkenisscores te combineren. De betrouwbaarheidsmetriek weerspiegelde de validatienauwkeurigheid van het lokale clientmodel, terwijl de gelijkenismetriek de cosinusgelijkenis tussen clientgradiëntupdates mat.

Het aggregatiegewicht w_i gaf daarom prioriteit aan clients die zowel betrouwbare validatieprestaties toonden als consistente update-richtingen vertoonden met het globale optimalisatiedoel.

De genormaliseerde gewichten zorgden ervoor dat de totale bijdrage van alle deelnemende klanten optog tot één, waardoor stabiliteit in de wereldwijde modelupdate behouden bleef.

De gewichten werden genormaliseerd zodat .

Wereldwijde modelupdate
Klantmodellen werden geaggregeerd met een gewogen gemiddelde, zoals getoond in Vergelijking 4.

(4)

Waarbij M_i de lokale parameters van client i vertegenwoordigt.

De bijgewerkte globale modelparameters werden naar alle clients uitgezonden.

Adaptieve leersnelheidsmodulatie
De variatie van cliëntgradiënten over communicatierondes werd gemonitord. De leersnelheid werd dynamisch aangepast volgens Vergelijking 5.

(5)

Waarbij Var(g) de gradiëntvariantie tussen clients vertegenwoordigt.

De bijgewerkte leersnelheid werd toegepast tijdens de volgende lokale trainingscyclus. De adaptieve leersnelheid werd geregeld door de centrale aggregatieserver en wereldwijd toegepast op alle clients tijdens daaropvolgende trainingsrondes. Deze globale aanpassing zorgde voor consistent optimalisatiegedrag terwijl rekening werd gehouden met variatie in klantupdates. Omdat leersnelheidsmodulatie op serverniveau werd uitgevoerd, ontvingen alle deelnemende clients de bijgewerkte leersnelheid samen met de parameters van het globale broadcastmodel.

Evaluatie van gefedereerde leerprestaties
De nauwkeurigheid van het globale model werd geëvalueerd met behulp van de geaggregeerde testdataset, zoals weergegeven in Vergelijking 6.

(6)

Waar TP het aantal echte positieve voorspellingen vertegenwoordigt, TN ware negatieve voorspellingen, FP vals-positieve voorspellingen en FN vals-negatieve voorspellingen

Eerlijkheid tussen klanten werd gemeten door de variatie van klantnauwkeurigheid te berekenen.

De communicatiekosten werden berekend als het totale aantal modelparameters dat tussen clients en de aggregatieserver werd verzonden over alle communicatierondes. De totale communicatie-overhead werd daarom geschat zoals weergegeven in Vergelijking 7.

(7)

Waarbij R het aantal communicatierondes is, C het aantal clients, en S de modelgrootte vertegenwoordigt.

Modelinterpretabiliteitsanalyse werd uitgevoerd met SHAP om globale feature-importance scores te berekenen en LIME om lokale verklaringen voor individuele voorspellingen te genereren. Kenmerken van attributieresultaten werden gevisualiseerd om modelgedrag te interpreteren.

Probleemoplossing
Onstabiele convergentie trad op wanneer clientdatasets sterk heterogeen waren of extreem onevenwichtige klassenverdelingen bevatten. In zulke gevallen werden lokale trainingstijdperken verkort of werd de initiële leersnelheid verlaagd om gradiëntupdates te stabiliseren. Sterk scheve klantverdelingen leidden tot dominantie van een klein aantal cliënten tijdens de aggregatie, wat werd gecompenseerd door de betrouwbaarheidswegingsdrempel aan te passen of de diversiteit in klantparticipatie te vergroten. Onbetrouwbare clientparticipatie veroorzaakt door netwerkonderbrekingen verstoorde communicatierondes; daarom werd gedeeltelijke deelname ingeschakeld, waardoor de aggregatieserver kon doorgaan met beschikbare clientupdates. Interpreteerbaarheidsfouten of inconsistente feature-attributie ontstonden wanneer modellen overregulariseerd of getraind waren op onvoldoende data, en datapreprocessing-stappen werden geverifieerd terwijl ervoor werd gezorgd dat SHAP- of LIME-verklaringen werden gegenereerd na modelconvergentie.

De iteratieve volgorde van modelinitialisatie, lokale training, intelligente aggregatie, adaptieve optimalisatie en interpreteerbaarheidsanalyse wordt weergegeven in Figuur 2, die de algehele workflow van het Intelligent Federated Learning Framework (IFLF) weergeeft.

Figuur 2. Workflow van het Intelligent Federated Learning Framework. De figuur toont de iteratieve cyclus van fasen, waaronder initialisatie, lokale training, aggregatie, adaptieve optimalisatie en interpreteerbaarheid, en illustreert de end-to-end werking van het framework. Klik hier om een grotere versie van deze figuur te bekijken.

Prestatie-evaluatie
Globale en lokale metrics zoals nauwkeurigheid, precisie, herinnering en F1-score werden berekend. Eerlijkheid werd gemeten aan de hand van de variatie in de nauwkeurigheid van lokale klanten. De communicatie-efficiëntie werd onderzocht als de grootte van de gegevens die per ronde werden overgedragen. De modelprestaties werden geëvalueerd aan de hand van typische gefedereerde baselines zoals FedAvg, FedProx en FedOpt. Uitkomsten werden gepresenteerd met behulp van convergentiecurves, verwarringsmatrices en interpreteerbaarheidsplots. Alle experimentele instellingen, logboeken en controlepunten werden opgeslagen om reproduceerbaarheid te waarborgen.

Workflowoverzicht
De IFLF-cyclus werd uitgevoerd door het continu herhalen van lokale training, slimme aggregatie, adaptieve optimalisatie en interpreteerbaarheidsanalyse. Gegevensprivacy werd gehandhaafd door gegevens op lokale nodes te bewaren, terwijl het samenwerkende modelverbetering mogelijk maakte. Deze stappen bevatten mechanismen om eerlijkheid, transparantie en prestaties te waarborgen bij niet-samenwonende klanten.

Resultaten

Overzicht
Alle experimentele resultaten die in deze studie werden gerapporteerd, werden gemiddeld over vijf onafhankelijke runs met verschillende willekeurige initialisaties en klantbemonsteringsconfiguraties om robuustheid te waarborgen. Prestatie-indicatoren, waaronder nauwkeurigheid, precisie, herinnering en F1-score, worden gepresenteerd als gemiddelde ± standaarddeviatie. De waargenomen standaarddeviatie over runs bleef binnen een klein bereik (meestal ±0,5% tot ...

Discussie

Het voorgestelde Intelligent Federated Learning Framework (IFLF) pakt uitdagingen aan in gefedereerd leren die voortkomen uit heterogene en gedistribueerde omgevingen. Systematische evaluatie over vier datasets geeft aan dat het combineren van aggregatie en adaptieve optimalisatie de convergentiestabiliteit en de prestaties van het globale model verbetert. Door klantbetrouwbaarheid en gelijkenis in het aggregatieproces te integreren, vermindert het framework de invloed van inconsistente ...

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
CICIDS2017 Dataset	Canadian Institute for Cybersecurity	Publieke dataset	Intrusion detection
FedGraphNN Dataset	FedGraphNN	Publieke dataset	Grafenleren
FEMNIST Dataset	LEAF Benchmark	Publieke dataset	Vision dataset
FLamby Dataset	FLamby Project	Publieke dataset	Healthcare dataset
Flower	Flower Framework	1.6	Federated learning simulatie
GPU Workstation	NVIDIA	RTX GPU	Modeltraining
NumPy	NumPy Developers	1.26	Numeriek rekenen
Python	Python Software Foundation	3.1	Programmeertaal
Scikit-learn	Scikit-learn	1.3	ML-hulpmiddelen
TensorFlow / PyTorch	Google / Meta	Laatste	Deep learning framework