Intelligentes föderiertes Lernframework für nicht-kolokierte und heterogene Datensätze

Summary

Dieses Protokoll beschreibt die Implementierung eines Intelligent Federated Learning Frameworks zur Ausbildung verteilter Machine-Learning-Modelle über heterogene, nicht colocierte Datensätze hinweg, wobei der Datenschutz gewahrt und die Modellinterpretierbarkeit ermöglicht wird.

Abstract

Föderiertes Lernen hat erhebliches Potenzial für verteiltes Modelltraining bei gleichzeitiger Wahrung der Privatsphäre, steht jedoch vor Herausforderungen in Bezug auf Konvergenz, Fairness und Interpretierbarkeit aufgrund der Heterogenität nicht-kolokalisierter Datensätze. Diese Studie schlägt ein Intelligent Federated Learning Framework (IFLF) vor, das diese Herausforderungen durch einen adaptiven Ansatz mit einer mehrschichtigen Architektur angeht, die aus Daten-, Client-, Aggregations-, Adaptations- und Optimierungsschichten sowie Interpretierbarkeitsschichten besteht.

Das Framework zeigt stabile Konvergenz unter Nicht-IID-Datenverteilungen, wobei Aggregationsstrategien eine ausgewogene Optimierung unterstützen. Der Ansatz der Lernratenmodulation trägt zu stabilem Training bei, indem er heterogene Client-Updates integriert und die Divergenz während der Optimierung reduziert. Erklärbare KI-Techniken, darunter SHAP und LIME, werden integriert, um die Transparenz sowohl auf Kunden- als auch auf globaler Ebene zu verbessern.

Das IFLF wird anhand von vier Benchmark-Datensätzen bewertet (FEMNIST (Vision), FLamby (Gesundheitsbildgebung), FedGraphNN (Graphenlernen) und CICIDS2017 (Cybersicherheit)). Das Framework erreichte eine durchschnittliche Genauigkeit von 92,8 %, mit schnellerer Konvergenz und reduzierter Leistungsvariabilität zwischen den Kunden.

Introduction

Der rasche Anstieg verteilter Daten, die von mobilen Geräten, Gesundheitssystemen, industriellen Sensoren und cyber-physischen Infrastrukturen stammen, hat den Bedarf an kollaborativen Machine-Learning-Techniken erhöht, die zudem den Datenschutz bewahren. Konventionelle Methoden des maschinellen Lernens basieren auf zentraler Datenkonsolidierung, bei der Datensätze aus verschiedenen Quellen gesammelt und in einem einzigen Repository gespeichert werden. Obwohl ein solcher Ansatz das Modelltraining erleichtert, wirft er Bedenken hinsichtlich Datenschutz, regulatorischer Einhaltung und Kommunikationsaufwand auf. Federated Learning (FL) wurde als vielversprechender Ansatz anerkannt, der es mehreren Kunden ermöglicht, gemeinsam ein globales Modell zu trainieren, ohne ihre lokalen Daten^{preiszugeben 1}. In diesem dezentralen Lernschema trainieren Clients lokale Modelle, und nur Modellupdates werden mit einem zentralen Server geteilt. Dieser Ansatz reduziert Datenschutzrisiken und ermöglicht gleichzeitig die kollaborative Modellentwicklung über verteilte Umgebungen^{hinweg 2,3}.

Dennoch stößt föderiertes Lernen bei der praktischen Anwendung auf Einschränkungen. Eine der größten Herausforderungen ist die statistische Heterogenität, bei der Kundendatensätze unterschiedlichen Verteilungen folgen. Nicht-IID-Datenverteilungen beeinflussen die Konvergenzstabilität und die Modellverallgemeinerung in der föderierten Optimierung^{erheblich 4}. Um dieses Problem anzugehen, wurden mehrere Methoden vorgeschlagen. FedProx führt einen proximalen Regularisierungsterm ein, um das Training über heterogene Klienten hinweg zu stabilisieren⁵. FedNova korrigiert objektive Inkonsistenzen, die sich aus unausgewogener Kundenbeteiligung^{ergeben 6}. Zusätzlich wurden serverseitige adaptive Optimierungsstrategien vorgeschlagen, um Konvergenz⁷ zu verbessern, während SCAFFOLD Varianzreduktionstechniken verwendet, um Clientdrift während der verteilten^{Optimierung 8} zu mindern.

Jüngste Studien haben Clustering- und Personalisierungstechniken untersucht, um Heterogenität in föderierten Umgebungen zu adressieren. Clustered federated learning frameworks gruppieren Clients mit ähnlichen Datenverteilungen, um die Trainingskonsistenz und die Modellleistung zu verbessern ^9,10. Personalisierte föderierte Lernmethoden wie Ditto und FedAMP zielen darauf ab, die globale Modellleistung mit kundenspezifischen Anpassungen ^11,12 in Einklang zu bringen. Ähnlich verwenden Methoden wie pFedMe und Per-FedAvg regularisierungsbasierte Feinabstimmung für die Anpassung auf Clientebene^13,14. Andere Ansätze, darunter FedRep und FedRoD, trennen globale und kundenspezifische Vertretungen für unabhängige föderierte Schulungen^15,16.

Eine weitere Herausforderung beim föderierten Lernen ist die Ressourcenheterogenität und Systemskalierbarkeit. In groß angelegten verteilten Systemen verfügen Clients oft über unterschiedliche Rechenleistungen und Kommunikationsbandbreiten. FedBN adressiert die Heterogenität der Merkmalsverteilung über lokale Batch-Normalisierung¹⁷. Tier-basierte föderierte Lernframeworks organisieren Klienten in hierarchische Trainingsstufen, um Ressourcenunterschiede^{zu verwalten 18}. Kundenauswahlstrategien wie HACCS und Oort verbessern die Systemeffizienz, indem sie zuverlässige Teilnehmer während der Schulung priorisieren^19,20. Benchmarking-Plattformen wie FedScale unterstützen groß angelegte Bewertungen föderierter Lernalgorithmen²¹.

Kommunikationseffizienz ist ein weiteres zentrales Anliegen beim föderierten Lernen, da Modellupdates häufig über verteilte Clients hinweg ausgetauscht werden. Bestehende Ansätze umfassen kommunikationseffiziente Trainingsstrategien wie periodische Mittelung und Modellquantisierung²² sowie Modellkompressionstechniken. Wissensdestillation senkt die Kommunikationskosten durch das Übertragen kompakter Darstellungen und erhält gleichzeitig die Leistung²³. Weitere Ansätze umfassen die Reduzierung der Klientenbeteiligung und den Einsatz von Kompressionstechniken im verteilten Training²⁴. Optimierungsmethoden wie Quped und FetchSGD adressieren weitere Herausforderungen in Kommunikation und Speichereffizienz ^25,26.

Über Optimierung und Kommunikation hinaus ist die Interpretierbarkeit zu einem wichtigen Aspekt föderierter Lernsysteme geworden. Erklärbare Methoden der künstlichen Intelligenz (XAI) wie SHAP und LIME liefern funktionsnahe Erklärungen für Modellvorhersagen. Diese Techniken unterstützen das Verständnis des Modellverhaltens in kritischen Bereichen wie Gesundheitswesen und Cybersicherheit^{2 7,2 8}. Jüngste Studien zeigen, dass die Integration von Erklärbarkeit in föderierte Lernsysteme die Transparenz und Vertrauenswürdigkeit verbessert^{2 9,30}.

Diese Studie schlägt ein Intelligent Federated Learning Framework (IFLF) vor, um die Konvergenzstabilität, Fairness, Kommunikationseffizienz und Interpretierbarkeit in heterogenen föderierten Umgebungen zu verbessern. Das Framework integriert zuverlässigkeitsbasierte Aggregation, adaptive Optimierungsmechanismen und erklärbare KI-Techniken innerhalb einer einheitlichen Architektur.

Das Framework ist als mehrschichtiges System strukturiert, bestehend aus Daten-, Client-, Aggregations-, Adaptations- und Optimierungsschichten sowie Interpretierbarkeitsschichten. Intelligente Aggregation integriert Kundenzuverlässigkeit und Ähnlichkeitsmetriken, um adaptive Gewichtung zu bestimmen. Ein adaptiver Lernratenmodulationsmechanismus unterstützt eine stabile Optimierung über heterogene Client-Verteilungen hinweg. Interpretierbarkeitskomponenten liefern Erklärungen zu Modellvorhersagen über verteilte Umgebungen hinweg.

Diese Studie untersucht die Auswirkungen intelligenter Aggregation, adaptiver Lernratenmodulation und Interpretierbarkeitsmechanismen in heterogenen föderierten Lernumgebungen. Es bewertet, wie Aggregationsstrategien die Konvergenzstabilität und Modellleistung beeinflussen, wie adaptive Lernratenmodulation das Training unter Datenheterogenität unterstützt und wie Interpretierbarkeitstechniken die Transparenz von Modellen verbessern. Das vorgeschlagene Intelligent Federated Learning Framework ist in fünf Schichten gegliedert – Datenschicht, Client-Schicht, Aggregationsschicht, Anpassungs- und Optimierungsschicht sowie Interpretierbarkeitsschicht – und ermöglicht effizientes und stabiles föderiertes Training über verteilte Umgebungen hinweg. Die Bewertung berücksichtigt zentrale Leistungsaspekte, darunter Konvergenzverhalten, Fairness, Kommunikationseffizienz und Interpretierbarkeit, wobei mehrere Benchmark-Datensätze verwendet werden.

Verteilte Clients führen lokale Schulungen auf privaten Datensätzen durch und senden verschlüsselte Modellupdates an einen zentralen Server. Der Server bewertet die Zuverlässigkeit und Ähnlichkeit des Clients, berechnet Aggregationsgewichte und aktualisiert das globale Modell. Die adaptive Anpassung der Lernrate unterstützt stabile Konvergenz, und erklärbare KI-Methoden liefern interpretierbare Ausgaben. Der Rest dieses Artikels ist wie folgt organisiert. Der Abschnitt Verwandte Arbeit gibt einen Überblick über aktuelle Fortschritte im heterogenen föderierten Lernen. Der Abschnitt Protokoll beschreibt die Umsetzung des vorgeschlagenen Rahmens. Der Ergebnisabschnitt präsentiert experimentelle Ergebnisse, und die Diskussion skizziert Implikationen und zukünftige Ausrichtungen.

VERWANDTE ARBEITEN
Jüngste Studien haben sich mit heterogenem föderiertem Lernen über verschiedene Datenmodalitäten und Anwendungsbereiche hinweg befasst. Prototypengesteuerte föderierte Lernansätze ermöglichen die Zusammenarbeit zwischen verteilten Institutionen, indem repräsentative Prototypen statt Rohdaten^{geteilt werden}. FedGraphNN bietet eine Benchmarking-Plattform zur Bewertung föderierter Lernalgorithmen in Graph-Neural-Netzwerk-Einstellungen³². OpenFGL unterstützt groß angelegtes Benchmarking über föderierte Lernszenarien^{hinweg 33}. FLamby bietet silo-übergreifende Gesundheitsdatensätze für föderiertes Lernen unter strengen Datenschutzvorgaben³⁴.

Systemebene-Frameworks wurden ebenfalls entwickelt, um skalierbare föderierte Lernbereitstellungen zu unterstützen. Flower bietet eine flexible Infrastruktur zur Implementierung und Bewertung föderierter Lernalgorithmen in verteilten Umgebungen³⁵. Dynamische Destillationsmethoden wurden vorgeschlagen, um die Modellleistung unter heterogenen Datenverteilungen zu verbessern³⁶. Darüber hinaus heben Umfragestudien zentrale Herausforderungen im Zusammenhang mit Heterogenität, Skalierbarkeit und Interpretierbarkeit in föderierten Lernsystemen^{hervor 37}. Diese Arbeiten betonen gemeinsam die Notwendigkeit einheitlicher Frameworks, die adaptive Aggregation, Optimierungsstrategien und Interpretierbarkeitsmechanismen für robustes föderiertes Lernen in realen Anwendungen integrieren.

Protocol

Überblick
Ein Intelligent Federated Learning Framework (IFLF) wurde entwickelt, um Daten- und Systemheterogenität in nicht-colokierten Umgebungen effizient zu verwalten. Die Systemarchitektur bestand aus fünf Schichten: der Datenschicht, der Client-Schicht, der Aggregationsschicht, der Anpassungs- und Optimierungsschicht sowie der Interpretierbarkeitsschicht. Die Module wurden über ein verteiltes Rechensystem mit einem zentralen Aggregationsserver und mehreren Clientknoten bereitgestellt. Sichere Socket-Verbindungen (SSL/TLS) wurden für die Kommunikation zwischen Knoten verwendet, um Datenschutz und Datenintegrität zu gewährleisten. Das folgende Verfahren wurde verwendet, um Datensätze vorzubereiten, die Architektur einzurichten, federierte Schulungen durchzuführen und die Interpretierbarkeit zu bewerten.

Berechnungsumgebungskonfiguration
Die Rechenumgebung wurde durch die Installation der erforderlichen Software-Frameworks für die Implementierung des föderierten Lernframeworks konfiguriert. Python wurde als primäre Programmiersprache für Modellentwicklung und Experimente verwendet. Maschinelle Lernbibliotheken wie TensorFlow oder PyTorch wurden für das Training neuronaler Netzwerke installiert, zusammen mit zusätzlichen Bibliotheken wie NumPy, Scikit-learn und Pandas für die Datenvorverarbeitung und -analyse. Föderierte Lernbibliotheken wie Flower oder PySyft wurden installiert, um verteilte Client-Umgebungen zu simulieren. Die Computerumgebung wurde auf einer Arbeitsstation konfiguriert, die mit GPU-Beschleunigung ausgestattet war, sofern verfügbar. Alle Clients und der Aggregationsserver wurden so konfiguriert, dass sie über sichere Socket-Verbindungen (SSL/TLS) kommunizieren. Alle erforderlichen Datensätze wurden überprüft, um innerhalb des lokalen Speichers jedes Client-Knotens zugänglich zu sein, bevor das föderierte Training gestartet wurde. Die Software-Frameworks, Datensätze und die Rechenumgebung, die zur Reproduktion des Protokolls erforderlich sind, sind in der Materialtabelle zusammengefasst.

Initialisierung föderierter Knoten
Der zentrale Aggregationsserver wurde mit dem Flower-Federated-Learning-Framework konfiguriert. Der Aggregationsserver wurde mit folgendem Befehl gestartet:

Python server.py --rounds 100 --clients 10 --secure_connection True

Einzelne Client-Knoten wurden auf separaten Terminals oder Computerumgebungen mit folgendem Befehl gestartet:
python client.py --client_id 01

Die sichere Socket-Kommunikation wurde konfiguriert, indem SSL/TLS-Zertifikate mit dem OpenSSL-Toolkit generiert wurden.
OpenSSL Req -x509 -newkey rsa:4096 -keyout key.pem -out cert.pem -days 365

Eine sichere Kommunikation zwischen Server und Clients wurde durch die Angabe der Zertifikatspfade in der Konfigurationsdatei ermöglicht. Die Konnektivität wurde überprüft, indem vor Beginn des föderierten Trainingsprozesses eine Testkommunikationsrunde durchgeführt wurde.

Erstellung und Beschreibung des Datensatzes
Repräsentative öffentliche Datensätze wurden ausgewählt, um die Leistung in verschiedenen Bereichen und Datenmodalitäten zu bewerten. FEMNIST ist eine fortschrittliche MNIST-Datenbank zur handschriftlichen Zeichenerkennung, die 62 Klassen (A–Z, a–z, Ziffern 0–9) enthält, in der jeder Client die Daten eines Autors repräsentiert und so natürliche Nicht-IID-Verteilungen induziert. FLamby ist ein medizinischer Bildgebungs-Benchmark, der aus verschiedenen Silo-übergreifenden medizinischen Datensätzen (z. B. Herz-MRT, histopathologische Bilder) besteht, bei dem jedes Krankenhaus oder jede Institution als föderierter Klient fungiert. FedGraphNN ist ein Benchmark für neuronale Graphennetzwerke, der Aufgaben wie Zitationsnetzwerke, Molekülklassifikation und soziale Graphen abdeckt, bei denen Clients unterschiedliche Subgraphen oder Knotenmerkmale enthalten. CICIDS2017 ist ein Cybersicherheitsdatensatz zur Störungserkennung mit mehr als 80 Funktionen von Netzwerkverkehrsströmen über Angriffsarten wie DDoS, PortScan und Botnet, wobei jeder Client eine separate Netzwerkdomäne oder einen Sensor darstellt.

Datensatzstatistiken
Die wichtigsten Eigenschaften der in den Experimenten verwendeten Datensätze wurden zusammengefasst, um die Reproduzierbarkeit des föderierten Lernaufbaus sicherzustellen. FEMNIST enthält etwa 805.263 handschriftliche Zeichenproben, verteilt auf 3.550 Autoren, wobei 62 Klassen Groß- und Kleinbuchstaben und Ziffern repräsentieren, und jeder Kunde entspricht einem einzelnen Autor mit durchschnittlich etwa 200–300 Proben. FLamby stellt siloübergreifende Gesundheitsdatensätze bereit, und in dieser Studie enthält der medizinische Bilddatensatz etwa 20.000 Proben, die aus mehreren Krankenhäusern entnommen wurden, wobei jedes Krankenhaus als unabhängiger föderierter Klient fungiert. FedGraphNN enthält mehrere Graph-Learning-Datensätze wie Zitationsnetzwerke und Molekülgraphen, die typischerweise Tausende von Knoten und Kanten mit Knotenmerkmalen enthalten, die je nach Aufgabe zwischen 50 und 500 Dimensionen reichen. CICIDS2017 enthält etwa 2,8 Millionen Netzwerkverkehrsflüsse mit 80 statistischen Merkmalen, die aus Netzwerkpaketen extrahiert wurden, und umfasst mehrere Angriffskategorien wie DDoS, PortScan und Botnet-Verkehr, wobei jeder föderierte Client eine andere Netzwerkumgebung oder einen Überwachungssensor darstellt. Die in dieser Studie verwendeten Datensätze wurden zwischen 2017 und 2023 veröffentlicht und sind öffentlich für die föderierte Lernforschung verfügbar. Die statistischen Eigenschaften der in den Experimenten verwendeten Datensätze sind in Tabelle 1 zusammengefasst.

Datensatz	Domäne	Samples	Merkmale	Klassen	Kunden	Veröffentlichungsjahr
FEMNIST	Vision (Handschriftliche Zeichen)	8,05,263	Bildpixel (28×28)	62	3,550	2017
FLamby	Bildgebende Versorgung im Gesundheitswesen	~20.000	Bildmerkmale	Binär- / Multi-Klassen	5	2023
FedGraphNN	Graphenlernen	~10k–100k Knoten	50–500 Knotenmerkmale	Aufgabenabhängig	7	2021
CICIDS2017	Cybersicherheit	~2,8 Millionen Abflüsse	80	Mehrere Angriffsklassen	10	2017

Tabelle 1: Zusammenfassung der in den Intelligent Federated Learning Framework-Experimenten verwendeten Datensätze. Die Tabelle fasst die Eigenschaften der in dieser Studie verwendeten Datensätze zusammen, einschließlich Anwendungsbereich, Gesamtzahl der Stichproben, Anzahl der Features, Anzahl der Klassen, Anzahl föderierter Clients und Veröffentlichungsjahr des Datensatzes. Diese Statistiken geben einen Überblick über die heterogenen Datenmodalitäten, die zur Bewertung des Rahmens verwendet werden.

Heterogenität auf Klientebene
Die Heterogenität auf Clientebene wurde durch Datensatz-Partitionierung eingeführt. Obwohl vier Datensätze aus verschiedenen Domänen für die Auswertung verwendet wurden, wurde innerhalb jedes föderierten Datensatzes durch Client-Partitionierung Heterogenität eingeführt. Jeder Datensatz wurde auf mehrere Clients aufgeteilt, was zu nicht identischen lokalen Datenverteilungen (nicht-IID) führte. Verschiedene Teilmengen von Stichproben oder Klassen wurden einzelnen Clients zugewiesen, um realistische föderierte Lernbedingungen zu simulieren und die statistische Heterogenität innerhalb jedes Datensatzes darzustellen. Ungefähr 5–10 % des gesamten Datensatzes wurden jedem Client zugewiesen, wobei das Klassenungleichgewicht beibehalten wurde, um reale, nicht-IID-föderierte Umgebungen zu emulieren. Der Begriff heterogene Datensätze in dieser Studie bezieht sich eher auf die statistische Heterogenität auf Kundenebene als auf Unterschiede zwischen unabhängigen experimentellen Datensätzen. Die Benchmark-Datensätze zeigten verschiedene Formen statistischer Heterogenität, darunter Unterschiede in individuellen Schreibstilen in FEMNIST, Unterschiede in Bildgebungsprotokollen und Patientendemografien in FLamby-Datensätzen, strukturelle Unterschiede in FedGraphNN-Datensätzen sowie unterschiedliche Netzwerkverkehrsmuster in CICIDS2017, wodurch gemeinsam realistische Nicht-IID-Datenverteilungen entstanden, die föderierte Optimierungsalgorithmen herausfordern.

Datensatzspezifische Vorverarbeitung
Datensatzspezifische Vorverarbeitungsoperationen wurden durchgeführt, um Eingabeformate vor föderiertem Training zu standardisieren. Für FEMNIST wurden handgeschriebene Zeichenbilder in Graustufen umgewandelt, auf 28×28 Pixel verkleinert und auf das Intervall [0, 1] normalisiert, wobei beschädigte oder unvollständige Samples entfernt und Klassenlabels One-Hot-codiert wurden und Samples nach Schreiber-IDs organisiert wurden, sodass jeder Schreiber einem föderierten Client entsprach. Für FLamby wurden medizinische Bilder auf 224×224 Pixel verkleinert, mittels datensatzspezifischer Mittelwert und Standardabweichung normalisiert, mit Techniken wie horizontalem Umdrehen, Drehen und Kontrastanpassung ergänzt und entsprechend Krankenhauskennungen unterteilt. Für FedGraphNN wurden Graphstrukturen durch Definition von Knotenmerkmalen, Adjazenzmatrizen und Kantenbeziehungen konstruiert, Knotenmerkmalevektoren wurden normalisiert, Graphdaten in spärliche Adjazenzrepräsentationen umgewandelt und Graphen als Subgraphen über die Clients hinweg partitioniert. Für CICIDS2017 wurden doppelte Datensätze entfernt, fehlende Werte mit dem Mittelwert imputiert, kategoriale Merkmale kodiert, Merkmalsnormierung angewandt und gutartiger sowie Angriffsverkehr mittels geschichteter Stichprobenbildung ausgeglichen. Jeder Kundendatensatz wurde in 80 % Trainings-, 10-prozentige Validierungs- und 10 % Test-Teilmengen unterteilt, um sicherzustellen, dass die Klassenverteilungen erhalten blieben. Client-Datensätze wurden in separaten Ordnern (Client_01, Client_02, ...) gespeichert, und der Zugriff auf lokale Knoten war aus Datenschutzgründen eingeschränkt.

Architektur des Intelligent Federated Learning Framework (IFLF)
Das Intelligent Federated Learning Framework war in eine fünfschichtige Architektur organisiert, bestehend aus der Datenschicht, der Client-Schicht, der Aggregationsschicht, der Anpassungs- und Optimierungsschicht sowie der Interpretierbarkeitsschicht, wie in Abbildung 1 dargestellt. Die architektonischen Schichten wurden so gestaltet, dass sie Informationen sequentiell weiterleiten. Nach der Vorbereitung und Partitionierung heterogener Datensätze nach Client-Eigentum übertrug die Data Layer Informationen an die Client-Schicht, wo lokale Modelle trainiert und Modellupdates generiert wurden. Diese Updates wurden an die Aggregationsschicht gesendet, wo Zuverlässigkeits- und Ähnlichkeitskennzahlen die Aggregation der gewichteten Kundenbeiträge leiteten. Die Anpassungs- und Optimierungsschicht gewährleistete einen reibungslosen globalen Trainingsprozess, indem die Lernratenparameter entsprechend der Gradientenvarianz variiert wurden. Schließlich nutzte die Interpretability Layer erklärbare Methoden der künstlichen Intelligenz wie SHAP und LIME, um das globale Modell zu interpretieren und Erklärungen für Vorhersagen zu liefern.

Abbildung 1. Architektur des Intelligent Federated Learning Frameworks. Das Framework ist in fünf Schichten unterteilt: Daten, Client, Aggregation, Anpassung und Optimierung sowie Interpretierbarkeit. Daten von nicht kolocierten, heterogenen Clients werden lokal verarbeitet, basierend auf Zuverlässigkeit und Ähnlichkeit aggregiert, adaptiv optimiert und mit SHAP oder LIME interpretiert. Pfeile zeigen die iterative Kommunikation zwischen Clients und dem zentralen Server an, die die föderierte Lernschleife bildet. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Datenschicht
Datensätze wurden nach Kundenbesitz und Datenschutzanforderungen unterteilt, wobei für jeden Client dedizierte Speicherorte gepflegt wurden. Verschiedene Preprocessing-Pipelines wurden angewendet und Funktionen normalisiert, um standardisierte Eingabeformate über verschiedene Domänen hinweg sicherzustellen.

Client-Schicht
Verteilte Clients, die Geräte, Organisationen oder Institutionen repräsentierten, wurden eingerichtet, wobei jeder eine identische Kopie des globalen Modells erhielt, das mit denselben Parametern initialisiert wurde. Das lokale Training wurde mit kundenspezifischen Datensätzen durchgeführt, mit Optimierungsmethoden wie stochastic gradient descent oder Adam, während nur Modellparameter oder Gradienten zur Wahrung des Datenschutzes kommuniziert wurden.

Aggregationsschicht
Eine zentrale Aggregationseinheit empfing verschlüsselte Modellupdates von allen Kunden und bewertete deren Zuverlässigkeit und Ähnlichkeit vor der Aggregation. Zuverlässigkeitswerte basierend auf der Validierungsleistung wurden verwendet, um die Bedeutung von Client-Updates zu bestimmen, und die Ähnlichkeit zwischen Updates wurde mit Methoden wie Clustering oder Kosinusähnlichkeit bewertet. Gewichtete Aggregation wurde durchgeführt und das aktualisierte globale Modell an die Kunden neu verteilt.

Anpassungs- und Optimierungsschicht
Die Optimierungsparameter wurden dynamisch basierend auf dem Trainingsfortschritt der Kunden angepasst. Lernraten wurden geplant, um die Aktualisierungsvarianz zu verringern, und zusätzliche Techniken wie proximale Regularisierung und adaptive Gewichtung wurden eingesetzt, um Clientdrift zu mindern und die Konvergenzstabilität zu verbessern.

Interpretierbarkeitsschicht
Erklärbare Methoden der künstlichen Intelligenz wie SHAP und LIME wurden verwendet, um Merkmalsattributionswerte und Modellerklärungen zu erstellen. Zu den Ergebnissen gehörten Merkmalsbedeutungsranglisten, Attributionskarten und visuelle Erklärungen, die im Kontext domänenspezifischer Kenntnisse interpretiert wurden, um Transparenz zu gewährleisten.

Föderierte Ausbildung
Das Intelligent Federated Learning Framework wurde durch die Initialisierung des globalen Modells am zentralen Aggregationsserver implementiert, gefolgt von der Definition der Trainingshyperparameter, einschließlich Lernrate, Kommunikationsrunden und lokalen Epochen. Die globalen Modellparameter wurden an alle Kunden verteilt, die anschließend lokale Schulungen mit ihren privaten Datensätzen durchführten. Die lokale Trainingsverlust- und Validierungsgenauigkeit wurden berechnet, und Modellupdates wurden erstellt und verschlüsselt, bevor sie an den Aggregationsserver gesendet wurden. Die Zuverlässigkeit von Client-Updates wurde anhand der Validierungsleistung unter Verwendung von Gleichung 1 bewertet.

(1)

Wobei Acc_i die Validierungsgenauigkeit von Client i darstellt.

Die Ähnlichkeit zwischen Client-Updates wurde mithilfe der Kosinusähnlichkeit der Gradientenvektoren berechnet, wie in Gleichung 2 definiert.

(2)

Wobei g_i und g_j die Gradientenvektoren verschiedener Clients darstellen.

Adaptive Aggregationsgewichte wurden berechnet, indem Zuverlässigkeits- und Ähnlichkeitswerte kombiniert wurden, wie in Gleichung 3 definiert.

(3)

Das adaptive Aggregationsgewicht für jeden Klienten wurde durch Kombination von Zuverlässigkeits- und Ähnlichkeitswerten bestimmt. Die Zuverlässigkeitsmetrik spiegelte die Validierungsgenauigkeit des lokalen Client-Modells wider, während die Ähnlichkeitsmetrik die Kosinusähnlichkeit zwischen Client-Gradienten-Updates maß.

Das Aggregationsgewicht w_i priorisierte daher Clients, die sowohl zuverlässige Validierungsleistung zeigten als auch konsistente Aktualisierungsrichtungen mit dem globalen Optimierungsziel aufwiesen.

Die normalisierten Gewichte stellten sicher, dass der Gesamtbeitrag aller teilnehmenden Kunden zu einem summiert wurde, wodurch die Stabilität im globalen Modellupdate erhalten blieb.

Die Gewichte wurden so normalisiert, dass .

Globales Modellupdate
Die Client-Modelle wurden mit einem gewichteten Durchschnitt aggregiert, wie in Gleichung 4 gezeigt.

(4)

Wobei M_i die lokalen Parameter von Client i darstellt.

Die aktualisierten globalen Modellparameter wurden an alle Kunden ausgestrahlt.

Adaptive Lernratenmodulation
Die Varianz der Client-Gradienten über Kommunikationsrunden hinweg wurde überwacht. Die Lernrate wurde dynamisch gemäß Gleichung 5 angepasst.

(5)

Wobei Var(g) die Gradientenvarianz zwischen den Clients darstellt.

Die aktualisierte Lernrate wurde im nächsten lokalen Schulungszyklus angewendet. Die adaptive Lernrate wurde vom zentralen Aggregationsserver gesteuert und während der folgenden Trainingsrunden weltweit auf alle Clients angewendet. Diese globale Anpassung gewährleistete ein konsistentes Optimierungsverhalten und berücksichtigte dabei die Varianz bei den Kunden-Updates. Da die Lernratenmodulation auf Serverebene durchgeführt wurde, erhielten alle teilnehmenden Clients die aktualisierte Lernrate zusammen mit den globalen Parametern des Broadcast-Modells.

Föderierte Leistungsbewertung des Lernens
Die globale Modellgenauigkeit wurde mit dem aggregierten Testdatensatz bewertet, wie in Gleichung 6 gezeigt.

(6)

Dabei steht TP für die Anzahl der wahr positiven Vorhersagen, TN für wahre negative Vorhersagen, FP für falsch-positive Vorhersagen und FN für falsch-negative Vorhersagen

Die Fairness zwischen den Kunden wurde durch die Berechnung der Varianz der Kundengenauigkeit gemessen.

Die Kommunikationskosten wurden als Gesamtzahl der zwischen Clients und Aggregationsserver über alle Kommunikationsrunden übertragenen Modellparameter berechnet. Der gesamte Kommunikationsaufwand wurde daher wie in Gleichung 7 gezeigt geschätzt.

(7)

Dabei ist R die Anzahl der Kommunikationsrunden, C die Anzahl der Clients und S steht für die Modellgröße.

Die Analyse der Modellinterpretabilität wurde mit SHAP durchgeführt, um globale Merkmals-Wichtigkeitswerte zu berechnen, und LIME, um lokale Erklärungen für individuelle Vorhersagen zu generieren. Die Ergebnisse der Merkmalsattribution wurden visualisiert, um das Verhalten des Modells zu interpretieren.

Fehlerbehebung
Instabile Konvergenz trat auf, wenn Client-Datensätze stark heterogen waren oder extrem unausgewogen Klassenverteilungen enthielten. In solchen Fällen wurden lokale Trainingsphasen verkürzt oder die anfängliche Lernrate verringert, um Gradientenaktualisierungen zu stabilisieren. Stark verzerrte Kundenverteilungen führten während der Aggregation zu einer Dominanz einer kleinen Anzahl von Kunden, was durch Anpassung der Zuverlässigkeitsgewichtungsschwelle oder eine erhöhte Diversität der Kundenbeteiligung gemildert wurde. Unzuverlässige Clientsbeteiligung durch Netzwerkunterbrechungen unterbrach die Kommunikationsrunden; daher wurde die teilweise Teilnahme aktiviert, sodass der Aggregationsserver mit verfügbaren Client-Updates fortfahren konnte. Interpretierbarkeitsfehler oder inkonsistente Feature-Attribution traten auf, wenn Modelle überreguliert oder auf unzureichende Daten trainiert wurden, und Datenvorverarbeitungsschritte überprüft wurden, während sichergestellt wurde, dass SHAP- oder LIME-Erklärungen nach der Modellkonvergenz generiert wurden.

Die iterative Abfolge von Modellinitialisierung, lokalem Training, intelligenter Aggregation, adaptiver Optimierung und Interpretierbarkeitsanalyse ist in Abbildung 2 dargestellt, die den Gesamtworkflow des Intelligent Federated Learning Framework (IFLF) darstellt.

Abbildung 2. Arbeitsablauf des Intelligent Federated Learning Frameworks. Die Abbildung zeigt den iterativen Phasenzyklus, einschließlich Initialisierung, lokales Training, Aggregation, adaptive Optimierung und Interpretierbarkeit, und veranschaulicht den End-to-End-Betrieb des Frameworks. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Leistungsbewertung
Globale und lokale Kennzahlen wie Genauigkeit, Präzision, Rückruf und F1-Wert wurden berechnet. Fairness wurde anhand der Varianz der lokalen Kundengenauigkeit gemessen. Die Kommunikationseffizienz wurde als Größe der pro Runde übertragenen Daten untersucht. Die Modellleistung wurde mit typischen föderierten Baselines wie FedAvg, FedProx und FedOpt bewertet. Die Ergebnisse wurden mithilfe von Konvergenzkurven, Verwirrungsmatrizen und Interpretierbarkeitsdiagrammen präsentiert. Alle experimentellen Einstellungen, Protokolle und Checkpoints wurden gespeichert, um die Reproduzierbarkeit zu gewährleisten.

Workflow-Zusammenfassung
Der IFLF-Zyklus wurde durch kontinuierliche Wiederholung lokaler Schulungen, intelligente Aggregation, adaptive Optimierung und Interpretierbarkeitsanalyse durchgeführt. Die Datenschutz wurde gewahrt, indem Daten an lokalen Knoten gespeichert wurden und gleichzeitig eine kollaborative Modellverbesserung ermöglicht wurden. Diese Schritte beinhalteten Mechanismen, um Fairness, Transparenz und Leistung bei nicht zusammengewohnten Kunden zu gewährleisten.

Results

Überblick
Alle in dieser Studie berichteten experimentellen Ergebnisse wurden über fünf unabhängige Durchläufe mit unterschiedlichen zufälligen Initialisierungen und Klientenstichprobenkonfigurationen gemittelt, um die Robustheit sicherzustellen. Leistungskennzahlen wie Genauigkeit, Präzision, Rückruf und F1-Wert werden als Mittelwert ± Standardabweichung dargestellt. Die beobachtete Standardabweichung über die Läufe hinweg blieb innerhalb eines kleinen Bereichs (typischerweise ±0,5 % bis ±1,2 %), was...

Discussion

Das vorgeschlagene Intelligent Federated Learning Framework (IFLF) adressiert Herausforderungen im föderierten Lernen, die aus heterogenen und verteilten Umgebungen entstehen. Die systematische Auswertung über vier Datensätze hinweg zeigt, dass die Kombination von Aggregation und adaptiver Optimierung die Konvergenzstabilität und die globale Modellleistung verbessert. Durch die Integration der Client-Zuverlässigkeit und -ähnlichkeit in den Aggregationsprozess reduziert das Framework den ...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CICIDS2017 Datensatz	Kanadisches Institut für Cybersicherheit	Öffentlicher Datensatz	Eindringlingserkennung
FedGraphNN-Datensatz	FedGraphNN	Öffentlicher Datensatz	Graphenlernen
FEMNIST-Datensatz	LEAF-Benchmark	Öffentlicher Datensatz	Vision-Datensatz
FLamby-Datensatz	FLamby-Projekt	Öffentlicher Datensatz	Gesundheitsdatensatz
Blume	Blumenrahmen	1.6	Föderierte Lernsimulation
GPU-Arbeitsstation	NVIDIA	RTX-GPU	Modelltraining
NumPy	NumPy-Entwickler	1.26	Numerische Berechnung
Python	Python Software Foundation	3.1	Programmiersprache
Scikit-learn	Scikit-learn	1.3	ML-Utilitys
TensorFlow / PyTorch	Google / Meta	Neueste Meldung	Deep-Learning-Framework