Framework di Apprendimento Federato Intelligente per Dataset Non Colocati ed Eterogenei

Summary

Questo protocollo descrive l'implementazione di un Intelligent Federated Learning Framework per l'addestramento di modelli di machine learning distribuiti su dataset eterogenei e non colocativi, preservando al contempo la privacy dei dati e abilitando l'interpretabilità del modello.

Abstract

L'apprendimento federato ha un potenziale significativo per l'addestramento distribuito dei modelli preservando la privacy, ma affronta sfide legate alla convergenza, equità e interpretabilità a causa dell'eterogeneità dei dataset non colocati. Questo studio propone un Intelligent Federated Learning Framework (IFLF) per affrontare queste sfide attraverso un approccio adattivo utilizzando un'architettura multilivello composta da livelli Data, Client, Aggregation, Adaptation, Optimization e Interpretability.

Il framework dimostra una convergenza stabile sotto distribuzioni dati non IID, con strategie di aggregazione che supportano l'ottimizzazione bilanciata. L'approccio di modulazione della velocità di apprendimento contribuisce a un addestramento stabile integrando aggiornamenti eterogenei dei clienti e riducendo la divergenza durante l'ottimizzazione. Tecniche di IA spiegabili, tra cui SHAP e LIME, sono incorporate per migliorare la trasparenza sia a livello cliente che globale.

L'IFLF viene valutato su quattro dataset di riferimento (FEMNIST (visione), FLamby (imaging sanitario), FedGraphNN (apprendimento dei grafi) e CICIDS2017 (cybersecurity)). Il framework ha raggiunto una precisione media del 92,8%, con una convergenza più rapida e una minore variabilità delle prestazioni tra i clienti.

Introduction

Il rapido aumento dei dati distribuiti provenienti da dispositivi mobili, sistemi sanitari, sensori industriali e infrastrutture ciberfisiche ha aumentato la necessità di tecniche di machine learning collaborative che preservino anche la privacy dei dati. I metodi convenzionali di machine learning si basano su una consolidazione centralizzata dei dati, in cui dataset provenienti da fonti diverse vengono raccolti e memorizzati in un unico repository. Sebbene tale approccio faciliti l'addestramento dei modelli, solleva preoccupazioni relative alla privacy dei dati, alla conformità normativa e al carico di comunicazione. L'apprendimento federato (FL) è stato riconosciuto come un approccio promettente che consente a più clienti di addestrare congiuntamente un modello globale senza rivelare i propri dati^{locali 1}. In questo schema di apprendimento decentralizzato, i client addestrano modelli locali e solo gli aggiornamenti dei modelli vengono condivisi con un server centrale. Questo approccio riduce i rischi per la privacy consentendo allo stesso tempo lo sviluppo collaborativo di modelli in ambienti^{distribuiti 2,3}.

Tuttavia, l'apprendimento federato affronta limitazioni nell'implementazione pratica. Una delle principali sfide è l'eterogeneità statistica, dove i dataset dei clienti seguono distribuzioni diverse. Le distribuzioni dei dati non-IID influenzano significativamente la stabilità della convergenza e la generalizzazione dei modelli nell'ottimizzazione^{federata 4}. Per affrontare questo problema, sono stati proposti diversi metodi. FedProx introduce un termine di regolarizzazione prossimale per stabilizzare la formazione tra clienti^{eterogenei 5}. FedNova aggiusta le incongruenze oggettive derivanti da una partecipazione squilibrata^{dei clienti 6}. Inoltre, sono state proposte strategie di ottimizzazione adattiva lato server per migliorare la convergenza⁷, mentre SCAFFOLD utilizza tecniche di riduzione della varianza per mitigare la deriva dei clienti durante l'ottimizzazione^{distribuita 8}.

Studi recenti hanno esplorato tecniche di clustering e personalizzazione per affrontare l'eterogeneità negli ambienti federati. I framework di apprendimento federato clusterizzato raggruppano i clienti con distribuzioni dati simili per migliorare la coerenza dell'addestramento e le prestazioni del^{modello 9,10}. Metodi di apprendimento personalizzati e federati come Ditto e FedAMP mirano a bilanciare le prestazioni globali del modello con l'adattamento specifico per il cliente^11,12. Analogamente, metodi come pFedMe e Per-FedAvg utilizzano la regolarizzazione basata sulla regolarizzazione per l'adattamento a livello^{client 13,14}. Altri approcci, tra cui FedRep e FedRoD, separano rappresentanze globali e specifiche per il cliente per la formazione federata^{indipendente 15,16}.

Un'altra sfida nell'apprendimento federato è l'eterogeneità delle risorse e la scalabilità dei sistemi. Nei sistemi distribuiti su larga scala, i client spesso hanno capacità computazionali e larghezze di banda di comunicazione variabili. FedBN affronta l'eterogeneità della distribuzione delle caratteristiche tramite la normalizzazione locale^{batch 17}. I framework di apprendimento federato basati su livelli organizzano i clienti in livelli di formazione gerarchici per gestire le differenze di risorse¹⁸. Strategie di selezione dei clienti come HACCS e Oort migliorano l'efficienza del sistema dando priorità ai partecipanti affidabili durante la formazione^19,20. Piattaforme di benchmarking come FedScale supportano la valutazione su larga scala di algoritmi di apprendimento^{federato 21}.

L'efficienza della comunicazione è un'altra preoccupazione chiave nell'apprendimento federato, dato il frequente scambio di aggiornamenti dei modelli tra i client distribuiti. Gli approcci esistenti includono strategie di addestramento efficienti nella comunicazione come la media periodica e la quantizzazione del modello²², oltre a tecniche di compressione dei modelli. La distillazione della conoscenza riduce i costi di comunicazione trasferendo rappresentazioni compatte preservando la performance²³. Approcci aggiuntivi includono la riduzione della partecipazione dei clienti e l'applicazione di tecniche di compressione all'interno della formazione^{distribuita 24}. Metodi di ottimizzazione come Quped e FetchSGD affrontano ulteriormente le sfide di comunicazione ed efficienza^{della memoria 25,26}.

Oltre all'ottimizzazione e alla comunicazione, l'interpretabilità è diventata un aspetto importante dei sistemi di apprendimento federati. I metodi di intelligenza artificiale spiegabile (XAI) come SHAP e LIME forniscono spiegazioni a livello di funzionalità per le previsioni dei modelli. Queste tecniche supportano la comprensione del comportamento dei modelli in ambiti critici come la sanità e la cybersecurity², ^{7,2, 8}. Studi recenti evidenziano che integrare la spiegabilità nei sistemi di apprendimento federato migliora la trasparenza e l'affidabilità^{2 9,30}.

Questo studio propone un Intelligent Federated Learning Framework (IFLF) per migliorare la stabilità della convergenza, l'equità, l'efficienza comunicativa e l'interpretabilità in ambienti federati eterogenei. Il framework integra aggregazione basata sull'affidabilità, meccanismi di ottimizzazione adattiva e tecniche di IA spiegabili all'interno di un'architettura unificata.

Il framework è strutturato come un sistema multilivello composto da livelli Data, Client, Aggregazione, Adattamento, Ottimizzazione e Interpretabilità. L'aggregazione intelligente incorpora metriche di affidabilità e somiglianza del cliente per determinare il ponderamento adattivo. Un meccanismo adattivo di modulazione della velocità di apprendimento supporta un'ottimizzazione stabile tra distribuzioni client eterogenee. I componenti di interpretabilità forniscono spiegazioni delle previsioni dei modelli in ambienti distribuiti.

Questo studio indaga l'impatto dell'aggregazione intelligente, della modulazione adattativa del tasso di apprendimento e dei meccanismi di interpretabilità in ambienti di apprendimento federati eterogenei. Valuta come le strategie di aggregazione influenzino la stabilità della convergenza e le prestazioni del modello, come la modulazione adattativa del tasso di apprendimento supporti l'addestramento sotto eterogeneità dei dati e come le tecniche di interpretabilità migliorino la trasparenza del modello. Il proposto Intelligent Federated Learning Framework è strutturato in cinque livelli—Livello Dati, Livello Cliente, Livello di Aggregazione, Livello di Adattamento e Ottimizzazione, e Livello di Interpretabilità—che consente un addestramento federato efficiente e stabile in contesti distribuiti. La valutazione considera aspetti chiave delle prestazioni, tra cui il comportamento di convergenza, l'equità, l'efficienza della comunicazione e l'interpretabilità, utilizzando molteplici dataset di benchmark.

I client distribuiti eseguono addestramento locale su dataset privati e trasmettono aggiornamenti dei modelli criptati a un server centrale. Il server valuta l'affidabilità e la somiglianza del cliente, calcola i pesi di aggregazione e aggiorna il modello globale. L'aggiustamento adattivo della velocità di apprendimento supporta una convergenza stabile e i metodi IA spiegabili forniscono risultati interpretabili. Il resto di questo documento è organizzato come segue. La sezione Lavoro correlato esamina i recenti progressi nell'apprendimento federato eterogeneo. La sezione Protocollo descrive l'implementazione del framework proposto. La sezione Risultati presenta i risultati sperimentali e la Discussione illustra le implicazioni e le direzioni future.

OPERE CORRELATE
Studi recenti hanno affrontato l'apprendimento federato eterogeneo tra diverse modalità di dati e domini applicativi. Gli approcci di apprendimento federato guidati da prototipi consentono la collaborazione tra istituzioni distribuite condividendo prototipi rappresentativi invece dei dati^{grezzi 31}. FedGraphNN fornisce una piattaforma di benchmarking per valutare algoritmi di apprendimento federato nelle impostazioni di reti neurali^{a grafo 32}. OpenFGL supporta benchmarking su larga scala negli scenari di apprendimento^{federato 33}. FLamby offre dataset sanitari cross-silo per l'apprendimento federato sotto rigidi vincoli di privacy³⁴.

Sono stati inoltre sviluppati framework a livello di sistema per supportare implementazioni di apprendimento federato scalabili. Flower offre un'infrastruttura flessibile per implementare e valutare algoritmi di apprendimento federato in ambienti^{distribuiti 35}. Sono stati proposti metodi di distillazione dinamica per migliorare le prestazioni del modello sotto distribuzioni di dati^{eterogenee 36}. Inoltre, gli studi di sondaggio evidenziano le principali sfide legate all'eterogeneità, scalabilità e interpretabilità nei sistemi di apprendimento^{federato 37}. Questi lavori sottolineano collettivamente la necessità di framework unificati che integrino aggregazione adattativa, strategie di ottimizzazione e meccanismi di interpretabilità per un apprendimento federato robusto nelle applicazioni reali.

Protocol

Panoramica
È stato sviluppato un Intelligent Federated Learning Framework (IFLF) per gestire in modo efficiente l'eterogeneità di dati e sistemi in ambienti non colocativi. L'architettura del sistema era composta da cinque livelli: il Livello Dati, il Livello Client, il Livello di Aggregazione, il Livello di Adattamento e Ottimizzazione, e il Livello di Interpretabilità. I moduli venivano distribuiti su un sistema di calcolo distribuito con un server di aggregazione centrale e più nodi client. Le connessioni socket sicure (SSL/TLS) venivano utilizzate per la comunicazione tra i nodi al fine di garantire privacy e integrità dei dati. La seguente procedura è stata utilizzata per preparare dataset, impostare l'architettura, condurre formazione federata e valutare l'interpretabilità.

Configurazione dell'ambiente computazionale
L'ambiente computazionale è stato configurato installando i framework software necessari per implementare il framework di apprendimento federato. Python veniva utilizzato come linguaggio di programmazione principale per lo sviluppo e la sperimentazione dei modelli. Sono state installate librerie di machine learning come TensorFlow o PyTorch per l'addestramento delle reti neurali, insieme ad altre librerie come NumPy, Scikit-learn e Pandas per la preelaborazione e l'analisi dei dati. Sono state installate librerie di apprendimento federate come Flower o PySyft per simulare ambienti client distribuiti. L'ambiente di calcolo era configurato su una workstation dotata di accelerazione GPU, dove disponibile. Tutti i client e il server di aggregazione erano configurati per comunicare tramite connessioni socket sicure (SSL/TLS). Tutti i dataset richiesti sono stati verificati come accessibili all'interno dello storage locale di ogni nodo client prima di avviare l'addestramento federato. I framework software, i dataset e l'ambiente computazionale necessari per riprodurre il protocollo sono riassunti nella Tabella dei Materiali.

Inizializzazione dei nodi federati
Il server centrale di aggregazione è stato configurato utilizzando il framework di apprendimento federato Flower. Il server di aggregazione è stato avviato usando il seguente comando:

python server.py --round 100 --client 10 --secure_connection Vero

I singoli nodi client venivano avviati su terminali o ambienti informatici separati utilizzando il seguente comando:
Python client.py --client_id 01

La comunicazione sicura tramite socket veniva configurata generando certificati SSL/TLS utilizzando il toolkit OpenSSL.
openssl req -x509 -newkey rsa:4096 -keyout key.pem -out cert.pem -days 365

La comunicazione sicura tra server e client veniva abilitata specificando i percorsi dei certificati nel file di configurazione. La connettività è stata verificata eseguendo un round di comunicazione di prova prima di avviare il processo di addestramento federato.

Preparazione e descrizione del dataset
Sono stati selezionati dataset pubblici rappresentativi per valutare le prestazioni in diversi domini e modalità di dati. FEMNIST è un database MNIST avanzato per il riconoscimento dei caratteri scritti a mano, contenente 62 classi (A–Z, a–z, cifre 0–9), in cui ogni client rappresenta i dati di uno scrittore, inducendo distribuzioni naturali non-IID. FLamby è un benchmark di imaging medico composto da diversi dataset medici cross-silo (ad esempio, risonanza magnetica cardiaca, immagini istopatologiche), in cui ogni ospedale o istituzione agisce come cliente federato. FedGraphNN è un benchmark per reti neurali a grafi che copre compiti come reti di citazione, classificazione delle molecole e grafi sociali, dove i clienti contengono sottografi o caratteristiche di nodi differenti. CICIDS2017 è un dataset di cybersecurity per il rilevamento di intrusioni con più di 80 caratteristiche dei flussi di traffico di rete attraverso tipi di attacco come DDoS, PortScan e Botnet, dove ogni client rappresenta un dominio di rete o un sensore separato.

Statistiche del dataset
Le caratteristiche chiave dei dataset utilizzati negli esperimenti sono state riassunte per garantire la riproducibilità dell'impostazione di apprendimento federato. FEMNIST contiene circa 805.263 campioni di caratteri scritti a mano distribuiti su 3.550 autori, con 62 classi che rappresentano lettere maiuscole, minuscole e cifre, e ogni cliente corrisponde a un singolo autore con circa 200–300 campioni in media. FLamby fornisce dataset sanitari cross-silo, e in questo studio il dataset di imaging medico contiene circa 20.000 campioni raccolti da più ospedali, dove ogni ospedale agisce come cliente federato indipendente. FedGraphNN include molteplici dataset di apprendimento di grafi come reti di citazione e grafi molecolastici, tipicamente contenenti migliaia di nodi e archi con vettori di caratteristiche dei nodi che variano tra 50 e 500 dimensioni a seconda del compito. CICIDS2017 contiene circa 2,8 milioni di flussi di traffico di rete con 80 caratteristiche statistiche estratte da pacchetti di rete e include molteplici categorie di attacco come traffico DDoS, PortScan e Botnet, dove ogni client federato rappresenta un ambiente di rete o un sensore di monitoraggio diverso. I dataset utilizzati in questo studio sono stati rilasciati tra il 2017 e il 2023 e sono disponibili pubblicamente per la ricerca sull'apprendimento federato. Le caratteristiche statistiche dei dataset utilizzati negli esperimenti sono riassunte nella Tabella 1.

Dataset	Dominio	Campioni	Caratteristiche	Classi	Clienti	Anno di uscita
FEMNIST	Visione (Personaggi scritti a mano)	8,05,263	Pixel immagine (28×28)	62	3,550	2017
FLamby	Imaging sanitario	~20.000	Caratteristiche dell'immagine	Binario / multiclasse	5	2023
FedGraphNN	Apprendimento dei grafi	~10k–100k nodi	Caratteristiche dei nodi 50–500	Dipendente dal compito	7	2021
CICIDS2017	Cybersecurity	~2,8 milioni di flussi	80	Classi di attacco multiple	10	2017

Tabella 1: Riepilogo dei dataset utilizzati negli esperimenti dell'Intelligent Federated Learning Framework. La tabella riassume le caratteristiche dei dataset utilizzati in questo studio, inclusi il dominio applicativo, il numero totale di campioni, il numero di caratteristiche, il numero di classi, il numero di client federati e l'anno di rilascio del dataset. Queste statistiche forniscono una panoramica delle eterogenee modalità di dati utilizzate per valutare il quadro.

Eterogeneità a livello di cliente
L'eterogeneità a livello client è stata introdotta tramite la partizione dei dataset. Sebbene per la valutazione siano stati utilizzati quattro dataset provenienti da domini diversi, l'eterogeneità è stata introdotta all'interno di ogni dataset federato tramite la partizionazione a livello di cliente. Ogni dataset è stato diviso tra più clienti, risultando in distribuzioni locali dei dati non identiche (non-IID). Diversi sottoinsiemi di campioni o classi sono stati assegnati a singoli clienti per simulare condizioni di apprendimento federate realistiche, rappresentando l'eterogeneità statistica all'interno di ogni dataset. Circa il 5–10% del dataset totale è stato assegnato a ciascun client mantenendo lo squilibrio di classe per emulare ambienti federati non IID reali. Il termine dataset eterogenei in questo studio si riferisce all'eterogeneità statistica a livello del cliente piuttosto che alle differenze tra dataset sperimentali indipendenti. I dataset benchmark hanno mostrato diverse forme di eterogeneità statistica, incluse variazioni negli stili di scrittura individuali in FEMNIST, differenze nei protocolli di imaging e nella demografia dei pazienti nei dataset FLamby, variazioni strutturali nei dataset FedGraphNN e diversi modelli di traffico di rete in CICIDS2017, creando collettivamente distribuzioni dati non-IID realistiche che sfidano gli algoritmi di ottimizzazione federata.

Preprocessing specifico per dataset
Operazioni di pre-elaborazione specifiche per dataset venivano effettuate per standardizzare i formati di input prima dell'addestramento federato. Per FEMNIST, le immagini dei caratteri scritte a mano venivano convertite in scala di grigi, ridimensionate a 28×28 pixel e normalizzate all'intervallo [0, 1], con campioni corrotti o incompleti rimossi e le etichette di classe codificate a un solo hod, e i campioni organizzati per ID degli scrittori in modo che ogni scrittore corrispondesse a un client federato. Per FLamby, le immagini mediche sono state ridimensionate a 224×224 pixel, normalizzate usando media e deviazione standard specifiche del dataset, aumentate con tecniche come flipping orizzontale, rotazione e aggiustamento del contrasto, e suddivise secondo gli identificatori ospedalieri. Per FedGraphNN, le strutture dei grafi venivano costruite definendo le caratteristiche dei nodi, le matrici di adiacenza e le relazioni tra i bordi, i vettori di caratteristiche dei nodi venivano normalizzati, i dati dei grafi convertiti in rappresentazioni di adiacenza rase e i grafi venivano suddivisi tra i client come sottografi. Per CICIDS2017, i record duplicati sono stati rimossi, i valori mancanti sono stati inseriti con la media, le caratteristiche categoriche sono state codificate, è stata applicata la normalizzazione delle caratteristiche e il traffico benigno e quello d'attacco sono stati bilanciati tramite campionamento stratificato. Ogni dataset client era suddiviso in sottoinsiemi all'80% di addestramento, 10% di validazione e 10% di test, garantendo che le distribuzioni delle classi fossero preservate. I dataset client venivano memorizzati in cartelle separate (Client_01, Client_02, ...), e l'accesso ai nodi locali era limitato per motivi di privacy.

Architettura del Quadro di Apprendimento Intelligente Federato (IFLF)
L'Intelligent Federated Learning Framework era organizzato in un'architettura a cinque livelli composta dal Livello Dati, Livello Cliente, Livello di Aggregazione, Livello di Adattamento e Ottimizzazione e Livello di Interpretabilità, come illustrato nella Figura 1. Gli strati architettonici sono stati progettati per trasmettere le informazioni in sequenza. Dopo aver preparato e suddiviso dataset eterogenei in base alla proprietà del cliente, il Data Layer trasmetteva le informazioni al Client Layer, dove venivano addestrati i modelli locali e venivano generati gli aggiornamenti. Questi aggiornamenti venivano inviati al Livello di Aggregazione, dove metriche di affidabilità e similarità guidavano l'aggregazione dei contributi ponderati dei clienti. Il Livello di Adattamento e Ottimizzazione garantiva un processo di addestramento globale fluido variando i parametri del tasso di apprendimento in accordo con la varianza del gradiente. Infine, lo Interpretability Layer ha sfruttato metodi di intelligenza artificiale spiegabili come SHAP e LIME per interpretare il modello globale e produrre spiegazioni delle previsioni.

Figura 1. Architettura del Quadro di Apprendimento Intelligente Federato. Il framework è suddiviso in cinque livelli: Dati, Cliente, Aggregazione, Adattamento e Ottimizzazione, e Interpretabilità. I dati provenienti da clienti non colocati ed eterogenei vengono processati localmente, aggregati in base a affidabilità e somiglianza, ottimizzati in modo adattativo e interpretati tramite SHAP o LIME. Le frecce indicano la comunicazione iterativa tra client e server centrale che formano il ciclo di apprendimento federato. Clicca qui per visualizzare una versione più grande di questa figura.

Livello dati
I dataset erano suddivisi in base ai requisiti di proprietà del cliente e privacy, mantenendo posizioni di archiviazione dedicate per ciascun cliente. Furono applicate diverse pipeline di preprocessing e le funzionalità normalizzate per garantire formati di input standardizzati tra i domini.

Livello client
Furono configurati client distribuiti che rappresentavano dispositivi, organizzazioni o istituzioni, ciascuno ricevendo una copia identica del modello globale inizializzata con gli stessi parametri. L'addestramento locale veniva eseguito utilizzando dataset specifici del cliente con metodi di ottimizzazione come la discesa del gradiente stocastico o Adam, mentre venivano comunicati solo parametri o gradienti del modello per preservare la privacy dei dati.

Livello aggregazione
Un'unità centrale di aggregazione riceveva aggiornamenti dei modelli criptati da tutti i client e ne valutava l'affidabilità e la somiglianza prima dell'aggregazione. I punteggi di affidabilità basati sulle prestazioni di validazione sono stati utilizzati per determinare l'importanza degli aggiornamenti del cliente, e la somiglianza tra gli aggiornamenti è stata valutata utilizzando metodi come il clustering o la similarità coseno. È stata effettuata un'aggregazione ponderata e il modello globale aggiornato è stato redistribuito ai clienti.

Livello di adattamento e ottimizzazione
I parametri di ottimizzazione sono stati regolati dinamicamente in base ai progressi della formazione tra i clienti. Le velocità di apprendimento sono state programmate per ridurre la varianza degli aggiornamenti e sono state applicate tecniche aggiuntive come la regolarizzazione prossimale e la ponderazione adattiva per mitigare la deriva del cliente e migliorare la stabilità della convergenza.

Livello di interpretabilità
Metodi di intelligenza artificiale spiegabili come SHAP e LIME sono stati utilizzati per generare punteggi di attribuzione delle caratteristiche e spiegazioni dei modelli. I risultati includevano classifiche di importanza delle caratteristiche, mappe di attribuzione e spiegazioni visive, interpretate nel contesto della conoscenza specifica del dominio per garantire la trasparenza.

Addestramento federato
L'Intelligent Federated Learning Framework è stato implementato tramite l'inizializzazione del modello globale presso il server centrale di aggregazione, seguito dalla definizione degli iperparametri di addestramento, tra cui la velocità di apprendimento, i round di comunicazione e le epoche locali. I parametri globali del modello sono stati distribuiti a tutti i clienti, che poi hanno eseguito addestramento locale utilizzando i loro dataset privati. Venivano calcolate la perdita locale di addestramento e l'accuratezza della validazione, e venivano generati e criptati gli aggiornamenti dei modelli prima della trasmissione al server di aggregazione. L'affidabilità degli aggiornamenti dei client è stata valutata in base alle prestazioni di validazione utilizzando l'Equazione 1.

(1)

Dove Acc_i rappresenta l'accuratezza della validazione del client i.

La somiglianza tra gli aggiornamenti dei client è stata calcolata utilizzando la coseno di somiglianza dei vettori gradienti, come definito nell'Equazione 2.

(2)

Dove g_i e _{g j} rappresentano i vettori gradiente di clienti diversi.

I pesi di aggregazione adattiva sono stati calcolati combinando punteggi di affidabilità e somiglianza, come definito nell'Equazione 3.

(3)

Il peso adattivo di aggregazione per ciascun cliente è stato determinato combinando punteggi di affidabilità e somiglianza. La metrica di affidabilità rifletteva l'accuratezza della validazione del modello client locale, mentre la metrica di somiglianza misurava la somiglianza coseno tra gli aggiornamenti del gradiente client.

Il peso di aggregazione w_i quindi dava priorità ai clienti che dimostravano prestazioni di validazione affidabili e mostravano direzioni di aggiornamento coerenti rispetto all'obiettivo globale di ottimizzazione.

I pesi normalizzati garantivano che il contributo totale di tutti i clienti partecipanti si sommasse a uno, mantenendo così la stabilità nell'aggiornamento globale del modello.

I pesi erano normalizzati in modo che .

Aggiornamento globale del modello
I modelli client sono stati aggregati utilizzando una media ponderata, come mostrato nell'Equazione 4.

(4)

Dove M_i rappresenta i parametri locali del client i.

I parametri globali aggiornati del modello venivano trasmessi a tutti i client.

Modulazione adattativa della velocità di apprendimento
È stata monitorata la variazione dei gradienti client tra i round di comunicazione. Il tasso di apprendimento è stato regolato dinamicamente secondo l'Equazione 5.

(5)

Dove Var(g) rappresenta la varianza del gradiente tra i clienti.

Il tasso di apprendimento aggiornato è stato applicato durante il ciclo di formazione locale successivo. Il tasso di apprendimento adattivo era controllato dal server centrale di aggregazione e applicato globalmente su tutti i client durante i successivi round di addestramento. Questo aggiustamento globale garantiva un comportamento di ottimizzazione coerente tenendo conto della varianza negli aggiornamenti del cliente. Poiché la modulazione della velocità di apprendimento veniva eseguita a livello di server, tutti i client partecipanti ricevevano la velocità di apprendimento aggiornata insieme ai parametri del modello globale di trasmissione.

Valutazione delle prestazioni di apprendimento federata
L'accuratezza globale del modello è stata valutata utilizzando il dataset aggregato di test, come mostrato nell'Equazione 6.

(6)

Dove TP rappresenta il numero di previsioni veramente positive, TN rappresenta le previsioni veramente negative, FP rappresenta le previsioni false positive e FN rappresenta le previsioni false negative

L'equità tra i clienti è stata misurata calcolando la varianza dell'accuratezza del cliente.

Il costo di comunicazione veniva calcolato come il numero totale di parametri del modello trasmessi tra i client e il server di aggregazione su tutti i round di comunicazione. Il costo totale della comunicazione è stato quindi stimato come mostrato nell'Equazione 7.

(7)

Dove R è il numero di round di comunicazione, C è il numero di client e S rappresenta la dimensione del modello.

L'analisi dell'interpretabilità del modello è stata effettuata utilizzando SHAP per calcolare i punteggi globali di importanza delle caratteristiche e LIME per generare spiegazioni locali per le singole previsioni. I risultati dell'attribuzione delle caratteristiche sono stati visualizzati per interpretare il comportamento del modello.

Risoluzione dei problemi
La convergenza instabile si verificava quando i dataset dei clienti erano altamente eterogenei o contenevano distribuzioni di classe estremamente sbilanciate. In tali casi, le epoche di addestramento locali venivano ridotte o il tasso di apprendimento iniziale diminuito per stabilizzare gli aggiornamenti del gradiente. Distribuzioni clienti fortemente atistabili hanno portato al dominio di un piccolo numero di clienti durante l'aggregazione, che è stato mitigato aggiustando la soglia di pesatura dell'affidabilità o aumentando la diversità della partecipazione dei clienti. La partecipazione inaffidabile dei clienti causata da interruzioni di rete ha interrotto i round di comunicazione; di conseguenza, la partecipazione parziale era abilitata, permettendo al server di aggregazione di procedere con gli aggiornamenti disponibili dei client. Il fallimento di interpretabilità o l'attribuzione incoerente delle caratteristiche sono sorti quando i modelli sono stati sovraregolarizzati o addestrati su dati insufficienti, e i passaggi di pre-elaborazione dei dati sono stati verificati, assicurandosi che le spiegazioni SHAP o LIME venissero generate dopo la convergenza dei modelli.

La sequenza iterativa di inizializzazione del modello, addestramento locale, aggregazione intelligente, ottimizzazione adattiva e analisi interpretabile è rappresentata nella Figura 2, che rappresenta il flusso di lavoro complessivo dell'Intelligent Federated Learning Framework (IFLF).

Figura 2. Flusso di lavoro del Framework di Apprendimento Intelligente Federato. La figura rappresenta il ciclo iterativo delle fasi, inclusi inizializzazione, addestramento locale, aggregazione, ottimizzazione adattiva e interpretabilità, illustrando il funzionamento end-to-end del framework. Clicca qui per visualizzare una versione più grande di questa figura.

Valutazione delle prestazioni
Sono state calcolate metriche globali e locali tra cui accuratezza, precisione, richiamo e punteggio F1. L'equità è stata misurata attraverso la variazione dell'accuratezza locale del cliente. L'efficienza della comunicazione veniva esaminata come la dimensione dei dati trasferiti per turno. Le prestazioni del modello sono state valutate rispetto ai tipici basi federati come FedAvg, FedProx e FedOpt. Gli esiti sono stati presentati utilizzando curve di convergenza, matrici di confusione e grafici di interpretabilità. Tutte le impostazioni sperimentali, i log e i checkpoint venivano archiviati per garantire la riproducibilità.

Riassunto del flusso di lavoro
Il ciclo IFLF è stato eseguito ripetendo continuamente l'addestramento locale, aggregazione intelligente, ottimizzazione adattiva e analisi interpretabili. La privacy dei dati è stata mantenuta mantenendo i dati nei nodi locali, permettendo al contempo il miglioramento collaborativo dei modelli. Questi passaggi hanno incorporato meccanismi per affrontare equità, trasparenza e prestazioni tra i clienti non colocativi.

Results

Panoramica
Tutti i risultati sperimentali riportati in questo studio sono stati mediati su cinque esecuzioni indipendenti con inizializzazioni casuali diverse e configurazioni di campionamento dei clienti per garantire la robustezza. Le metriche di prestazione, tra cui accuratezza, precisione, richiamo e punteggio F1, sono presentate come deviazione media ± standard. La deviazione standard osservata tra le run è rimasta in un intervallo ristretto (tipicamente ±0,5% a ±1,2%), indicando una performance ...

Discussion

Il proposto Intelligent Federated Learning Framework (IFLF) affronta le sfide nell'apprendimento federato che derivano da ambienti eterogenei e distribuiti. La valutazione sistematica su quattro dataset indica che la combinazione di aggregazione e ottimizzazione adattiva migliora la stabilità della convergenza e le prestazioni globali del modello. Incorporando l'affidabilità e la somiglianza del cliente nel processo di aggregazione, il framework riduce l'influenza degli aggiornamenti inc...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CICIDS2017 Dataset	Istituto Canadese per la Cybersicurezza	Dataset pubblico	Rilevamento delle intrusioni
FedGraphNN Dataset	FedGraphNN	Dataset pubblico	Apprendimento dei grafi
FEMNIST Dataset	LEAF Benchmark	Dataset pubblico	Dataset di visione
FLamby Dataset	Progetto FLamby	Dataset pubblico	Dataset sanitario
Fiore	Struttura Floreale	1.6	Simulazione di apprendimento federata
GPU Workstation	NVIDIA	RTX GPU	Addestramento al modello
NumPy	Sviluppatori NumPy	1.26	Calcolo numerico
Python	Python Software Foundation	3.1	Linguaggio di programmazione
Scikit-learn	Scikit-learn	1.3	Utility ML
TensorFlow / PyTorch	Google / Meta	Ultimi aggiornamenti	Framework per il deep learning