$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Metodologia proposta
Il modello proposto Adversarially Robust Federated Learning (AR-FL) mira a prevedere il rischio di mortalità dei pazienti in modo sicuro e collaborativo tra diverse istituzioni sanitarie, proteggendo la privacy dei dati e rendendo il sistema resiliente alle perturbazioni avversarie. La distribuzione include quattro elementi principali: (1) la struttura di Apprendimento Federato, (2) l'addestramento avversario basato sull'ottimizzazione minima, (3) il meccanismo di attenzione consapevole del dominio e (4) l'aggregazione dei parametri che preserva la privacy. La metodologia viene eseguita in un flusso sistematico designato per l'apprendimento federato robusto e avversario per stimare il rischio di mortalità. Il processo, raffigurato nella Figura 2, inizia con l'acquisizione dati da numerose istituzioni sanitarie, seguita dalla preelaborazione dei dati per standardizzare le funzionalità e gestire i valori mancanti. Un modello globale viene inizialmente creato da un server centrale e poi inviato a ogni istituzione sanitaria. L'addestramento avversario locale avviene all'interno delle istituzioni sanitarie, aumentando la robustezza del modello alle perturbazioni permettendogli al contempo di adattarlo a dati specifici di dominio. Dopo l'addestramento, i parametri dei modelli locali vengono consegnati in modo sicuro al server tramite aggregazione sicura dei parametri. Il server incorpora questi contributi locali al modello per aggiornare il modello globale. Questo processo si ripete più volte in un'ottimizzazione iterativa per facilitare il perfezionamento collaborativo del modello. Di conseguenza, il modello viene valutato rigorosamente utilizzando benchmark clinici che ne valutano le prestazioni predittive, la robustezza avversaria e la generalizzazione tra istituzioni.

Figura 2: Modello AR-FL proposto. Questa figura presenta l'architettura complessiva del modello proposto di Apprendimento Federato Adversarial-Robusto, inclusi l'addestramento avversario, l'attenzione consapevole del dominio e l'aggregazione sicura che preserva la privacy. Clicca qui per visualizzare una versione più grande di questa figura.
Raccolta dati
Per questo studio sono utilizzati due dataset di cartelle cliniche elettroniche (EHR) accessibili al pubblico: MIMIC-III4 e il database collaborativo di ricercaeICU 6. MIMIC-III fornisce oltre 40.000 ricoveri in terapia intensiva da un singolo ospedale principale, mentre i dati delle eICU comprendono oltre 200.000 ricoveri in terapia intensiva provenienti da vari ospedali negli Stati Uniti. La demografia dei pazienti, le misurazioni cliniche, i risultati degli esami di laboratorio, gli eventi tracciati e gli esiti registrati in questi flussi di dati li rendono molto attraenti per il compito di previsione del rischio di mortalità. I dataset EHR sono ciascuno suddiviso in diverse parti per formare un ambiente di apprendimento federato multiistituzionale realistico; ogni parte rappresenta un ospedale o un'istituzione diversa. Il metodo cattura differenze tra le istituzioni nelle caratteristiche dei pazienti, nei protocolli clinici, negli stili di documentazione e nella disponibilità dei dati. Ogni istituzione simulata può accedere solo al proprio sottoinsieme di dati e non condivide alcun record grezzo con il server centrale o con altri client partecipanti. Questo approccio garantisce la piena conformità ai principi di salvaguardia della privacy, simulando al contempo i limiti reali della cooperazione interospedaliera. Le etichette di mortalità vengono estratte dai campi di esito indicati nei dataset, ad esempio gli indicatori di mortalità ospedaliera. Queste etichette fungono da obiettivi di previsione per il modello di apprendimento federato. Ogni istituzione mantiene così il proprio insieme locale di registrazioni delle caratteristiche dei pazienti associate agli esiti di mortalità, consentendo un addestramento decentralizzato dei modelli senza rivelare informazioni sensibili dei pazienti.
Preprocessing dei dati
Ogni istituzione elabora in modo indipendente i propri dati EHR locali prima che inizi l'addestramento al modello. Poiché l'apprendimento federato non consente la condivisione di dati a livello di paziente o anche di statistiche riassuntive tra le istituzioni partecipanti, tutti i passaggi di pre-elaborazione vengono eseguiti localmente in ciascuna istituzione e si basano solo sulle informazioni contenute nel dataset di quell'istituzione. Il flusso di preprocessing consiste in alcuni passaggi cruciali. All'inizio, le variabili cliniche numeriche come segni vitali, risultati di test di laboratorio e misurazioni fisiologiche vengono normalizzate per eliminare differenze negli intervalli di valori e stabilizzare la convergenza del modello. I dati locali di ogni istituzione sono l'unica fonte per calcolare le statistiche utilizzate per la normalizzazione. Successivamente, attributi categorici come genere, tipo di ammissione o categorie diagnostiche vengono convertiti in rappresentazioni numeriche utilizzando metodi come la codifica one-hot o mappe specifiche per istituzioni. Pertanto, il modello federato può gestire dati categorici senza la necessità di dizionari di codifica condivisi o tabelle di riferimento interistituzionali. In terzo luogo, i dati mancanti, comuni nei dataset clinici, vengono gestiti utilizzando tecniche di imputazione locale. A seconda del tipo di caratteristica e del contesto clinico, le istituzioni possono ricorrere all'imputazione media, all'invio basato su osservazioni precedenti o persino a sostituzioni cliniche basate su regole. Poiché ogni istituzione esegue l'imputazione in modo indipendente, non sono necessari metadati esterni o parametri di imputazione condivisi. Seguendo queste procedure, ogni istituzione è in grado di creare un dataset completo di funzionalità elaborate insieme agli esiti di mortalità associati. I dataset locali vengono poi utilizzati come input per l'addestramento del modello federato. Durante tutta la pipeline di pre-elaborazione, nessun dato grezzo, statistica derivata o output intermedi viene trasmesso all'esterno dell'istituzione, garantendo la rigorosa adesione a pratiche di gestione dei dati che preservano la privacy.
Inizializzazione del modello
Sia K {1, 2,..., K} la collezione di istituzioni (clienti) coinvolte, dove ogni istituzione possiede un dataset locale.
{
dove
rappresenta le caratteristiche EHR in ingresso e
È l'etichetta di mortalità associata (binaria o categorica). Un modello
globale viene addestrato collaborativamente tra tutti i clienti, dove θ sono i parametri condivisi del modello.
Il processo segue il protocollo standard Federated Averaging (FedAvg):
Il server centrale inizializza i parametri globali
e li trasmette. Ogni client k∈K esegue addestramento locale utilizzando i propri dati e aggiorna il modello a
. Il server combina gli aggiornamenti prendendo la media ponderata:

, dove n =
La procedura di inizializzazione del server centrale e i passaggi di addestramento locali prosegueno per T round di comunicazione globale.
Addestramento locale avversario (ottimizzazione Min–Max)
Per migliorare la robustezza, ogni cliente conduce un addestramento avversario presso il proprio centro locale. Invece di minimizzare il rischio empirico sui dati puliti, i clienti si impegnano in un problema min-max:
(x+δ),y)
L: Funzione di perdita
δ: Perturbazione avversaria vincolata da 
S: Spazio di minaccia avversario
(x+δ): Previsione sotto input perturbato
Al momento di ogni epoca locale, vengono creati campioni avversali utilizzando il Projected Gradient Descent (PGD) o il Fast Gradient Sign Method (FGSM). Successivamente, l'addestramento del modello procede con questi campioni per aumentarne la robustezza.
Meccanismo di attenzione consapevole del dominio
I dati delle cartelle cliniche elettroniche (EHR) provenienti da diverse istituzioni possono variare notevolmente in termini di distribuzione dei dati, semantica delle caratteristiche e pratiche cliniche. Per affrontare questo problema, il modello AR-FL incorpora un modulo di attenzione specifico per dominio nel suo modello.
Sia
il vettore di ingresso dall'istituzione k. I pesi
di attenzione per ogni caratteristica j∈ {1..., d} sono calcolati come:
=
dove sono i pesi di attenzione addestrabili. L'ingresso viene ripestato come:

Attraverso questo meccanismo, il modello è in grado di enfatizzare caratteristiche importanti per la pratica clinica in base alla natura dei dati utilizzati dall'istituzione, aumentando così la sua adattabilità e interpretabilità.
Aggregazione dei parametri che preservano la privacy
L'AR-FL utilizza un'aggregazione molto sicura insieme a tecniche di privacy differenziale se necessario, per mantenere il massimo livello di privacy durante la comunicazione. Aggregazione Sicura: Gli utenti criptano gli aggiornamenti dei modelli in modo che il server possa calcolare solo il totale e non i contributi separati.
Privacy differenziale: Aggiunge rumore agli aggiornamenti dei modelli:

Dove σ controlla il compromesso tra privacy e accuratezza.
Durante gli aggiornamenti distribuiti, questi approcci garantiscono che i dati privati dei pazienti o le informazioni istituzionali non siano a rischio di trapelata.
Aggiornamento globale del modello
Una volta completata la fase di formazione locale in ogni istituzione, il server centrale raccoglie gli aggiornamenti del modello inviati dal client. Questi aggiornamenti consistono esclusivamente in modifiche ai parametri del modello e non includono dati grezzi dei pazienti o rappresentazioni intermedie di caratteristiche. Per unire le conoscenze acquisite dalle varie istituzioni, il server applica il metodo Federated Averaging (FedAvg). In questo processo, il server calcola una media ponderata dei modelli locali in base alla quantità di dati disponibili in ciascuna istituzione. Le istituzioni che contribuiscono con dataset più ampi hanno un'influenza proporzionalmente maggiore sul modello globale aggiornato. Poiché gli aggiornamenti sono stati trasmessi utilizzando tecniche di aggregazione sicura, il server non può visualizzare o isolare i parametri di nessuna singola istituzione. Piuttosto, il server riceve solo una rappresentazione combinata criptata o protetta dalla privacy. Questo garantisce la riservatezza del processo formativo e la distruzione di eventuali modelli specifici dell'istituzione o caratteristiche del paziente che potrebbero essere state rilevate. Dopo aver calcolato l'aggiornamento aggregato, il server prepara un nuovo modello globale che rappresenta la conoscenza totale acquisita da tutte le istituzioni collaboratrici in quel round di comunicazione. Il nuovo modello globale viene poi inviato a ogni istituzione per iniziare il prossimo ciclo di addestramento locale ad avversario.
Ottimizzazione iterativa
L'apprendimento federato è un processo a più fasi che coinvolge diversi round di comunicazione. Ogni round consiste nell'addestramento del modello locale, nell'invio sicuro degli aggiornamenti, nell'aggregazione globale e nella successiva distribuzione del modello migliorato ai partecipanti. I round ripetuti aiutano il modello a muoversi gradualmente verso una soluzione robusta e stabile. Durante questi round, ogni organizzazione porta con sé la propria conoscenza della propria popolazione di pazienti, creando così un modello in grado di identificare i modelli clinici in diversi contesti. Va notato che l'addestramento avversario e il meccanismo di attenzione consapevole del dominio vengono talvolta implementati tramite addestramento locale in ogni round. Così, il modello viene costantemente perfezionato e la sua capacità di contrastare attacchi avversari cresce, mentre la sua capacità di adattarsi a diverse distribuzioni di caratteristiche tra le istituzioni migliora. Attraverso l'ottimizzazione iterativa, il modello non solo migliora le sue prestazioni di generalizzazione, ma diventa anche sempre più tollerante allo squilibrio dei dati, alla variazione istituzionale e agli ambienti avversari. La procedura viene eseguita fino a raggiungere un numero prestabilito di round di comunicazione o finché il modello globale indica una convergenza stabile.
Valutazione
Al termine di tutti i round di comunicazione, il modello globale finale viene valutato a fondo utilizzando set di test sostenuti derivati dai dataset dei partecipanti. Poiché questi set di test non sono utilizzati per l'addestramento del modello, forniscono una misura equa e imparziale delle prestazioni del modello. L'efficacia del modello viene valutata attraverso il calcolo di diverse metriche da diverse angolazioni. La precisione pulita valuta la situazione in cui sono presenti condizioni normali. Misura la corretta precisione del modello nella previsione degli esiti di mortalità. Al contrario, l'accuratezza avversaria stima fino a che punto il modello sia in grado di mantenere le proprie prestazioni anche quando i dati di input vengono alterati in modo avversario. L'area sotto la curva della caratteristica operativa del ricevitore (ROC) (AUC-ROC) fornisce una panoramica sulla competenza del modello nel distinguere tra pazienti vivi e deceduti. Il punteggio F1 funge da indicatore della relazione precisione-ricordo, particolarmente significativa per i dataset clinici sbilanciati. Il divario di generalizzazione rivela la disparità di performance tra le diverse istituzioni, dimostrando così la versatilità del modello nell'adattarsi a fonti di dati diverse. Il rischio per la privacy viene infine quantificato attraverso l'uso di attacchi avversariali simulati, che determinano se l'aggregazione sicura e la privacy differenziale opzionale siano effettivamente efficaci nel proteggere la riservatezza del paziente. Tutte queste metriche di valutazione insieme forniscono un quadro completo del potere predittivo del modello, della resistenza agli attacchi avversariali, della stabilità tra diverse istituzioni e dell'adesione ai requisiti di preservazione della privacy. L'Algoritmo 1 (File Supplementare 1) qui sotto mostra l'Apprendimento Federato Robusto Adversariale (AR-FL) per la Previsione del Rischio di Mortalità.