FedMediFormer-XAI: Transformer Multimodali Federati con Augmentation tramite Diffusione e Raccomandazione di Farmaci Basata su Grafi per il Diabete

Netra Patil; Naveenkumar Jayakumar; Sudan Jha

doi:10.3791/73113

È richiesta un abbonamento a JoVE per visualizzare questo contenuto. Accedi o inizia la tua prova gratuita.

Articolo metodologico

FedMediFormer-XAI: Transformer Multimodali Federati con Augmentation tramite Diffusione e Raccomandazione di Farmaci Basata su Grafi per il Diabete

160 visualizzazioni

⸱

DOI:

10.3791/73113

⸱

8 settembre 2026

Netra Patil¹ , Naveenkumar Jayakumar² , Sudan Jha³

¹Department of Computer Engineering, Bharati Vidyapeeth (Deemed to be University) College of Engineering, ²School of Computer Science and Engineering, Vellore Institute of Technology, ³Department of Computer Science and Engineering, Kathmandu University

In questo articolo

Sommario

Questo protocollo propone FedMediFormer-XAI, un framework multimodale per l'intelligenza sul diabete che rispetta la privacy grazie all'apprendimento federato, ai trasformatori multimodali, all'aumento basato sulla diffusione, alla raccomandazione personalizzata di farmaci basata su grafi e all'intelligenza artificiale spiegabile, per una previsione accurata, un processo decisionale trasparente e una gestione personalizzata del diabete.

Abstract

La gestione del diabete si scontra con diversi ostacoli, come dati sanitari frammentati, preoccupazioni relative alla privacy, scarsa interpretabilità e mancanza di indicazioni terapeutiche personalizzate. Questo studio introduce FedMediFormer-XAI, un framework unificato e completo che integra apprendimento federato, trasformatori multimodali, aumento dei dati basato sulla diffusione, Reti Neurali su Grafi (GNN) per la raccomandazione di farmaci e Intelligenza Artificiale Spiegabile (XAI) per l'analisi del diabete. Il sistema utilizza diversi tipi di dati sanitari, ad esempio cartelle cliniche, indicatori di salute della popolazione, dati di monitoraggio continuo del glucosio, immagini del fondo retinico, misurazioni di sensori indossabili e informazioni farmacologiche. Per generare campioni sintetici e affrontare lo squilibrio tra classi, vengono impiegati modelli di diffusione, mentre architetture trasformatore multimodali vengono utilizzate per apprendere le relazioni tra fonti di dati molto diverse. L'apprendimento federato consente un addestramento collaborativo dei modelli in modo da preservare la privacy, senza condividere i dati grezzi dei pazienti. Il componente basato su grafi cattura le interazioni paziente-farmaco e farmaco-farmaco per raccomandazioni farmacologiche personalizzate. Metodi di spiegabilità come SHapley Additive exPlanations (SHAP), visualizzazione dell'attenzione, gradienti integrati e ragionamento controfattuale forniscono interpretazioni trasparenti dei risultati di previsione e raccomandazione. Nell'implementazione rappresentativa, il framework proposto ha raggiunto un'accuratezza del 94,2%, una precisione del 93,1%, un richiamo del 92,8%, un punteggio F1 del 92,9%, un Coefficiente di Correlazione di Matthews (MCC) di 0,88 e un'Area Sottesa alla Curva Caratteristica Operativa del Ricevitore (AUC-ROC) di 0,96. Il modulo di raccomandazione basato su grafi ha ottenuto precisione = 0,89, richiamo = 0,84 e Guadagno Cumulativo Scontato Normalizzato (NDCG) = 0,91. Il protocollo fornisce un approccio strutturato per integrare dati sanitari eterogenei mediante trasformatori multimodali, apprendimento federato, aumento basato sulla diffusione, raccomandazione basata su grafi e intelligenza artificiale spiegabile. I risultati computazionali riportati dimostrano il potenziale del framework nella previsione del diabete e nella raccomandazione personalizzata di farmaci, mentre la progettazione federata supporta la gestione decentralizzata dei dati. È necessaria una valutazione clinica prospettica multicentrica per stabilire l'utilità clinica, la generalizzabilità e l'applicabilità nel mondo reale.

Introduzione

Il diabete mellito è tra le principali malattie metaboliche croniche che colpiscono l'umanità e rappresenta un grave problema di sanità pubblica, poiché continua a diffondersi, con effetti a lungo termine e costi elevatissimi per il trattamento dei pazienti¹^,². Secondo un rapporto, attualmente nel mondo ci sono oltre 537 milioni di adulti affetti da diabete, e si prevede che questa cifra aumenterà notevolmente nei prossimi decenni³. Se i livelli elevati di zucchero nel sangue non vengono controllati, la persona svilupperà le complicazioni più gravi, come malattie coronariche⁴, danni renali⁵, neuropatie⁶, perdita della vista⁷ e ictus cerebrale⁸. Pertanto, riconoscere la malattia nella fase più precoce, monitorare regolarmente le condizioni del paziente e fornire formazione attraverso approcci medici avanzati sono passaggi necessari per aiutare i pazienti a condurre una vita più sana e, in tal modo, ridurre le spese del sistema sanitario statale⁹^,¹⁰.

Oggi, l'uso di cartelle cliniche elettroniche (EHR), dispositivi indossabili, sistemi di monitoraggio continuo della glicemia (CGM), tecnologie di imaging retinico e applicazioni per la salute mobile si sta diffondendo rapidamente, generando grandi volumi di dati sanitari eterogenei che possono essere analizzati¹¹. Questi diversi strumenti di raccolta dati possono fornire informazioni variegate sul corpo umano, sulla sua capacità di funzionare in diverse fasi di una malattia, su come il paziente risponde a diversi tipi di trattamento e su come si comporta nella vita reale¹². L'intelligenza artificiale (AI) si è dimostrata la soluzione migliore per elaborare dati altamente complessi, prevedere il diabete, monitorare l'andamento della malattia e assistere i medici nelle decisioni cliniche¹³. Inoltre, algoritmi di apprendimento automatico, tra cui foreste casuali, macchine a vettori di supporto e metodi di boosting del gradiente, hanno ottenuto ottimi risultati nella valutazione del rischio di diabete¹⁴. Più di recente, architetture di apprendimento profondo hanno permesso l'estrazione automatica di caratteristiche e migliorato le prestazioni predittive in svariate applicazioni sanitarie¹⁵.

Utilizzando metodi di apprendimento multimodale, l'intelligenza artificiale applicata al diabete è stata notevolmente potenziata unendo record clinici strutturati, misurazioni fisiologiche, immagini della retina e indicatori comportamentali in un unico quadro predittivo¹⁶. Sfruttando più fonti di informazione, i modelli multimodali possono identificare schemi che non risultano visibili quando ogni modalità viene analizzata separatamente¹⁷. Recentemente, modelli basati su architetture Transformer hanno imparato in modo molto efficace dipendenze a lungo raggio e relazioni contestuali a partire da tipologie diverse di dati sanitari¹⁸. Tuttavia, problemi come classi sbilanciate, dati mancanti, eterogeneità dei dati e generalizzabilità limitata ostacolano ancora l'ampia diffusione dei sistemi di intelligenza artificiale multimodali in ambito clinico¹⁹.

Nonostante questi sviluppi, molti sistemi di intelligenza per il diabete esistenti si basano ancora su framework di apprendimento centralizzati che richiedono intrinsecamente la consolidazione dei dati dei pazienti provenienti da diverse istituzioni in un unico archivio²⁰. Metodi di questo tipo stanno già generando controversie riguardo alla privacy dei pazienti, alla gestione dei dati, alla sicurezza informatica e al rispetto della normativa²¹. Di fatto, a causa di considerazioni legali ed etiche, i fornitori di assistenza sanitaria spesso hanno limitazioni nella condivisione dei dati sensibili dei pazienti²². In questo contesto, l'apprendimento federato si sta affermando come una soluzione praticabile, in quanto consente di addestrare un modello collaborativo senza condividere i dati effettivi dei pazienti²³. Attraverso un'ottimizzazione decentralizzata e un'aggregazione sicura dei parametri, l'apprendimento federato permette analisi sanitarie protette nella privacy sfruttando conoscenze provenienti da set di dati distribuiti geograficamente²⁴. Tuttavia, l'overhead di comunicazione, l'eterogeneità dei client e la stabilità della convergenza rappresentano ancora problemi significativi negli scenari sanitari federati²⁵.

Un altro svantaggio dei sistemi di intelligenza per il diabete attualmente in uso è la mancanza di trasparenza e di supporto per una terapia personalizzata. Molti modelli di deep learning si comportano come scatole nere, il che rappresenta un problema per i clinici che desiderano comprendere il ragionamento alla base delle previsioni e delle raccomandazioni²⁶. I metodi di intelligenza artificiale interpretabile (XAI), come SHAP, gradienti integrati, visualizzazione dell'attenzione e ragionamento controfattuale, stanno dimostrando un notevole potenziale nel migliorare la trasparenza del modello e la fiducia dei clinici²⁷. Inoltre, le reti neurali su grafi (GNN) si sono affermate come gli strumenti più avanzati per catturare le interazioni paziente-farmaco e farmaco-farmaco, consentendo raccomandazioni farmacologiche personalizzate e la valutazione della sicurezza terapeutica²⁸. Anche i nuovi modelli di diffusione hanno introdotto soluzioni per generare dati sanitari sintetici realistici e affrontare lo squilibrio tra classi²⁹.

I transformer, l'apprendimento federato, la generazione di dati sintetici basata su diffusione, le reti neurali su grafi e l'intelligenza artificiale spiegabile hanno ciascuno mostrato risultati promettenti nelle applicazioni sanitarie; tuttavia, la loro integrazione all'interno di un unico framework riproducibile di intelligenza per il diabete rimane limitata. Gli approcci esistenti affrontano comunemente questi componenti in modo indipendente, concentrandosi sull'apprendimento che preserva la privacy senza raccomandazioni di trattamento personalizzate, sulla previsione multimodale senza addestramento decentralizzato, o sulla spiegabilità senza supporto decisionale clinico basato su grafi. Sebbene i modelli di diffusione possano supportare il bilanciamento delle classi e le architetture transformer possano apprendere relazioni tra modalità sanitarie eterogenee, protocolli standardizzati per integrare queste tecnologie complementari rimangono limitati. Pertanto, questo lavoro presenta un protocollo metodologico unificato che combina previsione multimodale, aumento basato sulla diffusione, ottimizzazione federata, raccomandazione personalizzata di farmaci basata su grafi e intelligenza artificiale spiegabile all'interno di un flusso di lavoro riproducibile, fornendo al contempo una base per future validazioni cliniche e applicazioni pratiche.

A differenza degli studi che presuppongono la disponibilità di set di dati multimodali a livello del paziente, questo protocollo integra set di dati pubblici eterogenei senza effettuare un abbinamento diretto dei pazienti. Vengono addestrati modelli indipendenti specifici per ogni modalità per ciascuna fonte di dati, e gli embedding delle caratteristiche latenti sono combinati attraverso un meccanismo di attenzione incrociata tra modalità. Questa progettazione preserva il rigore metodologico consentendo al contempo l'integrazione del sapere multimodale attraverso diversi archivi sanitari.

Il protocollo proposto è destinato principalmente allo sviluppo metodologico e ai contesti di intelligenza artificiale per l'assistenza sanitaria distribuita, in cui sono disponibili fonti di dati eterogenee distribuite tra diversi archivi o istituzioni e la centralizzazione diretta dei dati è limitata. Nell'attuale implementazione, i dataset specifici per modalità sono indipendenti e non sono abbinati per paziente; pertanto, l'integrazione multimodale viene effettuata a livello di rappresentazione appresa piuttosto che attraverso una corrispondenza diretta a livello di paziente. Un'applicazione pratica richiederebbe dati paziente multimodali adeguatamente collegati, una preelaborazione coerente e definizioni di esiti uniformi tra i siti partecipanti, un'infrastruttura computazionale idonea e il rispetto dei requisiti etici, di privacy e normativi applicabili.

Questo articolo presenta FedMediFormer-XAI, un framework federato basato su trasformatori multimodali che consente un'intelligenza sul diabete rispettosa della privacy, integrando funzionalità di previsione, raccomandazione e spiegabilità in un'unica soluzione. Questo framework combina un'aumentazione dei dati basata sulla diffusione per affrontare lo squilibrio tra le classi, un apprendimento multimodale basato su trasformatori per la previsione del diabete, un apprendimento federato per lo sviluppo collaborativo del modello, una raccomandazione personalizzata di farmaci basata su reti neurali grafiche e metodi di intelligenza artificiale spiegabile per supportare decisioni cliniche in modo trasparente. L'architettura generale e il flusso di lavoro del framework proposto FedMediFormer-XAI sono illustrati nella Figura 1.

I principali contributi del framework proposto FedMediFormer-XAI sono riassunti come segue: (1) Viene presentato un protocollo unificato che integra l'apprendimento federato, i trasformatori multimodali, l'aumento dei dati basato sulla diffusione, la raccomandazione personalizzata di farmaci basata su reti neurali su grafi e l'intelligenza artificiale spiegabile all'interno di un singolo flusso di lavoro riproducibile per l'intelligenza sul diabete. (2) Viene sviluppata una strategia di apprendimento federato che preserva la privacy, abilitando l'addestramento collaborativo del modello tra client sanitari distribuiti simulati senza condividere i dati pazienti originali. (3) Viene introdotta un'architettura di trasformatore multimodale per apprendere congiuntamente rappresentazioni complementari da cartelle cliniche strutturate, dati di monitoraggio continuo del glucosio, immagini del fondo retinico e indicatori di salute della popolazione. (4) Viene integrata la generazione sintetica di dati basata sulla diffusione per ridurre lo sbilanciamento delle classi e migliorare la robustezza del modello, preservando al contempo le caratteristiche statistiche dei dati di addestramento originali. (5) Viene impiegato un modulo di apprendimento su grafi eterogenei basato su GraphSAGE per modellare le relazioni paziente-farmaco e farmaco-farmaco, al fine di fornire raccomandazioni personalizzate di farmaci e un ordinamento dei trattamenti consapevole delle interazioni. (6) Vengono integrate diverse tecniche di intelligenza artificiale spiegabile, tra cui SHapley Additive exPlanations (SHAP), gradienti integrati, visualizzazione dell'attenzione e spiegazioni controfattuali, per migliorare la trasparenza del modello e fornire output di previsione e raccomandazione interpretabili. (7) Viene fornito un protocollo di validazione completo, che include valutazione predittiva, valutazione dell'apprendimento federato, valutazione delle raccomandazioni, analisi dell'esplicabilità, valutazione centrata sul clinico, validazione esterna e valutazione della riproducibilità.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Protocollo

Tutti i set di dati utilizzati in questo studio sono stati ottenuti da archivi pubblicamente disponibili e contenevano informazioni sui pazienti de-identificate. Tra questi vi erano il Pima Indians Diabetes Dataset, il CDC Diabetes Health Indicators Dataset, il OhioT1DM Dataset, il APTOS 2019 Blindness Detection Dataset, il Drug Review Dataset e il Drug-Drug Interaction Dataset. Non è stata prevista alcuna reclutamento diretto di pazienti, intervento, raccolta di campioni o accesso a informazioni sanitarie personali identificabili. Lo studio si è limitato a un'analisi secondaria di set di dati anonimizzati disponibili pubblicamente, finalizzata allo sviluppo e alla validazione metodologica, ed è stato condotto in conformità con i requisiti istituzionali per l'utilizzo di tali dati. La valutazione centrata sull'uomo descritta in questo protocollo è prevista per un'implementazione futura e non è stata effettuata nel presente studio. I ricercatori che intendono svolgere tale valutazione dovrebbero ottenere l'approvazione appropriata dal Comitato Etico Istituzionale, ottenere il consenso informato scritto da tutti i partecipanti e rispettare i requisiti istituzionali applicabili, gli accordi sul trattamento dei dati e le normative nazionali.

1. Configurare l'ambiente computazionale

Installare Python 3.11 come ambiente di programmazione principale. Installare PyTorch 2.3 e TensorFlow 2.15 per lo sviluppo e l'addestramento di modelli di deep learning. Installare la libreria Transformers (v4.45) per implementare architetture basate su transformer.
Installare PyTorch Geometric (v2.5) per supportare la costruzione e l'addestramento di reti neurali su grafi. Installare SHAP (v0.47) e Captum (v0.8) per eseguire analisi di spiegabilità e attribuzione delle caratteristiche.
Installare NumPy, Pandas e Scikit-learn per il calcolo numerico, la pre-elaborazione dei dati e le utilità di machine learning. Installare OpenCV e Matplotlib per le operazioni di elaborazione e visualizzazione delle immagini. Installare NetworkX per costruire e analizzare grafi di interazioni tra farmaci.
Installare il CUDA Toolkit e i driver NVIDIA compatibili per abilitare il calcolo accelerato tramite hardware. Configurare una GPU NVIDIA RTX 4090 con almeno 32 GB di memoria di sistema. Impostare il seme casuale a 42 per l'addestramento, la validazione e i test, al fine di garantire risultati riproducibili. Verificare le installazioni e la compatibilità delle librerie software utilizzate. Registrare le versioni del software, le specifiche hardware e i parametri di configurazione del modello impiegati nell'analisi.

2. Preparare e preelaborare i set di dati

Scaricare e organizzare i dataset clinici, fisiologici, di imaging e farmacologici richiesti in repository specifici per modalità e verificarne l'integrità. Confermare le caratteristiche dei dataset, gli obiettivi predittivi e i livelli di integrazione come specificato in Tabelle 1 e 2. Il flusso di lavoro è illustrato in Figura 2.
Rimuovere record duplicati, non validi o incoerenti e record privi di variabili essenziali. Dividere ciascun dataset applicabile in sottoinsiemi di addestramento (70%), validazione (15%) e test (15%) indipendenti per paziente. Applicare l'imputazione mediana, la scalatura Min-Max e la codifica categorica utilizzando esclusivamente il sottoinsieme di addestramento, quindi applicare le trasformazioni ottenute senza modifiche ai sottoinsiemi di validazione e test. Eseguire la generazione di dati sintetici solo sul sottoinsieme di addestramento. Verificare la partizione e la prevenzione delle fughe di dati in conformità con Tabella Supplementare 1.
Importare i dati relativi a glucosio, assunzione di cibo, dosaggio di insulina, attività fisica e sonno. Standardizzare i timestamp, allineare gli eventi a intervalli regolari, interpolare linearmente i valori di glucosio non registrati, suddividere i record continui in finestre di lunghezza fissa e applicare la normalizzazione con z-score per generare gli input per il trasformatore temporale.
Caricare le immagini del fondo oculare e rimuovere file corrotti o illeggibili, duplicati, immagini prive di etichette, o immagini con artefatti gravi o visibilità insufficiente del campo retinico.
Ridimensionare le immagini conservate a 224 × 224 pixel, normalizzare le intensità dei pixel nell'intervallo [0, 1] e applicare l'equalizzazione adattiva dell'istogramma con limite al contrasto (CLAHE).
Arricchire le immagini di addestramento mediante rotazione casuale compresa tra ±15°, inversione orizzontale con probabilità 0,5, zoom casuale compreso tra 0,9 e 1,1× e regolazione della luminosità compresa tra ±20%. Non applicare arricchimento stocastico alle immagini di validazione o test. Archiviare le immagini elaborate per l'addestramento del Vision Transformer.
Integrare le rappresentazioni specifiche per ciascuna modalità secondo la strategia di integrazione dei dataset riassunta in Tabella 2. Non eseguire abbinamenti diretti a livello di paziente tra repository indipendenti quando non sono disponibili identificatori comuni di pazienti.
Archiviare ciascun dataset pubblico come dataset indipendente e specifico per modalità, poiché gli identificatori dei pazienti non sono condivisi tra i repository.
Addestrare separatamente gli estrattori di caratteristiche specifici per ciascuna modalità utilizzando i rispettivi dataset: (a) Cartelle cliniche → codificatore TabTransformer; (b) Indicatori sanitari della popolazione → codificatore TabTransformer; (c) Monitoraggio continuo del glucosio → Trasformatore Temporale; (d) Immagini del fondo oculare → Vision Transformer; (e) Dati farmacologici → modulo GraphSAGE
Estrarre autonomamente le rappresentazioni latenti da ciascuna modalità. Fondere esclusivamente le rappresentazioni latenti apprese tramite il modulo proposto di fusione con attenzione incrociata tra modalità, piuttosto che unire direttamente i record grezzi dei pazienti.
Assicurarsi che non venga effettuato alcun abbinamento artificioso tra pazienti appartenenti a dataset pubblici indipendenti. Mantenere partizioni indipendenti di addestramento, validazione e test per ciascun dataset durante tutte le fasi di pre-elaborazione, arricchimento e sviluppo del modello.
Archiviare le rappresentazioni multimodali fuse per le previsioni successive, l'apprendimento federato, l'interpretazione dei risultati e la raccomandazione personalizzata di farmaci (Figura 2).

3. Eseguire l'ampliamento dei dati basato sulla diffusione

Applica un'augmentazione basata sulla diffusione ai dataset strutturati di tipo tabellare relativi a dati clinici e di salute della popolazione utilizzando TabDDPM. Genera campioni sintetici esclusivamente dalla partizione di addestramento preelaborata per evitare perdite di informazioni. Configura il modello secondo la Tabella Supplementare 2.
Allena TabDDPM per un massimo di 500 epoche utilizzando l'ottimizzatore Adam (learning rate = 1 × 10⁻⁴; dimensione del batch = 256). Applica l'arresto anticipato se la perdita di validazione non migliora di almeno 0,001 per 20 epoche consecutive. Genera campioni sintetici per le classi sottorappresentate.
Valuta la qualità dei dati sintetici utilizzando le statistiche di Kolmogorov–Smirnov (KS), la divergenza di Jensen–Shannon, la distanza di Wasserstein, l'analisi delle correlazioni per caratteristica e le prestazioni di classificazione in attività successive. Confronta le distribuzioni delle caratteristiche originali e sintetiche mediante sovrapposizione di istogrammi, stima della densità kernel e coefficienti di correlazione a coppie.
Accetta i campioni sintetici solo quando le distribuzioni delle caratteristiche per classe rimangono coerenti con i dati di addestramento originali (test KS, p > 0,05; divergenza di Jensen–Shannon < 0,10) e non contengono valori clinici irrealistici. Combina i campioni accettati con il dataset originale di addestramento per generare un dataset bilanciato per classe. Il flusso di lavoro di augmentazione è mostrato nella Figura 3.
Convalida i dati sintetici riaddestrando il modello di predizione del diabete utilizzando i dataset di addestramento originale e aumentato. Confronta Accuratezza, F1-score, MCC e AUC-ROC per valutare i cambiamenti nella generalizzazione del modello e nei bias distribuzionali.

4. Sviluppare il modello transformer multimodale

Configurare il trasformatore multimodale con codificatori specifici per ciascuna modalità per dati clinici strutturati, sequenze di monitoraggio glicemico continuo (CGM) e immagini del fondo oculare, come illustrato in Figura 4. Integrare le rappresentazioni risultanti mediante attenzione incrociata tra modalità per la previsione del diabete e la raccomandazione personalizzata di farmaci basata su grafi.

Sviluppare l'Encoder Clinico
1. Inizializzare l'architettura dell'encoder TabTransformer. Inserire variabili cliniche normalizzate e indicatori di salute della popolazione. Generare rappresentazioni di caratteristiche contestuali utilizzando meccanismi di attenzione del transformer.
2. Configurare l'encoder TabTransformer con 32 variabili cliniche strutturate in ingresso, una dimensione dell'embedding pari a 128, quattro livelli del transformer, otto testine di attenzione, una dimensione feed-forward di 512, un tasso di dropout dello 0,20 e un'attivazione Gaussian Error Linear Unit (GELU).
3. Apprendere embedding clinici latenti che catturino le relazioni tra gli attributi del paziente. Archiviare gli embedding clinici risultanti per l'integrazione multimodale.
Sviluppare l'Encoder per il Monitoraggio Continuo della Glicemia
1. Inizializzare l'encoder temporale del transformer. Inserire sequenze di monitoraggio continuo della glicemia e misurazioni fisiologiche. Utilizzare meccanismi di auto-attenzione per codificare le dipendenze temporali.
2. Configurare il transformer temporale con una lunghezza della sequenza di 96 passi temporali, un intervallo di campionamento di 15 min, una dimensione dell'embedding pari a 128, quattro livelli del transformer, otto testine di attenzione, codifica posizionale sinusoidale e un tasso di dropout dello 0,20.
3. Produrre embedding sequenziali che riflettano la dinamica glicemica del paziente. Mantenere pronti gli embedding temporali per il successivo processo di fusione.
Sviluppare l'Encoder Vision Transformer
1. Inizializzare l'architettura del Vision Transformer. Inserire immagini preelaborate del fondo oculare. Dividere le immagini in porzioni di dimensioni fisse.
2. Configurare il Vision Transformer con una risoluzione dell'immagine in ingresso di 224 × 224 pixel, una dimensione della porzione di 16 × 16 pixel, una dimensione dell'embedding pari a 768, 12 blocchi del transformer, 12 testine di attenzione e un tasso di dropout dello 0,10.
3. Generare rappresentazioni di caratteristiche a livello di porzione. Acquisire caratteristiche visive che indicano patologie retiniche e biomarcatori associati alla malattia. Conservare gli embedding delle immagini per la fusione multimodale.
Eseguire la Fusione Intermodale
1. Estrarre le rappresentazioni latenti dagli encoder clinico, CGM e Vision Transformer e proiettare ciascuna in uno spazio latente comune di 256 dimensioni utilizzando proiezioni lineari indipendenti seguite da Normalizzazione del Livello.
2. Concatenare i token delle modalità proiettate, aggiungere embedding di tipo di modalità apprendibili e applicare un'attenzione multi-testina intermodale per consentire lo scambio di informazioni tra le rappresentazioni cliniche, CGM e retiniche. Configurare il blocco di attenzione con otto testine, uno spazio del modello di 256 dimensioni, un livello feed-forward di 1.024 dimensioni, attivazione GELU, dropout dello 0,10, connessioni residue e Normalizzazione del Livello.
3. Eseguire una media pooling per ciascun gruppo di token specifico della modalità e concatenare le rappresentazioni risultanti. Proiettare il vettore concatenato di 768 dimensioni in una rappresentazione unificata multimodale di 512 dimensioni e conservare i pesi di attenzione e le rappresentazioni fuse per analisi successive di spiegabilità e ablazione.
4. Inviare la rappresentazione unificata ai moduli di previsione del diabete e di raccomandazione farmacologica basati su GraphSAGE. Mantenere le partizioni originali specifiche per modalità durante l'addestramento, la validazione e i test, senza abbinamenti artificiali a livello paziente tra i dataset indipendenti.
5. Configurare il transformer multimodale secondo i parametri del modello riassunti nella Tabella Supplementare 3.

5. Configurare l'apprendimento federato

Configurare il framework di apprendimento federato per consentire un addestramento collaborativo del modello tra istituzioni sanitarie distribuite geograficamente, senza lo scambio di dati a livello individuale. Eseguire l'ottimizzazione locale del modello in ciascuna istituzione partecipante utilizzando i dati disponibili localmente. Condividere esclusivamente i parametri del modello protetti con il server centrale di aggregazione. Preservare la privacy dei pazienti, consentendo al contempo lo sviluppo collaborativo di modelli multimodali.
Separare i dataset multimodali e distribuirli tra più client federati per simulare lo scenario di diverse istituzioni sanitarie che collaborano senza condividere i propri dati.
Configurare la rete di apprendimento federato con 10 client ospedalieri partecipanti, un server centrale di aggregazione, cinque epoche locali per ogni round di comunicazione, 100 round di comunicazione, una frazione di partecipazione dei client dell'80%, selezione casuale dei client ad ogni round di comunicazione e un minimo di otto client partecipanti per round.
Assegnare a ogni client un dataset appartenente a una particolare istituzione, in modo che i dati rimangano locali e riservati. Ripartire i dati multimodali di addestramento tra 10 client ospedalieri simulati utilizzando una strategia non indipendente e identicamente distribuita (non-IID) basata su Dirichlet per generare distribuzioni di classe eterogenee, composizioni demografiche e dimensioni dei dataset dei clienti.
Utilizzare un seme casuale fisso per garantire la riproducibilità. Verificare le distribuzioni risultanti a livello dei client e mantenere queste partizioni per tutta la durata dell'addestramento federato. Mantenere i dataset di validazione e di test indipendenti dalle partizioni dei client.
Inizializzare ogni client locale con i parametri del modello globale ricevuti dal server di aggregazione centrale. Addestrare il trasformatore multimodale locale per cinque epoche utilizzando i dati di addestramento locali del client. Ottimizzare il modello locale utilizzando l'ottimizzatore AdamW con una velocità di apprendimento di 1 × 10⁻⁴.
Calcolare gli aggiornamenti dei parametri del modello locale al termine dell'addestramento locale. Proteggere i parametri del modello locale prima della trasmissione al server centrale di aggregazione. Trasmettere i parametri del modello locale protetti al server centrale di aggregazione per l'aggregazione globale.
Ricevere i parametri del modello protetti da tutti i client ospedalieri partecipanti. Verificare l'integrità degli aggiornamenti del modello ricevuti prima dell'aggregazione. Aggregare i pesi del modello locale utilizzando l'algoritmo Federated Averaging (FedAvg). Aggiornare il trasformatore multimodale globale utilizzando i parametri del modello aggregati.
Ridistribuire i parametri aggiornati del modello globale ai client ospedalieri partecipanti. Ripetere le procedure di addestramento locale e di aggregazione globale fino al completamento di 100 cicli di comunicazione o fino al raggiungimento del criterio di convergenza prestabilito.
Proteggere i parametri del modello trasmessi utilizzando il meccanismo specificato di aggregazione sicura e la crittografia AES-256. Autenticare i client partecipanti mediante certificati digitali.
Stabilire canali di comunicazione crittografati utilizzando Transport Layer Security (TLS) 1.3. Conservare soltanto i parametri del modello globale aggregati al termine di ogni ciclo di comunicazione.
Valutare la privacy e la sicurezza mediante analisi dell'esposizione dei dati grezzi, della condivisione non autorizzata, dell'inferenza di appartenenza e dell'inversione del modello. Per l'inferenza di appartenenza, confrontare l'AUC-ROC dell'attacco con la linea di base casuale (0,50); valutare l'inversione utilizzando l'indice di similarità strutturale (SSIM) e il rapporto segnale-rumore di picco (PSNR) per le immagini retiniche e l'errore normalizzato di ricostruzione per le caratteristiche numeriche.
Verificare l'aggregazione sicura confermando che il server non possa accedere agli aggiornamenti individuali non aggregati dei client. Verificare la protezione AES-256/TLS 1.3 e confermare che non avvengano trasmissioni di aggiornamenti del modello non crittografati.
Confrontare le metriche sulla privacy tra configurazioni federate e centralizzate, ove applicabile, e riportare le metriche specificate in Tabella supplementare 4.
Stimare la complessità computazionale dell'addestramento di un transformer locale come O(N × L × d²), dove N rappresenta il numero di campioni, L rappresenta il numero di strati del transformer e d rappresenta la dimensione dell'embedding.
Stimare la complessità computazionale dell'aggregazione federata come O(K × P) per ogni ciclo di comunicazione, dove K rappresenta il numero di client partecipanti e P rappresenta il numero di parametri del modello addestrabili.
Scambiare solo i parametri del modello protetti tra i client partecipanti e il server centrale di aggregazione durante ogni round di comunicazione. Calcolare il sovraccarico di comunicazione in base alla dimensione del modello, al numero di client partecipanti e al numero di round di comunicazione.
Confrontare l'overhead dello scambio di parametri con il costo stimato del trasferimento dei corrispondenti dataset sanitari multimodali. Configurare il framework di apprendimento federato in base ai parametri riassunti in Tabella supplementare 4. Il flusso di lavoro dell'apprendimento federato e il processo di aggregazione dei parametri sono illustrati in Figura 5.

6. Costruire il modulo di raccomandazione personalizzata dei farmaci

Importare i dati farmacologici, relativi ai farmaci, al trattamento del paziente e alle interazioni tra farmaci nell'ambiente computazionale. Costruire un grafo sanitario eterogeneo contenente nodi relativi a pazienti, farmaci, malattie, esami di laboratorio e fattori di rischio clinici.
Definire le relazioni tra paziente-malattia, paziente-farmaco, malattia-farmaco, interazione tra farmaci e paziente-laboratorio come archi del grafo. Verificare la struttura del grafo ed eliminare relazioni duplicate, non valide o disconnesse prima dell'addestramento del modello.
Rappresentare i nodi paziente mediante età, sesso, indice di massa corporea (BMI), HbA1c, glicemia, pressione sanguigna e durata del diabete. Rappresentare i nodi farmaco mediante classe del farmaco, meccanismo d'azione, dosaggio, frequenza di somministrazione ed effetti avversi noti.
Rappresentare i nodi malattia mediante gravità della malattia, stadio della malattia e complicanze associate. Codificare gli attributi categorici e normalizzare le caratteristiche continue dei nodi prima dell'addestramento di GraphSAGE.
Inizializzare gli embedding dei nodi utilizzando le caratteristiche dei nodi preelaborate. Campionare fino a 25 nodi vicini per ogni nodo bersaglio durante l'aggregazione del vicinato. Aggregare le rappresentazioni dei nodi vicini utilizzando l'aggregazione media. Aggiornare gli embedding dei nodi bersaglio utilizzando le rappresentazioni aggregate del vicinato.
Applicare la funzione di attivazione rectified linear unit (ReLU) dopo ogni livello di GraphSAGE. Normalizzare gli embedding risultanti dei nodi. Ripetere la procedura di aggregazione del vicinato su tre livelli di GraphSAGE.
Configurare il modello GraphSAGE con una dimensione nascosta di 256, una dimensione dell'embedding di 128, tre livelli di GraphSAGE, una dimensione di campionamento dei vicini pari a 25, una percentuale di dropout di 0,30, una velocità di apprendimento di 1 × 10⁻⁴, una dimensione del batch di 512 e un massimo di 100 epoche di addestramento. Ottimizzare il modello utilizzando l'ottimizzatore Adam.
Calcolare l'embedding specifico del paziente a partire dal modello GraphSAGE addestrato. Calcolare gli embedding per i farmaci candidati. Calcolare i punteggi di idoneità tra la rappresentazione del paziente e le rappresentazioni dei farmaci candidati. Ordinare i farmaci candidati in base ai loro punteggi di idoneità predetti.
Identificare ed eliminare i farmaci controindicati o potenzialmente non sicuri utilizzando le informazioni disponibili sulle interazioni tra farmaci. Restituire i cinque farmaci idonei con punteggio più alto come raccomandazioni personalizzate Top-5.
Addestrare il modello di raccomandazione utilizzando la funzione di perdita Bayesian Personalized Ranking (BPR). Ottimizzare l'obiettivo di ordinamento in modo da assegnare punteggi più elevati ai farmaci clinicamente appropriati rispetto ai farmaci candidati meno adatti.
Identificare i nodi vicini influenti e le relazioni nel grafo clinicamente rilevanti che contribuiscono a ciascuna raccomandazione di farmaco. Calcolare i punteggi di attribuzione delle caratteristiche relative a paziente, malattia, laboratorio e farmaco che contribuiscono alla raccomandazione.
Generare spiegazioni basate su grafi visivi che mostrano le relazioni che contribuiscono a ciascuna raccomandazione personalizzata di farmaco. Configurare il modello di raccomandazione GraphSAGE secondo i parametri riassunti nella Tabella Supplementare 5. Il flusso di lavoro per la raccomandazione personalizzata di farmaci basata su grafi è illustrato nella Figura 6.

7. Eseguire la valutazione dell'interpretabilità

Eseguire l'analisi SHAP
1. Caricare il trasformatore multimodale addestrato e il dataset di test tenuto in riserva nell'ambiente computazionale.
2. Inizializzare lo spiegatore SHAP utilizzando il modello predittivo addestrato e un campione di background composto da 100 campioni di addestramento, selezionati esclusivamente dal dataset di addestramento mediante campionamento casuale stratificato in base alla classe dell'esito diabete. Mantenere la distribuzione approssimativa delle classi della partizione completa di addestramento nel campione di background e utilizzare un seme casuale fisso pari a 42 per garantire una selezione riproducibile dei campioni. Calcolare i valori SHAP per i campioni di test selezionati.
3. Calcolare l'importanza globale delle caratteristiche a partire dai valori assoluti di SHAP, generare visualizzazioni SHAP globali e locali e conservare i valori calcolati per analisi quantitative e statistiche successive.
Eseguire l'analisi dei gradienti integrati
1. Selezionare campioni rappresentativi correttamente classificati e mal classificati dal dataset di test tenuto in riserva. Definire input di base specifici per ogni modalità prima di calcolare i Gradienti Integrati. Utilizzare un valore di base pari a zero per le caratteristiche numeriche cliniche e CGM normalizzate, rappresentando un contributo nullo della caratteristica normalizzata, e utilizzare un'immagine di base con valori nulli per l'input dell'immagine retinica normalizzata.
2. Calcolare i punteggi di attribuzione dei Gradienti Integrati utilizzando 100 passi di interpolazione tra l'input di base e l'input originale. Normalizzare i punteggi di attribuzione risultanti per consentire il confronto tra caratteristiche e modalità. Generare visualizzazioni di attribuzione per identificare le caratteristiche cliniche, temporali e di imaging influenti che contribuiscono alle singole previsioni del modello.
Eseguire la visualizzazione dell'attenzione
1. Estrarre le matrici di attenzione dai livelli del trasformatore addestrato per campioni di test rappresentativi. Calcolare i pesi medi di attenzione attraverso le teste di attenzione corrispondenti. Generare mappe termiche di attenzione per visualizzare le interazioni cross-modali tra rappresentazioni cliniche, temporali e di imaging retinico. Identificare le caratteristiche cliniche, temporali e retiniche dominanti che ricevono pesi elevati di attenzione durante la previsione.
2. Estrarre i pesi di attenzione dal trasformatore multimodale addestrato per un campione di test tenuto in riserva selezionato casualmente e visualizzare le distribuzioni corrispondenti di attenzione per le caratteristiche cliniche, temporali CGM, spaziali retiniche e cross-modali.
Generare spiegazioni controfattuali
1. Selezionare record di pazienti rappresentativi dal dataset di test tenuto in riserva. Definire intervalli e vincoli clinicamente accettabili per le caratteristiche modificabili del paziente prima di generare campioni controfattuali. Limitare le caratteristiche continue all'intervallo osservato nei dati di addestramento e limitare le caratteristiche categoriche alle categorie valide osservate nei dati di addestramento. Non modificare le caratteristiche demografiche immutabili, inclusi età e sesso.
2. Generare campioni controfattuali modificando minimamente solo le caratteristiche modificabili consentite, mantenendo i vincoli predefiniti clinici e del dominio delle caratteristiche. Rifiutare i controfattuali che contengono valori al di fuori dell'intervallo osservato nei dati di addestramento, stati categorici non validi o modifiche a caratteristiche immutabili. Identificare le modifiche alle caratteristiche clinicamente plausibili più piccole necessarie per alterare l'esito previsto.
3. Segnalare le caratteristiche modificate, i valori originali, i valori controfattuali e i corrispondenti cambiamenti nelle previsioni del modello. Il flusso di lavoro per la valutazione della spiegabilità è illustrato nella Figura 7, mentre esempi rappresentativi di output di visualizzazione dell'attenzione e di spiegazioni controfattuali sono presentati nella Figura Supplementare 1.
Valutare la qualità delle spiegazioni
1. Calcolare la fedeltà per quantificare l'accordo tra le spiegazioni generate e il comportamento del modello predittivo. Calcolare la stabilità generando ripetutamente spiegazioni in presenza di piccole perturbazioni in ingresso e confrontando i modelli di attribuzione risultanti. Valutare la coerenza confrontando le spiegazioni generate per campioni di test clinicamente simili.
2. Calcolare la sparsità determinando il numero o la proporzione di caratteristiche che contribuiscono in modo significativo a ciascuna spiegazione. Valutare la completezza per determinare se le caratteristiche attribuite spiegano adeguatamente l'output corrispondente del modello. Valutare la sensibilità misurando i cambiamenti nei punteggi di attribuzione a seguito di perturbazioni controllate delle caratteristiche in ingresso.
3. Calcolare l'infedeltà per quantificare il disaccordo tra le attribuzioni delle caratteristiche e i cambiamenti osservati nelle previsioni del modello. Registrare tutte le metriche quantitative di spiegabilità per analisi statistiche successive.
Eseguire la validazione clinica prospettica
1. Per una futura validazione clinica prospettica, ottenere l'approvazione dal comitato etico istituzionale competente prima di reclutare esperti clinici. Dopo aver ottenuto l'approvazione etica, reclutare 12 clinici composti da sei endocrinologi, tre specialisti in diabete e tre farmacologi clinici, e ottenere il consenso informato da tutti i partecipanti prima di avviare la valutazione.
2. Selezionare casualmente previsioni del modello rappresentative e le corrispondenti spiegazioni per la valutazione da parte dei clinici. Presentare le spiegazioni selezionate in modo indipendente a ciascun clinico partecipante utilizzando un formato di valutazione standardizzato.
3. Chiedere a ciascun clinico di valutare l'utilità, la rilevanza clinica, l'interpretabilità e l'affidabilità della spiegazione utilizzando una scala Likert a cinque punti. Registrare i punteggi anonimi dei clinici e calcolare l'accordo tra valutatori e le corrispondenti misure statistiche come specificato al Passo 7.7.
Eseguire l'analisi statistica
1. Valutare la distribuzione dei punteggi di valutazione quantitativi prima di selezionare il test statistico di confronto. Applicare un test t per campioni appaiati a misurazioni appaiate normalmente distribuite o il test dei ranghi con segno di Wilcoxon a misurazioni appaiate non normalmente distribuite, secondo opportunità.
2. Calcolare il kappa di Fleiss per quantificare l'accordo tra i clinici partecipanti. Calcolare intervalli di confidenza al 95% per le metriche principali di spiegabilità e di valutazione clinica. Impostare la soglia di significatività statistica a p < 0,05.
Segnalare le statistiche del test calcolate, gli intervalli di confidenza e i valori p insieme ai risultati di valutazione corrispondenti. Valutare e riportare le metriche di spiegabilità secondo i criteri riassunti nella Tabella Supplementare 6.

8. Valutare le prestazioni del modello

Confronta FedMediFormer-XAI con Logistic Regression, Random Forest, XGBoost, TabTransformer, Vision Transformer, Temporal Transformer e il multimodal transformer centralizzato utilizzando accuratezza, precisione, richiamo, punteggio F1, MCC e AUC-ROC.
Esegui ogni valutazione del modello di riferimento utilizzando la stessa strategia predefinita di training, validazione e test per garantire un confronto coerente con il framework proposto.
Ripeti la valutazione del modello in esecuzioni sperimentali indipendenti e registra le metriche di prestazione ottenute in ciascuna esecuzione. Calcola la media, la deviazione standard (SD) e l'intervallo di confidenza al 95% (IC) per Accuratezza, Precisione, Richiamo, Punteggio F1, MCC e AUC-ROC. Riporta i risultati delle prestazioni come media ± SD insieme all'IC corrispondente al 95%.
Valuta la normalità delle differenze appaiate nelle prestazioni tra FedMediFormer-XAI e ciascun modello di riferimento. Applica un test t appaiato per misurazioni appaiate normalmente distribuite e il test di Wilcoxon per misurazioni appaiate non normalmente distribuite. Imposta la soglia di significatività statistica a p < 0,05.
Riporta le statistiche del test corrispondenti, i valori p e gli intervalli di confidenza al 95% per quantificare la significatività statistica e l'incertezza delle differenze osservate nelle prestazioni.
Conta il numero totale di round di comunicazione fino a quando i modelli convergono definitivamente. Monitora le prestazioni del modello globale durante l'addestramento federato. Analizza come la convergenza evolve nel tempo in funzione dei round di comunicazione.
Verifica l'efficacia dell'aggregazione dei parametri. Esamina in che modo l'apprendimento decentralizzato influisce sulle prestazioni predittive. Confronta i risultati ottenuti con l'apprendimento federato e con quello centralizzato.
Valuta la convergenza federata lungo i round di comunicazione e confronta le prestazioni predittive federate e centralizzate. Valuta i suggerimenti di farmaci utilizzando Precision@5, Recall@5 e NDCG@5.
Genera campioni negativi – campioni di farmaci dal pool di farmaci candidati idonei selezionando i medicinali che non sono osservati come interazioni positive paziente-farmaco per il paziente corrispondente. Escludi dal pool di campionamento negativo tutte le interazioni positive note e tutti i farmaci controindicati. Mantieni un rapporto fisso di campionamento negativo/positivo di 1:1 per l'addestramento della raccomandazione e utilizza un seme casuale fisso pari a 42 per garantire la riproducibilità della selezione dei campioni negativi.
Definisci l'insieme di elementi rilevanti per ogni paziente esclusivamente dai dati di valutazione tenuti in serbo. Definisci l'insieme di elementi rilevanti Ru per il paziente u come l'insieme dei farmaci che soddisfano i criteri di interazione positiva paziente-farmaco nei record reali tenuti in serbo. Non utilizzare le predizioni del modello per costruire Ru. Rimuovi i farmaci controindicati dall'insieme di raccomandazione candidato prima del ranking.
Genera i cinque farmaci idonei con punteggio più alto per ogni paziente in valutazione. Calcola Precision@5 come la proporzione dei cinque farmaci raccomandati che appartengono all'insieme di elementi rilevanti Ru del paziente. Calcola Recall@5 come la proporzione dei farmaci rilevanti del paziente recuperati tra le cinque raccomandazioni. Calcola NDCG@5 utilizzando la rilevanza graduata dei farmaci raccomandati, assegnando una rilevanza maggiore ai farmaci clinicamente appropriati e rilevanza zero ai farmaci non rilevanti. Aggrega le metriche su tutti i pazienti in valutazione e riporta la media di Precision@5, Recall@5 e NDCG@5.
Costruisci il ground truth per la raccomandazione prima della valutazione del modello e mantieni separate le interazioni paziente-farmaco tenute in serbo dai dati di addestramento per la raccomandazione. Non utilizzare interazioni di farmaci nel test set, etichette del test set o informazioni su trattamenti futuri durante l'addestramento di GraphSAGE, il campionamento negativo o il ranking dei candidati.
Misura la fedeltà per verificare quanto bene le spiegazioni rispecchiano il comportamento del modello. Valuta la stabilità delle spiegazioni attraverso esami multipli. Giudica la comprensibilità sulla base di criteri orientati ai medici.
Analizza la coerenza delle spiegazioni tra diversi tipi di dati. Conferma il valore clinico delle spiegazioni prodotte. Le metriche di valutazione utilizzate nello studio sono riassunte nella Supplementary Table 7.

9. Eseguire la validazione clinica prospettica

Eseguire una validazione clinica prospettiva dopo aver ottenuto l'approvazione etica appropriata e il consenso informato, seguendo le procedure di reclutamento, valutazione, raccolta dati e analisi statistica descritte nei passaggi 7.6–7.8. Il disegno della validazione clinica prospettica, inclusa la composizione dei partecipanti, i criteri di valutazione, le condizioni di confronto e le analisi statistiche pianificate, è riassunto nella Tabella Supplementare 8.

10. Eseguire la validazione e la valutazione della riproducibilità

Eseguire studi di ablazione rimuovendo sistematicamente singoli componenti dal framework completo FedMediFormer-XAI, mantenendo invariate le partizioni del dataset, le procedure di pre-elaborazione, le impostazioni di addestramento e i criteri di valutazione. Valutare il modello completo e le configurazioni senza aumento basato sulla diffusione, apprendimento federato, raccomandazione di farmaci basata su GraphSAGE e fusione multimodale.
Confrontare le configurazioni ablate con il framework completo FedMediFormer-XAI utilizzando Accuratezza, Precisione, Richiamo, F1-score, MCC e AUC-ROC. Quantificare la variazione di ciascuna metrica di prestazione per determinare il contributo di ogni componente del framework. Confrontare i risultati della validazione con quelli dei test interni per valutare la generalizzabilità. Eseguire test di significatività statistica per determinare l'affidabilità delle differenze di prestazione osservate.
Valutare la generalizzabilità del framework utilizzando un dataset esterno indipendente, qualora sia disponibile un dataset con variabili di ingresso e definizioni di esito compatibili. Applicare le stesse procedure di pre-elaborazione e valutazione utilizzate per il dataset di test interno e confrontare le metriche di prestazione risultanti con i risultati del test interno.
Eseguire l'analisi di significatività statistica su ripetute esecuzioni sperimentali. Valutare la normalità delle differenze appaiate di prestazione prima del test statistico. Applicare un test t appaiato per misurazioni appaiate normalmente distribuite e il test dei ranghi con segno di Wilcoxon per misurazioni appaiate non normalmente distribuite. Impostare la soglia di significatività statistica a p < 0,05.
Calcolare la media e l'intervallo di confidenza al 95% per Accuratezza, Precisione, Richiamo, F1-score, MCC e AUC-ROC. Riportare le corrispondenti statistiche del test, i valori p e gli intervalli di confidenza per i principali confronti tra modelli. Documentare tutti i parametri del modello, le procedure di pre-elaborazione, le configurazioni di addestramento e i protocolli di valutazione necessari per riprodurre gli esperimenti descritti.
Conservare il codice sorgente, i file di configurazione, gli script di valutazione e le specifiche dei modelli addestrati utilizzati negli esperimenti descritti. Mantenere registrazioni dettagliate dell'addestramento del modello, delle impostazioni sperimentali, dei semi casuali e dei risultati di valutazione.
Verificare completezza e coerenza dei materiali disponibili per la riproducibilità. Assicurarsi che i metodi e i materiali documentati forniscano informazioni sufficienti per la riproduzione indipendente del flusso di lavoro sperimentale.
Riassumere le risorse per la riproducibilità e le procedure di validazione utilizzate nello studio in Tabella Supplementare 9. Documentare la procedura dello studio di ablazione e i criteri di valutazione per analizzare il contributo dei principali componenti del framework.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Risultati

Analisi delle prestazioni predittive
FedMediFormer-XAI ha dimostrato prestazioni predittive migliorate rispetto ai modelli di base unimodali e convenzionali valutati. L'aumento basato sulla diffusione ha migliorato la rappresentazione delle classi minoritarie e le prestazioni predittive risultanti sono riassunte nella Tabella 3. La valutazione con esecuzioni ripetute ha dimostrato prestazioni predittive stabili tra i modelli valutati. FedMediFormer-XAI ha ottenuto le prestazioni comp...

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Discussione

Interpretazione dei risultati chiave
I risultati rappresentativi mostrano che è possibile combinare l'apprendimento multimodale basato su transformer, l'apprendimento federato, l'aumento basato su diffusione, la raccomandazione di farmaci basata su reti neurali su grafi e l'intelligenza artificiale interpretabile in un unico framework integrato per l'analisi del diabete. Integrando cartelle cliniche, indicatori di salute della popolazione, dati di monitoraggio continuo del glucosio, immagini del fo...

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Dichiarazioni

Gli autori dichiarano di non avere interessi finanziari in conflitto, conflitti di interessi o rapporti personali che potrebbero aver influenzato il lavoro riportato in questo studio. Gli strumenti di intelligenza artificiale sono stati utilizzati esclusivamente per assistere nel perfezionamento linguistico, nell'organizzazione del manoscritto, nella formattazione e nella revisione durante la preparazione di questo articolo. Tutti i contenuti scientifici, la progettazione dello studio, la metodologia, l'analisi dei dati, l'interpretazione dei risultati e le conclusioni sono stati sviluppati, verificati e approvati dagli autori. Gli autori si assumono piena responsabilità per l'accuratezza, l'integrità e l'originalità del lavoro presentato in questo manoscritto.

Ringraziamenti

Gli autori ringraziano gli sviluppatori e i responsabili della manutenzione dei set di dati disponibili pubblicamente e delle risorse software open source utilizzate in questo studio.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Materiali

Elenco dei materiali utilizzati in questo articolo
Nome	Azienda	Numero di catalogo	Commenti
Crittografia AES	NIST	AES-256	Crittografia dei dati a riposo / dei parametri del modello protetti nell'apprendimento federato
Dataset APTOS 2019 per il rilevamento della cecità	Kaggle/APTOS	Rilascio del 2019	Dataset di immagini del fondo oculare; disponibile pubblicamente e anonimizzato; https://www.kaggle.com/competitions/aptos2019-blindness-detection/data
Captum	Meta AI	Versione 0,8	Interpretabilità del modello e analisi delle attribuzioni
CUDA Toolkit	NVIDIA	Versione 12.2	Calcolo accelerato tramite GPU
Set di dati sugli indicatori di salute del diabete (CDC BRFSS 2015)	CDC/BRFSS; Kaggle	Rilascio 2015	Indicatori di salute della popolazione; disponibili pubblicamente e anonimizzati; https://www.kaggle.com/datasets/alexteboul/diabetes-health-indicators-dataset
Dataset per il Rilevamento della Retinopatia Diabetica	Kaggle	Comunicato stampa	Dataset di immagini retiniche; disponibile pubblicamente e anonimizzato; https://www.kaggle.com/c/diabetic-retinopathy-detection/data
Certificati digitali	-	-	Autenticazione del client nell'apprendimento federato
Set di dati sulle interazioni farmacologiche	Kaggle	Comunicato stampa	Dati grafici di interazione tra farmaci; disponibili pubblicamente e anonimizzati; https://www.kaggle.com/datasets/rohanharode07/drug-drug-interaction
Dataset di revisione farmaceutica	Repositorio di Apprendimento Automatico dell'Università della California a Irvine	Dataset 462	Dataset sull'efficacia dei farmaci e recensioni; disponibile pubblicamente e anonimizzato; https://archive.ics.uci.edu/dataset/462/drug+review+dataset+drugs+com
Matplotlib	Sviluppatori di Matplotlib	Versione 3.9	Visualizzazione
Set di dati sul diabete MTS	Kaggle	Comunicato stampa	Dataset di sensori indossabili per la predizione del diabete; disponibile pubblicamente e anonimizzato; https://www.kaggle.com/datasets/marshalpatel3558/diabetespredictiondataset
NetworkX	Sviluppatori di NetworkX	Versione 3.3	Costruzione e analisi del grafo delle interazioni farmacologiche
NumPy	Sviluppatori di NumPy	Versione 1.26	Calcolo numerico
NVIDIA RTX 4090 GPU	NVIDIA	RTX 4090	Addestramento e inferenza del modello; almeno 32 GB di memoria di sistema
Dataset OhioT1DM	Ohio University	Comunicato stampa	Dataset di monitoraggio glucidico continuo; disponibile pubblicamente e anonimizzato; https://webpages.charlotte.edu/rbunescu/data/ohiot1dm/OhioT1DM-dataset.html
OpenCV	Fondazione OpenCV	Versione 4.10	Elaborazione delle immagini
Pandas	PyData	Versione 2.2	Elaborazione e preelaborazione dei dati
Set di dati sul diabete dei Pima Indians	Repositorio di apprendimento automatico dell'Università della California, Irvine	Dataset 34	Dataset per la predizione clinica del diabete; disponibile pubblicamente e anonimizzato; https://archive.ics.uci.edu/dataset/34/diabetes
Python	Python Software Foundation	Versione 3.11	Ambiente di programmazione primario
PyTorch	Meta AI	Versione 2.3	Sviluppo e addestramento di modelli di apprendimento profondo
PyTorch Geometric	PyG Team	Versione 2.5	Costruzione e addestramento di reti neurali su grafi
Scikit-learn	Sviluppatori di Scikit-learn	Versione 1.5	Utilità e valutazione del machine learning
Meccanismo di aggregazione sicura	-	-	Aggregazione protetta dei parametri locali del modello nell'apprendimento federato
SHAP	Sviluppatori di SHAP	Versione 0.47	Intelligenza artificiale spiegabile e analisi dell'attribuzione delle caratteristiche
TensorFlow	Google	Versione 2.15	Sviluppo e addestramento di modelli di apprendimento profondo
Transformers	Hugging Face	Versione 4.45	Implementazione di un'architettura basata su transformer
Transport Layer Security	IETF	TLS 1.3	Canale di comunicazione crittografato per lo scambio di parametri federati
Postazione di lavoro	Generico	-	Ambiente computazionale; almeno 32 GB di memoria di sistema

Riferimenti

Al-Hejri AM, et al. A hybrid explainable federated-based vision transformer framework for breast cancer prediction via risk factors. Sci Rep. 2025;15:18453.
Dosovitskiy A, et al. An image is worth 16×16 words: transformers for image recognition at scale [conference presentation]. Presented at: International Conference on Learning Representations (ICLR); 2021. [https://arxiv.org/abs/2010.11929]
Touvron H, et al. Training data-efficient image transformers & distillation through attention [conference presentation]. Presented at: 38th International Conference on Machine Learning; 2021. [https://arxiv.org/abs/2012.12877]
Kotelnikov A, Baranchuk D, Rubachev I, Babenko A. TabDDPM: modelling tabular data with diffusion models [conference presentation]. Presented at: 40th International Conference on Machine Learning (ICML); 2023. [https://arxiv.org/abs/2209.15421]
Pinaya WHL, et al. Brain imaging generation with latent diffusion models [conference presentation]. Presented at: International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI); 2022. [https://arxiv.org/abs/2209.07162]
Ho J, Jain A, Abbeel P. Denoising diffusion probabilistic models [conference presentation]. Presented at: Advances in Neural Information Processing Systems (NeurIPS); 2020. [https://arxiv.org/abs/2006.11239]
Song Y, et al. Score-based generative modeling through stochastic differential equations [conference presentation]. Presented at: International Conference on Learning Representations (ICLR); 2021. [https://arxiv.org/abs/2011.13456]
Li T, Sahu AK, Talwalkar A, Smith V. Federated learning: challenges, methods, and future directions. IEEE Signal Process Mag. 2020;37(3):50-60.
Kairouz P, et al. Advances and open problems in federated learning. Found Trends Mach Learn. 2021;14(1-2):1-210.
Rieke N, et al. The future of digital health with federated learning. NPJ Digit Med. 2020;3:119.
Kaissis GA, Makowski MR, Rückert D, Braren RF. Secure, privacy-preserving and federated machine learning in medical imaging. Nat Mach Intell. 2020;2(6):305-11.
Sheller MJ, et al. Federated learning in medicine: facilitating multi-institutional collaborations without sharing patient data. Sci Rep. 2020;10:12598.
McMahan HB, et al. Communication-efficient learning of deep networks from decentralized data [conference presentation]. Presented at: International Conference on Artificial Intelligence and Statistics (AISTATS); 2017. [https://arxiv.org/abs/1602.05629]
Lundberg SM, et al. From local explanations to global understanding with explainable AI for trees. Nat Mach Intell. 2020;2(1):56-67.
Ribeiro MT, Singh S, Guestrin C. Why should I trust you? Explaining the predictions of any classifier [conference presentation]. Presented at: ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD); 2016. [https://arxiv.org/abs/1602.04938]
Wachter S, Mittelstadt B, Russell C. Counterfactual explanations and algorithmic recourse in healthcare AI. AI Ethics. 2021;1(2):123-37.
Chen J, Liao W, Yu W. Explainable AI for precision medicine: a systematic review. Brief Bioinform. 2024;25(2):bbae045.
Zitnik M, Agrawal M, Leskovec J. Modeling polypharmacy side effects with graph neural networks. Bioinformatics. 2020;36(2):i457-i466.
Wu Z, et al. A comprehensive survey on graph neural networks. IEEE Trans Neural Netw Learn Syst. 2021;32(1):4-24.
Hamilton WL. Graph representation learning. Morgan & Claypool Publishers; San Rafael (CA); 2020.
Shang J, Ma T, Xiao C, Sun J. Pre-training of graph augmented transformers for medication recommendation [conference presentation]. Presented at: International Joint Conference on Artificial Intelligence (IJCAI); 2021. [https://arxiv.org/abs/1906.00346]
Wang X, et al. Neural graph collaborative filtering. IEEE Trans Knowl Data Eng. 2021;33(5):2136-49.
Yu KH, Beam AL, Kohane IS. Artificial intelligence in healthcare. Nat Biomed Eng. 2021;5(8):719-31.
Muhammad G, Hossain MS, Kumar N. EEG-based pathology detection for home health monitoring. IEEE J Sel Areas Commun. 2021;39(2):603-10.
Alshehri F, Muhammad G. Internet of Things and edge computing in healthcare: a survey. IEEE Access. 2021;9:3660-78.
Vaid A, et al. Federated learning of electronic health records to improve mortality prediction. JMIR Med Inform. 2021;9(1):e24207.
Lim WYB, et al. Dynamic contract design for federated learning in smart healthcare applications. IEEE Internet Things J. 2021;8(23):16853-62.
Chikumo OT, et al. Transformer-based models for disease prediction using electronic health records: a systematic review. J Appl Artif Intell Comput. 2026;10(1):1-18.
Lai T. Interpretable medical imagery diagnosis with self-attentive transformers: a review of explainable AI for healthcare. Diagnostics (Basel). 2023;13(18):3021.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Ristampe e permessi

Esplora altri articoli

Apprendimento federato reti neurali a grafo previsione del diabete IA spiegabile generazione di dati sintetici privacy del paziente medicina personalizzata