Apprentissage fédéré robuste et adversarial pour une prédiction sécurisée du risque de mortalité à l’aide de dossiers médicaux électroniques multi-institutionnels (DSE)

Résumé

Cette étude propose un modèle d’apprentissage fédéré Adversarial-Robust (AR-FL) pour la prédiction du risque de mortalité à l’aide de dossiers médicaux électroniques multi-institutionnels. Le modèle intègre un entraînement adversaire min–max, une attention consciente du domaine et une agrégation préservant la confidentialité pour renforcer la robustesse, l’adaptabilité et la confidentialité des données, permettant un système d’aide à la décision clinique sécurisé, fiable et généralisable, adapté à des environnements de santé hétérogènes.

Résumé

Les dossiers médicaux électroniques (DME) sont la principale source de données qui permet une prise de décision clinique fondée sur les données. Cependant, le caractère sensible des DME et les politiques strictes de confidentialité dans le secteur de la santé rendent la formation centralisée par modèle difficile, voire impossible. Un modèle d’apprentissage fédéré Adversarially Robust (AR-FL) est proposé pour prédire le risque de mortalité des patients dans différentes institutions sans partager les données originales du DME. L’objectif principal de cette étude est d’introduire une procédure sécurisée, reproductible et évolutive pour entraîner des modèles prédictifs respectueux de la vie privée et résistants à la concurrence dans divers contextes cliniques. Cette étude utilise une approche d’entraînement adversaire min–max dans chaque établissement afin d’améliorer la robustesse face aux perturbations du pire des cas. Un mécanisme d’attention consciente du domaine est également employé pour s’adapter dynamiquement aux différences de distribution des caractéristiques cliniques au sein de l’institution. Pour des raisons de confidentialité, les mises à jour du modèle sont regroupées à l’aide de méthodes de protection de la vie privée qui bloquent la divulgation de données sensibles des patients lors de la communication fédérée. Cette étude précise l’ensemble du processus, du prétraitement des données et de la génération d’exemples adversariaux à la formation locale, à l’agrégation sécurisée et à l’évaluation globale des modèles, permettant une mise en œuvre cohérente dans divers environnements de santé. Les validations expérimentales démontrent que le modèle AR-FL atteint une performance prédictive supérieure, une robustesse adversaire et une généralisation interinstitutionnelle. En établissant un pipeline standardisé de formation et d’évaluation, cette étude soutient le développement de systèmes d’aide à la décision clinique fiables et éthiquement conformes.

Introduction

L’apprentissage fédéré (FL) s’est imposé comme un paradigme transformateur pour l’analyse de santé préservant la vie privée, en permettant une formation collaborative sur des modèles à travers les données décentralisées de dossiers médicaux électroniques (DSE) sans partager d’informations brutes des patients. Cette approche atténue les silos de données et les contraintes réglementaires tout en améliorant la performance prédictive dans des tâches telles que la prévision de la mortalité. Cependant, malgré ces avantages, les systèmes FL restent vulnérables aux attaques adversaires et empoisonnantes. La figure 1 illustre l’architecture collaborative et le flux de travail de l’apprentissage fédéré à travers les établissements cliniques distribués.

Figure 1 : Architecture d’apprentissage fédérée générique et applications d’imagerie médicale. Cette figure illustre le flux de travail standard de l’apprentissage fédéré, montrant le stockage décentralisé des données, l’entraînement local des modèles et l’agrégation sécurisée côté serveur, ainsi que ses applications en analyse d’imagerie médicale. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Les avancées récentes dans l’analyse des soins de santé mettent en lumière l’efficacité des modèles d’apprentissage profond dans le traitement des données de dossiers médicaux électroniques à grande échelle. Des recherches antérieures¹ ont démontré que l’apprentissage profond peut obtenir des prédictions précises et évolutives à partir de données cliniques brutes. De plus, Miotto et ^al.2 ont examiné les opportunités et défis plus larges liés au déploiement de l’apprentissage profond dans les systèmes de santé. De plus, des innovations spécifiques à un domaine comme^{ClinicalBERT 3} ont amélioré la compréhension des textes cliniques et les capacités prédictives, tandis que des ensembles de données de référence tels que MIMIC-III⁴, MIMIC-IV⁵ et^{eICU 6} ont permis des évaluations reproductibles et à grande échelle dans la recherche en soins critiques.

L’apprentissage fédéré a suscité une attention significative en tant que solution permettant des analyses collaboratives en santé sans compromettre la confidentialité des données. Les études existantes ^7,8 ont abordé son rôle dans le développement de la santé numérique, ainsi que les défis associés et les questions de recherche ouverte. De plus, l’apprentissage fédéré a démontré une applicabilité pratique dans des scénarios de santé réels, notamment la collaboration^{interinstitutionnelle 9} et la prédiction des résultats cliniques pour les patients COVID-19¹⁰. Cependant, des défis tels que l’hétérogénéité des données restent importants. Pour y remédier, des stratégies d’optimisation pour des environnements hétérogènes¹¹ et des approches telles que FedBN¹², qui utilise la normalisation locale par lots, ont été proposées afin d’améliorer la convergence et la généralisation des modèles.

La sécurité et la robustesse dans l’apprentissage fédéré sont devenues des préoccupations majeures en raison de l’exposition croissante aux menaces adverses. Le concept d’exemples^{adversariaux 13} a révélé que de petites perturbations peuvent induire en erreur les modèles d’apprentissage profond avec une grande confiance. Dans les contextes fédérés, ces vulnérabilités sont aggravées par des menaces telles que les attaques dérobées¹⁴ et l’empoisonnement des modèles. Pour faire face à ces risques, des approches d’apprentissage fédéré regroupées résilientes à l’adversaire et des techniques d’optimisation robustes basées sur l’entraînement adversaire ont été^{proposées 15,16}. De plus, des cadres de communication sécurisés intégrant gradient boosting et modèles^{LSTM 17} ont été développés pour atténuer les attaques man-in-the-middle. Parallèlement, des architectures avancées telles que DBAFL ^18,19 visent à se défendre contre les attaques empoisonnantes dans des environnements distribués.

La préservation de la vie privée reste une exigence fondamentale dans les systèmes de santé fédérés. Les modèles entraînés en collaboration peuvent divulguer des informations sensibles via des attaques basées sur GAN, mettant en lumière les risques inhérents à la vie^{privée 20}. Pour atténuer ces problèmes, les protocoles d’agrégation sécurisée²¹ et les techniques de confidentialité différentielle²² ont été introduits afin de garantir la confidentialité dans l’apprentissage distribué. De plus, des solutions basées sur la^{blockchain 23, 24} ont été proposées pour la gestion sécurisée des dossiers électroniques électroniques et le partage des données, avec des études supplémentaires^{25, 26, 27, 28} étendant ces approches pour améliorer l’interopérabilité, la sécurité et l’efficacité des systèmes de santé.

L’avancée rapide de l’intelligence artificielle dans le secteur de la santé a également conduit au développement de modèles intelligents hybrides et de systèmes intégrés qui améliorent la performance prédictive et la prise de décision. Des études antérieures ont également abordé le rôle transformateur de l’IA en^{médecine 29} ainsi que les attaques adversaires et les mécanismes de défense dans les systèmes d’apprentissage^{automatique 29,30}.

Malgré ces avancées, la recherche existante reste fragmentée. De nombreux modèles d’apprentissage fédéré n’intègrent pas la robustesse adversaire, ce qui les rend vulnérables aux attaques. De plus, l’hétérogénéité des domaines est souvent insuffisamment prise en compte, limitant la généralisation entre institutions. Les mécanismes de préservation de la vie privée sont souvent mis en œuvre isolément, sans intégration avec des stratégies de robustesse et d’adaptation de domaine, ce qui aboutit à des systèmes d’IA de santé incomplets et moins fiables. Pour remédier à ces limitations, cet article propose un cadre intégré d’apprentissage fédéré robuste et adversarial qui combine entraînement adversarial, mécanismes d’attention conscients du domaine et agrégation sécurisée. L’approche proposée renforce la robustesse face aux attaques, améliore l’adaptabilité à travers des environnements cliniques hétérogènes et garantit la confidentialité des données des patients, offrant ainsi une solution complète pour les applications réelles multi-institutionnelles de santé.

Protocole

Méthodologie proposée
Le modèle proposé d’apprentissage fédéré robuste et adversaire (AR-FL) vise à prédire le risque de mortalité des patients de manière sécurisée et collaborative entre différents établissements de santé, tout en protégeant la confidentialité des données et en rendant le système résilient face aux perturbations adversaires. Le déploiement comprend quatre éléments principaux : (1) la structure d’apprentissage fédéré, (2) la formation adversaire basée sur l’optimisation minimale et maximale, (3) le mécanisme d’attention consciente du domaine, et (4) l’agrégation de paramètres préservant la vie privée. La méthodologie est exécutée selon un flux systématique destiné à l’apprentissage fédéré robuste et adversarial afin d’estimer le risque de mortalité. Le processus, illustré à la Figure 2, commence par l’acquisition de données auprès de nombreux établissements de santé, suivie du prétraitement des données pour standardiser les fonctionnalités et gérer les valeurs manquantes. Un modèle global est initialement créé par un serveur central puis envoyé à chaque établissement de santé. La formation locale à l’adversaire a lieu au sein des établissements de santé, augmentant la robustesse du modèle face aux perturbations tout en lui permettant de l’adapter aux données spécifiques à un domaine. Après l’entraînement, les paramètres des modèles locaux sont livrés de manière sécurisée au serveur grâce à l’agrégation sécurisée des paramètres. Le serveur intègre ces contributions locales du modèle pour mettre à jour le modèle global. Ce processus est répété plusieurs fois dans une optimisation itérative pour faciliter l’affinement collaboratif du modèle. En conséquence, le modèle est rigoureusement évalué à l’aide de références cliniques qui évaluent sa performance prédictive, sa robustesse adversaire et sa généralisation à travers les institutions.

Figure 2 : Modèle AR-FL proposé. Cette figure présente l’architecture globale du modèle d’Apprentissage Fédéré Adversarial-Robuste proposé, incluant la formation adversaire, l’attention consciente du domaine et l’agrégation sécurisée préservant la vie privée. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Collecte de données
Pour cette étude, deux ensembles de données de dossiers médicaux électroniques (DSE) accessibles au public sont utilisés : MIMIC-III⁴ et la base de données collaborative de recherche^{en soins intensifs (eICU Collaborative Research Database 6}). MIMIC-III propose plus de 40 000 admissions en réanimation provenant d’un seul grand hôpital, tandis que les données des e-ICU comprennent plus de 200 000 séjours en réanimation provenant de divers hôpitaux aux États-Unis. Les données démographiques respectives des patients, les mesures cliniques, les résultats de tests de laboratoire, les événements graphiques et les résultats enregistrés dans ces flux de données les rendent très attractifs pour la tâche de prédiction du risque de mortalité. Les ensembles de données DSE sont chacun divisés en différentes parties pour former un environnement d’apprentissage fédéré multi-institutionnel réaliste ; Chaque partie représente un hôpital ou un établissement différent. La méthode capture les différences entre les institutions concernant les caractéristiques des patients, les protocoles cliniques, les styles de documentation et la disponibilité des données. Chaque institution simulée ne peut accéder qu’à son propre sous-ensemble de données et ne partage aucun enregistrement brut avec le serveur central ou d’autres clients participants. Cette approche garantit le respect total des principes de protection de la vie privée tout en simulant les limites réelles de la coopération inter-hospitalière. Les étiquettes de mortalité sont extraites des champs de résultats indiqués dans les ensembles de données, par exemple les indicateurs de mortalité à l’hôpital. Ces étiquettes servent de cibles prédictives pour le modèle d’apprentissage fédéré. Chaque établissement tient ainsi son propre ensemble local de dossiers de caractéristiques des patients associés aux résultats de mortalité, permettant ainsi une formation décentralisée sans révéler d’informations sensibles des patients.

Prétraitement des données
Chaque établissement traite ses données DME locales de manière indépendante avant le début de l’entraînement du modèle. Puisque l’apprentissage fédéré interdit le partage de données au niveau du patient ou même de statistiques résumées entre les établissements participants, toutes les étapes de prétraitement sont effectuées localement dans chaque établissement et sont basées uniquement sur les informations contenues dans le jeu de données de l’établissement. Le flux de prétraitement comprend quelques étapes cruciales. Au début, les variables cliniques numériques telles que les signes vitaux, les résultats de tests de laboratoire et les mesures physiologiques sont normalisées afin d’éliminer les différences de plages de valeurs et de stabiliser la convergence du modèle. Les données locales de chaque institution sont la seule source pour calculer les statistiques utilisées pour la normalisation. Ensuite, des attributs catégoriels tels que le genre, le type d’admission ou les catégories diagnostiques sont convertis en représentations numériques à l’aide de méthodes telles que l’encodage one-hot ou des correspondances spécifiques à l’institution. Ainsi, le modèle fédéré peut gérer des données catégorielles sans avoir besoin de dictionnaires d’encodage partagés ou de tables de référence interinstitutionnelles. Troisièmement, les données manquantes, courantes dans les ensembles de données cliniques, sont traitées à l’aide de techniques d’imputation locale. Selon le type de caractéristique et le contexte clinique, les établissements peuvent recourir à l’imputation de moyenne, au remplissage en avant basé sur des observations antérieures, voire à des remplacements cliniques basés sur des règles. Puisque chaque institution effectue l’imputation de manière indépendante, aucune métadonnée externe ni paramètres d’imputation partagés n’est requis. En suivant ces procédures, chaque institution est capable de créer un ensemble de données de fonctionnalités traitées complet ainsi que les résultats de mortalité associés. Les ensembles de données locaux sont ensuite utilisés comme entrée pour l’entraînement du modèle fédéré. Tout au long de la chaîne de prétraitement, aucune donnée brute, statistique dérivée ou sortie intermédiaire n’est transmise en dehors de l’institution, garantissant le respect strict des pratiques de gestion des données préservant la vie privée.

Initialisation du modèle
Soit K {1, 2,..., K} l’ensemble des institutions (clients) impliquées, où chaque institution possède un jeu de données local. { où représente les caractéristiques des DSE d’entrée et Est l’étiquette de mortalité associée (binaire ou catégorique). Un modèle global est entraîné de manière collaborative entre tous les clients, où θ sont les paramètres partagés du modèle.

Le processus suit le protocole standard de Moyenne Fédérée (FedAvg) :
Le serveur central initialise les paramètres globaux et les diffuse. Chaque client k∈K effectue un entraînement local en utilisant ses données et met à jour le modèle vers . Le serveur combine les mises à jour en prenant la moyenne pondérée :

^, où n =

La procédure d’initialisation du serveur central et les étapes de formation locales se poursuivent pour T rondes de communication globale.

Entraînement adversaire local (optimisation Min–Max)
Afin d’améliorer la robustesse, chaque client organise une formation adversaire sur son site local. Plutôt que de minimiser le risque empirique sur des données propres, les clients s’engagent dans un problème min-max :

(x+δ),y)

L : Fonction de perte
δ : Perturbation adversariale contrainte par
S : Espace de menace adversarial
(x+δ) : Prédiction sous entrée perturbée

Au moment de chaque époque locale, des échantillons adversaires sont créés à l’aide de la Projection de Descente du Gradient (PGD) ou de la Méthode du Signe à Gradient Rapide (FGSM). Ensuite, l’entraînement du modèle se poursuit avec ces échantillons afin d’augmenter sa robustesse.

Mécanisme d’attention conscient du domaine
Les données des dossiers médicaux électroniques (DME) provenant de différentes institutions peuvent varier considérablement en termes de distribution des données, de sémantique des fonctionnalités et de pratiques cliniques. Pour résoudre ce problème, le modèle AR-FL intègre un module d’attention spécifique à un domaine dans son modèle.

Soit   le vecteur d’entrée de l’institution k. Les pondérations d’attention pour chaque caractéristique j∈ {1..., d} sont calculées comme suit :

=

où sont les poids d’attention entraînables. L’entrée est répondérée comme suit :

Grâce à ce mécanisme, le modèle peut mettre en avant des caractéristiques importantes pour la pratique clinique selon la nature des données utilisées par l’institution, augmentant ainsi son adaptabilité et son interprétabilité.

Agrégation de paramètres préservant la confidentialité
AR-FL utilise une agrégation très sécurisée ainsi que des techniques de confidentialité différentielle si nécessaire afin de maintenir le plus haut niveau de confidentialité lors de la communication. Grégation sécurisée : Les utilisateurs chiffrent leurs mises à jour de modèle de manière à ce que le serveur ne puisse calculer que le total mais pas les contributions séparées.

Confidentialité différentielle : Ajoute du bruit aux mises à jour des modèles :

Où σ contrôle le compromis entre la confidentialité et la précision.

Lors des mises à jour distribuées, ces approches garantissent que les données privées des patients ou les informations institutionnelles ne sont pas en danger de fuite.

Mise à jour mondiale du modèle
Une fois la phase de formation locale terminée dans chaque établissement, le serveur central collecte les mises à jour du modèle soumises par le client. Ces mises à jour consistent uniquement en des modifications des paramètres du modèle et n’incluent aucune donnée brute du patient ni représentation de caractéristiques intermédiaires. Pour fusionner les connaissances acquises auprès des différentes institutions, le serveur applique la méthode de Moyenne Fédérée (FedAvg). Dans ce processus, le serveur calcule une moyenne pondérée des modèles locaux en fonction de la quantité de données disponibles dans chaque établissement. Les institutions contribuant à des ensembles de données plus vastes ont une influence proportionnellement plus grande sur le modèle mondial mis à jour. Comme les mises à jour ont été transmises par des techniques d’agrégation sécurisée, le serveur ne peut pas visualiser ni isoler les paramètres d’une institution individuelle. Au contraire, le serveur bénéficie uniquement d’une représentation combinée chiffrée ou protégée par la confidentialité. Cela garantit la confidentialité du processus de formation et la destruction de tout schéma spécifique à l’institution ou caractéristique des patients qui aurait pu être détectée. Après avoir calculé la mise à jour agrégée, le serveur prépare un nouveau modèle global qui représente l’ensemble des connaissances acquises auprès de toutes les institutions collaboratrices lors de ce cycle de communication. Le nouveau modèle mondial est ensuite renvoyé à chaque établissement pour que la prochaine phase de formation locale adversaire commence.

Optimisation itérative
L’apprentissage fédéré est un processus en plusieurs étapes qui implique plusieurs phases de communication. Chaque tour comprend la formation du modèle local, l’envoi sécurisé des mises à jour, l’agrégation globale et la distribution ultérieure du modèle amélioré aux participants. Les cycles répétés aident le modèle à progresser progressivement vers une solution robuste et stable. Au cours de ces cycles, chaque organisation apporte ses connaissances sur sa population de patients, créant ainsi un modèle capable d’identifier les schémas cliniques dans différents contextes. Il convient de noter que l’entraînement adversaire et le mécanisme d’attention consciente du domaine sont parfois mis en œuvre par un entraînement local à chaque tour. Ainsi, le modèle est constamment affiné, et sa capacité à combattre les attaques adverses grandit, tandis que sa capacité à s’adapter aux différentes distributions de caractéristiques selon les institutions s’améliore. Grâce à l’optimisation itérative, le modèle améliore non seulement ses performances de généralisation, mais devient aussi de plus en plus tolérant au déséquilibre des données, à la variation institutionnelle et aux contextes adversaires. La procédure est réalisée jusqu’à ce qu’un nombre prédéfini de tours de communication soit atteint, ou que le modèle global indique une convergence stable.

Évaluation
À la fin de toutes les rondes de communication, le modèle global final est minutieusement évalué à l’aide de jeux de tests retirés des ensembles de données des participants. Puisque ces ensembles de tests ne sont pas utilisés pour l’entraînement du modèle, ils fournissent une mesure juste et impartiale des performances du modèle. L’efficacité du modèle est évaluée par le calcul de différents indicateurs sous plusieurs angles. La précision propre évalue la situation où des conditions normales sont en place. Il mesure la justesse du modèle dans la prédiction des résultats de mortalité. En revanche, la précision adversaire estime dans quelle mesure le modèle peut maintenir ses performances même lorsque les données d’entrée sont modifiées de manière adversaire. La zone sous la courbe de caractéristique opératoire du récepteur (ROC) (AUC-ROC) offre un aperçu de la compétence du modèle à distinguer les patients vivants des patients décédés. Le score F1 sert d’indicateur de la relation précision-rappel, ce qui est particulièrement significatif pour les ensembles de données cliniques déséquilibrés. L’écart de généralisation révèle l’écart de performance entre les différentes institutions, démontrant ainsi la polyvalence du modèle pour s’adapter à diverses sources de données. Le risque pour la vie privée est finalement quantifié par l’utilisation d’attaques adversaires simulées, qui déterminent si l’agrégation sécurisée et la confidentialité différentielle optionnelle sont effectivement efficaces pour protéger la confidentialité des patients. Toutes ces métriques d’évaluation réunies fournissent une vision globale du pouvoir prédictif du modèle, de sa résistance aux attaques adverses, de la stabilité entre différentes institutions et du respect des exigences de protection de la vie privée. L’algorithme 1 (Fichier supplémentaire 1) ci-dessous montre l’Apprentissage Fédéré Robuste Adversarial (AR-FL) pour la prédiction du risque de mortalité.

Résultats

Le modèle AR-FL a été testé sur deux ensembles de données de dossiers médicaux électroniques (DME) multi-institutionnels et dé-identifiés publiquement : le MIMIC-III et la base de données collaborative de recherche en soins intensifs (eICU), qui incluent divers dossiers de patients en soins intensifs avec des résultats de mortalité hospitalière. Le jeu de données était réparti sur des scénarios hospitaliers simulés représentant les différences réelles entre les institutions concernant le...

Discussion

Cet article présente un modèle d’apprentissage fédéré Adversarial-Robust (AR-FL) visant à améliorer la prédiction du risque de mortalité à l’aide de dossiers médicaux électroniques (DSE) multi-institutionnels, en améliorant la précision, la robustesse et la généralisabilité. L’étude révèle que l’intégration de la formation adversaire dans l’environnement fédéré bénéficiera significativement au modèle en le rendant plus résistant aux perturbations d’entrée et à la variabilité des domaines...

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Adam Optimiser	PyTorch	https://pytorch.org/docs/stable/generated/torch.optim.Adam.html	Optimisation
Boîte à outils CUDA	NVIDIA	https://developer.nvidia.com/cuda-toolkit	Version 11.8 ; Accélération GPU
Bibliothèque de confidentialité différentielle	Opacus	https://opacus.ai	Version 1.3.0 ; Formation à la protection de la vie privée basée sur la DP
Base de données de recherche collaborative eICU	PhysioNet	https://physionet.org/content/eicu-crd/2.0/	Données des dossiers médicaux des patients en réanimation
MIMIC-III	PhysioNet	https://physionet.org/content/mimiciii/1.4/	Données des dossiers médicaux des patients en réanimation
Script d’attaque PGD	GitHub	https://github.com/Saswati-C/AR-FL-HER	Version : commit-hash ; Génération d’exemples adversaires
PyTorch	PyTorch.org	https://pytorch.org	Version 2.0 ; Mise en œuvre et entraînement du modèle
Tesla V100 GPU	NVIDIA	https://www.nvidia.com/en-us/data-center/v100/	Entraînement des modèles