Un protocole reproductible pour développer et évaluer des cadres d’intelligence artificielle explicables dans l’analyse des soins de santé

Résumé

Ici, nous présentons un protocole reproductible pour développer et évaluer des modèles d’intelligence artificielle explicables pour l’analyse de la santé. Le flux de travail intègre le prétraitement des données, la modélisation prédictive, l’explicabilité basée sur SHAP, LIME- et Grad-CAM, l’évaluation quantitative et la validation centrée sur l’humain pour soutenir une prise de décision clinique transparente et fiable.

Résumé

L’Intelligence Artificielle Explicable (XAI) est de plus en plus reconnue comme un outil indispensable pour construire des systèmes d’IA fiables dans le secteur de la santé, où la transparence et la capacité à expliquer les décisions sont des éléments essentiels de la prise de décision clinique. Cette publication présente une approche expérimentale reproductible pour développer et évaluer des systèmes d’IA explicables pour l’analyse des soins de santé. Le pipeline développé intègre les étapes de prétraitement des données, de modélisation prédictive, de génération d’interprétation et d’évaluation en un seul flux de travail fluide pouvant être appliqué à la fois aux données cliniques structurées et aux ensembles de données d’imagerie médicale. Les modèles d’apprentissage automatique en ensemble ont démontré de fortes performances prédictives sur des ensembles de données tabulaires structurés, tandis que les modèles d’apprentissage profond sont efficaces pour apprendre des motifs complexes dans les données d’imagerie médicale. Des techniques telles que SHAP, LIME et Grad-CAM sont des explications globales et locales qui facilitent l’interprétation du modèle. Très utile. L’évaluation quantitative du cadre couvre de nombreux indicateurs différents tels que la précision, la précision, la rappel, le score F1, le ROC-AUC, les indicateurs d’explication, la fidélité et la stabilité. Les résultats indiquent que lorsque les conditions expérimentales sont contrôlées, le cadre a démontré une amélioration des performances prédictives et de la qualité de l’explication dans les conditions expérimentales évaluées. En tant que document guidé par un protocole, ce travail soutient la reproductibilité et la scalabilité, la mise en œuvre persistante par d’autres êtres vivants. Ce modèle d’IA transparent et compréhensible est la base sur laquelle le soutien à la prise de décision clinique et les systèmes d’analyse en santé gagnent confiance et utilisation à grande échelle.

Introduction

L’intelligence artificielle (IA) est devenue un élément important des soins de santé modernes en soutenant le diagnostic, le pronostic, la stratification des risques, l’analyse d’images médicales et la prise de décision clinique¹. Les avancées en apprentissage automatique et en apprentissage profond ont permis aux systèmes de santé de traiter de grands volumes de données structurées et non structurées, atteignant souvent des performances prédictives comparables ou supérieures aux approches statistiques^{conventionnelles 2}. Malgré ces avancées, de nombreux modèles d’IA fonctionnent comme des systèmes complexes en boîte noire, rendant difficile pour les cliniciens et les acteurs du secteur de la santé de comprendre comment les prédictions sont^{générées 3}. Ce manque de transparence peut limiter la confiance, l’adoption et la responsabilité dans les environnements de santé à enjeux^{élevés 4,5}.

L’intelligence artificielle explicable (XAI) s’est imposée comme une approche prometteuse pour améliorer la transparence et l’interprétabilité des modèles d’apprentissage^{automatique 6}. Les techniques d’explication largement utilisées, notamment SHAP (explications additives de Shapley), LIME (explications locales interprétables agnostiques au modèle) et la cartographie d’activation des classes pondérée par gradient (Grad-CAM), fournissent des éclairages sur le comportement des modèles grâce à l’attribution de caractéristiques et aux mécanismes d’explication^{visuelle 7,8,9}. Ces méthodes ont été de plus en plus appliquées aux applications de santé pour soutenir l’interprétation clinique, l’audit de modèles et le support^{décisionnel 10,11}. Cependant, l’explicabilité seule ne garantit pas la fiabilité, la reproductibilité ou l’utilité clinique. Des études récentes ont mis en lumière des défis liés à l’instabilité des explications, à la sensibilité aux perturbations, à la validation limitée par les cliniciens et aux incohérences entre les résultats explicatifs et le raisonnement véritablement^{du modèle} 12,13,14,15.

Outre les défis d’explicabilité, la reproductibilité reste une préoccupation majeure dans la recherche en apprentissage automatique en santé 16,17,18. De nombreuses études publiées fournissent des informations limitées concernant les procédures de prétraitement, les environnements logiciels, les configurations d’hyperparamètres, les stratégies de validation et les flux de travail d’implémentation, rendant la réplication indépendante difficile 19,20,21. De plus, les études sur l’IA de santé se concentrent fréquemment sur la performance prédictive tout en fournissant des orientations limitées concernant l’évaluation de la qualité de l’explication, l’évaluation centrée sur le clinicien et les considérations pratiques^{de mise en œuvre 22}. Ces limitations peuvent entraver la traduction de systèmes d’IA explicables des environnements de recherche vers des environnements de santé^réels 23,24,25,26,27.

Les flux de travail XAI actuels en santé évaluent souvent les techniques d’explication individuelle ou les modèles prédictifs isolément et fournissent rarement des protocoles standardisés intégrant la préparation des données, la modélisation prédictive, l’évaluation de l’explicabilité, l’évaluation centrée sur l’humain et les ressources de^{reproductibilité} 28,29,30,31 . Par conséquent, chercheurs et praticiens peuvent rencontrer des difficultés pour reproduire des flux de travail, comparer les méthodes d’explication ou évaluer l’utilité pratique des systèmes d’IA explicables dans différents ensembles de données et domaines d’application de la santé. Un protocole complet et reproductible est donc nécessaire pour faciliter la mise en œuvre, l’évaluation et le reporting cohérents des flux de travail explicables en IA^{en santé 32,33,34,35}.

Ici, nous présentons un protocole reproductible pour développer, évaluer et interpréter des systèmes d’intelligence artificielle explicables dans l’analyse de la santé. Le protocole intègre le prétraitement des données, la modélisation prédicative, l’évaluation de l’explicabilité utilisant SHAP, LIME et Grad-CAM, l’évaluation centrée sur le clinicien, des procédures de validation et des ressources de reproductibilité au sein d’un flux de travail unifié. L’objectif est de fournir un cadre standardisé qui soutient le développement transparent de modèles, l’évaluation de la qualité des explications et la mise en œuvre reproductible à travers divers ensembles de données^{de santé 36, 37, 38, 39}. La contribution méthodologique de ce travail réside dans l’intégration de l’analytique prédicative, de l’évaluation de l’explicabilité, de la validation par les cliniciens et des pratiques de reproductibilité dans un protocole unique adapté à la recherche, à l’éducation et aux études orientées déploiement en IA^{en santé 40,41,42,43}.

La contribution principale de ce travail n’est pas le développement d’un nouvel algorithme d’explicabilité.

Il fournit plutôt un protocole standardisé, reproductible et validé expérimentalement qui intègre la modélisation prédictive, l’évaluation de l’explicabilité, la visualisation, l’évaluation et l’interprétation centrée sur l’humain dans un flux de travail unifié adapté à l’analyse de santé et à la diffusion de protocoles basés sur JoVE. L’objectif principal de ce travail n’est pas d’introduire un nouvel algorithme prédictif, mais de fournir un protocole standardisé, reproductible et validé expérimentalement pour mettre en œuvre des flux de travail d’intelligence artificielle explicables dans l’analyse de la santé. Le protocole intègre le prétraitement des données, la modélisation prédictive, l’évaluation de l’explicabilité, l’évaluation centrée sur le clinicien et les ressources de reproductibilité dans un cadre unifié adapté à l’adoption, à la réplication et à la diffusion éducative.

Protocole

Tous les ensembles de données utilisés dans cette étude ont été obtenus à partir de dépôts publics et entièrement anonymisés, y compris le dépôt UCI Machine Learning, la base de données PhysioNet MIMIC-III et les jeux de données de radiographies thoraciques du NIH. Aucune information identifiable du patient n’a été consultée. L’étude a respecté les directives institutionnelles d’éthique de la recherche pour l’analyse secondaire des données dé-identifiées publiques. L’approbation formelle du Conseil d’Éthique Institutionnelle n’était pas requise car aucun participant humain n’a été recruté directement et aucune information de santé protégée n’a été utilisée.

1. Aperçu des cadres expérimentaux

1. Développer un pipeline d’intelligence artificielle (XAI) reproductible et explicable pour des analyses de santé transparentes. Organisez le flux de travail en couche données, couche prétraitement, couche modélisation, couche explicabilité, couche d’évaluation et couche de visualisation.
2. Intégrez ces modules dans un flux de travail unifié capable de traiter des données cliniques structurées, des dossiers médicaux électroniques et des ensembles de données d’imagerie médicale.
3. Assurez-vous que chaque module contribue à la reproductibilité, à l’interprétabilité, à l’évolutivité et à l’exécution expérimentale standardisée.
4. Concevez l’architecture modulaire pour supporter le flux continu de données et garantir que chaque étape du pipeline contribue à la reproductibilité, à l’interprétabilité et à l’évolutivité tout au long du flux de travail expérimental.

2. Environnement de calcul et configuration du système

1. Installez les dépendances logicielles requises avant d’exécuter le flux de travail en ouvrant un terminal en ligne de commande et en exécutant la commande suivante :
   pip install numpy pandas scikit-learn tensorflow shap lime opencv-python matplotlib seaborn
2. Vérifiez l’installation réussie de tous les logiciels et confirmez la compatibilité avec les versions logicielles indiquées dans le tableau des matériaux avant de procéder au prétraitement des données et au développement du modèle.
3. Utilisez Python 3.11 comme environnement de programmation principal. Installer et configurer NumPy 1.26 et Pandas 2.1 pour les tâches de manipulation des données et d’ingénierie de fonctionnalités. Installez Scikit-learn 1.5 pour le développement et l’évaluation de modèles d’apprentissage automatique.
4. Installez TensorFlow 2.15 pour l’entraînement et l’inférence de modèles en apprentissage profond. Installez SHAP 0.46 et LIME 0.2.0 pour une analyse d’explicabilité. Installez OpenCV 4.10 pour les tâches de traitement d’image. Installez Matplotlib 3.9 et Seaborn 0.13 pour la visualisation des données et le reporting des résultats. Consultez le tableau des matériaux pour les spécifications logicielles complètes et les détails d’implémentation nécessaires à la reproductibilité.
5. Configurez l’environnement de calcul à l’aide d’une station de travail équipée d’un processeur multi-cœur, d’une accélération GPU (GPU) et de ressources mémoire suffisantes pour accueillir de grands ensembles de données de santé et des charges de travail en apprentissage profond.
6. Définir des graines aléatoires fixes pour le partitionnement des données, l’initialisation du modèle et les procédures d’entraînement afin d’assurer la reproductibilité entre les exécutions expérimentales. Activez les mécanismes de journalisation pour enregistrer les opérations de prétraitement des données, les configurations de modèles, les paramètres d’hyperparamètres, les procédures d’entraînement et les résultats d’évaluation tout au long du flux de travail.
7. Configurez les architectures des modèles, les paramètres d’optimisation, les taux d’apprentissage, la taille des lots, les paramètres d’entraînement et les valeurs des hyperparamètres selon les spécifications résumées dans le tableau 1. Respectez ces paramètres lors des expériences de réplication afin d’assurer la cohérence avec les résultats rapportés.
8. Sortie Attendue – Un environnement informatique entièrement configuré et reproductible avec tous les logiciels nécessaires, les ressources matérielles, les mécanismes de journalisation et les paramètres de configuration des modèles disponibles pour le prétraitement des données, le développement du modèle, l’analyse d’explicabilité et les procédures d’évaluation ultérieures.

Composant	Paramètre	Valeur	Description
Forêt aléatoire	n_estimators	100	Nombre d’arbres
Forêt aléatoire	max_depth	Aucun	Profondeur de l’arbre
XGBoost	learning_rate	0.01	Taux d’apprentissage
XGBoost	n_estimators	100	Munitions boostantes
CNN	Époques	25	Époques d’entraînement
CNN	batch_size	32	Taille du lot
CNN	Optimiseur	Adam	Algorithme d’optimisation
MLP	hidden_layers	2	Nombre de couches cachées
MLP	Activation	ReLU	Fonction d’activation
Généralités	train_split	70%	Rapport de données d’entraînement
Généralités	validation_split	15%	Rapport de validation
Généralités	test_split	15%	Ratio d’essais

Tableau 1 : Détails de l’implémentation et configuration des hyperparamètres.

Ce tableau résume l’environnement informatique, les bibliothèques logicielles, les configurations de modèles d’apprentissage automatique et d’apprentissage profond, les paramètres d’optimisation, les taux d’apprentissage, les tailles de lot, les paramètres d’entraînement et les valeurs d’hyperparamètre utilisés tout au long de l’évaluation expérimentale du cadre d’IA explicable proposé.

3. Préparation et prétraitement des jeux de données

1. Sélectionner des ensembles de données de santé accessibles publiquement afin d’assurer la transparence et la reproductibilité du flux de travail expérimental.
2. Utilisez quatre scénarios de santé représentatifs pour valider le cadre proposé : (i) diagnostic du cancer du sein à l’aide du Wisconsin Breast Cancer Dataset, (ii) prédiction du risque de diabète à l’aide du Pima Indians Diabetes Dataset, (iii) prédiction des résultats cliniques à l’aide des dossiers médicaux électroniques MIMIC-III, et (iv) classification des maladies thoraciques à l’aide du jeu de données des radiographies thoraciques du NIH. Choisissez ces ensembles de données pour évaluer le cadre à travers les dossiers cliniques structurés, les dossiers de santé électroniques longitudinaux et les modalités d’imagerie médicale couramment utilisées dans les systèmes d’aide à la décision en santé.
3. Importez chaque jeu de données dans l’environnement Python et séparez les enregistrements en caractéristiques d’entrée et variables cibles. Organiser des données cliniques structurées pour les tâches de prédiction de maladie, les dossiers médicaux électroniques pour l’analyse longitudinale des résultats, et les ensembles de données d’imagerie médicale pour les tâches de classification diagnostique. Vérifiez l’intégrité de chaque jeu de données avant de procéder aux opérations de prétraitement.
4. Identifier et corriger les valeurs manquantes en utilisant des techniques d’imputation appropriées. Standardiser les caractéristiques numériques grâce à des procédures d’échelle et de normalisation des caractéristiques afin d’assurer la comparabilité entre les variables.
5. Encoder des variables catégorielles en utilisant des méthodes d’encodage appropriées basées sur les caractéristiques du jeu de données. Effectuer la sélection des caractéristiques en utilisant l’analyse de corrélation et des mesures d’importance des caractéristiques basées sur des modèles afin d’identifier les variables les plus pertinentes et de réduire la dimensionnalité des données.
6. Redimensionnez toutes les images médicales à 224 à 224 pixels avant l’entraînement du modèle. Normaliser les valeurs d’intensité des pixels selon les exigences de l’architecture d’apprentissage profond sélectionnée. Appliquer des techniques d’augmentation de données, incluant la rotation d’image et le retournement horizontal, pour améliorer la généralisation des modèles et réduire le surajustement. Vérifiez la qualité de l’image et assurez-vous de la cohérence des dimensions de l’image dans tout le jeu de données.
7. Évaluez l’intégrité des données en évaluant l’exhaustivité, la cohérence et l’alignement des étiquettes de caractéristiques des ensembles de données. Vérifiez que tous les enregistrements sont correctement attribués à leurs classes cibles correspondantes. Examinez les caractéristiques des ensembles de données, y compris la taille de l’échantillon, le nombre de caractéristiques et la modalité des données, telles que résumées dans le tableau 2.
8. Mettez en place des procédures de validation spécifiques à chaque ensemble de données afin d’assurer la rigueur méthodologique et la reproductibilité. Enregistrez la taille de l’échantillon, la répartition des classes, la stratégie de répartition train-validation-test, les mesures de prévention des fuites, les procédures d’optimisation des hyperparamètres, la conception croisée et le protocole de test externe pour chaque jeu de données. Résumez ces procédures de validation dans le tableau 3.
9. Effectuer des contrôles de qualité en prétraitement en évaluant la gestion des valeurs manquantes, la suppression des valeurs aberrantes, la mise à l’échelle des caractéristiques, l’encodage catégorique, la préservation de la distribution des classes et la partition des ensembles de données. Vérifiez que les opérations de prétraitement sont appliquées de manière cohérente sur tous les ensembles de données.
10. Confirmez l’absence de fuite importante de données lors du partitionnement des jeux de données. Examinez les résultats de validation du prétraitement présentés à la Figure 1 afin de vous assurer que des ensembles de données standardisés ont été générés pour les analyses ultérieures d’apprentissage automatique et d’explicabilité.
11. Résultats attendus – Générer des ensembles de données nettoyés et standardisés avec des valeurs manquantes correctement adressées, des variables catégorielles encodées, des caractéristiques numériques normalisées, et des enregistrements partitionnés en sous-ensembles d’entraînement, de validation et de test. Assurez-vous que les caractéristiques des ensembles de données, les distributions de classes et les procédures de validation correspondent à celles rapportées dans les Tableaux 2 et 3, et confirmez la validation réussie du prétraitement comme illustré à la Figure 1.

Jeu de données	Type	Échantillons	Caractéristiques	Cible
Cancer du sein	Tabulaire	569	30	Bénin/Malin
Diabète	Tabulaire	768	8	Conséquences du diabète
MIMIC-III	DSE	~60 000	Variables cliniques	Mortalité
Radiographie thoracique	Imagerie	~112 000	Images	Étiquettes de maladies

Tableau 2 : Caractéristiques de l’ensemble de données et cas d’utilisation dans le secteur de la santé.

Ce tableau fournit un résumé des ensembles de données de santé utilisés dans l’étude, incluant le type de jeu de données, le nombre d’échantillons, le nombre de caractéristiques, les variables cibles, le domaine d’application de la santé et les cas d’usage cliniques associés. Ces ensembles de données englobent des dossiers cliniques structurés, des dossiers médicaux électroniques et des données d’imagerie médicale afin de démontrer l’applicabilité du cadre à travers divers scénarios d’analyse en santé.

Jeu de données	Taille de l’échantillon	Répartition des classes	Stratégie de Split	Prévention des fuites	Recherche par hyperparamètres	Validation croisée	Test externe
Cancer du sein (UCI Wisconsin)	569	357 Bénin / 212 Malin	70/15/15	Prétraitement uniquement pour trains	Recherche en grille	CV stratifié à 5 branches	Ensemble Indépendant de Résistance
Diabète des Indiens Pima	768	500 Non-Diabétiques / 268 Diabétiques	70/15/15	Prétraitement uniquement pour trains	Recherche en grille	CV stratifié à 5 branches	Ensemble Indépendant de Résistance
MIMIC-III EHR	5274	Cohortes stratifiées par résultats	70/15/15 Niveau patient	Séparation au niveau du patient	Recherche aléatoire	CV au niveau patient à 5 branches	Ensemble Indépendant de Résistance
Radiographie thoracique des NIH	112120	Pneumonie / Normale stratifiée	70/15/15	Séparation au niveau d’image	Recherche aléatoire	CV stratifié à 5 branches	Ensemble Indépendant de Résistance

Tableau 3 : Validation au niveau des ensembles de données et conception expérimentale.

Ce tableau résume la méthodologie de validation employée pour chaque jeu de données, incluant la taille de l’échantillon, la distribution des classes, la stratégie de répartition train-validation-test, les procédures de prévention des fuites, les méthodes d’optimisation des hyperparamètres, la conception croisée de validation et les protocoles de test externes. Ces mesures ont été mises en œuvre pour garantir la rigueur méthodologique, la reproductibilité et une évaluation impartiale du modèle.

Figure 1 : Validation du pipeline de prétraitement des données.
Résultats de validation pour les opérations clés de prétraitement effectuées avant le développement du modèle. (A) Analyse des valeurs manquantes à travers les caractéristiques représentatives de la santé. (B) Distribution d’une variable numérique avant et après la manipulation des valeurs aberrantes. (C) Validation de la mise à l’échelle des fonctionnalités via la standardisation. (D) Validation de l’encodage catégorique. (E) Distribution de classes après prétraitement. (F) Validation du partitionnement des données train-validation-test. Ces résultats confirment le prétraitement et la préparation réussis des ensembles de données pour la modélisation prédictive et l’analyse de l’explicabilité. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

4. Architecture système du cadre d’IA explicable

1. Organiser le cadre à l’aide d’une architecture en couches pour faciliter le traitement modulaire, améliorer la transparence des flux de travail et soutenir une implémentation reproductible. Configurez la couche de données pour recevoir et gérer des ensembles de données brutes en santé. Acheminez tous les ensembles de données entrants via la couche de données avant d’initier les opérations de prétraitement.
2. Effectuer des procédures de nettoyage des données, transformations, normalisation, ingénierie des caractéristiques et encodage au sein de la couche de prétraitement. Assurez-vous que toutes les opérations de prétraitement sont terminées avant le développement du modèle.
3. Développer des modèles prédictifs au sein de la couche de modélisation en utilisant l’apprentissage automatique et les algorithmes d’apprentissage profond. Train Gradient Boosting, Random Forest, Multilayer Perceptron (MLP) et réseaux de neurones convolutionnels (CNN) utilisant les ensembles de données prétraités et des configurations optimisées d’hyperparamètres.
4. Appliquer des techniques d’explicabilité au sein de la couche d’explicabilité pour interpréter les prédictions des modèles. Générez des explications d’attribution de caractéristiques en utilisant SHAP et LIME pour des ensembles de données structurés. Générez des heatmaps Grad-CAM pour des modèles basés sur des images afin de visualiser les régions contribuant aux prédictions du modèle.
5. Évaluer la performance prédictive et explicable au sein de la couche d’évaluation. Calculez la précision, la précision, la rappel, le score F1, le ROC-AUC, la fidélité, la stabilité et les métriques d’évaluation centrées sur le clinicien. Consignez tous les résultats des évaluations pour analyses et rapports ultérieurs.
6. Générez des résultats visuels cliniquement interprétables au sein de la couche de visualisation. Créez des graphiques de comparaison de performances, des visualisations d’importance des caractéristiques, des graphiques résumés SHAP, des explications LIME, des cartes thermiques Grad-CAM et des tableaux de bord de reporting orientés cliniciens. Stockez tous les résultats visuels pour inclusion dans le rapport expérimental final.
7. Examinez l’architecture complète du framework illustrée à la Figure 2 avant de procéder à l’exécution du workflow.
8. Résultats attendus - Générer des modèles entièrement entraînés en apprentissage automatique et deep learning, incluant des architectures Gradient Boosting, Random Forest, CNN et MLP. Stockez les configurations de modèles, les hyperparamètres optimisés, les journaux d’entraînement, les fichiers de points de contrôle, les sorties d’explicabilité et les artefacts de visualisation pour une évaluation et une analyse d’interprétabilité ultérieure.

Figure 2 : Architecture système du cadre d’IA explicable pour l’analytique en santé. Veuillez cliquer ici pour voir une version agrandie de cette figure.

5. Exécution du flux de travail

1. Acquérir des ensembles de données de santé à partir de dépôts publics et stocker ces ensembles de données dans des formats structurés adaptés à l’apprentissage automatique et à l’analyse de deep learning. Examinez le flux de travail complet illustré à la Figure 3 avant d’entamer la procédure expérimentale.
2. Effectuer le nettoyage et le prétraitement des données conformément aux procédures décrites à la Section 3. Normaliser les variables numériques en utilisant des méthodes d’échelle appropriées. Encoder des variables catégorielles en utilisant des techniques d’encodage appropriées. Identifier et imputer les valeurs manquantes en utilisant des stratégies d’imputation spécifiques à chaque ensemble de données. Vérifiez la qualité des données, l’alignement des étiquettes de caractéristiques et l’exhaustivité du jeu de données avant de procéder au développement du modèle.
3. Partitionner chaque jeu de données en sous-ensembles d’entraînement, de validation et de test pour soutenir une évaluation impartiale du modèle. Préserver les distributions de classes lors du partitionnement des jeux de données et mettre en place des mesures de prévention des fuites lorsque cela est applicable. Réservez le sous-ensemble de test exclusivement pour l’évaluation finale du modèle.
4. Entraînez des modèles d’apprentissage automatique sur des ensembles de données structurés à l’aide d’algorithmes basés sur ensemble, notamment le Gradient Boosting et le Random Forest. Entraînez des modèles d’apprentissage profond sur des ensembles de données d’imagerie utilisant des architectures de réseaux neuronaux convolutionnels (CNN) capables d’apprendre les caractéristiques spatiales de l’image. Mettez à jour les paramètres du modèle de manière itérative pendant la formation et surveillez la performance de validation après chaque époque d’entraînement. Appliquer un arrêt précoce lorsque la performance de validation se détériore ou ne s’améliore pas selon les critères d’arrêt prédéfinis.
5. Optimiser les hyperparamètres du modèle en utilisant des stratégies de recherche systématique, incluant la recherche en grille et la recherche randomisée. Ajustez le taux d’apprentissage, le nombre d’estimateurs, la profondeur de l’arbre, la taille du lot, le nombre d’époques et d’autres paramètres spécifiques au modèle en fonction de la performance de validation. Sélectionnez le modèle final en fonction de la performance prédictive et de la capacité de généralisation à travers les ensembles de données de validation.
6. Appliquer des méthodes d’explicabilité après avoir terminé la formation modèle. Générer des explications globales en utilisant des techniques d’attribution de caractéristiques pour identifier les variables contribuant le plus fortement aux prédictions du modèle. Générer des explications locales pour analyser les cas de prédiction individuels et évaluer le comportement du modèle au niveau de l’échantillon. Créez des heatmaps Grad-CAM pour des modèles de classification d’images afin de mettre en évidence les régions de l’image qui contribuent au résultat prédit. Stockez tous les résultats explicatifs pour une analyse et un rapport ultérieurs.
7. Évaluer la performance prédictive en utilisant la précision, la précision, le rappel, le score F1 et la zone caractéristique de fonctionnement du récepteur sous la courbe (ROC-AUC). Évaluer la qualité de l’explication en utilisant des indicateurs de fidélité et de stabilité pour évaluer la fiabilité et la cohérence de l’explication. Comparez la performance des modèles entre ensembles de données et méthodes d’explicabilité pour évaluer la robustesse et la généralisabilité du cadre.
8. Générez des résultats de visualisation et des rapports analytiques pour communiquer les résultats de manière cliniquement interprétable. Créez des graphiques comparatifs de performance, des graphiques d’importance des caractéristiques, des visualisations résumées SHAP, des résultats d’explications LIME, des cartes thermiques Grad-CAM et d’autres visualisations cliniquement pertinentes. Examinez tous les résultats visuels pour garantir la clarté et la cohérence avant de faire un rapport.
9. Documentez toutes les opérations de prétraitement, les configurations de modèles, les paramètres d’hyperparamètres, les procédures d’explicabilité, les stratégies de validation et les résultats d’évaluation. Maintenir des registres expérimentaux détaillés pour faciliter la reproductibilité et la réplication indépendante du flux de travail. Vérifier la cohérence des résultats à travers les répétitions d’essais et archiver tous les artefacts du flux de travail pour référence future.
10. Résultats attendus – Générer un modèle prédictif entièrement entraîné avec des hyperparamètres optimisés, des poids enregistrés, des journaux d’entraînement, des métriques de performance et des résultats explicables, incluant les explications SHAP, LIME et heatmaps Grad-CAM. Stockez tous les artefacts du modèle, rapports d’évaluation et résultats de visualisation pour une analyse ultérieure et une évaluation de la reproductibilité.

Figure 3 : Flux de travail de bout en bout du pipeline d’IA explicable. Veuillez cliquer ici pour voir une version agrandie de cette figure.

6. Évaluation du modèle et de l’explicabilité

1. Évaluer la performance du modèle prédictif à l’aide de métriques de classification standard, incluant la précision, la précision, le rappel, le score F1 et la zone de caractéristiques de fonctionnement du récepteur sous la courbe (ROC-AUC). Calculer la précision pour mesurer la correction globale de la classification.
2. Calculer la précision pour évaluer la proportion de prédictions positives correctement identifiées. Calculez la mémoire pour évaluer la capacité du modèle à identifier les cas positifs. Calculez le score F1 pour équilibrer précision et rappel. Calculer le ROC-AUC pour évaluer la performance discriminative selon différents seuils de classification.
3. Appliquer ces métriques d’évaluation de manière cohérente à tous les ensembles de données et architectures de modèles afin de faciliter une comparaison objective des performances. Enregistrez toutes les valeurs des indicateurs et stockez les résultats de l’évaluation pour une analyse statistique et des rapports ultérieurs.
4. Évaluez la performance de l’explicabilité à l’aide de métriques de fidélité et de stabilité. Calculer la fidélité pour déterminer dans quelle mesure les explications générées reflètent avec précision les prédictions du modèle et le comportement décisionnel.
5. Calculez la stabilité en comparant les explications générées à partir d’échantillons d’entrée similaires et en quantifiant la cohérence des résultats explicatifs. Vérifiez que les valeurs de fidélité et de stabilité respectent les critères de qualité prédéfinis avant d’interpréter les explications du modèle.
6. Comparez les performances d’explicabilité entre les sorties SHAP, LIME et Grad-CAM.
7. Résultats attendus – Générez des résultats d’évaluation quantitative, incluant la précision, la précision, la rappel, le score F1, le ROC-AUC, les métriques de fidélité et de stabilité. Produire des résultats explicables et des visualisations adaptés au reporting scientifique, à l’évaluation de la reproductibilité et à l’interprétation clinique.

7. Évaluation centrée sur l’humain

1. Recrutez 12 professionnels de santé, dont 6 médecins, 3 radiologues et 3 analystes de données cliniques. Sélectionnez des participants ayant une expérience préalable en prise de décision clinique, interprétation d’images médicales, analyse de soins de santé ou examen électronique des dossiers médicaux. Obtenez le consentement éclairé de tous les participants avant d’entamer la procédure d’évaluation.
2. Sélectionnez aléatoirement 100 cas parmi les jeux de données de test après avoir terminé l’entraînement du modèle et l’analyse d’explicabilité. Générer deux conditions d’évaluation pour chaque cas :
   1. Sortie uniquement prédiction et
   2. prédiction accompagnée d’informations explicables. Randomisez l’ordre de présentation des cas et des conditions d’évaluation afin de minimiser les biais de présentation et les effets d’apprentissage.
3. Préparez des formulaires d’évaluation standardisés contenant les résultats de prédiction, les résultats explicatifs et les questionnaires d’évaluation. Présenter les cas individuellement aux participants via une interface d’évaluation informatisée.
4. Demandez aux participants d’examiner chaque cas de manière indépendante sans discuter des réponses avec d’autres évaluateurs. Permettre aux participants de réaliser toutes les évaluations dans des conditions expérimentales identiques.
5. Administrez un questionnaire à cinq points à l’échelle Likert adapté d’études d’évaluation de l’intelligence artificielle explicables publiées. Demandez aux participants d’évaluer la confiance, l’interprétabilité et l’utilisabilité pour chaque cas examiné. Enregistrez électroniquement les réponses au questionnaire et vérifiez la complétion de tous les items de l’enquête avant de procéder à l’analyse statistique.
6. Mesurer les indicateurs objectifs de l’utilité clinique lors du processus d’évaluation. Enregistrer l’accord de décision en comparant les décisions des participants avec les labels de référence correspondants ou les résultats de base de la réalité. Calculer l’accord de décision comme le pourcentage de décisions des participants correspondant au résultat de référence.
7. Enregistrez le temps de révision pour chaque cas en mesurant l’intervalle entre la présentation du dossier et la soumission de la réponse finale. Calculez séparément le temps moyen de révision pour les conditions de prédiction uniquement et de prédiction avec explication.
8. Calculez les scores moyens de confiance, d’interprétabilité et d’utilisabilité pour tous les participants et les cas d’évaluation. Comparez les scores obtenus sous des conditions de prédiction seule et prédiction avec explication.
9. Effectuer des tests t par paires après l’achèvement de toutes les évaluations des participants afin de déterminer si les différences de confiance, d’interprétabilité, d’utilisabilité, d’accord décisionnel et de temps d’examen sont statistiquement significatives. Utilisez un seuil de signification de p 0,05 pour toutes les comparaisons statistiques.
10. Calculer Fleiss Kappa après avoir recueilli les réponses de tous les participants pour évaluer l’accord inter-évaluateurs. Utilisez les évaluations agrégées des participants pour déterminer la cohérence des évaluations entre les évaluateurs. Interprétez les valeurs de Fleiss Kappa selon les directives d’accord établies et enregistrez les statistiques d’accord résultantes.
11. Résumez la démographie des participants, la méthodologie d’évaluation, la conception du questionnaire, les procédures d’analyse statistique, les mesures de performance objective et les résultats d’accord inter-évaluateurs dans le tableau 4.
12. Examinez les résultats du modèle dans les deux conditions d’évaluation et comparez les réponses des participants entre les différentes conditions. Vérifiez que les explications améliorent la confiance, l’interprétabilité et l’utilisabilité sans nuire à la qualité des décisions.
13. Confirmez la cohérence des évaluations des participants à l’aide de la statistique Fleiss Kappa calculée. Consignez tous les résultats de l’évaluation pour un rapport ultérieur et une évaluation de la reproductibilité.
14. Résultats attendus – Générez les scores de confiance des cliniciens, les évaluations d’interprétabilité, les évaluations d’utilisabilité, les mesures décision-accord, les statistiques sur le temps de révision, les résultats du test t appariés et les statistiques d’accord inter-évaluateurs. Produire des preuves quantitatives décrivant l’utilité clinique, l’interprétabilité et la fiabilité du cadre d’intelligence artificielle explicable.

Paramètre	Valeur
Experts	12
Médecins	6
Radiologues	3
Analystes de données cliniques	3
Affaires examinées	100
Conception d’évaluation	Aléatoire (Prédiction uniquement vs Prédiction+Explication)
Instrument de levé	Échelle de Likert à 5 points
Évaluation de la fiducie	Interprétabilité, Confiance, Ergonomie
Test statistique	Test t apparié (p 0,05)
Fiabilité inter-évaluateurs	Fleiss Kappa
Mesures objectives	Accord de décision, temps de révision

Tableau 4 : Protocole d’évaluation centré sur l’humain et conception de l’évaluation par le clinicien.

Ce tableau présente le cadre d’évaluation des cliniciens utilisé pour évaluer l’interprétabilité, la fiabilité et l’utilisabilité du système d’IA explicable. Les informations concernant la démographie des participants, la méthodologie de l’évaluation des cas, la conception de l’enquête, les procédures d’analyse statistique, l’évaluation de fiabilité inter-évaluateurs et les mesures d’évaluation objective sont résumées.

8. Validation et évaluation de la reproductibilité

1. Réaliser des études de validation et d’ablation afin d’évaluer la robustesse et la fiabilité du cadre proposé. Identifier les caractéristiques ayant des scores d’importance élevés en utilisant les méthodes d’explicabilité sélectionnées. Supprimer progressivement les caractéristiques importantes et réentraîner les modèles prédictifs après chaque étape de suppression de caractéristiques.
2. Évaluer la performance du modèle après chaque expérience d’ablation en utilisant la précision, la précision, le rappel, le score F1 et les métriques ROC-AUC. Comparez les valeurs de performance résultantes avec celles du modèle de référence pour déterminer la contribution des caractéristiques individuelles aux résultats prédictifs.
3. Évaluez la stabilité des explications en générant des explications pour des échantillons d’entrée similaires à l’aide de SHAP, de CLIME, et de Grad-CAM. Comparez les résultats explicatifs à travers des évaluations répétées et quantifiez la cohérence à l’aide des métriques de stabilité prédéfinies. Vérifiez que les explications restent stables sous de légères variations d’entrée et des répétitions d’expérimentations.
4. Enregistrez toutes les procédures expérimentales tout au long du flux de travail. Opérations de prétraitement des données documentées, procédures de partitionnement des ensembles de données, architectures de modèles, paramètres d’hyperparamètres, configurations d’entraînement, méthodes d’explicabilité, stratégies de validation et métriques d’évaluation. Stockez tous les paramètres de configuration et les sorties expérimentales dans un format structuré pour faciliter la reproductibilité et la vérification indépendante.
5. Examinez tous les dossiers expérimentaux pour en assurer l’exhaustivité et la cohérence. Vérifiez que le flux de travail peut être reproduit à l’aide des procédures documentées, des fichiers de configuration et des spécifications logicielles. Maintenir une structure de flux de travail modulaire pour faciliter l’adaptation du protocole pour de futures études et soutenir la conversion en un protocole expérimental basé sur la vidéo, conforme aux exigences méthodologiques de JoVE.

9. Ressources de reproductibilité

1. Exécutez toutes les expériences en utilisant des graines aléatoires fixes afin d’assurer des résultats reproductibles sur des répétitions répétées. Maintenir le code source, les scripts de prétraitement, les fichiers de configuration, les spécifications d’environnement, les paramètres de modèle et les scripts de visualisation au sein d’un dépôt accessible au public.
2. Fournir des instructions détaillées pour l’acquisition des ensembles de données, le prétraitement, l’exécution d’expériences, l’entraînement des modèles, la génération d’explicabilités, les procédures de validation et la régénération de toutes les tables et figures rapportées. Archivez tous les composants du flux de travail nécessaires à la réplication indépendante, y compris les spécifications logicielles, les flux de prétraitement, les fichiers de configuration, les instructions d’accès aux ensembles de données, les points de contrôle des modèles et les ressources de visualisation.
3. Résumez les ressources logicielles, les flux de travail de prétraitement, les fichiers de configuration, les instructions d’accès aux jeux de données et les ressources de reproductibilité utilisées dans tout le cadre dans le tableau 5.
4. Résultats attendus – Générez un package expérimental complet reproductible contenant des scripts de prétraitement, des fichiers de configuration, des modèles entraînés, des points de contrôle de modèles, des sorties explicables, des rapports de validation, des artefacts de visualisation, des spécifications logicielles et la documentation nécessaires à la réplication et à la vérification indépendantes du cadre proposé.

Ressource	Description
Source Code	Scripts d’implémentation Python pour le prétraitement des données, l’entraînement des modèles, l’explicabilité et l’évaluation
Fichier Environnement	requirements.txt contenant les dépendances et versions des paquets
Fichiers de configuration	Paramètres d’architecture du modèle, hyperparamètres et configurations expérimentales
Graines aléatoires fixes	Graine = 42 utilisées pour les expériences reproductibles
Instructions d’accès au jeu de données	Liens et procédures pour acquérir des ensembles de données en santé publique
Scripts de prétraitement	Scripts pour le nettoyage, la normalisation, l’encodage et la sélection des fonctionnalités des données
Scripts de génération de figures	Écritures pour régénérer toutes les figures manuscrites
Scripts de génération de table	Scripts pour reproduire les tableaux et métriques rapportés
Exemples d’entrées	Ensembles de données d’exemple et fichiers d’entrée
Exemples de sorties	Résultats de prédiction, explications et rapports d’évaluation

Tableau 5 : Ressources de reproductibilité et actifs expérimentaux.

Ce tableau résume les ressources fournies pour soutenir la reproductibilité expérimentale, y compris le code source, les scripts de prétraitement, les fichiers de configuration, les spécifications d’environnement, les instructions d’accès au jeu de données, les réglages de semence aléatoires fixes, les scripts de génération de figures et les exemples de fichiers d’entrée/sortie nécessaires à la reproduction des résultats rapportés.

Résultats

Nous avons examiné en profondeur la composante IA explicative de l’ensemble de notre pipeline, évaluant sa capacité à prédire différents types de données de santé, y compris les données cliniques structurées et les images médicales. Les résultats ont indiqué une performance prédictive cohérente à travers les ensembles de données évalués. Parmi les modèles testés, le modèle de gradient boosting a obtenu la plus grande précision à 97,4 %, suivi du modèle de forêt aléatoire à 94,2 %. Les méthodes d’apprentissage profond appliquées aux ensembles d’images ont atteint une précision de 91,3 %, tandis que les modèles de perceptron multicouches ont donné des résultats légèrement inférieurs, soit 90,8 %. Cela suggère que les modèles d’apprentissage automatique basés sur des ensembles fonctionnent mieux sur des données de santé structurées, tandis que les architectures d’apprentissage profond excellent dans les tâches d’imagerie. Le tableau 6 décrit en détail diverses métriques de performance pour les fonctions de prédiction, notamment la précision, la précision, le rappel et le score F1, ainsi que des métriques d’explicabilité telles que la fidélité et la stabilité. Nous sommes arrivés à ces chiffres de performance en utilisant une validation croisée à cinq reprises et en présentant les résultats comme des valeurs moyennes (avec des intervalles de confiance à 95 %). Les intervalles de confiance indiquent non seulement l’incertitude du modèle, mais rendent aussi les comparaisons de performance prédictive plus fiables, tenant compte de la mémoire des ensembles de données et des différences dans les architectures des modèles.

Modèle	Précision ( %)	Précision	Rappel	F1-Score	Fidélité	Stabilité	IC à 95 %
Forêt aléatoire	94.2	0.93	0.92	0.92	0.85	0.82	93.1–95.3
XGBoost	97.4	0.96	0.95	0.95	0.92	0.89	96.5–98.3
MLP	90.8	0.89	0.88	0.88	0.80	0.78	89.6–92.0
CNN (Imagerie)	91.3	0.90	0.91	0.90	0.88	0.86	90.1–92.5

Tableau 6 : Performance comparative des modèles prédictifs et des méthodes d’explicabilité.
Ce tableau présente une évaluation comparative des modèles d’apprentissage automatique et d’apprentissage profond utilisant des indicateurs de performance prédictifs, incluant la précision, la précision, la mémoire, le score F1 et le ROC-AUC. De plus, des indicateurs d’explicabilité tels que la fidélité, la stabilité, la compréhensibilité et les scores de confiance humaine sont rapportés pour fournir une évaluation complète à la fois de l’efficacité prédictive et de l’interprétabilité.

Les résultats indiquent que le Gradient Boosting a obtenu la performance prédictive globale la plus élevée (97,4 % de précision), surpassant Random Forest de 3,2 points de pourcentage et les modèles d’apprentissage profond de plus de 6 points de pourcentage. Cette observation suggère que les méthodes d’apprentissage en ensemble étaient particulièrement efficaces pour les ensembles de données structurés en santé inclus dans cette étude. La différence de performance plus faible entre les modèles CNN et MLP indique qu’une complexité accrue du modèle à elle seule ne se traduisait pas nécessairement par une performance prédictive supérieure dans les conditions expérimentales évaluées.
Pour démontrer l’utilité de notre cadre proposé dans une variété de tâches d’analyse en santé, nous présentons les résultats de performance prédictifs spécifiques à chaque ensemble de données dans le tableau 7.

Analyse spécifique à chaque ensemble de données.
La performance variait selon les ensembles de données en raison des différences de complexité des caractéristiques, de taille de l’échantillon, de répartition des classes et de modalité des données. L’ensemble de données sur le cancer du sein a obtenu la plus grande précision prédicative, probablement grâce à une séparabilité bien définie des caractéristiques. Une performance légèrement inférieure sur les jeux de données MIMIC-III et NIH Chest X-Ray reflète la complexité accrue des dossiers cliniques longitudinaux et des données d’imagerie médicale. Ces résultats démontrent que la performance du cadre est influencée par les caractéristiques des ensembles de données et le contexte clinique.

Jeu de données	Précision ( %)	Précision ( %)	Rappel ( %)	Note F1 ( %)
Cancer du sein	97.4	97.2	97.6	97.1
Diabète	94.2	93.9	94.4	94
MIMIC-III	91.3	91	91.5	91.1
Radiographie thoracique des NIH	90.8	90.4	91.2	90.6

Tableau 7 : Résultats prédictifs spécifiques à chaque ensemble de données.
Performance prédictive du cadre d’IA explicable proposé à travers quatre ensembles de données représentatifs en santé. La précision, la récidion, la mémoire et le score F1 sont rapportés en pourcentages ( %) sur les ensembles de tests indépendants. Des valeurs plus élevées indiquent une meilleure performance dans la classification.

Pour évaluer la performance prédictive, quatre modèles d’apprentissage automatique et d’apprentissage profond, à savoir Gradient Boosting, Random Forest, Convolutional Neural Network (CNN) et Multilayer Perceptron (MLP), ont été évalués à travers quatre ensembles de données représentatifs en santé. La performance du modèle a été évaluée à l’aide de la précision, de la précision, du rappel, du score F1 et des métriques ROC-AUC sur des ensembles de données de test indépendants, après une répartition 70:15:15 train-validation-test et une validation croisée en cinq ans. Les améliorations des performances prédictives ont été déterminées en comparant des métriques d’évaluation spécifiques au modèle entre des conditions identiques de prétraitement et de validation.
Afin d’illustrer comment les performances des modèles diffèrent selon les différentes méthodes, la Figure 4 montre de façon picturale les avantages et inconvénients des modèles d’ensemble, de réseaux neuronaux et d’apprentissage profond.

Figure 4 : Performance comparative des modèles d’apprentissage automatique et d’apprentissage profond sur les tâches de prédiction en santé. (A) Comparaison de précision des modèles Gradient Boosting, Random Forest, CNN et MLP sur le jeu de données test. (B) Comparaison des scores F1 des modèles Gradient Boosting, Random Forest, CNN et MLP sur le jeu de données test. (C) Comparaison précise des modèles Gradient Boosting, Random Forest, CNN et MLP sur le jeu de données test. (D) Rappeler la comparaison des modèles Gradient Boosting, Random Forest, CNN et MLP sur le jeu de données test. Des valeurs plus élevées indiquent une meilleure performance prédictive. Le Gradient Boosting a obtenu la meilleure performance globale sur toutes les métriques d’évaluation, suivi par Random Forest. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Interprétation de la performance explicable.
SHAP a constamment obtenu les scores de fidélité et de stabilité les plus élevés parmi les méthodes d’explicabilité évaluées, indiquant un accord plus fort entre les explications générées et les prédictions du modèle sous-jacent. La LIME a présenté une stabilité relativement inférieure, ce qui suggère une plus grande sensibilité aux perturbations locales et à la variabilité de l’échantillonnage. Grad-CAM fournissait des explications visuellement interprétables pour les modèles basés sur l’image, mais produisait des valeurs de fidélité légèrement inférieures à celles de SHAP. Ces résultats indiquent que la qualité de l’explication dépend à la fois de la technique d’explication sélectionnée et de l’architecture du modèle prédictif sous-jacente.

Les techniques d’explicabilité intégrées dans la chaîne ont été évaluées en termes de performance quantitative et qualitative. Plus précisément, les méthodes d’attribution des caractéristiques ont réussi à révéler la logique interne du modèle de manière assez cohérente à travers différents ensembles de données.
Toutes les méthodes considérées dans l’étude, SHAP, ont obtenu la plus grande fidélité (0,92) et stabilité (0,89) parmi les méthodes d’explicabilité évaluées. Pour faire simple, les explications étaient des représentations très précises de ce que le modèle avait réellement prédit. Les méthodes d’explication locale sont une sorte de fenêtre à travers laquelle nous pouvons voir une prédiction spécifique et comprendre ce que le modèle a utilisé comme base pour la décision.

La performance en interprétabilité a été évaluée à l’aide de la fidélité, de la stabilité, de la compréhensibilité et des scores de confiance des cliniciens obtenus à partir d’une évaluation centrée sur l’humain. Les explications de SHAP, LIME et Grad-CAM ont été comparées à l’aide de jeux de données identiques et de modèles entraînés. Les améliorations de l’explicabilité ont été évaluées en comparant les indicateurs de qualité de l’explication et les évaluations des cliniciens entre les méthodes d’explication évaluées. Les techniques de visualisation des modèles d’apprentissage profond qui travaillent avec des images produisent essentiellement des cartes thermiques, qui identifient les régions des images ayant la plus grande pertinence pour la prédiction du modèle. Les distributions d’importance des caractéristiques et les comparaisons de performance explicables entre différentes méthodes sont présentées à la Figure 5.

Figure 5 : Évaluation de la performance de l’explicabilité.La figure présente la performance des méthodes d’explicabilité à l’aide de métriques de fidélité et de stabilité. SHAP est en tête en termes de fidélité (0,92) et de stabilité (0,89), ce qui reflète un bon accord entre explications et prédictions de modèles. LIME s’avère être le meilleur outil pour l’interprétabilité d’exemples individuels. En revanche, Grad-CAM produit des cartes de chaleur visuelles principalement utilisées dans les modèles d’imagerie, montrant grossièrement les régions les plus importantes responsables de la prédiction du modèle, ce qui, d’un point de vue clinique, peut être très pertinent. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Après avoir évalué les modèles prédictifs et les techniques d’interprétabilité, il a été révélé que la corrélation entre la précision d’un modèle et la fiabilité de ses explications est très forte. En fait, les mêmes modèles qui montraient des améliorations de prédiction expliquaient aussi leurs résultats avec plus de stabilité et de cohérence lorsque les techniques d’interprétabilité étaient correctement appliquées. Les modèles d’ensemble se sont révélés les plus interprétables lorsqu’ils sont accompagnés de méthodes d’attribution de caractéristiques, tandis que les modèles d’apprentissage profond étaient mieux servis par des méthodes explicables basées sur la visualisation. Le lien qui relie la précision de la prédiction et la fiabilité des explications se trouve à la Figure 6, qui expose en détail la dynamique conceptuelle entre modèle et explicabilité.

Figure 6 : Analyse comparative des modèles et explication des méthodes de capacité.Le graphique présente une comparaison détaillée de la précision et explique les mesures de capacité de différents modèles. Il comprend un graphique de dispersion illustrant la corrélation entre la précision et la stabilité de l’explication, une comparaison tabulaire des performances, et une matrice de pertinence décrivant les différentes méthodes d’explication des capacités SHAP, LIME, et Grad-CAM, ainsi que leur efficacité avec différents types de modèles. Le visuel montre clairement que les modèles d’ensemble plus SHAP offrent une excellente interprétabilité, tandis que les modèles d’apprentissage profond peuvent s’expliquer par des techniques de visualisation. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

L’évaluation centrée sur l’humain a confirmé l’utilité concrète du système proposé dans les hôpitaux et autres établissements cliniques. Les professionnels de santé ont examiné les résultats des modèles avec ou sans explications. Montrer les résultats avec des explications a conduit à une augmentation considérable de la confiance et de l’interprétabilité des utilisateurs ; La valeur moyenne de la fiducie est passée de 3,1 à 4,7 sur une échelle de 1 à 5. L’augmentation du score de confiance de 3,1 à 4,7 représente une amélioration relative approximative de 51,6 %. L’accord inter-évaluateurs substantiel (κ de Fleiss = 0,81) indique en outre une évaluation cohérente des cliniciens de l’utilité de l’explication. Ces résultats suggèrent que les résultats d’explicabilité peuvent améliorer la confiance des utilisateurs et faciliter l’interprétation des décisions cliniques assistées par l’IA. Les professionnels ont démontré une meilleure compréhension des résultats des modèles et une plus grande confiance dans le jugement des situations cliniques soutenus par l’IA, ce qui souligne l’importance de l’interprétabilité dans la mise en œuvre réelle des soins de santé.

Nous avons également vérifié la robustesse de notre cadre grâce à une analyse d’ablation. La suppression de caractéristiques critiques qui, par des méthodes d’explicabilité, étaient jugées essentielles entraînait une perte majeure de performance prédictive. Ainsi, la conclusion montre que les caractéristiques étaient non seulement pertinentes mais aussi significatives pour la tâche prédictive. De plus, les résultats d’explication ne montraient que des différences négligeables lorsque différents échantillons d’entrée étaient expliqués, montrant ainsi la stabilité et la fiabilité des méthodes d’explicabilité.

Pour vérifier la faisabilité du pipeline pour un usage pratique, nous avons mesuré sa vitesse de calcul. L’introduction de techniques d’explicabilité a entraîné une certaine augmentation du temps de calcul, notamment lors de l’attribution de caractéristiques et de la création de visualisations. Néanmoins, le temps total d’exécution restait réalisable et pas trop long. La figure 7 montre comment le temps de calcul est partagé entre différentes étapes du pipeline, telles que le prétraitement, l’entraînement du modèle, la génération d’explicabilités, l’évaluation et la visualisation.

Figure 7 : Décomposition du temps d’exécution du pipeline. Ce graphique montre comment le temps de calcul est réparti entre différentes phases du pipeline d’IA explicable, telles que le prétraitement, l’entraînement du modèle, la création de capacités d’explication, l’évaluation et la visualisation. Les données révèlent que la majeure partie de la chronologie est occupée par l’entraînement du modèle, suivi ensuite par le traitement des capacités d’explication. En revanche, le temps consacré au prétraitement et au reporting est assez limité. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

Nous avons également testé la force du cadre proposé par une analyse d’ablation. En retirant les caractéristiques essentielles découvertes via les méthodes d’explicabilité, on a montré une baisse nette des performances prédictives, ce qui montre clairement que ces caractéristiques sont non seulement pertinentes mais aussi très importantes. En dehors de cela, les sorties explicatives étaient assez stables même lorsqu’il y avait un léger changement dans les échantillons d’entrée, ce qui prouve la cohérence et la fiabilité des techniques d’explicabilité.

En résumé, en combinant la mesure de la performance prédictive, de l’explicabilité et de la validation centrée sur l’humain, il a été démontré que le cadre proposé était efficace. Le système ne se contentait pas de faire des prédictions très précises, il restait aussi très interprétable et facile à utiliser. L’introduction de méthodes d’explicabilité a rendu l’ensemble du processus transparent sans nuire aux performances du modèle. Les améliorations que nous avons observées en matière de précision et d’interprétabilité des prédictions n’ont pas seulement été réalisées sous un contrôle expérimental strict, mais elles ont aussi été statistiquement significatives, un fait qui témoigne de l’endurance et de l’authenticité de la méthode proposée. Des comparaisons par paires entre modèles prédictifs ont été réalisées à l’aide de tests t appariés entre des replis de validation croisée. Des différences statistiquement significatives ont été observées entre le Gradient Boosting et les modèles concurrents (p < 0,05), confirmant la supériorité de la configuration proposée.

Résultats globaux.
Collectivement, les résultats démontrent que la performance prédictive, la qualité des explications et la confiance des cliniciens peuvent être évaluées dans un flux de travail unifié et reproductible. Le cadre maintenait une performance cohérente à travers plusieurs ensembles de données de santé tout en soutenant une interprétation transparente via SHAP, LIME et explications Grad-CAM. Cependant, les résultats doivent être interprétés dans le contexte des ensembles de données sélectionnés et des paramètres de validation, et une validation externe supplémentaire reste nécessaire avant le déploiement dans la vie réelle.

DISPONIBILITÉ DES DONNÉES :
Nous avons obtenu les ensembles de données utilisés dans les recherches actuelles auprès de sources publiques, et ils se trouvent dans des dépôts de données bien connus. Par exemple, les données relatives au cancer du sein et au diabète sont téléchargeables depuis le dépôt UCI Machine Learning à l’adresse : https://archive.ics.uci.edu/ml/index.php

On peut obtenir le jeu de données électronique des dossiers médicaux (MIMIC-III) via Physio Net à l’adresse suivante :
https://physionet.org/content/mimiciii/1.4/

Les données d’imagerie thoracique ont été extraites du jeu de données de radiographies thoraciques du NIH et peuvent être consultées sur : https://www.kaggle.com/datasets/nih-chest-xrays/data

Tous les ensembles de données que nous avons explorés dans cette étude sont anonymisés et rendus accessibles au public. Les étapes de prétraitement, le modèle entraîné et les résultats d’explication des capacités que nous avons produits lors de la recherche sont disponibles via l’auteur correspondant si une demande raisonnable est faite. Le code source, les scripts de prétraitement, les fichiers de configuration et les ressources de reproductibilité seront déposés dans un dépôt public dès l’acceptation des manuscrits.

Discussion

Cette étude a développé et évalué un flux de travail d’intelligence artificielle explicable reproductible (XAI) pour l’analyse de la santé, qui intègre modélisation prédictive, évaluation de l’explicabilité, évaluation centrée sur le clinicien et ressources de reproductibilité au sein d’un seul protocole. Les résultats ont démontré que les modèles d’apprentissage automatique basés sur des ensembles, en particulier le Gradient Boosting et le Random Forest, obtenaient les meilleures performances prédictives sur les ensembles de données structurés évalués, tandis que les modèles d’apprentissage profond étaient plus adaptés aux analyses basées sur des images. Ces résultats soulignent l’importance de sélectionner les architectures de modèles en fonction des caractéristiques des données, plutôt que de supposer que des modèles plus complexes offriront toujours des performances supérieures. Une contribution clé de ce travail est l’intégration de la modélisation prédictive, de l’évaluation de l’explicabilité, de l’évaluation centrée sur l’humain et des pratiques de reproductibilité dans un flux de travail standardisé. Contrairement aux études qui évaluent isolément les techniques d’explicabilité, le cadre proposé propose une méthodologie axée sur les protocoles qui permet une expérimentation transparente et reproductible à travers divers ensembles de données de santé.

L’analyse d’explicabilité a montré des différences mesurables entre les méthodes évaluées. SHAP a obtenu les scores de fidélité et de stabilité les plus élevés dans les conditions expérimentales évaluées, indiquant un accord plus étroit entre les explications générées et les prédictions du modèle. LIME fournissait des explications locales utiles mais montrait une stabilité moindre, tandis que Grad-CAM générait des explications visuelles intuitives pour les données d’imagerie. Ces résultats suggèrent que la qualité de l’explication dépend à la fois de la méthode d’explicabilité sélectionnée et du modèle prédictif sous-jacent. L’évaluation centrée sur l’humain a également démontré que l’inclusion d’explications améliorait la confiance et l’interprétabilité des cliniciens. L’augmentation observée des scores de confiance et un accord important entre évaluateurs (κ de Fleiss = 0,81) indiquent une évaluation cohérente de l’utilité des explications chez les participants. Ces résultats soutiennent la valeur potentielle des méthodes d’explicabilité pour améliorer la transparence et l’acceptation des utilisateurs dans les systèmes d’aide à la décision en santé.

Plusieurs limitations doivent être prises en compte lors de l’interprétation des résultats. Premièrement, le cadre a été évalué à partir d’un nombre limité de jeux de données publiques et peut ne pas représenter pleinement la variabilité rencontrée dans les environnements cliniques réels. Deuxièmement, l’évaluation du clinicien impliquait une cohorte de participants relativement petite, ce qui peut limiter la généralisabilité. Troisièmement, les méthodes d’explicabilité étudiées dans cette étude sont des techniques post-hoc et restent donc sujettes à des limitations connues, notamment la sensibilité aux perturbations et aux écarts potentiels entre les explications et le raisonnement véritable. Enfin, la validation externe entre les établissements de santé indépendants dépassait le cadre de la présente étude.

Les recherches futures devraient étudier l’analyse multimodale des soins de santé intégrant les dossiers cliniques, l’imagerie médicale, les signaux physiologiques et les données de capteurs portables. Des travaux supplémentaires sont nécessaires pour évaluer les méthodes d’explication causale et contrafactuelle, la quantification de l’incertitude, l’évaluation de l’équité, l’analyse d’étalonnage et la validation clinique prospective. De telles études pourraient encore améliorer la transparence, la fiabilité et l’applicabilité des systèmes d’IA explicables dans le secteur de la santé.

En plus de l’évaluation des performances, plusieurs défis pratiques de mise en œuvre et modifications de protocole doivent être pris en compte afin d’assurer un déploiement robuste du cadre d’IA explicable proposé dans divers environnements de santé.

Limites des méthodes d’explicabilité

SHAP, LIME et Grad-CAM, tout en fournissant des informations utiles sur le comportement des modèles, présentent également plusieurs inconvénients. Il a été noté dans la littérature que ces outils peuvent être instables lors de répétitions répétées, très sensibles aux perturbations, différer selon les ensembles de données, et parfois ne pas refléter fidèlement les véritables raisons du modèle. Par conséquent, les explications post-hoc ne doivent être vues que comme des preuves complémentaires et non comme la représentation réelle des mécanismes de décision causals. Une validation adéquate de la fiabilité des explications reste une étape très importante avant qu’elles ne puissent être utilisées dans des contextes cliniques à fort impact.

Cela est également cohérent avec les résultats récents de recherches en IA biomédicale, qui ont souligné la nécessité d’expliquer la validation de la fiabilité avant sa mise en œuvre en milieu clinique. L’intégration de l’explicabilité a été utilisée comme un aspect clé de la validation dans les systèmes de prédiction de l’arrêt cardiaque afin qu’ils soient plus transparents et gagnent la confiance des prédictions^{cliniques 41}. De la même manière, la segmentation par échographie hépatique utilisant des techniques d’explicabilité basées sur la visualisation visait à accroître l’interprétabilité sans ignorer le fait que les explications post-hoc sont limitées. Ces articles confirment que des vérifications de cohérence explicative, des tests de robustesse explicative et des validations cliniquement significatives des résultats de l’explicabilité sont nécessaires pour atteindre le plus haut niveau de préparation clinique à^{l’utilisation 42}.

Calibration, Équité, Robustesse et Généralisation Externe

Les futures versions du cadre proposé incluront l’évaluation de l’étalonnage de probabilité au moyen de courbes d’étalonnage et du score Brier, l’estimation de l’incertitude par des méthodes bayésiennes et basées sur ensemble, l’audit de l’équité des sous-groupes démographiques, et la vérification de la robustesse en présence de données bruitées et de conditions de domaine changeantes. Ces analyses sont particulièrement importantes dans les milieux de santé où la confiance des modèles, la performance équitable et la fiabilité dans des environnements cliniques changeants influencent directement la sécurité des patients et l’adoption clinique. Les récents cadres scientifiques habilités par l’IA ont également souligné l’importance de systèmes d’aide à la décision fiables, transparents et fiables, au-delà de l’évaluation prédictive conventionnelle de la performance. Les récents cadres scientifiques habilités par l’IA ont également souligné l’importance de systèmes d’aide à la décision fiables, transparents et fiables, au-delà de l’évaluation prédictive conventionnelle ^{de la performance 43}.

Dépannage et modifications de protocoles

Plusieurs points pratiques doivent être pris en compte pour le déploiement réussi du cadre d’IA explicable proposé. Un problème typique est le surappui, par exemple, lors de l’entraînement de modèles d’apprentissage profond sur des ensembles de données de santé relativement petits. Le surapprentissage peut être réduit en appliquant la validation croisée, l’arrêt précoce, la régularisation du dropout, l’augmentation des données et une optimisation approfondie des hyperparamètres. Observer la performance de validation pendant la formation est un bon moyen d’éviter un modèle très complexe qui généralise mal.

Un autre enjeu très important dans les ensembles de données en santé est le déséquilibre de classes, c’est-à-dire que les résultats cliniques positifs sont beaucoup plus rares que les cas négatifs. Pour traiter ce problème, l’échantillonnage stratifié, l’ajustement du poids de classe, le suréchantillonnage synthétique des minorités et l’utilisation de métriques d’évaluation équilibrée comme le score F1 et le ROC-AUC devraient faire partie de la chaîne de modélisation. Ignorer le déséquilibre de classe risque de produire des indicateurs de performance qui ne sont pas véritablement représentatifs du modèle et des prédictions cliniques susceptibles d’être biaisées.

Les ensembles de données d’imagerie médicale ne sont généralement pas parfaits et peuvent être corrompus par le bruit, les artefacts d’acquisition, une qualité incohérente, etc. Ces facteurs varient également selon le type de dispositif d’imagerie. Ces facteurs peuvent avoir un impact négatif sur la performance prédictive et également les résultats d’explicabilité. Par conséquent, des étapes de prétraitement standardisées, la normalisation d’image, les contrôles de qualité et les techniques d’augmentation des données doivent être appliquées afin d’atteindre la robustesse et la fiabilité du modèle.

SHAP permet de déduire des explications très informatives sur l’attribution des caractéristiques. Cependant, les occurrences d’instabilité ne peuvent être ignorées, surtout lorsque des caractéristiques fortement corrélées existent ou lorsque les résultats du modèle sont très sensibles à de petits changements dans les données d’entrée. Pour améliorer la cohérence et la fiabilité des explications, il est recommandé d’écrire l’explication plusieurs fois, d’évaluer la stabilité sur plusieurs exécutions, d’utiliser des stratégies de regroupement de caractéristiques et de vérifier avec d’autres méthodes d’explicabilité comme LIME.

En ce qui concerne les données de santé à grande échelle et les architectures de réseaux neuronaux profonds et massives, les limites de mémoire GPU peuvent devenir l’une des principales contraintes. Les besoins en mémoire peuvent être considérablement réduits grâce à des modifications de la taille des lots, à un entraînement de précision mixte, à l’élagage des modèles, à la réduction de la dimensionnalité des caractéristiques et à l’adoption d’un chargement efficace des données. Par ailleurs, les chercheurs déployant le cadre sur des systèmes à faibles ressources pourraient envisager d’utiliser des environnements de cloud computing ou une formation distribuée.

La conception modulaire du cadre proposé permet de modifier facilement différentes applications de santé. Selon la tâche clinique, les scientifiques peuvent modifier un ou plusieurs modèles de prédiction individuels, ajouter de nouvelles méthodes d’explication, utiliser différents types de données de santé ensemble, ou inclure des modules de quantification et d’étalonnage de l’incertitude sans modifier le flux de travail global. Cette flexibilité permet de rendre le cadre utilisable dans des cas d’analyse de santé très différents tout en restant reproductible et interprétable.

Considérations réglementaires et éthiques :

Les systèmes d’IA rendus plus compréhensibles peuvent être d’une grande aide dans le domaine de la santé. Mais ce n’est pas suffisant. Les règles des régulateurs, qui exigent transparence, responsabilité, vie privée et sécurité des patients, doivent être respectées. Même si l’explicabilité peut accroître la confiance et l’interprétabilité, elle ne peut à elle seule garantir la validité clinique. La mise en œuvre responsable nécessite une validation clinique prospective, une évaluation de l’équité, une revue réglementaire et un suivi post-déploiement. De plus, la confidentialité des patients, la supervision des cliniciens et la performance équitable entre groupes démographiques doivent être prises en compte lors du déploiement futur du cadre. Pour être intégrés aux flux de travail cliniques réels, les systèmes d’IA et les professionnels de santé doivent interagir sans aucun problème. Par conséquent, les informations explicables doivent faire partie des dossiers médicaux électroniques actuels et des plateformes d’aide à la décision clinique, et non des outils distincts qui ne fonctionnent que seuls. Les choix ultimes doivent être faits par les médecins, tandis que l’IA explicable n’est qu’une technologie d’assistance qui améliore la transparence, soutient le raisonnement fondé sur des preuves et facilite la communication entre les professionnels de santé et les patients.

Cet article présente un protocole reproductible pour développer, évaluer et interpréter des systèmes d’intelligence artificielle explicables dans l’analyse des soins de santé. Cette contribution est méthodologique et orientée flux de travail, offrant aux chercheurs et cliniciens un cadre standardisé pouvant être reproduit, adapté et étendu à de multiples applications de santé. Il combine différents aspects tels que le prétraitement des données, la modélisation prédictive, les méthodes d’explicabilité et l’évaluation des performances de manière unifiée. La méthodologie a démontré une forte performance prédictive sur plusieurs ensembles de données en santé. En matière d’analyse de données structurées, les ensembles de modèles sont les plus performants, tandis que les modèles d’apprentissage profond se révèlent très efficaces pour les tâches d’imagerie médicale. De plus, l’utilisation de techniques d’explication facilite la compréhension des modèles par les utilisateurs, car elle offre des interprétations globales et locales des résultats de prédiction. Ainsi, cela augmente non seulement la confiance des cliniciens, mais aussi l’utilisabilité des modèles. Les résultats indiquent que l’IA explicable peut soutenir le développement de systèmes d’analyse de santé transparents et interprétables afin de trouver un compromis entre la précision et l’interprétabilité des modèles, essentiels pour des analyses de santé fiables et dignes de confiance. Par conséquent, la méthode présentée ici est un outil très efficace et simple d’analyse des données médicales, qui peut aider les professionnels de santé à utiliser des technologies d’IA en lesquelles ils ont confiance. Cet article présente un protocole reproductible pour développer, évaluer et interpréter des modèles d’intelligence artificielle explicables dans l’analyse des soins de santé. En intégrant le prétraitement des données, la modélisation prédictive, l’évaluation de l’explicabilité, l’évaluation centrée sur le clinicien et les ressources de reproductibilité dans un flux de travail unifié, le protocole offre un cadre pratique pour la recherche transparente en IA en santé. Le flux de travail peut être adapté à divers ensembles de données et domaines d’application en santé, en soutenant la mise en œuvre, l’évaluation et le reporting reproductibles de systèmes d’apprentissage automatique explicables.

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
GPU Workstation	Dépendant du fabricant	NA	Formation de modèles d'apprentissage profond
Jupyter Notebook	Project Jupyter	Dernière version stable	Exécution interactive des expériences
LIME	LIME	Version 0.2.0	Explications locales interpretables
Matplotlib	Matplotlib Project	Version 3.9	Visualisation de données
MIMIC-III Database	PhysioNet	Version 1.4	Analyse des dossiers médicaux électroniques
NIH Chest X-ray Dataset	NIH Clinical Center	Dataset public	Classification des maladies thoraciques
NumPy	NumPy Developers	Version 1.26	Calcul numérique et opérations sur les tableaux
OpenCV	OpenCV Foundation	Version 4.10	Prétraitement d'images
Pandas	Pandas Development Team	Version 2.1	Manipulation et prétraitement des données
Pima Indians Diabetes Dataset	UCI Machine Learning Repository	Dataset public	Prédiction du risque de diabète
Python 3.11	Python Software Foundation	Version 3.11	Environnement de programmation principal
Scikit-learn	scikit-learn	Version 1.5	Algorithmes et évaluation d'apprentissage automatique
Seaborn	Seaborn	Version 0.13	Visualisation statistique
SHAP	SHAP	Version 0.46	Attribution et explicabilité des caractéristiques
TensorFlow	TensorFlow	Version 2.15	Développement de modèles d'apprentissage profond
Windows / Ubuntu Linux	Microsoft / Canonical	NA	Système d'exploitation
Wisconsin Breast Cancer Dataset	UCI Machine Learning Repository	Dataset public	Diagnostic du cancer du sein