Fusion multimodale augmentée pour une détection optimisée des tumeurs cérébrales : évaluation et analyse comparative

Résumé

Cette étude propose une méthode optimisée de détection des tumeurs cérébrales en intégrant et en évaluant cinq modèles pré-entraînés. L’approche permet d’améliorer la précision et la généralisation en utilisant l’augmentation avancée de l’image, le réglage des hyperparamètres et divers optimiseurs, offrant ainsi des contributions significatives à l’imagerie médicale pour le diagnostic des tumeurs cérébrales.

Résumé

Les tumeurs cérébrales représentent un défi médical important, nécessitant des méthodes de détection précises et efficaces pour une intervention rapide. Ce travail intègre plusieurs modèles de base pré-entraînés, tels que VGG16, MobileNetV2, DenseNet121, InceptionV3 et ResNet50, afin de proposer une nouvelle méthode de diagnostic des tumeurs cérébrales. Une technique simplifiée et normalisée a été proposée pour s’adapter aux différents modèles de base, afin d’assurer l’uniformité et la facilité d’entretien et de faciliter la comparaison des modèles. Pour amplifier la variété de l’ensemble de données d’entraînement et améliorer la généralisation du modèle, des méthodes d’augmentation d’image notables, telles que l’ajustement de la luminosité et du contraste, sont utilisées. De plus, un pipeline de formation efficace utilisant des générateurs de données est conçu pour traiter efficacement de grands ensembles de données tout en économisant la puissance de calcul.

L’étude a effectué une analyse approfondie à l’aide de trois optimiseurs différents (Adam, Stochastic Gradient Descent et Adamax) appliqués à chaque modèle de base pré-entraîné, avec des ajustements complets des hyperparamètres. Des mesures telles que les matrices de rappel, d’exactitude, de précision, de score F1 et de confusion sont utilisées pour évaluer les performances du modèle, fournissant une compréhension complète du comportement du modèle. Une comparaison systématique des performances de chaque modèle a permis d’examiner en profondeur les forces et les faiblesses, facilitant ainsi la sélection éclairée des modèles et la prise de décision pour les applications de détection des tumeurs cérébrales. MobileNetV2 a atteint les performances globales les plus élevées avec une précision de 96 %, une précision de 96 %, un rappel de 94 % et un score F1 de 95 % à l’aide de l’optimiseur Adam. DenseNet121 et VGG16 ont également obtenu de bons résultats, atteignant des précisions de 95 % et 94 %, respectivement. InceptionV3 a démontré des performances légèrement inférieures à celles des modèles les plus performants, avec une précision de 93 %, une précision de 93 %, un rappel de 91 % et un score F1 de 92 %. ResNet50 a montré des performances relativement inférieures avec une précision de 77 %, une précision de 78 %, un rappel de 76 % et un score F1 de 76 %. Ces mesures démontrent la robustesse et l’efficacité de la méthode proposée pour la détection des tumeurs cérébrales.

Introduction

Les tumeurs cérébrales, qu’elles soient bénignes ou malignes, constituent une menace importante pour la santé et le bien-être humains. La détection précoce de ces tumeurs joue un rôle central dans la détermination des résultats pour les patients, ce qui en fait une priorité dans le domaine médical ^1,39 (voir également le tableau supplémentaire S1). La détection précoce des tumeurs cérébrales est non seulement un objectif médical vital, mais aussi une bouée de sauvetage cruciale pour les patients. En permettant une intervention rapide et l’accès à des options de traitement efficaces, il favorise l’amélioration du pronostic, responsabilise les patients et réduit le fardeau global de cette maladie difficile⁴⁰. La surveillance continue de la progression de la maladie, facilitée par des techniques comme l’IRM, est essentielle pour ajuster les stratégies de traitement ^1,3 et détecter les complications potentielles. La détection précoce améliore non seulement la survie des patients, mais aussi la qualité de vie en offrant l’espoir de résultats positifs et d’un meilleur pronostic à long terme.

L’apprentissage profond joue un rôle essentiel dans la détection des tumeurs cérébrales, offrant des capacités inégalées dans l’analyse de données d’imagerie médicale complexes ^4,5,6 avec une précision et une rapidité remarquables. Les modèles d’apprentissage profond, en particulier ceux qui utilisent des structures de réseaux neuronaux avancés telles que les réseaux neuronaux convolutifs (CNN), sont très efficaces pour identifier de manière autonome des modèles et des caractéristiques complexes à partir de diverses modalités d’imagerie médicale, telles que la tomodensitométrie (TDM), la tomographie par émission de positons (TEP) et l’IRM ^7,41.

L’un des principaux avantages de l’apprentissage profond dans l’identification des tumeurs cérébrales est sa capacité à les détecter à un stade très précoce 8,9,10,11. En discernant les anomalies subtiles dans les images médicales qui peuvent échapper à l’observation humaine, les algorithmes d’apprentissage profond permettent aux prestataires de soins de santé d’initier rapidement le traitement, évitant ainsi la progression tumorale 12,15,17,18,19,20 et améliorant les résultats pour les patients ^15,17. Cette capacité est essentielle pour guider les décisions de traitement et prédire le pronostic du patient 24,25,26. Les modèles d’apprentissage profond, entraînés sur de vastes ensembles de données 27,28,29, peuvent saisir des relations complexes entre les caractéristiques d’imagerie et la pathologie tumorale, fournissant des informations diagnostiques précises et fiables 30,31,32,33.

Les progrès récents de l’apprentissage profond ont introduit des architectures basées sur des transformateurs, initialement conçues pour le traitement du langage naturel, en tant qu’outils révolutionnaires en imagerie médicale. Contrairement aux CNN traditionnels, les transformateurs utilisent des mécanismes d’auto-attention pour capturer les dépendances mondiales des données, ce qui les rend particulièrement efficaces pour des tâches complexes telles que la segmentation et la classification des tumeurs. Des études telles que celles menées par Saeed et ^al.41 et Mehmood et ^al.38 ont mis en évidence le succès des modèles améliorés par transformateur comme DeepLabV3+ et TransResUNet, qui ont considérablement amélioré la précision de la segmentation et l’explicabilité dans la détection des tumeurs cérébrales. Ces modèles permettent une compréhension plus approfondie des images médicales, comme l’ont démontré Xuanzhi et ^al.40, où des transformateurs ont été appliqués pour la modélisation prédictive.

Leur capacité à cartographier des relations spatiales complexes avec une moindre dépendance à l’égard de grands ensembles de données étiquetés transforme le domaine, ouvrant la voie à des solutions de diagnostic plus adaptatives et évolutives. Il s’agit d’un changement significatif dans le domaine de l’imagerie médicale, mettant l’accent sur la précision et l’efficacité de la détection et de l’analyse. La détection des tumeurs cérébrales à l’aide de l’apprentissage profond est devenue un domaine d’intérêt clé en imagerie médicale, stimulé par les progrès de l’apprentissage par transfert et des méthodes d’optimisation¹. Malgré ces avancées, des défis subsistent, tels que la variabilité des performances des modèles, l’exploration insuffisante des techniques d’optimisation et l’évaluation limitée des stratégies d’ajustement des hyperparamètres et d’augmentation des données.

Apprentissage par transfert en imagerie médicale

Techniques d’optimisation : Les algorithmes d’optimisation existants ont souvent du mal à équilibrer l’efficacité de calcul et la vitesse de convergence, en particulier dans les espaces de grande dimension. Il est nécessaire de disposer de méthodes d’optimisation adaptatives et hybrides capables de s’adapter dynamiquement à différents contextes de problèmes.

Augmentation et prétraitement des données : Les techniques actuelles d’augmentation des données peuvent introduire des transformations irréalistes qui ne se généralisent pas bien aux scénarios du monde réel. Des recherches supplémentaires sont nécessaires sur les stratégies d’augmentation adaptative qui tiennent compte des contraintes spécifiques au domaine et maintiennent l’intégrité des données.

Comparaisons de modèles : La plupart des études de comparaison de modèles se concentrent sur des ensembles de données de référence, qui peuvent ne pas refléter les complexités du monde réel. Il existe une lacune dans l’évaluation des modèles à partir d’ensembles de données divers, bruyants et déséquilibrés pour comprendre leurs véritables capacités de généralisation.

Extraction de caractéristiques via des modèles de Deep Learning : Bien que les modèles de Deep Learning puissent extraire automatiquement des caractéristiques, ils manquent souvent d’interprétabilité. Des travaux supplémentaires sont nécessaires sur les méthodes d’extraction de caractéristiques explicables qui fournissent des informations sur les représentations apprises.

Stratégies d’optimisation : De nombreuses stratégies d’optimisation n’exploitent pas pleinement les connaissances spécifiques au domaine, ce qui conduit à des solutions sous-optimales. Des recherches sont nécessaires sur l’intégration d’heuristiques sensibles au domaine dans les cadres d’optimisation pour améliorer les performances.

Défis de l’augmentation des données : L’augmentation des données peut entraîner la création d’informations redondantes ou trompeuses, ce qui a un impact négatif sur les performances du modèle. Résoudre le compromis entre la diversité d’augmentation et le réalisme des données reste un défi majeur dans les applications de deep learning.

Une analyse critique des travaux expérimentaux réalisés dans le cadre de la recherche proposée révèle des forces et des faiblesses notables. Du côté positif, les modèles d’apprentissage par transfert se sont avérés très efficaces pour extraire des caractéristiques complexes, ce qui leur permet d’exceller dans des tâches telles que la détection des tumeurs cérébrales. De plus, des techniques d’optimisation avancées, y compris l’optimiseur Adam largement utilisé et des méthodes plus récentes, ont démontré leur capacité à améliorer les taux de convergence et les performances globales du modèle.

Cependant, certaines limites persistent. Les interactions entre les optimiseurs et les modèles ont été peu explorées, ce qui pourrait fournir des informations plus approfondies sur l’obtention de performances optimales. De plus, le manque d’attention portée au réglage des hyperparamètres a été identifié comme un inconvénient, car il joue un rôle crucial pour garantir la reproductibilité et la cohérence entre différentes applications.

Cet article commence par un travail fondamental sur l’extraction de caractéristiques et l’apprentissage par transfert, progresse vers des domaines avancés tels que l’optimisation et l’augmentation, et se termine par l’identification des principales lacunes de la recherche. Plusieurs lacunes clés sont mises en évidence dans la littérature existante. L’un des problèmes importants est l’incohérence de l’analyse comparative des modèles d’apprentissage par transfert, où ils ne sont pas évalués uniformément par différents optimiseurs, comme l’ont noté les études ^6,36. Une autre lacune réside dans l’exploration limitée de l’ajustement des hyperparamètres et de son rôle essentiel dans l’influence sur les performances du modèle, comme l’a identifié la recherche^14,37. De plus, il n’y a pas de justification suffisante pour les stratégies d’augmentation employées dans diverses études, en particulier en ce qui concerne leur impact sur la robustesse et la généralisation du modèle, comme observé dans les travaux^15,23. Ces lacunes soulignent la nécessité d’adopter des approches plus normalisées et plus rigoureuses dans les recherches futures.

Pour combler ces lacunes, cette étude se distingue par son évaluation complète de cinq modèles pré-entraînés - VGG16, MobileNetV2, DenseNet121, InceptionV3 et ResNet50 - associés à trois optimiseurs (Adam, SGD, Adamax). En comblant les lacunes de l’analyse comparative et en explorant les interactions optimiseur-modèle, il offre une analyse approfondie de la dynamique des performances. Le réglage rigoureux des hyperparamètres à l’aide de la recherche dans la grille affine les paramètres clés tels que les taux d’apprentissage, la taille des lots et les taux d’abandon, ce qui permet d’améliorer les performances du modèle.

L’étude introduit également des stratégies d’augmentation personnalisées, y compris des ajustements de luminosité et de contraste, afin d’améliorer la généralisation du modèle. Un cadre d’évaluation standardisé utilisant des indicateurs clés garantit une comparaison juste et cohérente entre les modèles. Notamment, MobileNetV2 s’impose comme le modèle le plus performant pour la détection des tumeurs cérébrales, fournissant des informations exploitables et établissant une nouvelle référence en matière de reproductibilité et d’efficacité dans la recherche en imagerie médicale.

Les modèles pré-entraînés inclus dans l’étude étaient VGG16, MobileNetV2, DenseNet121, InceptionV3 et ResNet50, car ils ont été testés de manière approfondie et se sont avérés efficaces dans des tâches telles que la classification d’images tout en appliquant leurs forces architecturales uniques pour la représentation de la diversité. VGG16 fournit un cadre simple mais puissant pour l’extraction de fonctionnalités hiérarchiques, tandis que NetV2 mobile est léger avec des architectures adaptées aux environnements aux ressources limitées. DenseNet121 s’efforce d’améliorer l’efficacité grâce à la réutilisation des fonctionnalités avec une connexion dense. Il utilise les modules Inception qui capturent des fonctionnalités à différentes échelles à l’aide d’InceptionV3. Resnet50, avec les connexions résiduelles, évite parfaitement les gradients de disparition. Les trois optimiseurs ont été choisis par SGD pour le comparer à l’optimisation, Adam, en raison de son hybridation de la quantité de mouvement avec le taux d’apprentissage adaptatif, ce qui lui confère une convergence rapide, et Adamax qui a été assez robuste, en particulier avec des gradients clairsemés.

Cette étude apporte une contribution unique au domaine en combinant l’évaluation de plusieurs architectures, l’analyse de l’optimiseur et le réglage des hyperparamètres dans un seul cadre complet, améliorant ainsi considérablement la base de connaissances existante. Ses méthodologies systématiques et ses rapports détaillés garantissent la reproductibilité, ce qui permet à d’autres chercheurs de reproduire les résultats ou de les utiliser comme base pour de nouvelles avancées. De plus, l’importance pratique de ce travail est évidente, car ses résultats peuvent guider directement le développement de futurs systèmes d’imagerie médicale, entraînant des améliorations à la fois en termes de précision et d’efficacité pour les applications cliniques.

Le travail effectué dans le cadre de cette recherche se concentre sur le développement d’une base de code rationalisée et standardisée qui s’adapte à différents modèles de base, garantissant la cohérence de la mise en œuvre, la facilité de maintenance et facilitant la comparaison des modèles. De plus, une nouvelle approche consiste à intégrer des modèles de base pré-entraînés, notamment VGG16, MobileNetV2, DenseNet121, InceptionV3 et ResNet50, afin de tirer parti de leurs architectures uniques pour la détection des tumeurs cérébrales. Le travail implique des méthodes d’augmentation d’image, y compris des modifications de luminosité et de contraste, pour augmenter la diversité de l’ensemble de données d’entraînement et améliorer la généralisation du modèle. L’objectif de ce travail est de concevoir et de mettre en œuvre un pipeline d’entraînement efficace qui utilise des générateurs de données pour traiter d’énormes ensembles de données en douceur et entraîner efficacement des modèles tout en économisant la puissance de calcul. Une analyse approfondie du travail proposé est effectuée à l’aide de trois optimiseurs différents : Adam, Stochastic Gradient Descent (SGD) et Adamax appliqués à cinq modèles de base pré-entraînés distincts (VGG16, MobileNetV2, DenseNet121, InceptionV3 et ResNet50). Enfin, une évaluation approfondie des performances du modèle est effectuée en examinant des indicateurs clés tels que la mémorisation, l’exactitude, la précision, le score F1 et les matrices de confusion afin d’acquérir une compréhension complète du comportement du modèle.

Protocole

La figure 7 illustre un schéma fonctionnel représentant la méthodologie globale de l’approche proposée. Dans la méthode suggérée, les images IRM des tumeurs cérébrales sont prétraitées à l’aide de deux techniques populaires : la normalisation et la mise à l’échelle. Certains modèles d’apprentissage par transfert pré-entraînés populaires tels que VGG16, MobileNetV2, DenseNet121, ResNet50 et InceptionV3 sont utilisés dans ce travail. Après l’entraînement, les modèles sont testés sur des cas hypothétiques et une analyse approfondie est effectuée pour vérifier les performances des modèles en fonction de diverses mesures de performance telles que l’exactitude, le rappel, la précision et le score F1. La technique proposée utilise l’apprentissage profond pour améliorer l’efficacité de la classification des tumeurs cérébrales et sa précision, ce qui pourrait améliorer le processus de diagnostic médical à l’avenir.

1. Acquisition de jeux de données

1. Téléchargez l’ensemble de données IRM des tumeurs cérébrales de Kaggle, composé de 7023 images classées en quatre classes : hypophyse, absence de tumeur, méningiome et gliome.
2. Diviser l’ensemble de données : divisez l’ensemble de données en un ensemble d’apprentissage (5 712 images) et un ensemble de test (1 311 images).
   REMARQUE : Assurez-vous que la distribution des classes est équilibrée entre les ensembles d’entraînement et de test pour une évaluation impartiale du modèle. La figure 8 illustre la distribution visuelle des images entre les différentes catégories de l’ensemble de données d’entraînement. La figure 9 présente des exemples d’ensembles de données d’images IRM de quatre classes différentes.

2. Prétraitement des données

1. Transformation de l’image :
   1. Convertissez chaque image IRM en une représentation numérique à l’aide de la bibliothèque d’imagerie Python (PIL).
      1. Assurez-vous que PIL (Pillow) et numpy sont installés.
      2. Ouvrez l’IRM à l’aide de PIL.
      3. Si nécessaire, convertissez l’image en niveaux de gris pour simplifier le traitement.
      4. Convertir en tableau NumPy - Transformez l’image au format numérique.
2. Augmentation des données :
   1. Réglage de la luminosité : utilisez la fonction ImageEnhance.Brightness pour modifier de manière aléatoire la luminosité de l’image d’un facteur compris entre 0,8 et 1,2.
   2. Réglage du contraste : appliquez la fonction ImageEnhance.Contrast pour modifier de manière aléatoire le contraste de l’image dans la plage de 0,8 à 1,2.
      REMARQUE : Ces techniques d’augmentation sont mises en œuvre pour simuler des variations dans des conditions d’imagerie réelles, améliorant ainsi la robustesse du modèle.
3. Normalisation : Convertissez les images augmentées en tableaux NumPy en utilisant la bibliothèque PIL pour charger l’image et appliquer une augmentation (par exemple, retournement, rotation). De plus, transformez l’image augmentée en une représentation numérique (img_array = np.array(img_aug). Selon le modèle ML, remodelez ou aplatissez le tableau (img_vector = img_array.flatten()). Enfin, normalisez-les en divisant les valeurs de pixels par 255,0 pour vous assurer qu’elles se situent dans la plage [0, 1].
   REMARQUE : Cette étape garantit une entrée cohérente pour le modèle, facilitant un entraînement et des performances stables.

3. Apprentissage par transfert pour la classification des tumeurs

1. Sélection du modèle : sélectionnez des modèles pré-entraînés, notamment VGG16, MobileNetV2, DenseNet121, InceptionV3 et ResNet50 pour l’apprentissage par transfert.
2. Extraction de caractéristiques : utilisez des modèles pré-entraînés comme extracteurs de caractéristiques en définissant la majorité de leurs couches comme ne pouvant pas être entraînées. Reportez-vous à la ligne de code ci-dessous pour définir les couches comme ne pouvant pas être entraînées. pour layer dans base_model.layers[ :15] :
   layer.trainable = Faux
   REMARQUE : Cette étape exploite les représentations hiérarchiques apprises à partir de grands ensembles de données divers pour une meilleure généralisation sur l’ensemble de données médicales cible.
3. Réglage fin : Dégelez les trois dernières couches de chaque modèle pré-entraîné pour les adapter à la tâche spécifique de détection des tumeurs cérébrales à l’aide de l’extrait de code ci-dessous :for layer in base_model.layers[-3 :] : layer.trainable = True
   REMARQUE : Le réglage fin permet au modèle de se concentrer sur les caractéristiques pertinentes pour la détection des anomalies cérébrales.

4. Modèles d’apprentissage profond pour la classification des tumeurs

1. Structure du modèle standardisé :
   1. Ajoutez une couche Aplatir à chaque modèle pour transformer les entités hiérarchiques en un tableau unidimensionnel Après l’aplatissement, ajoutez des couches denses pour les tâches de classification ou de régression.
   2. Inclure des couches de décrochage (avec des taux de 0,3 et 0,2) pour réduire le surajustement et améliorer la généralisation.
2. Couches denses :
   1. Ajoutez une couche dense avec 128 neurones à l’aide de l’activation de l’unité linéaire rectifiée (ReLU).
   2. Inclure une dernière couche dense avec activation softmax pour la classification multiclasse des images de tumeurs cérébrales.
      REMARQUE : Cette structure uniforme entre les modèles garantit une évaluation et une comparaison cohérentes.

5. Formation et optimisation

1. Spécifications d’entrée : Standardisez les dimensions d’entrée des images à (224, 224, 3) pour tous les modèles. Définissez le paramètre include_top sur False, en excluant les couches de classification densément connectées et en utilisant les modèles uniquement comme extracteurs de fonctionnalités.
2. Initialisation du poids : utilisez les poids imagenet pour l’initialisation de tous les modèles afin de promouvoir des comparaisons justes et significatives.
3. Compilation : compilez tous les modèles à l’aide de la fonction de perte de sparse_categorical_crossentropy et de sparse_categorical_accuracy métrique.
   REMARQUE : La fonction de perte sélectionnée convient à la classification multiclasse lorsque les étiquettes sont des entiers.
4. Stratégie d’optimisation :
   1. Tailles de lot : testez des tailles de lot de 16, 32 et 64 pour déterminer la taille optimale pour la vitesse et les performances d’entraînement.
   2. Taux d’apprentissage : utilisez un taux d’apprentissage de 0,0001 pour l’optimiseur Adam et de 0,001 pour les optimiseurs SGD et Adamax.
   3. Taux d’abandon : Évaluez les taux d’abandon de 0,2, 0,3 et 0,5 pour éviter le surapprentissage.
      REMARQUE : Ces paramètres sont réglés pour chaque modèle afin de garantir des performances optimales.
5. Paramètres d’entraînement : définissez une taille de lot uniforme de 20 et entraînez-vous pour 50 époques sur tous les modèles.
   Mettez en œuvre un arrêt anticipé basé sur le nombre d’époques pour éviter le surajustement et la charge de calcul inutile.
   REMARQUE : Cette procédure normalisée permet une comparaison équitable des performances du modèle.

6. Évaluation du modèle

1. Métriques de performance : évaluez chaque modèle à l’aide de métriques telles que l’exactitude, la précision, le rappel et le score F1.
2. Matrices de confusion : construisez des matrices de confusion pour une analyse détaillée des erreurs de classification entre les classes.
   REMARQUE : Ces évaluations donnent un aperçu des forces et des faiblesses de chaque modèle, ce qui permet d’apporter d’autres améliorations.

Résultats

L’évaluation des performances de chacun des cinq modèles (VGG16, MobileNetV2, DenseNet121, InceptionV3 et ResNet50) comprend une analyse détaillée avec des courbes de précision, des matrices de confusion et des rapports de classification. Ces mesures et visualisations sont des outils importants pour évaluer la compétence des modèles en matière de détection des tumeurs cérébrales. La progression de l’apprentissage des modèles au fil des époques est représentée dynamiquement par les courbes...

Discussion

Performances du modèle

L’utilisation efficace de modèles d’apprentissage profond (pré-entraînés) est la principale raison de la forte performance dans l’identification des tumeurs cérébrales. Une combinaison d’architectures de premier plan utilisées pour évaluer les performances est VGG16, MobileNetV2, DenseNet121, InceptionV3 et ResNet50. Ces modèles ont des capacités d’extraction de caractéristiques impressi...

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Infrastructure GPU et Jupyter Notebook	Kaggle (fournisseur de plate-forme en ligne)	Tesla-P100	fournie par Kaggle' s Jupyter Notebook, utilisant le dernier GPU NVIDIA Tesla P100
Intel Core i5-8350U	Intel	i5-8350U	Intel Core i5-8350U CPU @ 1,70 GHz (1,90 GHz max) pour le traitement local
RAM	Standard	8GB_RAM	8 Go de RAM pour le traitement des données
Système d’exploitation	Microsoft	Windows_64	Windows 64 bits OS pour le traitement local
Bibliothèques Python	Communauté Python	N/A	NumPy, scikit-learn, PIL, TensorFlow 2.12, Keras 2.12