$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Cette étude utilisait un ensemble de données anonymisé accessible au public ; par conséquent, le consentement éclairé n’était pas requis. L’approche proposée comprend six composantes : prétraitement, module de convolution, module d’attention, intégration des modules convolution et d’attention, et couches entièrement connectées (FC). La figure 1 illustre le flux de travail complet de notre méthode.
Acquisition de jeux de données
Les images IRM cérébrales marquées sont obtenues à partir d’un ensemble de données Kaggle accessible au public, comprenant quatre catégories tumorales et tissu normal.
Prétraitement des données
Les images sont redimensionnées à une résolution uniforme et à une normalisation d’intensité. Une augmentation optionnelle (rotation, basculement, zoom) est appliquée pour améliorer la généralisation. Le jeu de données est divisé en ensembles d’entraînement (70 %) et de test (30 %).
Architecture du modèle
Trois CNN dorsale pré-entraînées sur ImageNet — MobileNetV2, EfficientNetV1 et Inception-ResNet-V2 — ont été utilisées pour classer les tumeurs cérébrales en quatre catégories à l’aide d’images IRM. MobileNetV2 et EfficientNetV1 étaient configurés avec une dimension d’entrée de 224 × 224 pixels, tandis qu’Inception-ResNet-V2 nécessitait une taille d’entrée de 299 × 299 pixels. Dans le processus d’apprentissage par transfert, les premières couches convolutionnelles ont été figées au début pour conserver les caractéristiques d’image généralisées, tandis que les couches supérieures ont été affinées pour adapter le modèle à la classification des tumeurs cérébrales. Chaque colonne vertébrale était associée à une tête de classification légère comprenant le Global Average Pooling, des couches denses, un dropout pour la régularisation, et une fonction d’activation Softmax pour prédire quatre classes. Le dropout a été mis en place pour atténuer le surapprentissage et améliorer la généralisation. L’architecture conçue a efficacement fusionné une extraction efficace des caractéristiques avec des exigences computationnelles plus faibles, facilitant une classification précise tout en restant adaptée au déploiement dans des scénarios à ressources limitées et à preuve de concept.
Extraction de caractéristiques basée sur l’attention
Les images d’entrée sont traitées à travers une couche convolutionnelle initiale suivie d’un module d’attention personnalisé. Le pooling parallèle max et le pooling moyen capturent des caractéristiques saillantes et contextuelles, qui sont concaténées et affinées par convolution pour mettre en valeur les régions pertinentes pour la tumeur.
Colonne vertébrale convolutionnelle et fusion
Les fonctionnalités pondérées par l’attention sont transmises à des backbondes pré-entraînées (MobileNetV2, EfficientNetV1 ou Inception-ResNet-V2). Les couches convolutionnelles de haut niveau sont logiquement fusionnées pour réduire l’accès à la mémoire et améliorer l’efficacité de calcul.
Classification
Les caractéristiques aplaties sont transmises à travers des couches entièrement connectées avec activation et abandon de ReLU6, produisant une représentation compacte pour la classification finale en quatre classes softmax.
Évaluation
La performance du modèle est évaluée sur l’ensemble de test à l’aide de matrices de précision, de précision, de rappel, de score F1 et de confusion.
Développement du cadre
La solution proposée est implémentée en Python et utilise Keras pour l’exécution. Le tableau 1 illustre les hyperparamètres. Le jeu de données est divisé en un ensemble d’entraînement et un ensemble de test selon un ratio de 70:30. Cinq divisions arbitraires différentes de trains/tests sont utilisées pour afficher la performance équilibrée finale pour chaque ensemble de données.
Prétraitement
Les images d’entrée doivent être mises à jour car le cadre MobileNetV2 sert de base à la solution proposée. Pour extraire des caractéristiques haute résolution à partir de photographies, le modèle MobileNetV2 pré-entraîné est utilisé avec sa dimension d’entrée. Chaque image d’entrée est ensuite mise à l’échelle à 224×224 pixels dans la plage [-1, 1].
Le modèle de convolution
MobileNetV2 améliore la reconnaissance d’images en tirant parti d’une architecture efficace de réseau neuronal convolutionnel (CNN) conçue pour minimiser les besoins de calcul. Bien que les CNN traditionnels atteignent une grande précision, ils nécessitent souvent une mémoire et une puissance de traitement considérables. MobileNetV1 a introduit le concept de convolution séparable en profondeur, qui sépare la convolution standard en deux opérations distinctes : la convolution en profondeur pour filtrer les entrées et la convolution ponctuelle pour intégrer les caractéristiques. MobileNetV2 s’appuie sur cette idée en incorporant des blocs résiduels de goulot d’étranglement composés de couches d’expansion, de convolutions en profondeur, de couches de projection et de connexions résiduelles. La couche de projection compresse les canaux de caractéristiques, tandis que les connexions résiduelles facilitent un meilleur flux d’information à travers le réseau. Pour améliorer la stabilité et améliorer les performances d’apprentissage, l’activation de ReLU6 et la normalisation en lot sont appliquées après des opérations convolutives.
Dans cette recherche, MobileNetV2, pré-entraîné sur ImageNet, a été utilisé comme modèle dorsale pour extraire des caractéristiques, fournissant des représentations sémantiques efficaces de haut niveau tout en maintenant les coûts computationnels bas pour la classification des tumeurs cérébrales. Après chaque couche de convolution, il existe une couche d’activation ReLU6, qui est une adaptation de la fonction d’activation ReLU, où la taille est maximisée à six, et une couche de normalisation batch. Les couches communes de convolution 1x1, de pooling moyen et de classification sont appliquées à 17 des blocs de goulot d’étranglement restants, formant l’architecture complète de MobileNetV2. Nous avons utilisé MobileNetV2 comme réseau dorsale pré-entraîné sur ImageNet. Dans ce cas, l’application convolutionnelle est obtenue à partir du dernier bloc résiduel après avoir traversé la couche convolutionnelle de MobileNetV2. Les blocs résiduels de niveau inférieur produisent des cartes de caractéristiques plus petites. Ces blocs ne contribuent pas à nos recherches car ils ne collectent pas de données de haut niveau pour l’identification globale de l’image. Pendant la construction et l’entraînement du modèle, les couches précédant les couches convolutionnelles générant une carte de caractéristiques 3D 7 × 7 sont maintenues fixes. En termes mathématiques, cela s’exprime comme suit dans l’équation (1) :
F1(I) = Conv(I) (1)
Ici, F1(I) représente la caractéristique convolutionnelle extraite de l’image d’entrée, I.
Le module de focus
Le mécanisme d’attention du cerveau humain, qui implique que les gens se concentrent naturellement davantage sur des entrées visuelles significatives que sur chaque détail d’une image, sert de base à la conception de ce réseau de transformation. De nombreux modèles basés sur l’attention ont été créés dans la recherche en apprentissage profond grâce à cette idée. Les corrélations spatiales observées dans les représentations des tumeurs cérébrales sont mises en évidence par le mécanisme d’attention suggéré. Alors que le module d’attention sur le canal capture les informations les plus importantes liées aux tumeurs à travers les canaux de caractéristiques, l’unité d’attention régionale identifie les régions les plus informatives de l’image IRM. En utilisant une méthode d’attention structurée, l’unité de focalisation suggérée se concentre sur les zones contenant des informations tumorales discriminantes.
Pour améliorer la représentation des caractéristiques, des techniques telles que le Top Activation Pooling et l’extraction équilibrée des caractéristiques sont utilisées avant la phase de détection spatiale des caractéristiques. Cette stratégie améliore la capacité du modèle à mettre en avant des régions tumorales cliniquement significatives tout en minimisant les détails de fond non pertinents, améliorant ainsi la précision de la classification et l’efficacité de l’apprentissage des caractéristiques. La seconde est la concaténation des tenseurs max-pooled et moyen-poolé. Enfin, la fonction d’activation sigma, combinée à un filtre convolutif 7x7, doit être utilisée pour activer les stimuli visuels dans les visuels. Les différentes étapes du module de focalisation sont indiquées dans les équations (2) et (3). où Pool(F) ∈ RHxWx1 en équilibre représente l’opération moyenne de mise en commun et MaxPool(F) ∈ RHxWx1 décrit l’opération de mise en commun maximale.
F2(I) = [AvgPool(F) ; MaxPool (F)] (2)
Ces deux applications d’éléments peuvent être combinées en 3D pour créer une application d’éléments
F2(I) = ∈ RHxwx1. F3(I) = σ(f7x7(F2(I))) (3)
où σ est la fonction d’activation indiquant sigma. Les caractéristiques d’attention, représentées par un tenseur HxWxC codé en hauteur (V), largeur (W) et épaisseur (C), sont représentées par F3(I), tandis que f7x7 représente l’opération de convolution de taille du filtre (7x7).
Fusion de l’attention et d’un modèle de convolution
Contrairement à un réseau qui repose sur un seul encodeur, une unité de fusion multimodale pourrait extraire des informations bien plus efficaces et complètes pour la grande majorité des modalités. Le bloc fusion est destiné à orienter vers les caractéristiques transversales essentielles maximales ; il cible donc les zones d’attention pour l’extraction de la région tumorale. Il s’agit d’une simple concaténation de représentations latentes individuelles, mais certaines informations seraient perdues. Une carte d’objets combinée a ainsi été générée en combinant les cartes de caractéristiques des modules de convolution et d’observation en utilisant la méthode de concaténation de caractéristiques de base de Sitaula et al. Ces deux cartes de caractéristiques ont capturé des différences dans diverses propriétés d’image, nous avons donc décidé d’utiliser une méthode simple de concaténation plutôt que des stratégies basées sur max, min ou somme. Cela le rend également plus léger en calcul que les méthodes alternatives qui utilisent des méthodes bilinéaires comme forme de calcul du produit tensoriel. Lorsque ces deux caractéristiques sont combinées, le résultant est appelé tenseur de caractéristiques. L’expression mathématique de la sortie tensorielle agrégée des caractères T est donnée par l’équation (4).
[F1(I), F3(I)] = T(I) (4)
Où F1(I) ∈ RHxWx1 et F2(I) ∈ RHxWx1280. Ce sont des tenseurs 3D de la même largeur (W) et de la même hauteur (H). De plus, ils peuvent être concaténés dans la création 3D k de tenseurs 3D, où T(I) ∈ LxWx1281.
Couches entièrement connectées (FC)
Nous avons utilisé une série de couches FC après fusion de caractéristiques pour convertir un tenseur volumétrique remodelé en un vecteur de caractéristiques linéaire. La tête de classification se compose d’une couche de pooling global moyen, de couches denses entièrement connectées, d’une régularisation de dropout et d’une couche de sortie Softmax. La fonction d’activation ReLU6 est utilisée, avec 128 unités et une probabilité de perte de 50 %.