Un cadre multimodal d’apprentissage profond de quelques coups pour le diagnostic précis de la glande parotide

Résumé

Cet article présente un cadre multimodal d’apprentissage profond en quelques tirs pour une classification précise des tumeurs des glandes parotides à l’aide de séquences d’imagerie par résonance magnétique.

Résumé

Une différenciation précise entre les tumeurs bénignes et malignes de la parotide est impérative pour le pronostic du patient. Cependant, en raison du haut degré d’hétérogénéité des tumeurs parotidiennes et de la disponibilité limitée des données d’imagerie, le diagnostic préopératoire reste un défi important. Pour répondre à ce problème, la présente étude propose un cadre multimodal d’apprentissage profond basé sur l’apprentissage par petits échantillons. Ce cadre intègre des informations IRM multi-séquences et intègre un mécanisme d’attention spatiale multi-échelle pour améliorer l’extraction des caractéristiques et la performance de classification dans des situations où les échantillons sont limités. Le modèle a été systématiquement évalué à l’aide d’une cohorte collectée rétrospectivement de 198 patients présentant des tumeurs primaires des glandes parotidaires confirmées histopathologiquement (107 bénignes, 91 malignes) ayant subi une IRM préopératoire complète — incluant des imageries pondérées T1, T2 et pondérées par diffusion — dans notre établissement, sans traitement préalable pour la lésion parotidienne. La cohorte a été divisée au niveau du patient en formations (70 %), validations (15 %) et tests (15 %) utilisant un échantillonnage aléatoire stratifié afin de préserver le ratio bénin/malin, assurant ainsi des sous-ensembles mutuellement exclusifs et évitant la fuite de données. Le modèle a atteint une aire sous la courbe (AUC) de 0,9822. Cette découverte souligne la capacité du système à différencier les tumeurs bénignes des tumeurs malignes. De plus, le modèle présentait des avantages substantiels en termes de précision diagnostique par rapport aux radiologues expérimentés, soulignant son application potentielle dans la différenciation bénigne-maligne préopératoire et le soutien clinique à la décision pour les tumeurs parotidiennes.

Introduction

Les données épidémiologiques indiquent que l’incidence des tumeurs des glandes parotides est en augmentation. La glande parotide, la plus grande glande salivaire du corps^humain, est l’un des sites à forte incidence des tumeurs de la tête et du cou. Bien que les tumeurs des glandes parotides soient relativement rares, représentant environ 5 % des tumeurs de la tête et du cou, les lésions bénignes surpassent largement les lésions malignes, constituant environ 80 % de toutes les tumeurs des glandes^{parotides 2,3}. Les tumeurs parotidiennes bénignes et malignes présentent des différences significatives dans le comportement biologique, les stratégies thérapeutiques et le pronostic. Les tumeurs bénignes croissent généralement lentement, présentent une croissance expansile et métastasent rarement. Les résultats sont favorables après une résection chirurgicale complète. En revanche, les tumeurs malignes présentent des schémas de croissance invasifs distincts et envahissent fréquemment les tissus environnants, tels que le nerf facial, la peau et l’os. Ils sont également capables de métastases à distance, ce qui entraîne un pronostic moins^{favorable 4,5}.

Néanmoins, la différenciation préopératoire entre tumeurs parotidiennes bénignes et malignes reste un défi diagnostique clinique. En l’absence de manifestations cliniques spécifiques, le symptôme initial de la plupart des tumeurs parotidiennes (quelle que soit la malignité) est une masse indolore, ce qui complique la différenciation basée uniquement sur les signes ou^{symptômes 6,7}. Bien que des symptômes tels que la douleur ou la paralysie faciale soient souvent considérés comme des indicateurs potentiels de malignité, ils sont rares dans les lésions malignes précoces. Inversement, certaines tumeurs bénignes présentant des réponses inflammatoires peuvent présenter des manifestations similaires. L’évaluation préopératoire des tumeurs parotidiennes est principalement réalisée par des examens d’imagerie, qui constituent la méthode principale non invasive pour ce type d’évaluation. Cependant, il convient de noter que chaque modalité d’imagerie présente ses limites. L’imagerie par résonance magnétique (IRM) est considérée comme la modalité optimale pour l’évaluation de la tumeur parotidienne en raison de sa résolution exceptionnelle des tissus mous, les études démontrant une précision maximale de 93 % pour différencier les lésions bénignes des^{malignes 8}. Cependant, les séquences conventionnelles présentent un chevauchement significatif des caractéristiques^{du signal 9}. La tomodensitométrie est principalement utilisée pour évaluer l’atteinte osseuse ; cependant, sa sensibilité est inférieure à celle de l’IRM lorsqu’il s’agit de distinguer les tumeurs bénignes des^{malignes 10,11}. L’échographie est une modalité viable pour l’évaluation préliminaire des lésions superficielles ; cependant, son efficacité dépend de l’expertise de^{l’opérateur 12}. Le PET-CT se caractérise par sa forte sensibilité métabolique ; Cependant, son coût élevé et son taux de faux positifs limitent son utilisation au diagnostic initial, le rendant plus adapté à la stadification et au suivi des tumeurs malignes. Par conséquent, les modalités d’imagerie uniques ne permettent souvent pas d’obtenir un diagnostic précis, et la différenciation préopératoire entre lésions bénignes et malignes repose généralement sur une analyse complète des informations multimodales.

Ces dernières années, le domaine de l’intelligence artificielle (IA), en particulier le sous-ensemble des technologies d’apprentissage profond (DL) représenté par les réseaux de neurones convolutionnels (CNN), s’est imposé comme un contributeur significatif aux avancées dans le diagnostic de l’imagerie tumorale. Cela est dû aux puissantes capacités d’extraction de caractéristiques d’image et de reconnaissance de motifs offertes par ces technologies. Les modèles d’apprentissage profond extraient automatiquement des caractéristiques complexes à plusieurs échelles via des réseaux de neurones à plusieurs couches, réduisant significativement la dépendance à la conception manuelle des caractéristiques tout en améliorant les performances diagnostiques. Un nombre important de recherches a validé leur potentiel en imagerie médicale multimodale. Gu Jionghui et ^al.13 ont développé un système multimodal d’apprentissage profond intégrant l’échographie mammaire et l’IRM, qui prédisait efficacement la réponse à la chimiothérapie néoadjuvante, surpassant les méthodes traditionnelles. Lu G et ^al.14 ont permis une différenciation précise entre tumeurs mammaires bénignes et malignes en intégrant des images d’échographie, de mammographie et d’IRM avec des stratégies d’apprentissage par transfert, obtenant un AUC de 0,947. Horasan A et ^al.15 ont réalisé une analyse de fusion de l’IRM multiparamétrique prostatique (mpMRI) à l’aide de CNN 3D avec architectures ResNet et Inception, obtenant une précision d’environ 91,3 %. En imagerie parotidienne, Zhang G et ^al.16 ont construit un modèle d’apprentissage profond intégrant échographie et données cliniques pour la différenciation bénigne-maligne ; Hu X et Wang ^H.17 ont atteint une précision de classification de 92,3 % (AUC=0,96) en utilisant un modèle aResNet50 basé sur des images CT. Les preuves collectives issues de ces études indiquent les avantages substantiels d’utiliser des modèles d’apprentissage profond pour l’analyse des images de parotides et d’autres tumeurs solides.

Cependant, les méthodes traditionnelles d’apprentissage profond dépendent souvent de jeux de données substantiels pour atteindre des performances optimales. Le cancer parotidien, en tant que tumeur à faible incidence, possède des données relativement^{limitées 18}. De plus, les tumeurs parotidiennes présentent une forte hétérogénéité d’imagerie, caractérisée par des variations complexes de l’intensité du signal, de la structure morphologique et des relations avec le tissu glandulaire environnant. Ces caractéristiques couvrent des échelles spatiales diverses — par exemple, la morphologie tumorale globale et la définition des frontières, ainsi que des caractéristiques locales telles que l’hétérogénéité du signal interne et les schémas infiltratifs — rendant difficile la capture complète des distinctions clés entre les lésions bénignes et malignes pour les méthodes d’extraction à échelle unique ou simple. De plus, les études précédentes se sont souvent appuyées sur des séquences IRM uniques (par exemple, l’imagerie structurelle ou fonctionnelle seule), ce qui limite la capacité d’obtenir des représentations complètes des caractéristiques tumorales, comme rapporté dans des travaux antérieurs^19,20.

Pour relever ces défis, nous postulons qu’un cadre d’apprentissage profond multimodal à petit échantillon intégrant une IRM multi-séquence et un mécanisme d’attention spatiale à plusieurs échelles peut différencier efficacement les tumeurs parotidiennes bénignes et malignes dans des conditions de données limitées, et surpasser les approches conventionnelles ainsi que l’évaluation radiologue. Plus précisément, ce cadre utilise une stratégie d’apprentissage²¹ à quelques coups pour identifier les caractéristiques discriminantes d’un nombre limité de cas bénins et malins représentatifs. Le modèle utilise un mécanisme d’attention spatiale pour se concentrer sur les régions clés de la lésion, améliorant ainsi la précision du modèle pour distinguer les tumeurs parotidiennes bénignes des tumeurs parotidiennes malignes. Le modèle a été évalué à partir d’une cohorte collectée rétrospectivement de 198 patients présentant des tumeurs des glandes parotides confirmées de façon pathologique dans notre établissement. Cette étude intègre des séquences d’IRM structurelles (T1WI, T2WI) et fonctionnelles (DWI) pour soutenir les informations morphologiques et fonctionnelles. Le cadre proposé est conçu pour faciliter la différenciation préopératoire entre tumeurs bénignes et malignes parotidiennes.

Protocole

Toutes les données des patients utilisées dans cette étude ont été collectées exclusivement à l’Hôpital Populaire de Wuxi et comprenaient 198 cas de tumeur parotide confirmée de façon pathologique. Cette étude a été approuvée par le Conseil d’Éthique Institutionnelle de l’Hôpital Populaire de Wuxi (IRB n° KY24068) et se déroulent conformément aux directives institutionnelles et aux normes éthiques internationales. Toutes les données étaient entièrement anonymisées avant l’analyse.

Acquisition d’images IRM

Toutes les séquences IRM (imagerie pondérée T1, pondérée T2 et imagerie pondérée par diffusion) ont été obtenues sur un scanner IRM Tesla 3,0 (Siemens MAGNETOM Verio ou Prisma) à l’aide d’une bobine tête et cou à 16 canaux. Les paramètres d’acquisition étaient les suivants : images pondérées T1 obtenues avec TR/TE = 500/15 ms, épaisseur de tranche = 3 mm, matrice = 256 × 256, champ de vision = 240 mm ; Des images pondérées en T2 ont été obtenues avec TR/TE = 4000/90 ms, épaisseur de tranche = 3 mm, matrice = 320 × 320, champ de vision = 240 mm ; Des images pondérées par diffusion ont été obtenues avec TR/TE = 5000/80 ms, valeurs B = 0 et 1000 s/mm², épaisseur de tranche = 3 mm, matrice = 128 × 128, champ de vision = 240 mm, avec des cartes de coefficients de diffusion apparentes générées automatiquement. Toutes les séquences ont été acquises dans le plan axial sans espace interslice.

Conception de l’étude

Cette étude rétrospective a analysé des données d’IRM préopératoires de 198 patients présentant des tumeurs primaires des glandes parotides confirmées histopathologiquement (107 bénignes et 91 malignes). Tous les patients ont subi des examens complets par IRM parotidienne dans notre établissement, incluant des examens d’imagerie pondérés T1, pondérés T2 et séquences d’imagerie pondérées par diffusion, sans traitement préalable pour la lésion parotidienne. Utilisez des échantillons de résection chirurgicale ou une biopsie de carotte comme référence de référence. Les critères d’inclusion étaient une tumeur primaire des glandes parotides confirmée histopathologiquement, une IRM préopératoire avec toutes les séquences requises disponibles dans notre établissement, et aucune chirurgie, radiothérapie, chimiothérapie ou ablation préalable pour la lésion parotide. Les critères d’exclusion comprenaient des tumeurs métastatiques de la glande parotide, des artefacts de mouvement significatifs ou des séquences incomplètes rendant les images non diagnostiques, ainsi que des tumeurs récurrentes après un traitement antérieur. La cohorte globale comprenait 118 hommes (59,6 %) et 80 femmes (40,4 %) âgés de 26 à 89 ans (moyenne ± DE 53,0 ± 12,8 ans), et les caractéristiques démographiques stratifiées par type de tumeur étaient les suivantes : groupe bénin (n=107) avec 59 hommes (55,1 %) et 48 femmes (44,9 %), tranche d’âge 28–87 ans (moyenne ± DE 54,2 ± 12,1 ans), et groupe malin (n=91) avec 59 hommes (64,8 %) et 32 femmes (35,2 %), tranche d’âge 26 à 89 ans (moyenne ± DM 51,6 ± 13,4 ans) ; Une approche d’échantillonnage aléatoire stratifiée a été employée pour répartir les 198 patients en ensembles d’entraînement (70 %, n=138), de validation (15 %, n=30) et de test (15 %, n=30) tout en préservant le ratio bénin à malin sur tous les sous-ensembles (les ensembles de validation et de test contenaient chacun 16 cas bénins et 14 cas malins), avec la séparation effectuée au niveau du patient plutôt qu’au niveau par tranche ou par image, veillant à ce que tous les ensembles d’entraînement, de validation et de test soient mutuellement exclusifs sans chevauchement entre les patients, afin d’éviter les fuites de données et de permettre une évaluation impartiale de la généralisabilité du modèle.

Prétraitement des données

L’étude a mis en œuvre un prétraitement standardisé de toutes les images IRM à travers quatre étapes principales : enregistrement et rééchantillonnage des images, réduction du bruit, augmentation des données et normalisation. Pour répondre aux variations des protocoles IRM et du positionnement des patients, tous les volumes T1WI, T2WI et DWI ont d’abord été rigidement enregistrés dans la séquence T1WI comme espace de référence et rééchantillonnés à une résolution isotrope de 1 mm³ par interpolation trilinéaire. Le débruit a ensuite été effectué sur tous les volumes enregistrés à l’aide de l’algorithme de moyens non locaux (NLM^{) 22}, avec le paramètre de lissage automatiquement défini à 0,8 fois l’écart-type estimé du bruit, une fenêtre de recherche de 21×21×21 voxels, et une fenêtre de similarité de 7×7×7 voxels. Cette approche réduit efficacement le bruit aléatoire tout en préservant des détails structurels importants. Par la suite, pour élargir la taille effective de l’échantillon d’entraînement, améliorer la généralisation des modèles et atténuer le surapprentissage sur un ensemble de données limité, plusieurs stratégies d’augmentation des données, incluant la rotation aléatoire (±15°) et l’échelle aléatoire (0,9–1,1)^23,24, ont été appliquées à la volée exclusivement aux images de l’ensemble d’entraînement durant chaque époque, toutes les transformations étant générées à partir d’une graine aléatoire fixe de 42 pour une reproductibilité complète ; Les ensembles de validation et de test sont restés non augmentés pour garantir une évaluation objective du modèle. Enfin, pour éliminer les variations systématiques de l’intensité du signal entre différents appareils de balayage et sessions, la normalisation Z-score a été appliquée à chaque volume en soustrayant la moyenne et en divisant par l’écart-type, après quoi les valeurs normalisées des pixels ont été linéairement mises à l’échelle à la plage [0, 1] pour répondre aux exigences d’entrée du cadre d’apprentissage profond^{PyTorch 25}.

Architecture du modèle

La présente étude propose un cadre multimodal d’apprentissage profond basé sur l’apprentissage en peu de tirs, qui intègre des informations complémentaires provenant de plusieurs séquences IRM (imagerie pondérée T1, imagerie pondérée T2 et imagerie pondérée par diffusion) et intègre un mécanisme d’attention spatiale multi-échelle pour améliorer la représentation des caractéristiques et la performance de classification dans des conditions d’échantillon limité. Tous les volumes IRM étaient acquis dans le plan axial sur le même scanner ; avant l’entrée, ils ont subi un enregistrement rigoureux pour garantir l’alignement spatial entre les séquences, la qualité de l’alignement étant vérifiée manuellement par un radiologue senior, et les volumes 3D complets centrés sur la lésion parotidiale ont été recadrés dans une région standardisée d’intérêt, rééchantillonnés à une résolution isotrope, puis redimensionnés selon des dimensions cohérentes. En combinant le paradigme d’apprentissage en quelques coups, le module d’attention spatiale multi-échelle et la fusion de caractéristiques intermodales par concaténation canaux par canaux, le cadre répond aux défis liés à la généralisation des modèles dans des contextes où les données sont rares et permet un apprentissage robuste des caractéristiques discriminatives à partir d’un petit nombre d’échantillons annotés, l’architecture complète étant illustrée à la Figure 1. Bien que le jeu de données comprenne 198 patients, l’approche à poils de tirs est adoptée car les tumeurs parotidiennes présentent une forte hétérogénéité d’imagerie et les données volumitrices multimodales annotées restent relativement limitées par rapport à la complexité des tâches, simulant ainsi mieux des scénarios cliniques réels avec des exemples limités ; une approche d’entraînement supervisée conventionnelle a également été évaluée pour comparaison, et les avantages de la configuration à quelques tirs sont démontrés dans les études d’ablation de la section Résultats. Le réseau dorsale utilise R3D-18²⁶ (une variante 3D ResNet-18 avec des convolutions spatiotemporelles complètes), pré-entraînée sur Kinetics-400, comme extracteur de caractéristiques à poids partagé pour chaque séquence IRM ; Lors de l’adaptation, une tête de réseau prototypique est utilisée pour la classification en quelques plans, avec le module d’attention spatiale multi-échelle inséré après les étapes convolutionnelles de chaque branche spécifique à la modalité, suivi d’une fusion intermodale et d’un classificateur partagé. La nouveauté du mécanisme d’attention spatiale multi-échelle proposé réside dans son utilisation de chemins convolutionnels parallèles avec des noyaux de taille 1×1, 3×3 et 5×5, où chaque chemin génère indépendamment une carte d’attention spatiale à un champ réceptif différent, qui est ensuite normalisée en softmax et fusionnée adaptativement avec les caractéristiques d’entrée par sommation pondérée ; Ce design capture explicitement les caractéristiques des lésions sur plusieurs échelles spatiales — des détails locaux fins tels que l’hétérogénéité du signal interne jusqu’à des structures contextuelles plus larges telles que les marges tumorales et les interfaces avec les tissus environnants — et offre des performances supérieures aux modules d’attention conventionnels. La stratégie d’ajustement fin se déroule en deux phases : initialement, les couches de colonne vertébrale R3D-18 préentraînées sont congelées pour conserver des représentations spatiotemporelles générales tandis que seuls les modules d’attention, les couches de fusion et la tête prototype sont entraînés ; par la suite, les deux derniers blocs résiduels (couche 3 et couche 4) de chaque colonne vertébrale sont décongelés afin de permettre une adaptation de bout en bout aux caractéristiques volumétriques spécifiques à l’IRM. La formation était menée à l’aide de l’optimiseur Adam avec un taux d’apprentissage initial de 0,0001, réduit d’un facteur 0,1 toutes les 20 époques via la planification de la décroissance par étapes ; Le modèle a connu 100 périodes d’entraînement épisodique avec une taille de lot de 8 épisodes (chacun comprenant des ensembles de support et de requête), suivant le protocole standard à poils de tirs dans une configuration K-shot à deux voies (avec K=5 lors de la méta-entraînement et de l’évaluation primaire) ; toutes les expériences ont été réalisées sur un GPU haute performance de 24 Go de mémoire, et une graine aléatoire fixe de 42 a été appliquée lors du partitionnement des données, de l’initialisation des poids et de l’augmentation afin d’assurer une reproductibilité complète.

Paradigme des tâches d’apprentissage en quelques coups pour la classification des tumeurs de la glande parotide

Compte tenu de la disponibilité limitée de données annotées de haute qualité pour les tumeurs des glandes parotides et de la forte hétérogénéité d’imagerie de ces lésions, cette étude adopte un paradigme d’apprentissage en quelques coups basé sur des métriques, bien que l’ensemble des données comprenne 198 patients. La structure de tâche ensemble de soutien–ensemble de requêtes est utilisée pour simuler le processus de raisonnement diagnostique en pratique clinique, où seul un petit nombre d’exemples représentatifs sont généralement disponibles pour des sous-types tumoraux rares ou hétérogènes. Chaque tâche d’entraînement est définie dans un format K-shot à N voies (N=2, correspondant à la classification bénigne/maligne), permettant au modèle d’apprendre des représentations discriminantes des caractéristiques à partir d’un petit nombre d’échantillons. Plus précisément, pour chaque tâche, l’ensemble de support comprend K échantillons multimodaux (imagerie pondérée T1, pondérée T2 et imagerie pondérée par diffusion) par classe afin de construire des prototypes de classes, tandis que l’ensemble de requêtes contient des échantillons à classifier. Le modèle prend des décisions de classification basées sur des métriques de distance en calculant la similarité entre les caractéristiques de l’échantillon de requête et les prototypes de classes dans l’espace d’intégration. Ce mécanisme d’apprentissage se distingue par sa capacité à libérer le modèle de la dépendance à des données annotées à grande échelle, le rendant ainsi plus adapté aux applications pratiques dans des contextes cliniques où les données sont rares. Pour une comparaison directe, une approche d’entraînement supervisée conventionnelle utilisant l’ensemble complet sans échantillonnage à quelques tirs épisodiques a également été évaluée, et les avantages de la configuration à quelques tirs en termes de généralisation et de stabilité sous des conditions d’échantillon limité sont démontrés quantitativement dans les études d’ablation présentées dans la section Résultats.

Lors de la phase de classification, cette étude utilise un réseau prototypique comme classificateur. Pour chaque catégorie c dans l’ensemble de support, le vecteur prototype p_c est calculé comme la moyenne des échantillons de support embarqués :

(1)

où f(·) désigne la fonction d’immersion (extracteur de caractéristiques), est le i-ème échantillon de support de catégorie c, et K est le nombre de tirs par classe.

Pour un échantillon de requête donné x, la probabilité d’appartenir à la catégorie c est calculée à l’aide de la fonction softmax sur des distances euclidiennes négatives :

(2)

où d(·, ·) représente la fonction de distance euclidienne.

Architecture basée sur la fusion multimodale des fonctionnalités

Pour tirer pleinement parti de la valeur complémentaire des données d’IRM multi-séquences, cette étude a conçu séparément un réseau de fusion de caractéristiques à trois branches qui traite séparément les séquences d’imagerie pondérée T1 (T1WI), T2 pondérée (T2WI) et d’imagerie pondérée par diffusion (DWI). Chaque séquence est d’abord extraite des caractéristiques à l’aide d’un modèle R3D-18 à poids partagé pré-entraîné sur le jeu de données Kinetics-400, avec des poids obtenus à partir de l’implémentation officielle PyTorch TorchVision ; lors de l’adaptation, une stratégie d’ajustement fin en deux étapes a été appliquée, dans laquelle toutes les couches de la colonne vertébrale préentraînée étaient initialement maintenues fixes pour préserver les représentations spatiotemporelles générales, tandis que seuls les modules d’attention spatiale multi-échelle, les couches de fusion intermodale et la tête de réseau prototype étaient entraînés, après quoi les deux derniers blocs résiduels (couche3 et couche 4) de chaque colonne vertébrale étaient décongelés pour une adaptation de bout en bout aux caractéristiques volumétriques spécifiques à l’IRM, les couches précédentes (couche 1 et couche 2) restent gelées pendant tout l’entraînement. Ce réseau utilise des noyaux convolutionnels 3D glissant à travers les dimensions spatiales et temporelles pour capturer efficacement la morphologie volumétrique des tumeurs et les informations contextuelles spatiales. Lors de la fusion des caractéristiques, une stratégie intermodale basée sur la concaténation est employée, dans laquelle les représentations de caractéristiques améliorées par l’attention des trois modalités sont concaténées le long de la dimension du canal pour former un vecteur de caractéristiques multimodal complet. Cette approche de fusion préserve l’information unique de chaque modalité — la clarté anatomique de T1WI, la sensibilité à la composition tissulaire de T2WI et la fonctionnalité de densité cellulaire de DWI — tout en assurant une complément efficace des informations diagnostiques, augmentant ainsi significativement la richesse d’expression des caractéristiques et le pouvoir discriminatoire.

Mécanisme d’attention spatiale à plusieurs échelles

Cette étude intègre un module d’attention spatiale multi-échelles pour capturer les caractéristiques des lésions à différentes échelles spatiales. Comme montré à la Figure 2, le module utilise des chemins convolutionnels parallèles avec des noyaux de taille 1×1, 3×3 et 5×5. Chaque chemin génère indépendamment une carte d’attention spatiale, qui est normalisée à l’aide de softmax puis fusionnée de manière adaptative avec les caractéristiques d’entrée par sommation pondérée. Cette conception permet au modèle de se concentrer sur des régions plus pertinentes pour distinguer les lésions bénignes des malignes tout en réduisant l’influence des zones de fond non pertinentes. Les cartes d’attention qui en résultent peuvent aider à mettre en évidence les zones d’intérêt dans les images.

DISPONIBILITÉ DES DONNÉES :

Un sous-ensemble représentatif des séquences d’IRM multimodales entièrement anonymisées (T1WI, T2WI, DWI) issues de la cohorte d’étude est disponible publiquement dans le dépôt Zenodo à : https://doi.org/10.5281/zenodo.17744149 (Version v1). Ces données sont partagées sous une licence Creative Commons Attribution 4.0 International (CC-BY 4.0) sans restriction d’accès. L’ensemble complet de données anonymisé n’est pas encore disponible au public et sera publié dans une version ultérieure du dépôt après la publication officielle de ce manuscrit, sous réserve d’approbation institutionnelle et éthique.

Résultats

Aperçu des performances du modèle

Pour évaluer la performance diagnostique du modèle, un ensemble de métriques standard a été utilisé, incluant la précision, la précision, la mémoire et le score F1. Dans la configuration à deux voies à 5 injections, le modèle multimodal d’apprentissage à peu de tirs basé sur R3D-18 a obtenu les résultats suivants sur l’ensemble de tests pour la classification des tumeurs des glandes parotides : précision de 96...

Discussion

Dans cette étude, nous avons émis l’hypothèse qu’un cadre multimodal d’apprentissage profond à quelques coups, qui intègre l’IRM multi-séquence (imagerie pondérée T1, T2 et pondérée par diffusion) avec un mécanisme d’attention spatiale multi-échelle, peut différencier avec précision les tumeurs bénignes et malignes des glandes parotides sous des données annotées limitées et surpasser à la fois les approches conventionnelles d’apprentissage profond et les radiologues expérimentés.

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Grad-CAM			https://github.com/jacobgil/pytorch-grad-cam
NumPy 1.25	Développeurs NumPy		https://numpy.org/
Pandas 2.1	Pandas Developers		https://pandas.pydata.org/
Pycharm	JetBrains		https://www.jetbrains.com/zh-cn/pycharm/
Python 3.10	Fondation Python Software		https://www.python.org/
PyTorch 2.1	Meta Platforms, Inc.		https://pytorch.org/
scikit-learn 1.3	Développeurs Scikit-learn		https://scikit-learn.org/
SHAP			https://github.com/slundberg/shap
Système d’imagerie par résonance magnétique Siemens MAGNETOM Prisma 3.0T	Siemens Healthineers		https://www.siemens-healthineers.cn/magnetic-resonance-imaging/3t-mri-scanner/magnetom-prisma