Methodenartikel

Een weinig multimodaal deep learning-framework voor precisiediagnose van de parotisklier

DOI:

10.3791/70231

⸱

8 mei 2026

 ,  ,  ,  ,  ,  , 
1Stomatology Department, The Affiliated Wuxi People's Hospital of Nanjing Medical University, 2Department of Oral and Maxillofacial Surgery, Zhongshan Hospital, Fudan University

In dit artikel

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dit artikel presenteert een multimodaal deep learning-framework met enkele opnames voor nauwkeurige classificatie van parotiskliertumoren met behulp van magnetische resonantiebeeld.

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Nauwkeurige differentiatie tussen goedaardige en kwaadaardige parotistumoren is essentieel voor de prognose van de patiënt. Door de hoge mate van heterogeniteit van parotistumoren en de beperkte beschikbaarheid van beeldvormende gegevens blijft preoperatieve diagnose echter een aanzienlijke uitdaging. Om dit probleem aan te pakken, stelt de huidige studie een multimodaal deep learning-framework voor gebaseerd op small-sample learning. Dit kader integreert multisequentie MRI-informatie en bevat een multi-schaal ruimtelijk aandachtsmechanisme om de prestaties van feature-extractie en classificatie te verbeteren in situaties waarin monsters beperkt zijn. Het model werd systematisch geëvalueerd met behulp van een retrospectief verzamelde cohort van 198 patiënten met histopathologisch bevestigde primaire parotiskliertumoren (107 goedaardig, 91 kwaadaardig) die een volledige preoperatieve MRI ondergingen — inclusief T1-gewogen , T2-gewogen en diffusiegewogen beeldvorming — bij ons instituut, zonder voorafgaande behandeling voor de parotislaesie. De cohort werd op patiëntniveau opgesplitst in training (70%), validatie (15%) en testsets (15%) met behulp van gestratificeerde willekeurige steekproeven om de verhouding tussen goedaardig en kwaadaardig te behouden, zodat onderling uitsluitende deelverzamelingen werden gegarandeerd en datalekken werden voorkomen. Het model bereikte een oppervlakte onder de curve (AUC) van 0,9822. Deze bevinding onderstreept het vermogen van het systeem om onderscheid te maken tussen goedaardige en kwaadaardige tumoren. Bovendien toonde het model aanzienlijke voordelen op het gebied van diagnostische nauwkeurigheid ten opzichte van ervaren radiologen, wat de potentiële toepassing in preoperatieve goedaardige-maligne differentiatie en klinische besluitvorming bij parotistumoren onderstreept.

Inleiding

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Epidemiologische gegevens geven aan dat de incidentie van tumoren in de parotisklier toeneemt. De parotisklier, de grootste speekselklier in het menselijk lichaam1, is een van de plekken waar hoofd- en halstumoren vaak voorkomen. Hoewel parotiskliertumoren relatief zeldzaam zijn en ongeveer 5% van de hoofd- en halstumoren uitmaken, zijn goedaardige laesies ruimschoots talrijker dan kwaadaardige, en vormen ze ongeveer 80% van alle parotiskliertumoren 2,3. Goedaardige en kwaadaardige parotistumoren vertonen significante verschillen in biologisch gedrag, behandelstrategieën en prognose. Goedaardige tumoren groeien doorgaans langzaam, vertonen expansiele groei en metastaseren zelden. Gunstige resultaten volgen op een volledige chirurgische resectie. Daarentegen vertonen kwaadaardige tumoren duidelijke invasieve groeipatronen en dringen ze vaak omliggende weefsels binnen, zoals de aangezichtszenuw, huid en bot. Ze zijn ook in staat tot verre metastasen, wat resulteert in een slechtere prognose 4,5.

Desalniettemin blijft preoperatieve differentiatie tussen goedaardige en kwaadaardige parotistumoren een klinische diagnostische uitdaging. Door het ontbreken van specifieke klinische manifestaties is het eerste symptoom van de meeste parotistumoren (ongeacht de maligniteit) een pijnloze massa, wat differentiatie bemoeilijkt op basis van alleen tekenen of symptomen 6,7. Hoewel symptomen zoals pijn of gezichtsverlamming vaak als mogelijke tekenen van maligniteit worden beschouwd, zijn ze zeldzaam bij vroege maligne laesies. Omgekeerd kunnen sommige goedaardige tumoren met ontstekingsreacties vergelijkbare manifestaties vertonen. Preoperatieve evaluatie van parotistumoren wordt voornamelijk uitgevoerd door beeldvormingsonderzoeken, die de primaire niet-invasieve methode voor zo'n beoordeling vormen. Het moet echter worden opgemerkt dat elke beeldvormingsmodaliteit zijn beperkingen heeft. Magnetische resonantiebeeldvorming (MRI) wordt beschouwd als de optimale methode voor de evaluatie van parotistumoren vanwege de uitzonderlijke resolutie van het zachte weefsel, waarbij studies een maximale nauwkeurigheid van 93% aantonen bij het onderscheiden van goedaardige en kwaadaardige laesies8. Conventionele sequenties vertonen echter aanzienlijke overlap in signaalkenmerken9. CT wordt voornamelijk gebruikt om botbetrokkenheid te beoordelen; de gevoeligheid is echter lager dan die van MRI bij het onderscheiden van goedaardige en kwaadaardige tumoren10,11. Echografie is een levensvatbare methode voor voorlopige evaluatie van oppervlakkige laesies; de effectiviteit ervan is echter afhankelijk van de expertise van de exploitant12. PET-CT wordt gekenmerkt door zijn hoge metabole gevoeligheid; de hoge kosten en het vals-positieve percentage beperken echter het gebruik bij de eerste diagnose, waardoor het geschikter is voor stadiering en follow-up van kwaadaardige tumoren. Daardoor kunnen enkele beeldvormingsmodaliteiten vaak geen precieze diagnoses stellen, en preoperatieve differentiatie tussen goedaardige en kwaadaardige laesies is doorgaans afhankelijk van een uitgebreide analyse van multimodale informatie.

In de afgelopen jaren is het vakgebied kunstmatige intelligentie (AI), met name de subset van deep learning (DL)-technologieën die vertegenwoordigd worden door convolutionele neurale netwerken (CNN's), uitgegroeid tot een belangrijke bijdrage aan de vooruitgang in tumorbeeldvormingsdiagnose. Dit komt door de krachtige mogelijkheden voor het extractie van beeldkenmerken en patroonherkenning die deze technologieën bieden. Deep learning-modellen extraheren automatisch complexe multi-scale features via gelaagde neurale netwerken, waardoor de afhankelijkheid van handmatig feature-ontwerp aanzienlijk wordt verminderd en de diagnostische prestaties verbeteren. Een aanzienlijke hoeveelheid onderzoek heeft hun potentieel in multimodale medische beeldvorming bevestigd. Gu Jionghui et al.13 ontwikkelden een multimodaal deep learning-systeem dat borstecho en MRI integreert en effectief de respons op neoadjuvante chemotherapie voorspelde, waarmee traditionele methoden beter presteerden. Lu G et al.14 bereikten een nauwkeurige differentiatie tussen goedaardige en kwaadaardige borsttumoren door echografie, mammografie en MRI-beelden te integreren met transfer learning-strategieën, wat resulteerde in een AUC van 0,947. Horasan A et al.15 voerden fusieanalyse uit van prostaat multiparametrische MRI (mpMRI) met 3D-CNN's met ResNet- en Inception-architecturen, waarbij een nauwkeurigheid van ongeveer 91,3% werd bereikt. In parotisbeeldvorming bouwden Zhang G et al.16 een deep learning-model dat echografie en klinische gegevens integreert voor de differentiatie tussen goedaardige en kwaadaardige stoffen; Hu X en Wang H.17 behaalden een classificatienauwkeurigheid van 92,3% (AUC=0,96) met behulp van een ResNet50-model gebaseerd op CT-beelden. Het collectieve bewijs uit deze studies wijst op de aanzienlijke voordelen van het gebruik van deep learning-modellen voor de analyse van parotis- en andere solide tumorbeelden.

Traditionele deep learning-methoden zijn echter vaak afhankelijk van aanzienlijke datasets om optimale prestaties te bereiken. Parotiskanker, als een laag-incidentie tumor, heeft relatief beperkte gegevens18. Daarnaast vertonen parotistumoren een hoge heterogeniteit in beeldvorming, gekenmerkt door ingewikkelde variaties in signaalintensiteit, morfologische structuur en relaties met omringend klierweefsel. Deze kenmerken bestrijken diverse ruimtelijke schalen — bijvoorbeeld globale tumormorfologie en grensdefinitie, evenals lokale kenmerken zoals interne signaalheterogeniteit en infiltratieve patronen — waardoor het voor enkelvoudige of eenvoudige feature-extractiemethoden lastig is om belangrijke verschillen tussen goedaardige en kwaadaardige laesies volledig vast te leggen. Bovendien hebben eerdere studies vaak vertrouwd op enkele MRI-sequenties (bijvoorbeeld alleen structurele of functionele beeldvorming), wat het vermogen beperkt om uitgebreide weergaven van tumorkenmerken te verkrijgen, zoals gerapporteerd in eerder werk19,20.

Om deze uitdagingen aan te pakken, stellen we dat een multimodaal deep learning-framework met een kleine steekproef dat multisequentie-MRI en een multi-schaal ruimtelijk aandachtsmechanisme integreert, goedaardige en kwaadaardige parotistumoren effectief kan onderscheiden onder beperkte datacondities, en conventionele benaderingen en radiologische beoordeling kan overtreffen. Specifiek maakt dit kader gebruik van een ffew shot learning21-strategie om discriminatieve kenmerken te leren van een beperkt aantal representatieve goedaardige en kwaadaardige gevallen. Het model maakt gebruik van een ruimtelijk aandachtsmechanisme om zich te richten op belangrijke laesiegebieden, waardoor de nauwkeurigheid van het model verbetert bij het onderscheiden van goedaardige van kwaadaardige parotistumoren. Het model werd geëvalueerd met behulp van een retrospectief verzamelde cohort van 198 patiënten met pathologisch bevestigde parotiskliertumoren bij onze instelling. Deze studie integreert structurele (T1WI, T2WI) en functionele (DWI) MRI-sequenties ter ondersteuning van morfologische en functionele informatie. Het voorgestelde kader is ontworpen om preoperatieve differentiatie tussen goedaardige en kwaadaardige parotistumoren te bevorderen.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Alle patiëntgegevens die in deze studie werden gebruikt, werden exclusief verzameld in Wuxi People's Hospital en bestonden uit 198 pathologisch bevestigde gevallen van parotistumoren. Deze studie werd goedgekeurd door de Institutional Review Board van het Wuxi People's Hospital (IRB nr. KY24068) en uitgevoerd in volledige overeenstemming met institutionele richtlijnen en internationale ethische normen. Alle gegevens werden volledig geanonimiseerd vóór de analyse.

MRI-beeldverwerving

Alle MRI-sequenties (T1-gewogen beeldvorming, T2-gewogen beeldvorming en diffusiegewogen beeldvorming) werden verkregen op een 3,0 Tesla MRI-scanner (Siemens MAGNETOM Verio of Prisma) met een 16-kanaals kop- en halsspoel. De verwervingsparameters waren als volgt: T1-gewogen beelden werden verkregen met TR/TE = 500/15 ms, slicedikte = 3 mm, matrix = 256 × 256, gezichtsveld = 240 mm; T2-gewogen beelden werden gemaakt met TR/TE = 4000/90 ms, slicedikte = 3 mm, matrix = 320 × 320, gezichtsveld = 240 mm; Diffusiegewogen beelden werden verkregen met TR/TE = 5000/80 ms, b-waarden = 0 en 1000 s/mm2, slicedikte = 3 mm, matrix = 128 × 128, gezichtsveld = 240 mm, waarbij schijnbare diffusiecoëfficiëntenkaarten automatisch werden gegenereerd. Alle sequenties werden verkregen in het axiale vlak zonder tussensnede-gap.

Studieontwerp

Deze retrospectieve studie analyseerde preoperatieve MRI-gegevens van 198 patiënten met histopathologisch bevestigde primaire parotiskliertumoren (107 goedaardig en 91 kwaadaardig). Alle patiënten ondergingen volledige parotis MRI-onderzoeken bij onze instelling, inclusief T1-gewogen beeldvorming, T2-gewogen beeldvorming en diffusiegewogen beeldvorming, zonder voorafgaande behandeling voor de parotislaesie. Gebruik chirurgische resectiemonsters of kernbiopsie als referentiestandaard. De inclusiecriteria waren een histopathologisch bevestigde primaire parotiskliertumor, preoperatieve MRI met alle benodigde sequenties beschikbaar bij onze instelling, en geen eerdere operatie, radiotherapie, chemotherapie of ablatie voor de parotislaesie. Exclusiecriteria bestonden uit uitgezaaide tumoren in de parotisklier, significante bewegingsartefacten of onvolledige sequenties waardoor beelden niet diagnostisch werden, en terugkerende tumoren na eerdere behandeling. De totale cohort bestond uit 118 mannen (59,6%) en 80 vrouwen (40,4%) met leeftijden variërend van 26 tot 89 jaar (gemiddelde ± SD 53,0 ± 12,8 jaar), en demografische kenmerken gestratificeerd naar tumortype waren als volgt: goedaardige groep (n=107) met 59 mannen (55,1%) en 48 vrouwen (44,9%), leeftijdsbereik 28–87 jaar (gemiddelde ± SD 54,2 ± 12,1 jaar), en maligne groep (n=91) met 59 mannen (64,8%) en 32 vrouwen (35,2%), leeftijdsbereik 26–89 jaar (gemiddelde ± SD 51,6 ± 13,4 jaar); Er werd een gestratificeerde random sampling-benadering toegepast om de 198 patiënten te verdelen in trainingssets (70%, n=138), validatie (15%, n=30) en testsets (15%, n=30), terwijl de goedaardige tot maligne verhouding over alle subsets werd behouden (validatie- en testsets bevatten elk 16 goedaardige en 14 kwaadaardige gevallen), waarbij de splitsing op patiëntniveau werd uitgevoerd in plaats van per schijf of per beeld, ervoor zorgen dat alle trainingen, validaties en testsets elkaar uitsluiten zonder overlap tussen patiënten, om datalekken te voorkomen en een onbevooroordeelde evaluatie van de generaliseerbaarheid van het model mogelijk te maken.

Datavoorverwerking

De studie voerde gestandaardiseerde voorbewerking uit op alle MRI-beelden via vier hoofdstappen: beeldregistratie en -herbemonstering, denoising, data-aanvulling en normalisatie. Om variaties in MRI-protocollen en patiëntposities aan te pakken, werden alle T1WI-, T2WI- en DWI-volumes eerst rigide geregistreerd in de T1WI-sequentie als referentieruimte en opnieuw bemonsterd tot isotrope resolutie van 1 mm3 met behulp van trilineaire interpolatie. Denoising werd vervolgens uitgevoerd op alle geregistreerde volumes met behulp van het Non-Local Means (NLM) algoritme22, waarbij de gladmakingparameter automatisch werd ingesteld op 0,8 keer de geschatte ruisstandaarddeviatie, een zoekvenster van 21×21×21 voxels en een gelijkenisvenster van 7×7×7 voxels. Deze aanpak vermindert effectief willekeurige ruis terwijl belangrijke structurele details behouden blijven. Vervolgens werden, om de effectieve trainingssteekproefgrootte uit te breiden, modelgeneralisatie te verbeteren en overfitting op de beperkte dataset te beperken, meerdere data-augmentatiestrategieën, waaronder willekeurige rotatie (±15°) en willekeurige schaal (0,9–1,1)23,24, exclusief on-the-fly toegepast op de trainingssetbeelden tijdens elke trainingsperiode, waarbij alle transformaties werden gegenereerd met een vaste willekeurige seed van 42 voor volledige reproduceerbaarheid; De validatie- en testsets bleven niet aangepast om objectieve modelevaluatie te waarborgen. Ten slotte werd systematische variaties in signaalintensiteit tussen verschillende scanapparaten en sessies geëlimineerd door Z-score normalisatie op elk volume toe te passen door het gemiddelde af te trekken en te delen door de standaarddeviatie, waarna de genormaliseerde pixelwaarden lineair werden geschaald naar het bereik [0, 1] om te voldoen aan de invoervereisten van het PyTorch deep learning framework25.

Modelarchitectuur

De huidige studie stelt een multimodaal deep learning-framework voor gebaseerd op few-shot learning, dat complementaire informatie van meerdere MRI-sequenties integreert (T1-gewogen beeldvorming, T2-gewogen beeldvorming en diffusiegewogen beeldvorming) en een multischaal ruimtelijk aandachtsmechanisme bevat om de prestaties van kenmerkweergave en classificatie onder beperkte steekproefvoorwaarden te verbeteren. Alle MRI-volumes werden in het axiale vlak op dezelfde scanner verkregen; voorafgaand aan invoer ondergingen ze een rigide registratie om ruimtelijke uitlijning over de sequenties te waarborgen, waarbij de uitlijningskwaliteit handmatig werd gecontroleerd door een senior radioloog, en de volledige 3D-volumes rond de parotislaesie werden bijgesneden tot een gestandaardiseerd interessegebied, opnieuw bemonsterd tot isotrope resolutie en aangepast tot consistente afmetingen. Door het few-shot learning paradigma, de multi-scale ruimtelijke aandachtmodule en cross-modale featurefusie via kanaalwijze concatenatie te combineren, pakt het framework uitdagingen aan die gepaard gaan met modelgeneralisatie in data-schaarse omgevingen en maakt het robuust leren van discriminatieve kenmerken mogelijk uit een klein aantal geannoteerde samples, waarbij de volledige architectuur wordt geïllustreerd in Figuur 1. Hoewel de dataset 198 patiënten bevat, wordt de few-shot benadering gehanteerd omdat parotistumoren een hoge beeldvormingsheterogeniteit vertonen en de geannoteerde volumetrische multimodale data relatief beperkt blijft ten opzichte van de taakcomplexiteit, waardoor realistische klinische scenario's met schaarse gelabelde voorbeelden beter worden gesimuleerd; een conventionele begeleide trainingsmethode werd ook geëvalueerd ter vergelijking, en de voordelen van de few-shot configuratie worden aangetoond in de ablatiestudies in het Resultatengedeelte. Het backbone-netwerk gebruikt R3D-1826 (een 3D ResNet-18-variant met volledige ruimtelijke convoluties), vooraf getraind op Kinetics-400, als de shared-weight feature extractor voor elke MRI-sequentie; Tijdens de aanpassing wordt een prototypisch netwerkhoofd gebruikt voor de classificatie van enkele schoten, waarbij de multi-schaal ruimtelijke aandachtsmodule wordt ingevoegd na de convulutiefasen van elke modaliteitsspecifieke tak, gevolgd door cross-modale fusie en een gedeelde classificatie. De nieuwigheid van het voorgestelde multischaal ruimtelijke aandachtsmechanisme ligt in het gebruik van parallelle convolutionele paden met kerngroottes van 1×1, 3×3 en 5×5, waarbij elk pad onafhankelijk een ruimtelijke aandachtskaart genereert op een ander receptief veld die vervolgens wordt genormaliseerd met softmax en adaptief wordt samengevoegd met de invoerkenmerken via gewogen som; Dit ontwerp legt expliciet laesiekenmerken vast over meerdere ruimtelijke schalen—van fijne lokale details zoals interne signaalheterogeniteit tot bredere contextuele structuren zoals tumormarges en interfaces met omliggende weefsels—en levert superieure prestaties ten opzichte van conventionele aandachtmodules. De fine-tuningstrategie verloopt in twee fasen: aanvankelijk worden de vooraf getrainde R3D-18 ruggengraatlagen bevroren om algemene ruimtelijke representaties te behouden, terwijl alleen de aandachtmodules, fusielagen en prototypische kop worden getraind; vervolgens worden de laatste twee residuele blokken (laag3 en laag4) van elke ruggengraat ontdooid om end-to-end aanpassing aan MRI-specifieke volumetrische kenmerken mogelijk te maken. De training werd uitgevoerd met de Adam-optimizer met een initiële leersnelheid van 0,0001, die elke 20 epochs met een factor 0,1 werd verminderd via step decay scheduling; het model onderging 100 epoches van episodische training met een batchgrootte van 8 afleveringen (elk bestaande uit support- en querysets), volgens het standaard few-shot protocol in een 2-weg K-shot configuratie (met K=5 tijdens primaire meta-training en evaluatie); alle experimenten werden uitgevoerd op een high-performance GPU met 24 GB geheugen, en een vaste willekeurige seed van 42 werd toegepast bij datapartitionering, gewichtinitiisatie en augmentatie om volledige reproduceerbaarheid te garanderen.

Few-shot Learning Task Paradigma voor de classificatie van de parotiskliertumor

Gezien de beperkte beschikbaarheid van hoogwaardige geannoteerde gegevens voor parotiskliertumoren en de hoge beeldvormingsheterogeniteit van deze laesies, hanteert deze studie een metric-based few-shot learning paradigma, hoewel de totale dataset uit 198 patiënten bestaat. De taakstructuur van support set–query set wordt gebruikt om het diagnostisch redeneerproces in de klinische praktijk te simuleren, waar slechts een klein aantal representatieve voorbeelden doorgaans beschikbaar is voor zeldzame of heterogene tumorsubtypes. Elke trainingstaak is gedefinieerd in een N-weg K-shot formaat (N=2, overeenkomend met goedaardige/kwaadaardige classificatie), waardoor het model discriminatieve kenmerkrepresentaties kan leren uit een klein aantal monsters. Specifiek bevat de ondersteuningsset per taak K multimodale samples (T1-gewogen beeldvorming, T2-gewogen beeldvorming en diffusiegewogen beeldvorming) per klasse om klasseprototypes te construeren, terwijl de queryset voorbeelden bevat die geclassificeerd moeten worden. Het model voert classificatiebeslissingen uit op basis van afstandsmetrieken door de gelijkenis te berekenen tussen functies van queryvoorbeelden en klasseprototypes in de embeddingruimte. Dit leermechanisme is opmerkelijk vanwege het vermogen om het model te bevrijden van de afhankelijkheid van grootschalige geannoteerde data, waardoor het geschikter wordt voor praktische toepassingen in klinische omgevingen met weinig data. Voor directe vergelijking werd ook een conventionele begeleide trainingsaanpak geëvalueerd met de volledige trainingsset zonder episodische few-shot sampling, en de voordelen van de few-shot configuratie qua generalisatie en stabiliteit onder beperkte steekproefcondities worden kwantitatief aangetoond in de ablatiestudies die in de Resultatensectie worden gepresenteerd.

In de classificatiefase gebruikt deze studie een prototypisch netwerk als classifier. Voor elke categorie c in de ondersteuningsset wordt de prototypevector p_c berekend als het gemiddelde van de ingebedde ondersteuningsmonsters:

figure-protocol-1(1)

waarbij f(·) de embeddingfunctie (feature extractor) aanduidt, figure-protocol-2 het i-de ondersteuningsmonster van categorie c is, en K het aantal schoten per klasse is.

Voor een gegeven querysample x wordt de kans om tot categorie c te behoren berekend met behulp van de softmaxfunctie over negatieve Euclidische afstanden:

figure-protocol-3(2)

waarbij d(·, ·) de Euclidische afstandsfunctie vertegenwoordigt.

Architectuur gebaseerd op multimodale featurefusie

Om optimaal gebruik te maken van de complementaire waarde van multi-sequence MRI-gegevens, ontwierp deze studie een netwerk met drie takken van feature-fusie dat T1-gewogen beeldvorming (T1WI), T2-gewogen beeldvorming (T2WI) en diffusiegewogen beeldvorming (DWI) sequenties afzonderlijk verwerkt. Elke sequentie ondergaat eerst feature-extractie met behulp van een gedeeld gewicht R3D-18 model dat vooraf is getraind op de Kinetics-400 dataset met gewichten verkregen uit de officiële PyTorch TorchVision-implementatie; Tijdens de aanpassing werd een tweefasige fine-tuningstrategie toegepast waarbij alle lagen van de vooraf getrainde ruggengraat aanvankelijk vast werden gehouden om algemene ruimtelijke representaties te behouden, terwijl alleen de multi-schaal ruimtelijke aandagmodules, cross-modale fusielagen en prototypische netwerkkop werden getraind, waarna de laatste twee residuele blokken (laag3 en laag4) van elke ruggengraat werden ontdooid voor end-to-end aanpassing aan MRI-specifieke volumetrische kenmerken. waarbij de eerdere lagen (laag1 en laag2) bevroren bleven tijdens de training. Dit netwerk maakt gebruik van 3D-convolutionele kernels die over ruimtelijke en temporele dimensies glijden om effectief de tumorvolumetrische morfologie en ruimtelijke contextuele informatie vast te leggen. Tijdens featurefusie wordt een op concatenatie gebaseerde cross-modale strategie toegepast waarbij de aandachtsversterkte feature-representaties van de drie modaliteiten langs de kanaaldimensie worden samengevoegd om een uitgebreide multimodale featurevector te vormen. Deze fusiebenadering behoudt de unieke informatie van elke modaliteit—de anatomische helderheid van T1WI, de gevoeligheid voor weefselsamenstelling van T2WI en de cellulaire dichtheidsfunctionaliteit van DWI—terwijl effectieve complementariteit van diagnostische informatie wordt bereikt, waardoor de rijkdom aan kenmerken en het onderscheidende vermogen aanzienlijk wordt versterkt.

Multi-schaal ruimtelijk aandachtsmechanisme

Deze studie bevat een ruimtelijke aandachtsmodule op meerdere schaalniveaus om laesiekenmerken op verschillende ruimtelijke schalen vast te leggen. Zoals getoond in Figuur 2, gebruikt de module parallelle convolutionele paden met kerngroottes van 1×1, 3×3 en 5×5. Elk pad genereert onafhankelijk een ruimtelijke aandachtskaart, die wordt genormaliseerd met softmax en vervolgens adaptief wordt samengevoegd met de invoerkenmerken via gewogen som. Dit ontwerp stelt het model in staat zich te richten op gebieden die relevanter zijn om goedaardige van kwaadaardige laesies te onderscheiden, terwijl de invloed van irrelevante achtergrondgebieden wordt verminderd. De resulterende aandachtskaarten kunnen helpen om interessante gebieden in de beelden te markeren.

BESCHIKBAARHEID GEGEVENS:

Een representatieve subset van volledig geanonimiseerde multimodale MRI-sequenties (T1WI, T2WI, DWI) uit de studiecohort is openbaar beschikbaar in de Zenodo-repository op: https://doi.org/10.5281/zenodo.17744149 (Versie v1). Deze gegevens worden gedeeld onder een Creative Commons Attribution 4.0 International (CC-BY 4.0) licentie zonder toegangsbeperkingen. De volledige geanonimiseerde dataset is nog niet openbaar beschikbaar en zal in een volgende versie van de repository worden vrijgegeven na formele publicatie van dit manuscript, onder voorbehoud van institutionele en ethische goedkeuring.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Resultaten

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Overzicht van modelprestaties

Om de diagnostische prestaties van het model te evalueren, werd een set standaardmetrieken gebruikt, waaronder nauwkeurigheid, precisie, herinnering en F1-score. Onder de 2-weg 5-schoten configuratie behaalde het multimodale few-shot leermodel gebaseerd op R3D-18 de volgende resultaten op de testset voor de classificatie van parotistumoren: nauwkeurigheid van 96,88%, precisie van 97,50%, terugroeping van 96,88% en...

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Discussie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In deze studie stelden we de hypothese op dat een multimodaal few-shot deep learning-framework, dat multisequentie-MRI (T1-gewwichtige, T2-gewogen en diffusiegewogen beeldvorming) integreert met een multi-schaal ruimtelijk aandachtsmechanisme, goedaardige en kwaadaardige parotiskliertumoren nauwkeurig kan onderscheiden onder beperkte geannoteerde datacondities en zowel conventionele deep learning-benaderingen als ervaren radiologen kan overtreffen.

De experime...

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Openbaarmakingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs geven geen concurrerende financiële of niet-financiële belangen op.

Dankbetuigingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dit onderzoek werd gefinancierd door de National Natural Science Foundation of China (nr. 82473200), het Key Medical Research Project van de Jiangsu Provincial Health Commission (nr. K2023061) en het project van de Jiangsu Provincial Health Commission on elderly health (KLM2023019) aan YJH

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
Grad-CAMhttps://github.com/jacobgil/pytorch-grad-cam
NumPy 1.25NumPy Developershttps://numpy.org/
pandas 2.1Pandas Developershttps://pandas.pydata.org/
PycharmJetBrainshttps://www.jetbrains.com/zh-cn/pycharm/
Python 3.10Python Software Foundationhttps://www.python.org/
PyTorch 2.1Meta Platforms, Inc.https://pytorch.org/
scikit-learn 1.3Scikit-learn Developershttps://scikit-learn.org/
SHAPhttps://github.com/slundberg/shap
Siemens MAGNETOM Prisma 3.0T Magnetic Resonance Imaging SystemSiemens Healthineershttps://www.siemens-healthineers.cn/magnetic-resonance-imaging/3t-mri-scanner/magnetom-prisma

Referenties

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Liu, X., Pan, Y., Zhang, X., Sha, Y., Wang, S., et al. A Deep Learning Model for Classification of Parotid Neoplasms Based on Multimodal Magnetic Resonance Image Sequences. Laryngoscope. 133 (2), 327-335 (2023).
  2. Moore, M. G., Yueh, B., Lin, D. T., Bradford, C. R., Smith, R. V., et al. Controversies in the Workup and Surgical Management of Parotid Neoplasms. Otolaryngol Head Neck Surg. 164 (1), 27-36 (2021).
  3. Gautam, S. K., Kumar, S., Singh, H. P., Singh, A. B., Chandra, M. Clinico-Pathological Profile of Parotid Gland Tumors at a Tertiary Care Center in North India. Natl J Maxillofac Surg. 14 (3), 438-443 (2023).
  4. Alshammari, A., Aljufairi, E., Alsayed, A. Oncocytic Mucoepidermoid Carcinoma of the Parotid Gland: Case Report. J Surg Case Rep. 2022 (4), rjac039(2022).
  5. Thielker, J., Grosheva, M., Ihrler, S., Wittig, A., Guntinas-Lichius, O. Contemporary Management of Benign and Malignant Parotid Tumors. Front Surg. 5, 39(2018).
  6. Davachi, B., Imanimoghaddam, M., Majidi, M. R., Sahebalam, A., Johari, M., et al. The Efficacy of Magnetic Resonance Imaging and Color Doppler Ultrasonography in Diagnosis of Salivary Gland Tumors. J Dent Res Dent Clin Dent Prospects. 8 (4), 246-250 (2014).
  7. Pedicelli, A., Trombatore, P., Bartolo, A., Camilli, A., Rossi, E. D., et al. Preoperative Direct Puncture Embolization of Castleman Disease of the Parotid Gland: A Case Report. Curr Oncol. 31 (4), 2047-2056 (2024).
  8. Paris, J., Facon, F., Pascal, T., Chrestian, M., Moulin, G., et al. Preoperative Diagnostic Values of Fine-Needle Cytology and MRI in Parotid Gland Tumors. Eur Arch Otorhinolaryngol. 262 (1), 27-31 (2005).
  9. Yologlu, Z., Aydin, H., Alp, N. A., Aribas, B. K., Kizilgoz, V., et al. Diffusion-Weighted Magnetic Resonance Imaging in the Diagnosis of Parotid Masses: Preliminary Results. Saudi Med J. 37 (12), 1412-1417 (2016).
  10. Stoia, S., et al. Cross-Sectional Imaging and Cytologic Investigations in the Preoperative Diagnosis of Parotid Gland Tumors: An Updated Literature Review. Bosn J Basic Med Sci. 21 (1), 19-32 (2021).
  11. Christe, A., Waldherr, C., Hallett, R., Zbaeren, P., Thoeny, H. MR Imaging of Parotid Tumors: Typical Lesion Characteristics Improve Discrimination Between Benign and Malignant Disease. Am J Neuroradiol. 32 (7), 1202-1207 (2011).
  12. Li, L., Zhao, Y., Luo, D., Yang, L., Hu, L., et al. Diagnostic Value of Single-Source Dual-Energy Spectral Computed Tomography in Differentiating Parotid Gland Tumors: Initial Results. Quant Imaging Med Surg. 8 (6), 588-596 (2018).
  13. Gu, J., Zhong, X., Fang, C., Lou, W., Fu, P., et al. Deep Learning of Multimodal Ultrasound: Stratifying the Response to Neoadjuvant Chemotherapy in Breast Cancer Before Treatment. Oncologist. 29 (2), e187-e197 (2024).
  14. Lu, G., Tian, R., Yang, W., Liu, R., Liu, D., et al. Deep Learning Radiomics Based on Multimodal Imaging for Distinguishing Benign and Malignant Breast Tumors. Front Med. 11, 1402967(2024).
  15. Horasan, A., Güneş, A. Advancing Prostate Cancer Diagnosis: A Deep Learning Approach for Enhanced Detection in MRI Images. Diagnostics. 14 (14), 1871(2024).
  16. Zhang, G., et al. A Deep Learning Model for the Differential Diagnosis of Benign and Malignant Salivary Gland Tumors Based on Ultrasound Imaging and Clinical Data. Quant Imaging Med Surg. 13 (5), 2989-3000 (2023).
  17. Hu, Z., Wang, B., Pan, X., Cao, D., Gao, A., et al. Using Deep Learning to Distinguish Malignant from Benign Parotid Tumors on Plain Computed Tomography Images. Front Oncol. 12, 919088(2022).
  18. Khodabakhshi, Z., et al. MRI-Based Radiomics for Predicting Histology in Malignant Salivary Gland Tumors: Methodology and Proof of Principle. Sci Rep. 14 (1), 9945(2024).
  19. Sreecharan, V., et al. Multiparametric MRI in Diagnosis of Parotid Gland Tumor: An Observational Study in 3-T MRI. Indian J Radiol Imaging. 35 (2), 402-410 (2024).
  20. Chang, Y. J., Huang, T. Y., Liu, Y. J., Chung, H. W., Juan, C. J. Classification of Parotid Gland Tumors by Using Multimodal MRI and Deep Learning. NMR Biomed. 34 (8), e4408(2021).
  21. Parnami, A., Lee, M. Learning from Few Examples: A Summary of Approaches to Few-Shot Learning. ArXiv. abs/2203.04291, (2022).
  22. Buades, A., Coll, B., Morel, J. M. A Non-Local Algorithm for Image Denoising. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 2, 60-65 (2005).
  23. Maharana, K., Mondal, S., Nemade, B. A Review: Data Pre-Processing and Data Augmentation Techniques. Global Transitions Proceedings, 3, 91-99 (2022).
  24. Mumuni, A., Mumuni, F. Data augmentation: A comprehensive survey of modern approaches. Array. 16, 100258(2022).
  25. Au, R. C., Tan, W. C., Bourbeau, J., Hogg, J. C., Kirby, M. Impact of Image Pre-Processing Methods on Computed Tomography Radiomics Features in Chronic Obstructive Pulmonary Disease. Phys Med Biol. 66 (24), 245015(2021).
  26. Tran, D., Wang, H., Torresani, L., Ray, J., LeCun, Y., et al. A Closer Look at Spatiotemporal Convolutions for Action Recognition. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, , 6450-6459 (2017).
  27. He, K., Zhang, X., Ren, S., Sun, J. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 770-778 (2016).
  28. Huang, G., Liu, Z., Van Der Maaten, L., Weinberger, K. Q. Densely Connected Convolutional Networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 2261-2269 (2017).
  29. Xie, S., Girshick, R., Dollár, P., Tu, Z., He, K. Aggregated Residual Transformations for Deep Neural Networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 5987-5995 (2017).
  30. Snell, J., Swersky, K., Zemel, R. Prototypical Networks for Few-Shot Learning. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing System, , 4080-4090 (2017).
  31. Zhou, F., Wang, P., Zhang, L., Wei, W., Zhang, Y. Revisiting Prototypical Network for Cross-Domain Few-Shot Learning. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), , 20061-20070 (2023).
  32. Li, T., et al. Automated Diagnosis of Major Depressive Disorder With Multi-Modal MRIs Based on Contrastive Learning: A Few-Shot Study. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 32, 1566-1576 (2024).
  33. Liu, Q., Tian, Y., Zhou, T., et al. A Few-Shot Disease Diagnosis Decision Making Model Based on Meta-Learning for General Practice. Artif Intell Med. 147, 102718(2024).
  34. Jiao, S., et al. Multi-Modal Contrastive Learning for Medical Image Classification with Limited Training Data. 2024 International Conference on Machine Learning and Applications (ICMLA), , 1083-1088 (2024).
  35. Ouahab, A., Ahmed, O. B. ProtoMed: Prototypical Networks with Auxiliary Regularization for Few-Shot Medical Image Classification. Image and Vision Computing. 154, 105337(2025).
  36. Wang, L., Uddin, I. I., Santosh, K. C. Expert-Guided Explainable Few-Shot Learning with Active Sample Selection for Medical Image Analysis. IEEE Journal of Biomedical and Health Informatics. , (2025).
  37. Hu, J., Shen, L., Sun, G. Squeeze-and-Excitation Networks. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, , 7132-7141 (2018).
  38. Woo, S., Park, J., Lee, J. Y., Kweon, I. S. CBAM: Convolutional Block Attention Module. Computer Vision – ECCV 2018: 15th European Conference, Munich, Germany, September 8–14, 2018, Proceedings, Part VII, , 3-19 (2018).
  39. Wang, Q., et al. ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), , 11534-11542 (2020).
  40. Misra, D., et al. Rotate to Attend: Convolutional Triplet Attention Module. 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), , 3138-3147 (2021).
  41. Selvaraju, R. R., Cogswell, M., Das, A., Vedantam, R., Parikh, D., et al. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization. 2017 IEEE International Conference on Computer Vision (ICCV), , 618-626 (2017).
  42. Wang, S., Zhang, Y. Grad-CAM: Understanding AI Models. Computers, Materials & Continua. 76 (2), 1321-1324 (2023).
  43. Lundberg, S. M., Lee, S. I. A Unified Approach to Interpreting Model Predictions. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems, , 4768-4777 (2017).

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Herprints en machtigingen

Toestemming aanvragen om de tekst of afbeeldingen van dit JoVE-artikel te hergebruiken

Toestemming aanvragen

Trefwoorden

Few shot learningspeekselkliertumorenMRI diagnostiekspatiale aandachttumorclassificatiedifferentiatie tussen goedaardig en kwaadaardigleren met kleine steekproevenklinische beslissingsondersteuning

Gerelateerde artikelen