Articolo metodologico

Un quadro multimodale di deep learning in pochi tiri per la diagnosi precisa della ghiandola parotide

DOI:

10.3791/70231

⸱

8 maggio 2026

 ,  ,  ,  ,  ,  , 
1Stomatology Department, The Affiliated Wuxi People's Hospital of Nanjing Medical University, 2Department of Oral and Maxillofacial Surgery, Zhongshan Hospital, Fudan University

In questo articolo

Sommario

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questo articolo presenta un framework multimodale di deep learning a pochi spunti per una classificazione accurata dei tumori della ghiandola parotide utilizzando sequenze di imaging a risonanza magnetica.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Una differenziazione accurata tra tumori parotidi benigni e maligni è fondamentale per la prognosi del paziente. Tuttavia, a causa dell'elevato grado di eterogeneità dei tumori parotidi e della limitata disponibilità di dati di imaging, la diagnosi preoperatoria rimane una sfida significativa. Per affrontare questo problema, il presente studio propone un framework multimodale di deep learning basato sull'apprendimento su piccoli campioni. Questo quadro integra informazioni di risonanza magnetica multi-sequenza e incorpora un meccanismo di attenzione spaziale su scala multipla per migliorare l'estrazione delle caratteristiche e le prestazioni di classificazione in situazioni in cui i campioni sono limitati. Il modello è stato valutato sistematicamente utilizzando una coorte raccolta retrospettivamente di 198 pazienti con tumori primari della ghiandola parotide confermati istopatologicamente (107 benigni, 91 maligni) che hanno sottoposto una risonanza magnetica preoperatoria completa — inclusi imaging ponderato T1, T2 e pesato per diffusione — nel nostro istituto, senza alcun trattamento precedente per la lesione parotidee. La coorte è stata suddivisa a livello di paziente in formazione (70%), validazione (15%) e set test (15%) utilizzando campionamento casuale stratificato per preservare il rapporto benigno-maligno, garantendo sottoinsiemi mutuamente esclusivi e prevenendo la perdita di dati. Il modello ha raggiunto un'area sotto la curva (AUC) di 0,9822. Questo risultato sottolinea la capacità del sistema di distinguere tra tumori benigni e maligni. Inoltre, il modello ha mostrato notevoli vantaggi in termini di accuratezza diagnostica rispetto a radiologi esperti, sottolineandone il potenziale utilizzo nella differenziazione benigna-maligna preoperatoria e nel supporto alla decisione clinica per tumori parotidi.

Introduzione

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

I dati epidemiologici indicano che l'incidenza dei tumori delle ghiandole parotidi è in aumento. La ghiandola parotide, la più grande ghiandola salivale del corpoumano, è uno dei siti ad alta incidenza per tumori alla testa e al collo. Sebbene i tumori delle ghiandole parotidiali siano relativamente rari, rappresentando circa il 5% dei tumori alla testa e al collo, le lesioni benigne superano di gran lunga quelle maligne, costituendo circa l'80% di tutti i tumori della ghiandolaparotide 2,3. I tumori parotidii benigni e maligni mostrano differenze significative nel comportamento biologico, nelle strategie terapeutiche e nella prognosi. I tumori benigni crescono tipicamente lentamente, mostrano una crescita espansibile e raramente metastatizzano. Risultati favorevoli dopo la resezione chirurgica completa. Al contrario, i tumori maligni mostrano distinti schemi di crescita invasivi e invadono frequentemente i tessuti circostanti, come il nervo facciale, la pelle e l'osso. Sono anche capaci di metastasi a distanza, con un prognosipeggiore 4,5.

Tuttavia, la differenziazione preoperatoria tra tumori parotidi benigni e maligni rimane una sfida diagnostica clinica. A causa dell'assenza di specifiche manifestazioni cliniche, il sintomo iniziale della maggior parte dei tumori parotidi (indipendentemente dalla malignità) è una massa indolore, che complica la differenziazione basandosi esclusivamente su segni o sintomi 6,7. Sebbene sintomi come dolore o paralisi facciale siano spesso considerati potenziali indicatori di malignità, sono rari nelle lesioni maligne precoci. Al contrario, alcuni tumori benigni con risposte infiammatorie possono presentare manifestazioni simili. La valutazione preoperatoria dei tumori parotidi è ottenuta principalmente tramite studi di imaging, che rappresentano il metodo principale non invasivo per tale valutazione. Tuttavia, va notato che ogni modalità di imaging ha i suoi limiti. L'imaging a risonanza magnetica (IRM) è considerata la modalità ottimale per la valutazione del tumore parotide grazie alla sua eccezionale risoluzione dei tessuti molli, con studi che dimostrano una precisione massima del 93% nel differenziare lesioni benigne damaligne 8. Tuttavia, le sequenze convenzionali mostrano una significativa sovrapposizione nelle caratteristiche delsegnale 9. La TAC viene utilizzata principalmente per valutare il coinvolgimento osseo; tuttavia, la sua sensibilità è inferiore a quella della risonanza magnetica quando si tratta di distinguere tumori benigni damaligni 10,11. L'ecografia è una modalità valida per la valutazione preliminare delle lesioni superficiali; tuttavia, la sua efficacia dipende dall'esperienza dell'operatore12. Il PET-CT è caratterizzato per la sua elevata sensibilità metabolica; tuttavia, il suo alto costo e il tasso di falsi positivi limitano il suo utilizzo nella diagnosi iniziale, rendendolo più adatto alla stadiazione e al follow-up di tumori maligni. Di conseguenza, le singole modalità di imaging spesso non riescono a ottenere diagnosi precise, e la differenziazione preoperatoria tra lesioni benigne e maligne si basa tipicamente su un'analisi completa delle informazioni multimodali.

Negli ultimi anni, il campo dell'intelligenza artificiale (IA), in particolare il sottoinsieme delle tecnologie di deep learning (DL) rappresentato dalle reti neurali convoluzionali (CNN), è emerso come un contributore significativo ai progressi nella diagnosi dell'imaging tumorale. Ciò è dovuto alle potenti capacità di estrazione delle caratteristiche dell'immagine e riconoscimento di pattern offerte da queste tecnologie. I modelli di deep learning estraggono automaticamente caratteristiche complesse multiscala attraverso reti neurali multilivello, riducendo significativamente la dipendenza dal design manuale delle funzionalità migliorando al contempo le prestazioni diagnostiche. Un ampio corpo di ricerche ha convalidato il loro potenziale nell'imaging medico multimodale. Gu Jionghui et al.13 hanno sviluppato un sistema multimodale di deep learning che integra ecografia mammaria e risonanza magnetica che prevedeva efficacemente la risposta alla chemioterapia neoadiuvante, superando i metodi tradizionali. Lu G et al.14 hanno raggiunto una differenziazione precisa tra tumori benigni e maligni integrando ecografia, mamografia e immagini MRI con strategie di apprendimento per trasferimento, ottenendo un AUC di 0,947. Horasan A et al.15 hanno eseguito un'analisi di fusione della risonanza magnetica multiparametrica prostatica (mpMRI) utilizzando CNN 3D con architetture ResNet e Inception, raggiungendo circa il 91,3% di accuratezza. Nell'imaging parotideo, Zhang G et al.16 hanno costruito un modello di deep learning che integra ultrasuoni e dati clinici per la differenziazione benigna-maligna; Hu X e Wang H.17 hanno raggiunto una precisione di classificazione del 92,3% (AUC=0,96) utilizzando il modello aResNet50 basato su immagini CT. Le evidenze collettive di questi studi indicano i notevoli benefici dell'utilizzo di modelli di deep learning per l'analisi delle immagini di tumori parotid e di altri tumori solidi.

Tuttavia, i metodi tradizionali di deep learning spesso dipendono da dataset ampi per raggiungere prestazioni ottimali. Il cancro parotidee, essendo un tumore a bassa incidenza, possiede dati relativamentelimitati 18. Inoltre, i tumori parotidi mostrano un'elevata eterogeneità di imaging, caratterizzata da variazioni complesse nell'intensità del segnale, nella struttura morfologica e nelle relazioni con il tessuto ghiandolare circostante. Queste caratteristiche coprono scale spaziali diverse — ad esempio, la morfologia tumorale globale e la definizione dei confini, così come caratteristiche locali come l'eterogeneità interna del segnale e i modelli infiltrativi, rendendo difficile per i metodi di estrazione delle caratteristiche singole o semplici catturare pienamente le distinzioni chiave tra lesioni benigne e maligne. Inoltre, studi precedenti si sono spesso basati su singole sequenze di risonanza magnetica (ad esempio, solo immagini strutturali o funzionali), il che limita la capacità di ottenere rappresentazioni complete delle caratteristiche tumorali, come riportato in lavoriprecedenti 19,20.

Per affrontare queste sfide, ipotizziamo che un quadro di deep learning multimodale a piccoli campioni che integri risonanza magnetica multi-sequenza e un meccanismo di attenzione spaziale su scala più possa differenziare efficacemente tumori parotidi benigni e maligni in condizioni di dati limitate, superando gli approcci convenzionali e la valutazione radiologica. In particolare, questo quadro utilizza una strategia di apprendimentoa pochi colpi per apprendere caratteristiche discriminative da un numero limitato di casi rappresentativi benigni e maligni. Il modello utilizza un meccanismo di attenzione spaziale per concentrarsi sulle regioni chiave della lesione, migliorando così l'accuratezza del modello nel distinguere tumori parotidi benigni da quelli maligni. Il modello è stato valutato utilizzando una coorte raccolta retrospettivamente di 198 pazienti con tumori della ghiandola parotide confermati patologicamente nel nostro istituto. Questo studio integra sequenze di risonanza magnetica strutturale (T1WI, T2WI) e funzionali (DWI) per supportare informazioni morfologiche e funzionali. Il quadro proposto è progettato per facilitare la differenziazione preoperatoria tra tumori parotidi benigni e maligni.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Protocollo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Tutti i dati dei pazienti utilizzati in questo studio sono stati raccolti esclusivamente presso l'Ospedale Popolare di Wuxi e comprendevano 198 casi patologicamente confermati di tumore parotide. Questo studio è stato approvato dal Consiglio di Revisione Istituzionale dell'Ospedale Popolare di Wuxi (IRB n. KY24068) e condotta in piena conformità con le linee guida istituzionali e gli standard etici internazionali. Tutti i dati erano completamente anonimizzati prima dell'analisi.

Acquisizione dell'immagine per risonanza magnetica

Tutte le sequenze MRI (imaging ponderato T1, imaging ponderato T2 e imaging pesato per diffusione) sono state acquisite su uno scanner MRI da 3.0 Tesla (Siemens MAGNETOM Verio o Prisma) utilizzando una bobina testa e collo a 16 canali. I parametri di acquisizione erano i seguenti: immagini ponderate T1 ottenute con TR/TE = 500/15 ms, spessore della fetta = 3 mm, matrice = 256 × 256, campo visivo = 240 mm; Le immagini ponderate T2 sono state acquisite con TR/TE = 4000/90 ms, spessore della fetta = 3 mm, matrice = 320 × 320, campo visivo = 240 mm; Sono state ottenute immagini ponderate per diffusione con TR/TE = 5000/80 ms, valori B = 0 e 1000 s/mm2, spessore della fetta = 3 mm, matrice = 128 × 128, campo visivo = 240 mm, con mappe di coefficienti di diffusione apparenti generate automaticamente. Tutte le sequenze sono state acquisite nel piano assiale senza gap di interslice.

Progettazione dello studio

Questo studio retrospettivo ha analizzato dati di risonanza magnetica preoperatoria di 198 pazienti con tumori primari della ghiandola parotide confermati istopatologicamente (107 benigni e 91 maligni). Tutti i pazienti sono stati sottoposti a esami completi della risonanza magnetica parotide presso la nostra istituzione, inclusi imaging ponderato T1, imaging ponderato T2 e sequenze di imaging ponderate per diffusione, senza alcun trattamento preventivo per la lesione parotide. Utilizzare campioni di resezione chirurgica o biopsia del nucleo come standard di riferimento. I criteri di inclusione erano un tumore primario della ghiandola parotide confermato istopatologicamente, risonanza magnetica preoperatoria con tutte le sequenze richieste disponibili nel nostro istituto, e nessun intervento chirurgico, radioterapia, chemioterapia o ablazione precedente per la lesione parotidea. I criteri di esclusione comprendevano tumori metastatici alla ghiandola parotideale, artefatti di movimento significativi o sequenze incomplete che rendevano le immagini non diagnostiche, e tumori ricorrenti dopo trattamenti precedenti. La coorte complessiva composta da 118 maschi (59,6%) e 80 femmine (40,4%) con età comprese tra 26 e 89 anni (media ± DS 53,0 ± 12,8 anni), e le caratteristiche demografiche stratificate per tipo di tumore erano le seguenti: gruppo benigno (n=107) con 59 maschi (55,1%) e 48 femmine (44,9%), fascia d'età 28–87 anni (media ± DS 54,2 ± 12,1 anni), e gruppo maligno (n=91) con 59 maschi (64,8%) e 32 femmine (35,2%), fascia d'età 26–89 anni (media ± DS 51,6 ± 13,4 anni); È stato impiegato un approccio di campionamento casuale stratificato per suddividere i 198 pazienti in set di addestramento (70%, n=138), validazione (15%, n=30) e test (15%, n=30), preservando il rapporto benigno-maligno in tutti i sottoinsiemi (i set di validazione e test contenevano ciascuno 16 casi benigni e 14 maligni), con la suddivisione effettuata a livello di paziente anziché per ogni fetta o per immagine, garantendo che tutti i set di addestramento, validazione e test fossero mutuamente esclusivi senza sovrapposizione dei pazienti, per prevenire perdite di dati e consentire una valutazione imparziale della generalizzabilità del modello.

Preprocessing dei dati

Lo studio ha implementato la pre-elaborazione standardizzata su tutte le immagini MRI attraverso quattro fasi principali: registrazione e ricampionamento delle immagini, riduzione del rumore, aumento dei dati e normalizzazione. Per affrontare le variazioni nei protocolli MRI e nel posizionamento del paziente, tutti i volumi T1WI, T2WI e DWI sono stati inizialmente registrati rigidamente nella sequenza T1WI come spazio di riferimento e ricampionati a una risoluzione isotropa di 1mm 3 tramite interpolazione trilineare. La denoising veniva quindi eseguita su tutti i volumi registrati utilizzando l'algoritmo Non-Local Means (NLM) 22, con il parametro di smoothing impostato automaticamente a 0,8 volte la deviazione standard stimata del rumore, una finestra di ricerca di 21×21×21 voxel e una finestra di similarità di 7×7×7 voxel. Questo approccio riduce efficacemente il rumore casuale preservando al contempo dettagli strutturali importanti. Successivamente, per espandere la dimensione effettiva del campione di addestramento, migliorare la generalizzazione dei modelli e mitigare l'overfitting sul dataset limitato, sono state applicate al volo diverse strategie di aumento dei dati, inclusi random rotation (±15°) e random scaling (0,9–1,1)23,24, esclusivamente alle immagini del set di addestramento durante ogni epoca di addestramento, con tutte le trasformazioni generate utilizzando un seed casuale fisso di 42 per la piena riproducibilità; I set di validazione e test sono rimasti non aumentati per garantire una valutazione oggettiva del modello. Infine, per eliminare variazioni sistematiche nell'intensità del segnale tra diversi dispositivi di scansione e sessioni, è stata applicata la normalizzazione Z-score a ciascun volume sottraendo la media e dividendo per la deviazione standard, dopodiché i valori normalizzati dei pixel sono stati scalati linearmente all'intervallo [0, 1] per soddisfare i requisiti di input del framework di deep learningPyTorch 25.

Architettura del modello

Il presente studio propone un framework multimodale di deep learning basato su poche immagini che integra informazioni complementari da più sequenze di risonanza magnetica (imaging ponderato T1, imaging ponderato T2 e imaging ponderato per diffusione) e incorpora un meccanismo di attenzione spaziale su scala multipla per migliorare la rappresentazione delle caratteristiche e le prestazioni di classificazione in condizioni di campione limitato. Tutti i volumi della risonanza magnetica venivano acquisiti nel piano assiale sullo stesso scanner; prima dell'input, venivano sottoposti a una registrazione rigida per garantire l'allineamento spaziale tra le sequenze, con la qualità dell'allineamento verificata manualmente da un radiologo senior, e i volumi 3D completi centrati sulla lesione parotide venivano ritagliati in una regione di interesse standardizzata, ricampionati a risoluzione isotropa e ridimensionati a dimensioni coerenti. Combinando il paradigma di apprendimento a pochi colpi, il modulo di attenzione spaziale multi-scala e la fusione di caratteristiche cross-modali tramite concatenazione canale per canale, il framework affronta le sfide associate alla generalizzazione dei modelli in contesti con scarsità di dati e consente un apprendimento robusto delle caratteristiche discriminative da un piccolo numero di campioni annotati, con l'architettura completa illustrata nella Figura 1. Sebbene il dataset includa 198 pazienti, l'approccio a poche colpi viene adottato perché i tumori parotidi mostrano un'elevata eterogeneità di imaging e i dati multimodali volumetrici annotati rimangono relativamente limitati rispetto alla complessità del compito, simulando così meglio scenari clinici reali con esempi etichettati scarsi; è stato inoltre valutato per confronto un approccio convenzionale di addestramento supervisionato, e i vantaggi della configurazione a pochi colpi sono dimostrati negli studi di ablazione nella sezione Risultati. La rete dorsale impiega R3D-1826 (una variante 3D ResNet-18 con convoluzioni spaziotemporali complete), pre-addestrata su Kinetics-400, come estrattore di caratteristiche a peso condiviso per ogni sequenza di risonanza magnetica; Durante l'adattamento, viene utilizzata una testa di rete prototipica per la classificazione a poche riprese, con il modulo di attenzione spaziale multi-scala inserito seguendo le fasi convoluzionali di ogni ramo specifico della modalità, seguito dalla fusione cross-modale e da un classificatore condiviso. La novità del meccanismo di attenzione spaziale multiscala proposto risiede nell'uso di percorsi convoluzionali paralleli con dimensioni di nucleo di 1×1, 3×3 e 5×5, dove ogni percorso genera indipendentemente una mappa di attenzione spaziale in un campo ricettivo diverso che viene successivamente normalizzata usando softmax e fusa adattivamente con le caratteristiche di ingresso tramite sommazione ponderata; Questo disegno cattura esplicitamente le caratteristiche della lesione su più scale spaziali—da dettagli locali fini come l'eterogeneità del segnale interno a strutture contestuali più ampie come i margini tumorali e le interfacce con i tessuti circostanti—e offre prestazioni superiori rispetto ai moduli di attenzione convenzionali. La strategia di affining procede in due fasi: inizialmente, gli strati backbone R3D-18 pre-addestrati vengono congelati per mantenere rappresentazioni spaziotemporali generali, mentre solo i moduli di attenzione, gli strati di fusione e la testa prototipica sono addestrati; successivamente, gli ultimi due blocchi residui (layer3 e layer4) di ciascun backbone vengono scongelati per consentire l'adattamento end-to-end alle caratteristiche volumetriche specifiche della risonanza magnetica. L'addestramento veniva condotto utilizzando l'ottimizzatore Adam con un tasso di apprendimento iniziale di 0,0001, ridotto di un fattore 0,1 ogni 20 epoche tramite la pianificazione del decadimento a passaggi; il modello ha attraversato 100 epoche di addestramento episodico con una dimensione di lotto di 8 episodi (ciascuno composto da set di supporto e interrogazione), seguendo il protocollo standard few-shot in una configurazione K-shot a 2 vie (con K=5 durante il meta-addestramento e la valutazione primaria); tutti gli esperimenti sono stati condotti su una GPU ad alte prestazioni con 24 GB di memoria, e un seed casuale fisso di 42 è stato applicato durante la partizionazione dei dati, l'inizializzazione dei pesi e l'aumento per garantire completa riproducibilità.

Paradigma dei compiti di apprendimento a pochi colpi per la classificazione dei tumori della ghiandola parotide

In considerazione della limitata disponibilità di dati annotati di alta qualità per i tumori della ghiandola parotide e dell'elevata eterogeneità di imaging di queste lesioni, questo studio adotta un paradigma di apprendimento basato su metriche e pochi colpi, anche se il dataset complessivo comprende 198 pazienti. La struttura di task set support–query set viene impiegata per simulare il processo di ragionamento diagnostico nella pratica clinica, dove solo un numero ristretto di esempi rappresentativi è tipicamente disponibile per sottotipi tumorali rari o eterogenei. Ogni compito di addestramento è definito in un formato K-shot a N vie (N=2, corrispondente alla classificazione benigna/maligna), permettendo al modello di apprendere rappresentazioni discriminative di caratteristiche da un piccolo numero di campioni. In particolare, per ogni compito, il set di supporto include K campioni multimodali (imaging ponderato T1, imaging ponderato T2 e imaging ponderato per diffusione) per classe per costruire prototipi di classe, mentre il set di query contiene campioni da classificare. Il modello esegue decisioni di classificazione basate su metriche di distanza calcolando la somiglianza tra le caratteristiche del campione di query e i prototipi di classe nello spazio di embedding. Questo meccanismo di apprendimento è noto per la sua capacità di liberare il modello dalla dipendenza da dati annotati su larga scala, rendendolo così più adatto ad applicazioni pratiche in contesti clinici con pochi dati. Per confronto diretto, è stato valutato anche un approccio convenzionale di addestramento supervisionato utilizzando l'intero set di addestramento senza campionamento episodico con pochi colpi, e i vantaggi della configurazione a pochi colpi in termini di generalizzazione e stabilità in condizioni di campione limitato sono dimostrati quantitativamente negli studi di ablazione presentati nella sezione Risultati.

Nella fase di classificazione, questo studio utilizza una rete prototipica come classificatore. Per ogni categoria c nell'insieme di supporto, il vettore prototipo p_c viene calcolato come media dei campioni di supporto incorporati:

figure-protocol-1(1)

dove f(·) indica la funzione di incorporamento (estratore di caratteristiche), figure-protocol-2 è il campione di supporto i-esimo della categoria c, e K è il numero di colpi per classe.

Per un dato campione di query x, la probabilità di appartenere alla categoria c viene calcolata usando la funzione softmax su distanze euclidee negative:

figure-protocol-3(2)

dove d(·, ·) rappresenta la funzione di distanza euclidea.

Architettura basata sulla fusione di caratteristiche multimodali

Per sfruttare appieno il valore complementare dei dati MRI multi-sequenza, questo studio ha progettato una rete di fusione a tre rami che elabora separatamente le sequenze di imaging ponderate T1 (T1WI), T2 ponderate T2 e immagini ponderate per diffusione (DWI). Ogni sequenza viene prima estratta dalle caratteristiche utilizzando un modello R3D-18 a peso condiviso pre-addestrato sul dataset Kinetics-400 con pesi ottenuti dall'implementazione ufficiale PyTorch TorchVision; durante l'adattamento, è stata applicata una strategia di fine-tuning a due stadi in cui tutti gli strati della spina dorsale pre-allenata sono stati inizialmente mantenuti fissi per preservare le rappresentazioni spaziotemporali generali, mentre solo i moduli di attenzione spaziale multiscala, i strati di fusione cross-modal e la testa di rete prototipica sono stati addestrati, dopodiché i due ultimi due blocchi residui (layer3 e layer4) di ciascun backbone sono stati scongelati per l'adattamento end-to-end alle caratteristiche volumetriche specifiche della risonanza magnetica, con gli strati precedenti (livello 1 e strato 2) rimasti congelati durante l'addestramento. Questa rete utilizza nuclei convoluzionali 3D che scorrono attraverso dimensioni spaziali e temporali per catturare efficacemente la morfologia volumetrica tumorale e le informazioni contestuali spaziali. Durante la fusione delle caratteristiche, viene impiegata una strategia cross-modale basata sulla concatenazione in cui le rappresentazioni delle caratteristiche migliorate dall'attenzione delle tre modalità vengono concatenate lungo la dimensione del canale per formare un vettore di caratteristiche multimodale completo. Questo approccio di fusione preserva le informazioni uniche di ogni modalità—la chiarezza anatomica di T1WI, la sensibilità alla composizione tissutale di T2WI e la funzionalità di densità cellulare di DWI—ottenendo al contempo una complementarità efficace delle informazioni diagnostiche, aumentando così significativamente la ricchezza di espressione delle caratteristiche e il potere discriminativo.

Meccanismo di Attenzione Spaziale Multi-scala

Questo studio incorpora un modulo di attenzione spaziale su più scale per catturare le caratteristiche delle lesioni a diverse scale spaziali. Come mostrato nella Figura 2, il modulo impiega percorsi convoluzionali paralleli con dimensioni di kernel di 1×1, 3×3 e 5×5. Ogni percorso genera indipendentemente una mappa di attenzione spaziale, che viene normalizzata usando softmax e poi fusa adattivamente con le caratteristiche di input tramite sommazione ponderata. Questo disegno consente al modello di concentrarsi su regioni più rilevanti per distinguere lesioni benigne da maligne, riducendo al contempo l'influenza delle aree di fondo irrilevanti. Le mappe di attenzione risultanti possono aiutare a evidenziare le aree di interesse nelle immagini.

DISPONIBILITÀ DEI DATI:

Un sottoinsieme rappresentativo delle sequenze MRI multimodali completamente anonimizzate (T1WI, T2WI, DWI) della coorte di studio è pubblicamente disponibile nel repository Zenodo a: https://doi.org/10.5281/zenodo.17744149 (Versione v1). Questi dati sono condivisi sotto licenza Creative Commons Attribution 4.0 International (CC-BY 4.0) senza restrizioni di accesso. Il dataset anonimo completo non è ancora disponibile pubblicamente e sarà rilasciato in una versione successiva del repository dopo la pubblicazione formale di questo manoscritto, soggetto all'approvazione istituzionale ed etica.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Risultati

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Panoramica delle prestazioni del modello

Per valutare le prestazioni diagnostiche del modello, è stato utilizzato un insieme di metriche standard, tra cui accuratezza, precisione, richiamo e punteggio F1. Con la configurazione a 5 colpi a due vie, il modello multimodale di apprendimento a pochi colpi basato su R3D-18 ha ottenuto i seguenti risultati sul set di test per la classificazione dei tumori delle ghiandole parotidiali: precisione del 9...

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Discussione

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In questo studio, abbiamo ipotizzato che un framework multimodale di deep learning poco, che integra la risonanza magnetica multi-sequenza (imaging ponderato per T1, T2 e pesato per diffusione) con un meccanismo di attenzione spaziale su scala multipla, possa differenziare con precisione tumori benigni e maligni della ghiandola parotide in condizioni di dati annotati limitati e superare sia gli approcci convenzionali di deep learning sia i radiologi esperti.

I...

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Dichiarazioni

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gli autori dichiarano di non avere interessi finanziari o non finanziari concorrenti.

Ringraziamenti

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questa ricerca è stata finanziata dalla National Natural Science Foundation of China (n.82473200), dal Key Medical Research Project della Jiangsu Provincial Health Commission (No.K2023061) e dal progetto della Jiangsu Provincial Health Commission on Aged Health (KLM2023019) a YJH

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Materiali

Elenco dei materiali utilizzati in questo articolo
NomeAziendaNumero di catalogoCommenti
Grad-CAMhttps://github.com/jacobgil/pytorch-grad-cam
NumPy 1.25Sviluppatori NumPyhttps://numpy.org/
Pandas 2.1Sviluppatori Pandashttps://pandas.pydata.org/
PycharmJetBrainshttps://www.jetbrains.com/zh-cn/pycharm/
Python 3.10Python Software Foundationhttps://www.python.org/
PyTorch 2.1Meta Platforms, Inc.https://pytorch.org/
scikit-learn 1.3Sviluppatori Scikit-learnhttps://scikit-learn.org/
SHAPhttps://github.com/slundberg/shap
Sistema di risonanza magnetica Siemens MAGNETOM Prisma 3.0TSiemens Healthineershttps://www.siemens-healthineers.cn/magnetic-resonance-imaging/3t-mri-scanner/magnetom-prisma

Riferimenti

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Liu, X., Pan, Y., Zhang, X., Sha, Y., Wang, S., et al. A Deep Learning Model for Classification of Parotid Neoplasms Based on Multimodal Magnetic Resonance Image Sequences. Laryngoscope. 133 (2), 327-335 (2023).
  2. Moore, M. G., Yueh, B., Lin, D. T., Bradford, C. R., Smith, R. V., et al. Controversies in the Workup and Surgical Management of Parotid Neoplasms. Otolaryngol Head Neck Surg. 164 (1), 27-36 (2021).
  3. Gautam, S. K., Kumar, S., Singh, H. P., Singh, A. B., Chandra, M. Clinico-Pathological Profile of Parotid Gland Tumors at a Tertiary Care Center in North India. Natl J Maxillofac Surg. 14 (3), 438-443 (2023).
  4. Alshammari, A., Aljufairi, E., Alsayed, A. Oncocytic Mucoepidermoid Carcinoma of the Parotid Gland: Case Report. J Surg Case Rep. 2022 (4), rjac039(2022).
  5. Thielker, J., Grosheva, M., Ihrler, S., Wittig, A., Guntinas-Lichius, O. Contemporary Management of Benign and Malignant Parotid Tumors. Front Surg. 5, 39(2018).
  6. Davachi, B., Imanimoghaddam, M., Majidi, M. R., Sahebalam, A., Johari, M., et al. The Efficacy of Magnetic Resonance Imaging and Color Doppler Ultrasonography in Diagnosis of Salivary Gland Tumors. J Dent Res Dent Clin Dent Prospects. 8 (4), 246-250 (2014).
  7. Pedicelli, A., Trombatore, P., Bartolo, A., Camilli, A., Rossi, E. D., et al. Preoperative Direct Puncture Embolization of Castleman Disease of the Parotid Gland: A Case Report. Curr Oncol. 31 (4), 2047-2056 (2024).
  8. Paris, J., Facon, F., Pascal, T., Chrestian, M., Moulin, G., et al. Preoperative Diagnostic Values of Fine-Needle Cytology and MRI in Parotid Gland Tumors. Eur Arch Otorhinolaryngol. 262 (1), 27-31 (2005).
  9. Yologlu, Z., Aydin, H., Alp, N. A., Aribas, B. K., Kizilgoz, V., et al. Diffusion-Weighted Magnetic Resonance Imaging in the Diagnosis of Parotid Masses: Preliminary Results. Saudi Med J. 37 (12), 1412-1417 (2016).
  10. Stoia, S., et al. Cross-Sectional Imaging and Cytologic Investigations in the Preoperative Diagnosis of Parotid Gland Tumors: An Updated Literature Review. Bosn J Basic Med Sci. 21 (1), 19-32 (2021).
  11. Christe, A., Waldherr, C., Hallett, R., Zbaeren, P., Thoeny, H. MR Imaging of Parotid Tumors: Typical Lesion Characteristics Improve Discrimination Between Benign and Malignant Disease. Am J Neuroradiol. 32 (7), 1202-1207 (2011).
  12. Li, L., Zhao, Y., Luo, D., Yang, L., Hu, L., et al. Diagnostic Value of Single-Source Dual-Energy Spectral Computed Tomography in Differentiating Parotid Gland Tumors: Initial Results. Quant Imaging Med Surg. 8 (6), 588-596 (2018).
  13. Gu, J., Zhong, X., Fang, C., Lou, W., Fu, P., et al. Deep Learning of Multimodal Ultrasound: Stratifying the Response to Neoadjuvant Chemotherapy in Breast Cancer Before Treatment. Oncologist. 29 (2), e187-e197 (2024).
  14. Lu, G., Tian, R., Yang, W., Liu, R., Liu, D., et al. Deep Learning Radiomics Based on Multimodal Imaging for Distinguishing Benign and Malignant Breast Tumors. Front Med. 11, 1402967(2024).
  15. Horasan, A., Güneş, A. Advancing Prostate Cancer Diagnosis: A Deep Learning Approach for Enhanced Detection in MRI Images. Diagnostics. 14 (14), 1871(2024).
  16. Zhang, G., et al. A Deep Learning Model for the Differential Diagnosis of Benign and Malignant Salivary Gland Tumors Based on Ultrasound Imaging and Clinical Data. Quant Imaging Med Surg. 13 (5), 2989-3000 (2023).
  17. Hu, Z., Wang, B., Pan, X., Cao, D., Gao, A., et al. Using Deep Learning to Distinguish Malignant from Benign Parotid Tumors on Plain Computed Tomography Images. Front Oncol. 12, 919088(2022).
  18. Khodabakhshi, Z., et al. MRI-Based Radiomics for Predicting Histology in Malignant Salivary Gland Tumors: Methodology and Proof of Principle. Sci Rep. 14 (1), 9945(2024).
  19. Sreecharan, V., et al. Multiparametric MRI in Diagnosis of Parotid Gland Tumor: An Observational Study in 3-T MRI. Indian J Radiol Imaging. 35 (2), 402-410 (2024).
  20. Chang, Y. J., Huang, T. Y., Liu, Y. J., Chung, H. W., Juan, C. J. Classification of Parotid Gland Tumors by Using Multimodal MRI and Deep Learning. NMR Biomed. 34 (8), e4408(2021).
  21. Parnami, A., Lee, M. Learning from Few Examples: A Summary of Approaches to Few-Shot Learning. ArXiv. abs/2203.04291, (2022).
  22. Buades, A., Coll, B., Morel, J. M. A Non-Local Algorithm for Image Denoising. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 2, 60-65 (2005).
  23. Maharana, K., Mondal, S., Nemade, B. A Review: Data Pre-Processing and Data Augmentation Techniques. Global Transitions Proceedings, 3, 91-99 (2022).
  24. Mumuni, A., Mumuni, F. Data augmentation: A comprehensive survey of modern approaches. Array. 16, 100258(2022).
  25. Au, R. C., Tan, W. C., Bourbeau, J., Hogg, J. C., Kirby, M. Impact of Image Pre-Processing Methods on Computed Tomography Radiomics Features in Chronic Obstructive Pulmonary Disease. Phys Med Biol. 66 (24), 245015(2021).
  26. Tran, D., Wang, H., Torresani, L., Ray, J., LeCun, Y., et al. A Closer Look at Spatiotemporal Convolutions for Action Recognition. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, , 6450-6459 (2017).
  27. He, K., Zhang, X., Ren, S., Sun, J. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 770-778 (2016).
  28. Huang, G., Liu, Z., Van Der Maaten, L., Weinberger, K. Q. Densely Connected Convolutional Networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 2261-2269 (2017).
  29. Xie, S., Girshick, R., Dollár, P., Tu, Z., He, K. Aggregated Residual Transformations for Deep Neural Networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 5987-5995 (2017).
  30. Snell, J., Swersky, K., Zemel, R. Prototypical Networks for Few-Shot Learning. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing System, , 4080-4090 (2017).
  31. Zhou, F., Wang, P., Zhang, L., Wei, W., Zhang, Y. Revisiting Prototypical Network for Cross-Domain Few-Shot Learning. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), , 20061-20070 (2023).
  32. Li, T., et al. Automated Diagnosis of Major Depressive Disorder With Multi-Modal MRIs Based on Contrastive Learning: A Few-Shot Study. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 32, 1566-1576 (2024).
  33. Liu, Q., Tian, Y., Zhou, T., et al. A Few-Shot Disease Diagnosis Decision Making Model Based on Meta-Learning for General Practice. Artif Intell Med. 147, 102718(2024).
  34. Jiao, S., et al. Multi-Modal Contrastive Learning for Medical Image Classification with Limited Training Data. 2024 International Conference on Machine Learning and Applications (ICMLA), , 1083-1088 (2024).
  35. Ouahab, A., Ahmed, O. B. ProtoMed: Prototypical Networks with Auxiliary Regularization for Few-Shot Medical Image Classification. Image and Vision Computing. 154, 105337(2025).
  36. Wang, L., Uddin, I. I., Santosh, K. C. Expert-Guided Explainable Few-Shot Learning with Active Sample Selection for Medical Image Analysis. IEEE Journal of Biomedical and Health Informatics. , (2025).
  37. Hu, J., Shen, L., Sun, G. Squeeze-and-Excitation Networks. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, , 7132-7141 (2018).
  38. Woo, S., Park, J., Lee, J. Y., Kweon, I. S. CBAM: Convolutional Block Attention Module. Computer Vision – ECCV 2018: 15th European Conference, Munich, Germany, September 8–14, 2018, Proceedings, Part VII, , 3-19 (2018).
  39. Wang, Q., et al. ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), , 11534-11542 (2020).
  40. Misra, D., et al. Rotate to Attend: Convolutional Triplet Attention Module. 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), , 3138-3147 (2021).
  41. Selvaraju, R. R., Cogswell, M., Das, A., Vedantam, R., Parikh, D., et al. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization. 2017 IEEE International Conference on Computer Vision (ICCV), , 618-626 (2017).
  42. Wang, S., Zhang, Y. Grad-CAM: Understanding AI Models. Computers, Materials & Continua. 76 (2), 1321-1324 (2023).
  43. Lundberg, S. M., Lee, S. I. A Unified Approach to Interpreting Model Predictions. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems, , 4768-4777 (2017).

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Ristampe e permessi

Richiedi il permesso di riutilizzare il testo o le figure di questo articolo JoVE

Richiedi permesso

Tag

Multimodal Deep LearningFew Shot LearningParotid Gland TumorsMRI DiagnosisSpatial AttentionTumor ClassificationBenign Malignant DifferentiationPrecision DiagnosisSmall Sample LearningClinical Decision Support

Articoli correlati