$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Questo studio ha utilizzato un dataset anonimo e pubblicamente disponibile; pertanto, il consenso informato non era richiesto. L'approccio proposto comprende sei componenti: preprocessing, modulo convoluzione, modulo attenzione, integrazione di moduli convoluzione e attenzione, e strati completamente connessi (FC). La Figura 1 illustra l'intero flusso di lavoro del nostro metodo.
Acquisizione di dataset
Le immagini MRI cerebrali etichettate sono ottenute da un dataset Kaggle pubblicamente disponibile che comprende quattro categorie tumorali e tessuto normale.
Preprocessing dei dati
Le immagini vengono ridimensionate a una risoluzione uniforme e l'intensità è normalizzata. Vengono applicate aumentazioni opzionali (rotazione, flipping, zoom) per migliorare la generalizzazione. Il dataset è suddiviso in set di addestramento (70%) e set di test (30%).
Architettura del modello
Tre CNN dorsale pre-addestrata su ImageNet—MobileNetV2, EfficientNetV1 e Inception-ResNet-V2—sono state utilizzate per classificare i tumori cerebrali in quattro categorie utilizzando immagini di risonanza magnetica. MobileNetV2 ed EfficientNetV1 erano configurati con una dimensione di input di 224 × 224 pixel, mentre Inception-ResNet-V2 richiedeva una dimensione di input di 299 × 299 pixel. Nel processo di apprendimento per trasferimento, gli strati convoluzionali iniziali sono stati congelati all'inizio per mantenere le caratteristiche generalizzate dell'immagine, mentre i strati superiori sono stati affinati per adattare il modello alla classificazione dei tumori cerebrali. Ogni spina dorsale era abbinata a una testa di classificazione leggera che includeva Global Average Pooling, strati densi, dropout per regolarizzazione e una funzione di attivazione Softmax per prevedere quattro classi. Il dropout è stato implementato per mitigare l'overfitting e migliorare la generalizzazione. L'architettura progettata ha efficacemente unito l'estrazione efficiente delle caratteristiche con minori esigenze computazionali, facilitando una classificazione precisa pur rimanendo adatta all'impiego in scenari a risorse limitate e a prova di concetto.
Estrazione delle caratteristiche basata sull'attenzione
Le immagini di input vengono elaborate attraverso uno strato convoluzionale iniziale seguito da un modulo di attenzione personalizzato. Il pool parallelo max e il pooling medio catturano caratteristiche salienti e contestuali, che vengono concatenate e raffinate tramite convoluzione per enfatizzare le regioni rilevanti per il tumore.
Spina dorsale convoluzionale e fusione
Le funzionalità ponderate sull'attenzione vengono inoltrate a backbone pre-addestrate (MobileNetV2, EfficientNetV1 o Inception-ResNet-V2). I livelli convoluzionali di alto livello sono logicamente fusi per ridurre l'accesso alla memoria e migliorare l'efficienza computazionale.
Classificazione
Le caratteristiche appiattite vengono passate attraverso strati completamente connessi con attivazione e dropout di ReLU6, ottenendo una rappresentazione compatta per la classificazione softmax finale a quattro classi.
Valutazione
Le prestazioni del modello vengono valutate sul set di test utilizzando precisione, precisione, richiamo, punteggio F1 e matrici di confusione.
Sviluppo del framework
La soluzione proposta è implementata in Python e utilizza Keras per l'esecuzione. La Tabella 1 illustra gli iperparametri. Il dataset è suddiviso in un set di addestramento e un set di test seguendo un rapporto 70:30. Cinque diverse suddivisioni arbitrarie di treni/test vengono utilizzate per mostrare la prestazione bilanciata finale per ciascun set di dati.
Preprocessing
Le immagini di input devono essere aggiornate perché il framework MobileNetV2 funge da base per la soluzione proposta. Per estrarre funzionalità ad alta risoluzione dalle fotografie, viene utilizzato il modello MobileNetV2 pre-addestrato con la sua dimensione di input. Ogni immagine di input viene quindi scalata a 224×224 pixel nell'intervallo [-1, 1].
Il modello di convoluzione
MobileNetV2 migliora il riconoscimento delle immagini sfruttando un'architettura efficiente di Rete Neurale Convoluzionale (CNN) progettata per minimizzare le richieste computazionali. Sebbene le CNN tradizionali raggiungano un'elevata precisione, spesso richiedono memoria e potenza di calcolo considerevoli. MobileNetV1 introdusse il concetto di convoluzione separabile a livello di profondità, che separa la convoluzione standard in due operazioni distinte: convoluzione a profondità per filtrare gli ingressi e convoluzione puntuale per l'integrazione di caratteristiche. MobileNetV2 sviluppa questa idea incorporando blocchi residui di collo di bottiglia che consistono in strati di espansione, convoluzione in profondità, strati di proiezione e connessioni residue. Il livello di proiezione comprime i canali caratteristici, mentre le connessioni residue facilitano un migliore flusso di informazioni in tutta la rete. Per migliorare la stabilità e migliorare le prestazioni di apprendimento, l'attivazione di ReLU6 e la normalizzazione batch vengono applicate dopo operazioni convoluzionali.
In questa ricerca, MobileNetV2, pre-addestrato su ImageNet, è stato utilizzato come modello backbone per estrarre le caratteristiche, fornendo rappresentazioni semantiche efficaci ad alto livello mantenendo bassi i costi computazionali per la classificazione dei tumori cerebrali. Dopo ogni strato di convoluzione, esiste uno strato di attivazione ReLU6, che è un adattamento della funzione di attivazione ReLU, in cui la dimensione è massimizzata a sei, e uno strato di normalizzazione batch. I comuni livelli 1x1 di convoluzione, pool medio e classificazione sono applicati a 17 dei restanti blocchi di collo di bottiglia, formando l'intera architettura MobileNetV2. Abbiamo usato MobileNetV2 come rete backbone pre-addestrata su ImageNet. In tal caso, la mappa convoluzionale si ottiene dall'ultimo blocco residuo dopo aver attraversato lo strato convoluzionale MobileNetV2. I blocchi residui di livello inferiore producono mappe di caratteristiche più piccole. Tali blocchi non contribuiscono alla nostra ricerca perché non raccolgono dati di alto livello per l'identificazione complessiva dell'immagine. Durante la costruzione e l'addestramento del modello, i livelli precedenti ai livelli convoluzionali che generano una mappa 3D 7 × 7 vengono mantenuti fissi. In termini matematici, questo è espresso come segue nell'Equalizzazione (1):
F1(I) = Conv(I) (1)
Qui, F1(I) rappresenta la caratteristica convoluzionale estratta dall'immagine di input, I.
Il modulo di focus
Il meccanismo di attenzione del cervello umano, che implica che le persone si concentrino naturalmente maggiormente su input visivi significativi che su ogni dettaglio di un'immagine, funge da base per il design di questa rete di trasformazione. Numerosi modelli basati sull'attenzione sono stati creati nella ricerca sul deep learning grazie a questa idea. Le correlazioni spaziali osservate nelle rappresentazioni dei tumori cerebrali sono evidenziate dal meccanismo di attenzione suggerito. Mentre il modulo di attenzione del canale cattura le informazioni tumorali più importanti tra i canali delle caratteristiche, l'unità di attenzione regionale identifica le aree più informative dell'immagine della risonanza magnetica. Utilizzando un metodo di attenzione strutturato, l'unità di focus suggerita si concentra sulle aree che contengono informazioni tumorali discriminanti.
Per migliorare la rappresentazione delle caratteristiche, si utilizzano tecniche come il Top Activation Pooling e l'estrazione bilanciata delle caratteristiche prima della fase di rilevamento spaziale delle caratteristiche. Questa strategia migliora la capacità del modello di enfatizzare regioni tumorali clinicamente significative minimizzando al contempo dettagli di background irrilevanti, migliorando così l'accuratezza della classificazione e l'efficienza dell'apprendimento delle caratteristiche. Il secondo è la concatenazione dei tensori max-pooled e media-pooled. Infine, la funzione di attivazione sigma, combinata con un filtro convoluzionale 7x7, deve essere utilizzata per attivare gli stimoli visivi all'interno delle immagini visive. Le diverse fasi del modulo di messa a fuoco sono indicate nelle equazioni (2) e (3). dove bilanciato Pool(F) ∈ RHxWx1 rappresenta l'operazione media di pooling e MaxPool(F) ∈ RHxWx1 descrive l'operazione di pooling massimo.
F2(I) = [AvgPool(F); MaxPool(F)] (2)
Queste due mappe di elementi possono essere combinate in 3D per creare una mappa elementale
F2(I) = ∈ RHxwx1. F3(I) = σ(f7x7(F2(I))) (3)
dove σ è la funzione di attivazione che indica sigma. Le caratteristiche di attenzione, rappresentate da un tensore codificato in altezza (V) HxWxC, larghezza (W) e spessore (C), sono rappresentate da F3(I), mentre f7x7 rappresenta l'operazione di convoluzione della dimensione del filtro (7x7).
Fusione di attenzione e modello di convoluzione
A differenza di una rete che si basa su un unico codificatore, un'Unità di Fusione multimodale potrebbe estrarre informazioni molto più efficienti e complete per la stragrande maggioranza delle modalità. Il blocco di fusione è pensato per guidare verso le massime caratteristiche essenziali Cross-modal; di conseguenza, individuerà le aree di attenzione per l'estrazione della regione tumorale. Questa è una semplice concatenazione di singole rappresentazioni latenti, ma alcune informazioni verrebbero perse. Una mappa combinata degli oggetti fu quindi generata combinando le feature map dei moduli di convoluzione e osservazione utilizzando il metodo di concatenazione di caratteristiche di base di Sitaula et al. Queste due feature map hanno catturato differenze in varie proprietà dell'immagine, quindi abbiamo deciso di utilizzare un metodo semplice di concatenazione invece di strategie basate su max, min o somma. Questo lo rende anche computazionalmente più leggero rispetto ai metodi alternativi che utilizzano metodi bilineari come forma di calcolo del prodotto tensoriale. Quando tali due caratteristiche sono combinate, il risultante viene chiamato tensore di caratteristiche. L'espressione matematica dell'output tensoriale aggregato dei caratteri T è data dall'Equazione (4).
[F1(I), F3(I)] = T(I) (4)
Dove F1(I) ∈ RHxWx1 e F2(I) ∈ RHxWx1280. Questi sono tensori 3D con la stessa larghezza (W) e altezza (H). Inoltre, possono essere concatenati nella creazione 3D k di tensori 3D, dove T(I) ∈ LxWx1281.
Strati completamente connessi (FC)
Abbiamo utilizzato una serie di strati FC dopo la fusione delle caratteristiche per convertire un tensore volumetrico rimodellato in un vettore lineare delle caratteristiche. La testa di classificazione è composta da uno strato Global Average Pooling, strati densi completamente connessi, regolarizzazione dropout e uno strato di output Softmax. Viene utilizzata la funzione di attivazione ReLU6, con 128 unità e una probabilità di dropout del 50%.