$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Deze studie gebruikte een publiek toegankelijke, geanonimiseerde dataset; Daarom was geïnformeerde toestemming niet vereist. De voorgestelde aanpak bestaat uit zes componenten: preprocessing, convolutiemodule, aandachtsmodule, integratie van convolutie- en aandachtsmodules, en volledig verbonden (FC) lagen. Figuur 1 illustreert de volledige workflow van onze methode.
Dataset-acquisitie
Gelabelde hersen-MRI-beelden worden verkregen uit een openbaar beschikbare Kaggle-dataset die bestaat uit vier tumorcategorieën en normaal weefsel.
Datavoorverwerking
Beelden worden aangepast tot een uniforme resolutie en de intensiteit wordt genormaliseerd. Optionele augmentatie (rotatie, flippen, zoomen) wordt toegepast om de generalisatie te verbeteren. De dataset is opgesplitst in trainingssets (70%) en testsets (30%).
Modelarchitectuur
Drie backbone CNN's die vooraf getraind waren op ImageNet—MobileNetV2, EfficientNetV1 en Inception-ResNet-V2—werden gebruikt om hersentumoren in vier categorieën te classificeren met behulp van MRI-beelden. MobileNetV2 en EfficientNetV1 waren geconfigureerd met een invoerdimensie van 224 × 224 pixels, terwijl Inception-ResNet-V2 een invoergrootte van 299 × 299 pixels vereiste. In het transfer learning-proces werden de initiële convolutionele lagen aan het begin bevroren om gegeneraliseerde beeldkenmerken te behouden, terwijl de bovenste lagen werden verfijnd om het model aan te passen aan de classificatie van hersentumoren. Elke backbone werd gekoppeld aan een lichtgewicht classificatiehoofd dat Global Average Pooling, dichte lagen, dropout voor regularisatie en een Softmax-activatiefunctie om vier klassen te voorspellen bevatte. Dropout werd geïmplementeerd om overfitting te beperken en de generalisatie te verbeteren. De ontworpen architectuur combineerde efficiënte feature-extractie effectief met lagere rekenkundige eisen, waardoor nauwkeurige classificatie mogelijk werd en toch geschikt bleef voor inzet in resource-beperkte en proof-of-concept scenario's.
Aandacht-gebaseerde feature-extractie
Invoerbeelden worden verwerkt via een initiële convolutionele laag, gevolgd door een aangepaste aandachtmodule. Parallelle max pooling en gemiddelde pooling vangen opvallende en contextuele kenmerken, die via convolutie worden samengevoegd en verfijnd om tumorrelevante regio's te benadrukken.
Convolutionele ruggengraat en fusie
Aandachtsgewogen functies worden doorgestuurd naar vooraf getrainde backbones (MobileNetV2, EfficientNetV1 of Inception-ResNet-V2). Hoog-niveau convolutionele lagen worden logisch samengevoegd om geheugentoegang te verminderen en de rekenefficiëntie te verbeteren.
Classificatie
Afgeplatte kenmerken worden door volledig verbonden lagen geleid met ReLU6-activatie en -uitval, wat een compacte representatie oplevert voor de uiteindelijke vier-klasse softmax-classificatie.
Evaluatie
De modelprestaties worden beoordeeld op de testset met behulp van nauwkeurigheid, precisie, herinnering, F1-score en verwarringsmatrices.
Ontwikkeling van het raamwerk
De voorgestelde oplossing is geïmplementeerd in Python en gebruikt Keras voor de uitvoering. Tabel 1 illustreert de hyperparameters. De dataset wordt opgesplitst in een trainingsset en een testset volgens een verhouding van 70:30. Vijf verschillende willekeurige splitsingen van treinen/tests worden gebruikt om de uiteindelijke gebalanceerde prestaties voor elke dataset weer te geven.
Preprocessing
De invoerafbeeldingen moeten worden bijgewerkt omdat het MobileNetV2-framework de basis vormt voor de voorgestelde oplossing. Om hoogresolutiekenmerken uit foto's te halen, wordt het vooraf getrainde MobileNetV2-model gebruikt met zijn invoerdimensie. Elke invoerafbeelding wordt vervolgens opgeschaald tot 224×224 pixels in het bereik [-1, 1].
Het convolutiemodel
MobileNetV2 verbetert beeldherkenning door gebruik te maken van een efficiënte Convolutional Neural Network (CNN)-architectuur die is ontworpen om rekenkundige eisen te minimaliseren. Hoewel traditionele CNN's hoge nauwkeurigheid bereiken, vereisen ze vaak aanzienlijke geheugen- en verwerkingskracht. MobileNetV1 introduceerde het concept van diepte-separabele convolutie, waarbij standaardconvolutie wordt onderverdeeld in twee verschillende bewerkingen: diepte-convolutie voor het filteren van invoer en puntgewijze convolutie voor het integreren van kenmerken. MobileNetV2 bouwt voort op dit idee door bottleneck-residuele blokken te integreren die bestaan uit expansielagen, diepteconvolutie, projectielagen en residuele verbindingen. De projectielaag comprimeert featurekanalen, terwijl resterende verbindingen een betere informatiestroom door het netwerk mogelijk maken. Om de stabiliteit en leerprestaties te verbeteren, worden ReLU6-activatie en batchnormalisatie toegepast na convolutionele operaties.
In dit onderzoek werd MobileNetV2, vooraf getraind op ImageNet, gebruikt als ruggengraat om kenmerken te extraheren, waarmee effectieve semantische representaties op hoog niveau werden geleverd, terwijl de rekenkosten voor hersentumorclassificatie laag bleven. Na elke convolutielaag is er een ReLU6-activatielaag, een aanpassing van de ReLU-activatiefunctie, waarbij de grootte maximaal is op zes, en een batchnormalisatielaag. De gebruikelijke 1x1 convolutie-, gemiddelde pooling- en classificatielagen worden toegepast op 17 van de overige bottleneck-blokken, waarmee de volledige MobileNetV2-architectuur ontstaat. We gebruikten MobileNetV2 als backbone-netwerk, vooraf getraind op ImageNet. In zo'n geval wordt de convolutionele afbeelding verkregen uit het laatste residuele blok nadat het door de MobileNetV2-convolutionele laag is gegaan. Lagere residuele blokken produceren kleinere featuremaps. Dergelijke blokken dragen niet bij aan ons onderzoek omdat ze geen hoge gegevens verzamelen voor de algehele beeldidentificatie. Tijdens het bouwen en trainen van modellen worden de lagen voorafgaand aan de convolutionele lagen die een 7 × 7 3D-featuremap genereren, vast gehouden. In wiskundige termen wordt dit hieronder uitgedrukt in vergelijking (1):
F1(I) = Conv(I) (1)
Hier vertegenwoordigt F1(I) de convolutionele eigenschap die uit het invoerbeeld I, is gehaald.
De focusmodule
Het aandachtsmechanisme van het menselijk brein, dat impliceert dat mensen zich van nature meer richten op significante visuele input dan op elk detail in een afbeelding, vormt de basis voor het ontwerp van dit transformatienetwerk. Talrijke aandachtsgebaseerde modellen zijn ontwikkeld in deep learning-onderzoek vanwege dit idee. De ruimtelijke correlaties die in representaties van hersentumoren worden gezien, worden benadrukt door het voorgestelde aandachtsmechanisme. Terwijl de kanaalaandachtmodule de belangrijkste tumorgerelateerde informatie over de featurekanalen vastlegt, identificeert de regionale aandachtseenheid de meest informatieve gebieden van het MRI-beeld. Met een gestructureerde aandachtsmethode richt de voorgestelde focuseenheid zich op gebieden die discriminerende tumorinformatie bevatten.
Om de feature-representatie te verbeteren, worden technieken zoals Top Activation Pooling en gebalanceerde feature-extractie gebruikt vóór de ruimtelijke feature-detectiefase. Deze strategie verbetert het vermogen van het model om klinisch significante tumorgebieden te benadrukken, terwijl irrelevante achtergronddetails worden geminimaliseerd, waardoor de classificatienauwkeurigheid en de efficiëntie van feature-leren worden verbeterd. De tweede is de concatenatie van de max-pooled en average-pooled tensoren. Tot slot zal de sigma-activatiefunctie, gecombineerd met een 7x7 convolutioneel filter, worden gebruikt om visuele prikkels binnen de visuals te activeren. De verschillende fasen van de focusmodule worden aangegeven in vergelijkingen (2) en (3). waarbij gebalanceerde Pool(F) ∈ RHxWx1 de gemiddelde poolingoperatie vertegenwoordigt en MaxPool(F) ∈ RHxWx1 de maximale poolingoperatie beschrijft.
F2(I) = [AvgPool(F); MaxPool (V)] (2)
Deze twee elementmaps kunnen in 3D worden gecombineerd om een element map te maken
F2(I) = ∈ RHxwx1. F3(I) = σ(f7x7(F2(I))) (3)
waarbij σ de activatiefunctie is die Sigma aangeeft. De aandachtskenmerken, die worden weergegeven door een HxWxC Hoogte-gecodeerde tensor (V), breedte (W) en dikte (C), worden weergegeven door F3(I), terwijl f7x7 de filtergrootteconvolutie-operatie (7x7) vertegenwoordigt.
Fusie van aandacht en een convolutiemodel
In tegenstelling tot een netwerk dat afhankelijk is van één encoder, kan een multimodale Merging Unit veel efficiëntere en allesomvattendere informatie extraheren voor de overgrote meerderheid van de modaliteiten. Het fusieblok is bedoeld om te leiden naar de maximaal essentiële cross-modale kenmerken; daarom zal het aandachtsgebieden aanwijzen voor tumorregio-extractie. Dit is een eenvoudige samenvoeging van individuele latente representaties, maar sommige informatie zou verloren gaan. Een gecombineerde objectkaart werd dus gegenereerd door de featurekaarten van de convolutie- en observatiemodules te combineren met behulp van de basisfeature-concatenatiemethode van Sitaula et al. Deze twee featuremaps legden verschillen in verschillende beeldeigenschappen vast, dus besloten we een eenvoudige concatenatiemethode te gebruiken in plaats van max-, min- of sumgebaseerde strategieën. Dit maakt het ook computationeel lichter dan de alternatieve methoden die bilineaire methoden gebruiken als een vorm van tensorproductberekening. Wanneer zulke twee kenmerken worden gecombineerd, wordt de resultant een kenmerktensor genoemd. De wiskundige uitdrukking van de geaggregeerde tensoroutput van karakters T wordt gegeven door Vergelijking (4).
[F1(I), F3(I)] = T(I) (4)
Waar F1(I) ∈ RHxWx1 en F2(I) ∈ RHxWx1280. Dit zijn 3D-tensoren met dezelfde breedte (W) en hoogte (H). Verder kunnen ze worden samengevoegd in 3D k creatie van 3D-tensoren, waarbij T(I) ∈ LxWx1281.
Volledig verbonden lagen (FC)
We gebruikten een reeks FC-lagen na feature-fusie om een volumetrische tensor om te zetten die is omgevormd tot een lineaire featurevector. De classificatiekop bestaat uit een Global Average Pooling-laag, volledig verbonden dichte lagen, dropout-regularisatie en een Softmax-uitvoerlaag. De activatiefunctie van ReLU6 wordt gebruikt, met 128 eenheden en een uitvalkans van 50%.