$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Diese Studie verwendete einen öffentlich zugänglichen, anonymisierten Datensatz; daher war keine informierte Einwilligung erforderlich. Der vorgeschlagene Ansatz besteht aus sechs Komponenten: Vorverarbeitung, Konvolutionsmodul, Aufmerksamkeitsmodul, Integration von Konvolutions- und Aufmerksamkeitsmodulen und vollständig verbundene (FC) Schichten. Abbildung 1 zeigt den vollständigen Workflow unserer Methode.
Datenakquisition
Etikettierte Hirn-MRT-Bilder werden aus einem öffentlich zugänglichen Kaggle-Datensatz mit vier Tumorkategorien und normalem Gewebe erhalten.
Datenvorverarbeitung
Die Bilder werden auf eine einheitliche Auflösung verkleinert und intensitätsnormiert. Optionale Erweiterungen (Rotation, Umkehrung, Zoomen) werden angewendet, um die Verallgemeinerung zu verbessern. Der Datensatz wird in Trainings- (70 %) und Testsätze (30 %) aufgeteilt.
Modellarchitektur
Drei vortrainierte CNN-Backbones auf ImageNet – MobileNetV2, EfficientNetV1 und Inception-ResNet-V2 – wurden verwendet, um Hirntumore in vier Kategorien unter Verwendung von MRT-Bildern zu klassifizieren. MobileNetV2 und EfficientNetV1 wurden mit einer Eingabedimension von 224 × 224 Pixeln konfiguriert, während Inception-ResNet-V2 eine Eingabegröße von 299 × 299 Pixeln erforderte. Im Transfer-Learning-Prozess wurden die anfänglichen Konvolutionsschichten zu Beginn eingefroren, um verallgemeinerte Bildmerkmale beizubehalten, während die oberen Schichten fein abgestimmt wurden, um das Modell für die Hirntumorklassifizierung anzupassen. Jedem Backbone wurde ein leichter Klassifikationskopf zugeordnet, der Global Average Pooling, dichte Schichten, Dropout zur Regularisierung und eine Softmax-Aktivierungsfunktion zur Vorhersage von vier Klassen umfasste. Dropout wurde implementiert, um Überanpassung zu reduzieren und die Verallgemeinerung zu verbessern. Die entworfene Architektur verschmolz effektiv effiziente Merkmalsextraktion mit geringeren Rechenanforderungen und ermöglichte eine präzise Klassifizierung bei gleichzeitiger Eignung für den Einsatz in ressourcenbeschränkten und Proof-of-Concept-Szenarien.
Aufmerksamkeitsbasierte Merkmalsextraktion
Eingabebilder werden durch eine anfängliche Konvolutionsschicht gefolgt von einem benutzerdefinierten Aufmerksamkeitsmodul verarbeitet. Paralleles Max-Pooling und Average-Pooling erfassen auffällige und kontextuelle Merkmale, die verkettet und durch Konvolution verfeinert werden, um tumorrelevante Bereiche zu betonen.
Konvolutions-Backbone und Fusion
Aufmerksamkeitsgewichtete Merkmale werden an vortrainierte Backbones (MobileNetV2, EfficientNetV1 oder Inception-ResNet-V2) weitergeleitet. Hochgradige Konvolutionsschichten werden logisch verschmolzen, um den Zugriff auf den Speicher zu reduzieren und die Recheneffizienz zu verbessern.
Klassifikation
Geglättet werdende Merkmale werden durch vollständig verbundene Schichten mit ReLU6-Aktivierung und Dropout geleitet, was eine kompakte Darstellung für die abschließende Vier-Klassen-Softmax-Klassifikation erzeugt.
Bewertung
Die Modellleistung wird anhand des Testsatzes mithilfe von Genauigkeit, Präzision, Rückruf, F1-Score und Verwirrungsmatrizen bewertet.
Framework-Entwicklung
Die vorgeschlagene Lösung wird in Python implementiert und verwendet Keras für die Ausführung. Tabelle 1 zeigt die Hyperparameter. Der Datensatz wird in einen Trainingssatz und einen Testsatz im Verhältnis 70:30 aufgeteilt. Fünf verschiedene willkürliche Aufteilungen von Trainings-/Tests werden verwendet, um die endgültige ausgewogene Leistung für jeden Datensatz anzuzeigen.
Vorverarbeitung
Die Eingabebilder müssen aktualisiert werden, da das MobileNetV2-Framework als Grundlage für die vorgeschlagene Lösung dient. Um hochauflösende Merkmale aus Fotos zu extrahieren, wird das vortrainierte MobileNetV2-Modell mit seiner Eingabedimension verwendet. Jedes Eingabebild wird dann auf 224×224 Pixel im Bereich [-1, 1] skaliert.
Das Konvolutionsmodell
MobileNetV2 verbessert die Bilderkennung durch die Verwendung einer effizienten Convolutional Neural Network (CNN) Architektur, die entwickelt wurde, um den Rechenaufwand zu minimieren. Während traditionelle CNNs hohe Genauigkeit erreichen, benötigen sie oft erheblichen Speicher und Rechenleistung. MobileNetV1 führte das Konzept der durchtrennbaren Tiefenkonvolution ein, die eine Standardkonvolution in zwei verschiedene Operationen aufteilt: Tiefenkonvolution zum Filtern von Eingaben und punktweise Konvolution zur Integration von Merkmalen. MobileNetV2 baut auf dieser Idee auf, indem es Flaschenhals-Residualblöcke integriert, die Erweiterungsschichten, Tiefenkonvolution, Projektionsschichten und Residualverbindungen umfassen. Die Projektionsschicht komprimiert Merkmalskanäle, während Residualverbindungen einen besseren Informationsfluss im gesamten Netzwerk ermöglichen. Um Stabilität zu verbessern und die Lernleistung zu verbessern, werden ReLU6-Aktivierung und Batch-Normalisierung nach konvolutionellen Operationen angewendet.
In dieser Forschung wurde MobileNetV2, vortrainiert auf ImageNet, als Backbone-Modell zur Merkmalsextraktion verwendet und lieferte effektive hochrangige semantische Repräsentationen bei gleichzeitig niedrigen Rechenkosten für die Hirntumorklassifikation. Nach jeder Konvolutionsschicht gibt es eine ReLU6-Aktivierungsschicht, die eine Anpassung der ReLU-Aktivierungsfunktion ist, bei der die Größe auf sechs maximiert wird, und eine Batch-Normalisierungsschicht. Die gängige 1x1-Konvolution, Average Pooling und Klassifikationsschichten werden auf 17 der verbleibenden Flaschenhalsblöcke angewendet und bilden die vollständige MobileNetV2-Architektur. Wir verwendeten MobileNetV2 als Backbone-Netzwerk, das auf ImageNet vortrainiert wurde. In einem solchen Fall wird die Konvolutionskarte aus dem letzten Residualblock nach dem Durchlaufen der MobileNetV2-Konvolutionsschicht erhalten. Niedrigere Residualblöcke produzieren kleinere Merkmalskarten. Solche Blöcke tragen nicht zu unserer Forschung bei, da sie keine hochrangigen Daten für die allgemeine Bildidentifikation sammeln. Während des Modellaufbaus und der Schulung bleiben die Schichten vor den Konvolutionsschichten, die eine 7 × 7 3D-Merkmalskarte erzeugen, fixiert. In mathematischer Form wird dies wie folgt in Gleichung (1) ausgedrückt:
F1(I) = Conv(I) (1)
Hierbei stellt F1(I) das konvolutionelle Merkmal dar, das aus dem Eingabebild, I, extrahiert wird.
Der Fokusmodul
Der Aufmerksamkeitsmechanismus des menschlichen Gehirns, der impliziert, dass Menschen sich natürlich mehr auf signifikante visuelle Eingaben konzentrieren als auf jedes Detail in einem Bild, dient als Grundlage für das Design dieses Transformationsnetzwerks. In der Deep-Learning-Forschung wurden aufgrund dieser Idee zahlreiche auf Aufmerksamkeit basierende Modelle erstellt. Der vorgeschlagene Aufmerksamkeitsmechanismus hebt die räumlichen Korrelationen hervor, die in Hirntumorrepräsentationen zu sehen sind. Während das Kanal-Aufmerksamkeitsmodul die wichtigsten tumorbezogenen Informationen über Feature-Kanäle erfasst, identifiziert die regionale Aufmerksamkeitseinheit die informativsten Bereiche des MRT-Bildes. Mithilfe einer strukturierten Aufmerksamkeitsmethode konzentriert sich die vorgeschlagene Fokuseinheit auf Bereiche, die diskriminative Tumorinformationen enthalten.
Um die Merkmalsrepräsentation zu verbessern, werden Techniken wie Top Activation Pooling und ausgewogene Merkmalsextraktion vor der räumlichen Merkmalsdetektionsphase