Aufmerksamkeitsgesteuertes Transferlern-Framework für die Klassifikation von Hirntumoren mit vier Klassen mittels MRT

Zusammenfassung

Diese Studie präsentiert ein leichtes, aufmerksamkeitsbasiertes Deep-Learning-Framework für die Klassifikation von Hirntumoren mit vier Klassen aus MRT-Bildern mittels Transferlearning mit MobileNetV2, EfficientNetV1 und Inception-ResNet-V2. Das Modell erreicht eine hohe Klassifikationsgenauigkeit bei geringerer Rechenkomplexität und unterstützt ressourcenbeschränkte klinische Entscheidungsunterstützungsanwendungen.

Zusammenfassung

Ziel dieser Forschung ist es, ein leichtes, aber genaues Deep-Learning-Framework zu entwickeln, um Hirntumoren in vier Kategorien zu klassifizieren – Gliome, Meningeome, Hypophysentumoren und gesundes Hirngewebe – mithilfe von MRT-Daten (MRT). Die vorgeschlagene Methodik kombiniert Transfer Learning mit drei vortrainierten konvolutionellen neuronalen Netzwerkmodellen – MobileNetV2, EfficientNetV1 und Inception-ResNet-V2 –, die mit einem Aufmerksamkeitsmechanismus integriert sind, der die Fähigkeit des menschlichen visuellen Systems nachahmt, sich auf klinisch relevante Bereiche eines Bildes zu fokussieren. Dieser aufmerksamkeitsorientierte Ansatz verbessert die Tumorlokalisierung und unterdrückt irrelevante Hintergrundinformationen. Das Rahmenwerk wird auf einem großen, öffentlich zugänglichen Gehirn-MRT-Datensatz bewertet, der Tausende von beschrifteten Bildern aus den vier Klassen enthält. Standard-Vorverarbeitungs-, Datenaugmentations- und Trainingsprotokolle werden verwendet, um eine einfache Replikation der vorgeschlagenen Methode zu ermöglichen. Experimentelle Ergebnisse zeigen, dass EfficientNetV1 die höchste Klassifikationsleistung erzielt und eine überlegene Genauigkeit im Vergleich zu MobileNetV2 und Inception-ResNet-V2 erreicht. Die Studie kommt zu dem Schluss, dass das vorgeschlagene leichte, aufmerksamkeitsbasierte Framework Genauigkeit und Rechenkomplexität effektiv ausbalanciert, was es besonders für Echtzeit- und mobile Gesundheitsanwendungen, insbesondere in ressourcenbegrenzten Umgebungen, äußerst geeignet macht.

Einleitung

Eine genaue Klassifikation von Hirntumoren mittels Magnetresonanztomographie (MRT) spielt eine entscheidende Rolle bei der klinischen Diagnose, Behandlungsplanung und Prognoseabschätzung¹. Hirntumore, darunter Gliom-, Meningeom- und Hypophysentumore, zeigen unterschiedliche pathologische Merkmale und Behandlungsreaktionen; Daher ist eine frühzeitige und zuverlässige Identifizierung unerlässlich, um die therapeutischen Ergebnisse zu verbessern und das Fortschreiten der Krankheit zu verringern. Die MRT wird bei der Begutachtung von Gehirntumoren aufgrund ihres überlegenen Weichteilkontrasts, ihrer nicht-invasiven Natur und der Fähigkeit, die Tumormorphologie über mehrere anatomische Ebenen hinweg sichtbar zu machen, weithin bevorzugt. Die manuelle Interpretation von MRT-Scans ist jedoch oft zeitaufwendig und stark von radiologischer Expertise abhängig, insbesondere wenn Tumorgrenzen unregelmäßig sind oder visuelle Ähnlichkeiten zwischen Tumorklassen bestehen. Daher sind automatisierte, computergestützte Diagnosesysteme zunehmend wichtig geworden, um Radiologen bei der genauen und effizienten Tumorklassifikation zu unterstützen.

Deep-Learning-(DL)-basierte Bildanalysetechniken haben die automatisierte Krankheitsklassifikation in biomedizinischen und Computer-Vision-Anwendungen erheblich vorangebracht ^2,3. In der Neuroonkologie haben maschinelles Lernen und Transfer-Learning-Techniken vielversprechende Ergebnisse bei der Tumorerkennung, Segmentierung und Klassifikation gezeigt⁴. Insbesondere konvolutionelle neuronale Netze (CNNs) haben eine überlegene Fähigkeit gezeigt, hierarchische Bildmerkmale automatisch direkt aus MRT-Scans zu extrahieren, ohne auf handgefertigte Feature-Engineering zurückzugreifen. CNN-Architekturen können diskriminierende tumorbezogene Darstellungen aus Bilddaten lernen und so die Klassifikationsleistung im Vergleich zu herkömmlichen maschinellen Lernmethoden verbessern. Jüngste Fortschritte im Bereich DL haben die Entwicklung leistungsstarker Bildklassifikationssysteme ermöglicht, die großflächige Bilddatensätze mit verbesserter Präzision und reduzierter menschlicher Intervention verarbeiten können.

Trotz dieser Fortschritte erfordern konventionelle, tiefgründige CNN-Architekturen oft erhebliche Rechenressourcen, darunter hohen Speicherverbrauch, erhöhte Parameterkomplexität und umfangreiche Trainingszeit⁵. Solche rechnerischen Anforderungen schränken deren Implementierung in ressourcenbegrenzten klinischen Umgebungen und mobilen Gesundheitssystemen ein. Darüber hinaus haben leichte konvolutionelle neuronale Netzwerkarchitekturen zunehmend Aufmerksamkeit erregt, da sie durch ihre geringere Rechenkomplexität und Eignung für den Einsatz in ressourcenarmen Anwendungen⁵. Mehrere aktuelle Studien haben optimierte CNN-Strategien, effiziente Mechanismen zur Feature-Extraktion und leichte Bereitstellungsrahmen untersucht, um die Klassifikationseffizienz zu verbessern, ohne die Prädiktionsgenauigkeit wesentlich zu beeinträchtigen ^6,7,8. Das Ausbalancieren der Recheneffizienz mit der robusten Multi-Klassen-Tumorklassifikationsleistung bleibt jedoch eine große Herausforderung in der MRT-basierten Hirntumoranalyse⁹.

Aufmerksamkeitsbasierte Deep-Learning-Frameworks haben sich als effektive Lösungen zur Verbesserung der Merkmalsdarstellung in der medizinischen Bildanalyse^{herausgebildet 10}. Aufmerksamkeitsmechanismen ermöglichen es neuronalen Netzen, gezielt diagnostisch relevante Bildbereiche hervorzuheben und irrelevante Hintergrundinformationen zu unterdrücken. Inspiriert vom menschlichen visuellen System verbessern aufmerksamkeitsgesteuerte Architekturen das diskriminative Merkmalslernen, indem sie den rechnerischen Fokus auf tumorspezifische räumliche Regionen und kontextuelle Eigenschaften lenken. Solche Mechanismen sind besonders vorteilhaft für die MRT-Analyse von Gehirntumoren, da Tumorgewebe häufig heterogene Intensitätsmuster, unregelmäßige Morphologie und überlappende visuelle Merkmale zwischen den Tumorkategorien aufweisen. Folglich kann die Integration von Aufmerksamkeitsmodulen in CNN-basierte Architekturen die Klassifikationsgenauigkeit verbessern und die Funktion bei der Funktionslokalisierung verbessern.

Mehrere aktuelle Studien haben das Potenzial von DL-Frameworks für die automatisierte Diagnose von Gehirntumoren und MRT-basierte Tumorklassifikation ^11,12 nachgewiesen. Gao et al. entwickelten und validierten ein DL-Modell für die Diagnose von Gehirntumoren mithilfe von MRT-Daten und demonstrierten eine starke Klassifikationsfähigkeit für automatisierte neuroimaginge Analysen¹¹. Ähnlich untersuchten Abdusalomov et al. DL-basierte Methoden zur Erkennung von Gehirntumoren mittels MRT-Scans und berichteten von vielversprechenden diagnostischen Leistungen¹². Obwohl diese Studien eine verbesserte Klassifikationsgenauigkeit erreichten, bleiben Einschränkungen in Bezug auf Datensatzvielfalt, Modellverallgemeinerung und rechnerische Anforderungen ungeklärt. In vielen Fällen waren die Trainingsdatensätze in ihrer Größe begrenzt oder stammten aus eingeschränkten klinischen Quellen, was das Risiko einer Überanpassung erhöhte und die Robustheit über heterogene Patientengruppen hinweg verringerte.

Um die Tumorvisualisierung und die Extraktion von Merkmalen zu verbessern, wurden auch multimodale MRT-Analysen und Rekonstruktionstechniken erforscht^13,14. Sun et al. untersuchten die multimodale MRT-basierte Gliombewertung unter Verwendung eines Deep-Learning-Rekonstruktionsrahmens in Kombination mit Entschädigungsstrategien¹³. Ihre Arbeit zeigte die Bedeutung der Bildqualitätsverbesserung zur Verbesserung der Genauigkeit der Gliomerkennung. Ähnlich schlugen Srinivas und Rao einen DL-basierten Segmentierungsrahmen für die multimodale MRT-Analyse von Gehirntumor-Subregionen^{14 vor}. Ihr Ansatz verbesserte die Abgrenzung der Tumorsubregionen und trug zur individuellen Behandlungsplanung bei. Dennoch erfordern multimodale Rahmenwerke in der Regel umfangreiche Vorverarbeitung, erhöhte Rechenressourcen und präzise Bildregistrierung zwischen bildgebenden Modalitäten, was ihre Anwendbarkeit in praktischen klinischen Umgebungen einschränken kann.

Aufmerksamkeitsgesteuerte multimodale Fusionsmethoden wurden ebenfalls vorgeschlagen, um die Segmentierungsgenauigkeit und die Integration von MRT-Merkmalen zu verbessern 15,16,17,18. Zhou et al. führten ein auf Aufmerksamkeitsmechanismus basierendes Fusionsrahmen für multimodale Hirntumorsegmentierung^{ein 15}. Die Studie zeigte eine verbesserte Segmentierungsleistung durch kontextuelles Merkmalslernen; Der Ansatz konzentrierte sich jedoch hauptsächlich auf Segmentierung und nicht auf eine leichte Tumorklassifikation. Ähnlich schlugen Zhou und Du ein 3D-multimodales Netzwerk für beschleunigte MRT-Rekonstruktion¹⁶ vor, während Huang et al. AMF-Net entwickelten, ein adaptives Multisequenz-Fusionsnetzwerk für die multimodale Hirntumordiagnose¹⁷. Zhou et al. schlugen zudem MLMFNet für multimodale beschleunigte MRT-Rekonstruktion¹⁸ vor. Obwohl diese Methoden die Rekonstruktionsqualität und die Funktionsfusionsfähigkeit verbesserten, setzten sie stark auf mehrere MRT-Modalitäten, tiefgehende Architekturen und rechenintensive Fusionsoperationen. Solche Anforderungen könnten ihre Machbarkeit für den Einsatz in ressourcenbegrenzten Gesundheitssystemen und randbasierten Diagnoseplattformen verringern.

Weitere Studien haben DL-Rahmenwerke speziell zur Klassifizierung von Gliom-, Meningeom- und Hypophysentumoren mit MRT-Bildern untersucht¹⁹. Mokri et al. entwickelten ein DL-basiertes Klassifikationssystem zur Identifizierung von drei Haupttypen von Gehirntumoren mittels MRT-Scans¹⁹. Obwohl die Studie eine ermutigende Leistung zeigte, stützte sich das Modell auf relativ kleine Datensätze und es fehlten Vergleiche mit leichtgewichtigen Transfer-Learning-Frameworks. Transformer-basierte Architekturen haben in jüngerer Zeit auch in der medizinischen Bildgebung Aufmerksamkeit erregt, da sie in der Lage sind, Langstrecken-Merkmalsabhängigkeiten und kontextuelle^{Beziehungen zu} modellieren. Feng et al. schlugen einen multimodalen Transformatorrahmen für die beschleunigte MR-Bildrekonstruktion^{vor 20}. Ihr Ansatz verbesserte die Rekonstruktionsleistung im Vergleich zu herkömmlichen Methoden; Transformatorarchitekturen erfordern jedoch in der Regel umfangreiche Rechenressourcen und großflächige Trainingsdatensätze, was ihren praktischen Einsatz in ressourcenbegrenzten medizinischen Systemen einschränken kann.

Transfer-learning-basierte, leichte CNN-Architekturen haben großes Potenzial zur Reduzierung der Berechnungskomplexität gezeigt und gleichzeitig die Klassifikationsgenauigkeit 21,22,23 beibehalten. Rahman et al. zeigten eine verbesserte Leistung bei der Klassifikation von Gehirntumoren mit MobileNetV2, kombiniert mit fortschrittlichen Vorverarbeitungs- und Feinabstimmungsansätzen²¹. MobileNetV2 eignet sich besonders gut für leichte medizinische Bildgebungsanwendungen aufgrund seiner tiefentrennbaren Faltungen, der geringeren Parameteranzahl und der effizienten Feature-Extraktion. Ähnlich haben EfficientNet-basierte Frameworks eine starke Multiklassenklassifikationsleistung durch zusammengesetzte Skalierungsstrategien gezeigt, die Netzwerktiefe, Breite und Eingabeauflösung gleichzeitig^{optimieren 22}. EfficientNet-Architekturen erzielen eine verbesserte Klassifikationseffizienz und halten gleichzeitig einen geringeren Rechenaufwand im Vergleich zu herkömmlichen CNNs. Darüber hinaus integrieren Inception-ResNet-Architekturen residuelles Lernen mit effizienten Mechanismen zur Feature-Extraktion, um die Bildklassifikationsleistung^{zu verbessern 23}. Solche hybriden Architekturen ermöglichen eine effektive Gradientenausbreitung und tiefere Netzwerkrepräsentationslern, während die Recheneffizienz erhalten bleibt.

Obwohl bei der MRT-basierten Hirntumorklassifizierung erhebliche Fortschritte erzielt wurden, bleiben einige Einschränkungen ungeklärt. Viele bestehende Ansätze priorisieren die Klassifikationsgenauigkeit bei rechenintensiven Architekturen, ohne die Bereitstellungseffizienz oder Rechenbeschränkungen angemessen zu berücksichtigen. Andere Studien konzentrieren sich hauptsächlich auf Segmentierung, multimodale Rekonstruktion oder Merkmalsfusion statt auf direkte Vier-Klassen-Tumorklassifikation. Darüber hinaus integrieren relativ wenige Frameworks leichte Transfer-Learning-Architekturen mit aufmerksamkeitsgesteuertem Feature-Learning für eine effiziente Multi-Class-Klassifikation von Gehirntumoren. Daher besteht weiterhin Bedarf an einem rechnerisch effizienten Rahmenwerk, der Klassifikationsgenauigkeit, leichte Bereitstellung und diskriminierende Merkmalsextraktion in ressourcenbegrenzten klinischen Umgebungen in Einklang bringt.

Daher schlägt diese Studie ein leichtgewichtiges, aufmerksamkeitsgesteuertes Transfer-Learning-Framework für die Klassifikation von Hirntumoren mit vier Klassen anhand von MRT-Bildern vor. Das vorgeschlagene Framework integriert MobileNetV2, EfficientNetV1 und Inception-ResNet-V2 mit einem Aufmerksamkeitsmechanismus, der selektiv diagnostisch relevante Tumorregionen betont und gleichzeitig irrelevante Hintergrundmerkmale unterdrückt. Das Rahmenwerk zielt darauf ab, die Merkmale-Diskriminierung und die Klassifikationsleistung zu verbessern und gleichzeitig die Rechenkomplexität zu reduzieren. Durch die Kombination leichter Transfer-Learning-Backbones mit aufmerksamkeitsorientierter Feature-Extraktion zielt der vorgeschlagene Ansatz darauf ab, eine effiziente, skalierbare Lösung für automatisierte MRT-basierte Hirntumorklassifizierung in ressourcenbegrenzten klinischen Entscheidungsunterstützungsumgebungen bereitzustellen.

Protokoll

Diese Studie nutzte einen öffentlich zugänglichen, anonymisierten Datensatz; daher war eine informierte Einwilligung nicht erforderlich. Der vorgeschlagene Ansatz umfasst sechs Komponenten: Vorverarbeitung, Faltungsmodul, Aufmerksamkeitsmodul, Integration von Faltungs- und Aufmerksamkeitsmodulen sowie vollständig verbundene (FC) Schichten. Abbildung 1 zeigt den vollständigen Arbeitsablauf unserer Methode.

Datensatzerfassung
Beschriftete Hirn-MRT-Bilder stammen aus einem öffentlich zugänglichen Kaggle-Datensatz, der vier Tumorkategorien und normales Gewebe umfasst.

Datenvorverarbeitung
Die Bilder werden auf eine einheitliche Auflösung angepasst und die Intensität normalisiert. Optionale Augmentation (Drehen, Umblättern, Zoomen) wird angewendet, um die Verallgemeinerung zu verbessern. Der Datensatz ist in Trainings- (70 %) und Testsätze (30 %) aufgeteilt.

Modellarchitektur
Drei auf ImageNet vortrainierte Backbone-CNNs – MobileNetV2, EfficientNetV1 und Inception-ResNet-V2 – wurden verwendet, um Hirntumoren mithilfe von MRT-Bildern in vier Kategorien zu klassifizieren. MobileNetV2 und EfficientNetV1 wurden mit einer Eingangsdimension von 224 × 224 Pixel konfiguriert, während Inception-ResNet-V2 eine Eingabegröße von 299 × 299 Pixel benötigte. Im Transfer-Learning-Prozess wurden die anfänglichen Faltungsschichten zu Beginn eingefroren, um verallgemeinerte Bildmerkmale zu erhalten, während die oberen Schichten fein abgestimmt wurden, um das Modell für die Klassifikation von Gehirntumoren anzupassen. Jedes Backbone wurde mit einem leichtgewichtigen Klassifikationskopf kombiniert, der Global Average Pooling, dichte Schichten, Dropout für Regularisierung und eine Softmax-Aktivierungsfunktion zur Vorhersage von vier Klassen umfasste. Dropout wurde eingeführt, um Overfitting zu mindern und die Verallgemeinerung zu verbessern. Die entworfene Architektur verband effektiv effiziente Feature-Extraktion mit geringeren Rechenanforderungen, was eine präzise Klassifizierung ermöglichte und dennoch für den Einsatz in ressourcenbegrenzten und Proof-of-Concept-Szenarien geeignet blieb.

Aufmerksamkeitsbasierte Merkmalsextraktion
Eingabebilder werden über eine anfängliche Faltungsschicht verarbeitet, gefolgt von einem benutzerdefinierten Aufmerksamkeitsmodul. Paralleles Max-Pooling und Average Pooling erfassen auffällige und kontextuelle Merkmale, die per Convolution verkettet und verfeinert werden, um tumorrelevante Regionen hervorzuheben.

Faltungsrückgrat und Fusion
Aufmerksamkeitsgewichtete Funktionen werden an vortrainierte Backbones (MobileNetV2, EfficientNetV1 oder Inception-ResNet-V2) weitergeleitet. Hochstufige Faltungsschichten sind logisch verschmolzen, um den Speicherzugriff zu reduzieren und die Recheneffizienz zu verbessern.

Klassifikation
Abgeflachte Merkmale werden durch vollständig verbundene Schichten mit ReLU6-Aktivierung und -Dropout geleitet, was eine kompakte Darstellung für die endgültige Vier-Klassen-Softmax-Klassifikation ergibt.

Bewertung
Die Modellleistung wird im Testsatz anhand von Genauigkeits-, Präzisions-, Rückruf-, F1-Score- und Verwirrungsmatrizen bewertet.

Rahmenentwicklung
Die vorgeschlagene Lösung ist in Python implementiert und verwendet Keras für die Ausführung. Tabelle 1 veranschaulicht die Hyperparameter. Der Datensatz wird in einen Trainingssatz und einen Testsatz nach einem Verhältnis von 70:30 aufgeteilt. Fünf verschiedene beliebige Aufteilungen von Zügen/Tests werden verwendet, um die endgültige ausgewogene Leistung für jeden Datensatz darzustellen.

Vorverarbeitung
Die Eingabebilder müssen aktualisiert werden, da das MobileNetV2-Framework die Grundlage für die vorgeschlagene Lösung bildet. Um hochauflösende Merkmale aus Fotos zu extrahieren, wird das vortrainierte MobileNetV2-Modell mit seiner Eingabedimension verwendet. Jedes Eingabebild wird dann auf 224×224 Pixel im Bereich [-1, 1] skaliert.

Das Faltungsmodell
MobileNetV2 verbessert die Bilderkennung, indem es eine effiziente Convolutional Neural Network (CNN)-Architektur nutzt, die darauf ausgelegt ist, den Rechenaufwand zu minimieren. Während traditionelle CNNs hohe Genauigkeit erreichen, benötigen sie oft erheblichen Speicher und Rechenleistung. MobileNetV1 führte das Konzept der tiefenseparablen Faltung ein, die die Standardfaltung in zwei verschiedene Operationen unterteilt: Tiefenfaltung zum Filtern von Eingaben und punktweise Faltung zur Integration von Merkmalen. MobileNetV2 baut auf dieser Idee auf, indem es Flaschenhals-Residualblöcke integriert, die aus Expansionsschichten, Tiefenfaltung, Projektionsschichten und Restverbindungen bestehen. Die Projektionsschicht komprimiert Feature-Kanäle, während Restverbindungen einen besseren Informationsfluss im Netzwerk ermöglichen. Um die Stabilität zu verbessern und die Lernleistung zu steigern, werden ReLU6-Aktivierung und Batch-Normalisierung nach konvolutionalen Operationen angewendet.

In dieser Forschung wurde MobileNetV2, vortrainiert auf ImageNet, als Backbone-Modell verwendet, um Features zu extrahieren und effektive semantische Repräsentationen auf hoher Ebene zu liefern, während die Rechenkosten für die Klassifikation von Gehirntumoren niedrig gehalten wurden. Nach jeder Faltungsschicht gibt es eine ReLU6-Aktivierungsschicht, die eine Anpassung der ReLU-Aktivierungsfunktion darstellt, bei der die Größe bei sechs maximal begrenzt ist, sowie eine Batch-Normalisierungsschicht. Die üblichen 1x1-Konvolutions-, Mittelwert-Pooling- und Klassifikationsschichten werden auf 17 der verbleibenden Flaschenhalsblöcke angewendet und bilden so die vollständige MobileNetV2-Architektur. Wir haben MobileNetV2 als Backbone-Netzwerk verwendet, das auf ImageNet vortrainiert wurde. In einem solchen Fall erhält man die Faltungsabbildung aus dem letzten Restblock nach dem Durchgang der MobileNetV2-Faltungsschicht. Restblöcke auf niedrigerer Ebene erzeugen kleinere Merkmalskarten. Solche Blöcke tragen nicht zu unserer Forschung bei, da sie keine hochrangigen Daten für die Gesamtbildidentifikation sammeln. Während des Modellbaus und Trainings bleiben die Schichten vor den Faltungsschichten, die eine 7 × 7 3D-Merkmalskarte generieren, fixiert. Mathematisch wird dies wie folgt in Gleichung (1) ausgedrückt:

F₁(I) = Conv(I) (1)

Hier stellt F₁(I) das aus dem Eingabebild extrahierte Faltungsmerkmal I.

Das Fokusmodul
Der Aufmerksamkeitsmechanismus des menschlichen Gehirns, der bedeutet, dass Menschen sich von Natur aus mehr auf bedeutende visuelle Eingaben als auf jedes Detail eines Bildes konzentrieren, bildet die Grundlage für das Design dieses Transformationsnetzwerks. Aufgrund dieser Idee wurden zahlreiche aufmerksamkeitsbasierte Modelle in der Deep-Learning-Forschung entwickelt. Die räumlichen Korrelationen, die in den Darstellungen von Gehirntumoren beobachtet werden, werden durch den vorgeschlagenen Aufmerksamkeitsmechanismus hervorgehoben. Während das Kanal-Aufmerksamkeitsmodul die wichtigsten tumorbezogenen Informationen über die Merkmalskanäle hinweg erfasst, identifiziert die regionale Aufmerksamkeitseinheit die informativsten Bereiche des MRT-Bildes. Mit einer strukturierten Aufmerksamkeitsmethode konzentriert sich die empfohlene Fokuseinheit auf Bereiche, die diskriminierende Tumorinformationen enthalten.

Zur Verbesserung der Merkmalsdarstellung werden Techniken wie Top Activation Pooling und symmetrische Merkmalsextraktion vor der räumlichen Merkmalserkennungsphase verwendet. Diese Strategie verbessert die Fähigkeit des Modells, klinisch signifikante Tumorregionen hervorzuheben und dabei irrelevante Hintergrunddetails zu minimieren, wodurch die Klassifikationsgenauigkeit und die Effizienz des Merkmalslernens verbessert werden. Die zweite ist die Verkettung der maximal gepoolten und durchschnittlich gepoolten Tensoren. Schließlich wird die Sigma-Aktivierungsfunktion, kombiniert mit einem 7x7-Faltungsfilter, verwendet, um visuelle Reize innerhalb der visuellen Elemente zu aktivieren. Die verschiedenen Stufen des Fokusmoduls sind in den Gleichungen (2) und (3) angegeben. wobei balanced Pool(F) ∈ RHxWx1 die durchschnittliche Pooling-Operation darstellt und MaxPool(F) ∈ RHxWx1 die Max-Pooling-Operation beschreibt.

F₂(I) = [AvgPool(F); MaxPool (w)] (2)

Diese beiden Elementabbildungen können in 3D kombiniert werden, um eine Elementabbildung zu erstellen

F₂(I) = ∈ RHxwx1. _F3(I) = σ(f7x7(F₂(I))) (3)

wobei σ die Aktivierungsfunktion ist, die Sigma anzeigt. Die Aufmerksamkeitsmerkmale, die durch einen HxWxC-Höhen-codierten Tensor (V), Breite (W) und Dicke (C) dargestellt werden, werden durch F3(I) dargestellt, während f7x7 die Filtergrößen-Faltungsoperation (7x7) darstellt.

Fusion von Aufmerksamkeit und Faltungsmodell
Im Gegensatz zu einem Netzwerk, das auf einen einzigen Encoder angewiesen ist, könnte eine multimodale Merging Unit für die überwiegende Mehrheit der Modalitäten viel effizientere und umfassendere Informationen extrahieren. Der Fusionsblock soll zu den maximal wesentlichen Cross-Modal-Features führen; daher werden Fokusbereiche für die Tumorregion gezielt identifiziert. Dies ist eine einfache Verkettung einzelner latenter Repräsentationen, aber einige Informationen würden verloren gehen. Eine kombinierte Objektabbildung wurde somit erzeugt, indem die Merkmalsabbildungen der Faltungs- und Beobachtungsmodule mit der grundlegenden Merkmalsverkettungsmethode von Sitaula et al. kombiniert wurden. Diese beiden Merkmalskarten erfassten Unterschiede in verschiedenen Bildeigenschaften, daher entschieden wir uns für eine einfache Verkettungsmethode anstelle von Max-, Min- oder Summen-basierten Strategien. Dies macht sie auch rechnerisch leichter als die alternativen Methoden, die bilineare Methoden als Form der Tensorproduktberechnung verwenden. Wenn diese beiden Merkmale kombiniert werden, nennt man das Ergebnis einen Merkmalstensor. Der mathematische Ausdruck des aggregierten Tensoroutputs der Charaktere T wird durch Gleichung (4) gegeben.

[F₁(I), F₃(I)] = T(I) (4)

Wobei F1(I) ∈ RHxWx1 und F2(I) ∈ RHxWx1280. Dies sind 3D-Tensoren mit derselben Breite (W) und Höhe (H). Außerdem können sie in der 3D-K-Erstellung von 3D-Tensoren verkettet werden, wobei T(I) LxWx1281 ∈.

Vollständig verbundene Schichten (FC)
Wir haben nach der Merkmalfusion eine Reihe von FC-Schichten verwendet, um einen volumetrischen Tensor umgeformt in einen linearen Merkmalsvektor umzuwandeln. Der Klassifikationskopf besteht aus einer Global Average Pooling-Schicht, vollständig verbundenen dichten Schichten, Dropout-Regularisierung und einer Softmax-Ausgabeschicht. Die ReLU6-Aktivierungsfunktion wird verwendet, mit 128 Einheiten und einer Abbruchwahrscheinlichkeit von 50 %.

Ergebnisse

Drei vortrainierte Deep-Learning-Modelle, nämlich MobileNetV2, EfficientNetV1 und Inception-ResNet-V2, wurden für die Klassifikation von Hirntumoren nach vier Klassen mittels MRT-Bildern untersucht.

Verwendeter Datensatz
Der vorgeschlagene Rahmen wurde anhand eines öffentlich zugänglichen MRT-Datensatzes für Gehirntumore bewertet, der von der Kaggle-Plattform gewonnen wurde. Der Datensatz bestand aus 835 normalen MRT-Bildern des Gehirns, 82...

Diskussion

Die Leistungsbewertung, basierend auf Genauigkeit, Erinnerung, F1-Wert und Präzision, zeigt, dass sowohl MobileNetV2 als auch Inception-ResNet-V2 vergleichbare Ergebnisse bei der Klassifikation von Gehirntumoren erzielen, wobei beide eine aggregierte und gewichtete Durchschnittsgenauigkeit von 97–98 % erreichen. Im Gegensatz dazu übertrifft EfficientNet die anderen Modelle und erreicht dank seiner verbesserten Verallgemeinerungs- und Compound-Skalierungsstrategie eine Genauigkeit von 99 ...

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Brain MRI Dataset	IEEE	https://dx.doi.org/10.21227/q2vt-tf46	Das Dataset wird mit Institutszugriff heruntergeladen. Das MRI-Dataset enthält vier Klassen: Gliom, Meningeom, Hypophysentumor und normales Gehirn
CNN Accelerator (Layer Fusion)	Vorgeschlagene Arbeit	—	Logische Fusion der oberen konvolutionalen Schichten zur Reduzierung des Speicherzugriffs und zur Verbesserung der Recheneffizienz
Custom Attention Module	Vorgeschlagene Arbeit	—	Aufmerksamkeitsmechanismus, der Max-Pooling und Average-Pooling integriert, um tumorrelevante Regionen zu betonen
EfficientNetV1	Google	Vorgefertigt (ImageNet)	Skalierbare CNN-Architektur, die ein optimales Verhältnis von Genauigkeit und Effizienz bietet
Google Colaboratory	Google	https://colab.research.google.com/	Cloud-basiertes Umfeld für Modelltraining, Bewertung und Experimente mit GPU-Unterstützung
Inception-ResNet-V2	Google	Vorgefertigt (ImageNet)	Tiefer Hybrid-CNN-Architektur, die Inception-Module mit Residuellenverbindungen kombiniert
Keras	Google	v2.6.0	Hochrangige neuronale Netzwerk-API, die auf TensorFlow für schnelles Modell-Prototyping aufbaut
Matplotlib	Matplotlib Developers	v3.4.3	Visualisierungsbibliothek, die zum Plotten von Trainingskurven, Verwechslungsmatrizen und Leistungsmetriken verwendet wird
MobileNetV2	Google	Vorgefertigt (ImageNet)	Leichter CNN-Backbone, der für die Bereitstellung auf mobilen Geräten und am Edge optimiert ist
NumPy	NumPy Developers	v1.21.4	Kern-Wissenschaftliche Rechenbibliothek, die für numerische Operationen verwendet wird
Pandas	Pandas Development Team	v1.3.4	Bibliothek zur Datenhandhabung und -manipulation, die für die Organisation von Datasets und die Verarbeitung von Metadaten verwendet wird
Python	Python Software Foundation	v3.8.10	Primäre Programmiersprache, die für die Datenverarbeitung, Modellentwicklung und -bewertung verwendet wird
Scikit-learn	Scikit-learn Developers	Jüngste stabile Version	Verwendet für Leistungsmetriken wie Präzision, Recall, F1-Score und Verwechslungsmatrizen
Seaborn	Seaborn Developers	Jüngste stabile Version	Hochrangige statistische Visualisierungsbibliothek, die für verbesserte grafische Analysen verwendet wird
TensorFlow	Google	v2.6.0	End-to-End Deep-Learning-Framework, das zur Implementierung von CNN-Backbones und Aufmerksamkeitsmodulen verwendet wird