EfficientNetB7-basiertes Deep-Learning-Framework zur erweiterten Klassifikation von histopathologischen Bildern von Lungen- und Darmkrebs

Summary

Hier stellen wir ein Deep-Learning-System mit dem EfficientNetB7-Modell vor, um die genaue Klassifikation histopathologischer Bilder von Lungen- und Darmkrebs zu ermöglichen. Das Modell erreichte 96 % Genauigkeit durch den Einsatz von Vorverarbeitung, Datenaugmentation und Transfer Learning. Die Methode hat große Aussichten zur Unterstützung der klinischen Krebsdiagnose.

Abstract

Die frühzeitige Diagnose von Lungenkrebs spielt eine entscheidende Rolle bei der Verbesserung der Behandlung und dem Überleben der Patienten. Dies bleibt ein Hauptfokus in der klinischen Forschung. Künstliche Intelligenz (KI) hat die Pathologie grundlegend verändert, indem sie die diagnostische Genauigkeit und Effizienz deutlich verbessert hat. Diese Studie präsentiert ein robustes Deep-Learning-Modell in Form des vortrainierten EfficientNetB7-Modells, um histopathologische Bilder von Dickdarm und Lungengewebe mit einer extrem hohen Genauigkeit von 96 % zu klassifizieren. Die Leistung des Modells wurde durch fortschrittliche Vorverarbeitungsmethoden, Feinabstimmung und domänenspezifische Datenerweiterungstechniken optimiert. Diese Strategien helfen, Probleme wie Klassenungleichgewichte und subtile histologische Unterschiede zu reduzieren. Um das Problem des Overfittings zu lösen, wurden mehrere Datenerweiterungstechniken kombiniert und ein Kriterium für frühes Stoppen eingeführt. Dieser Ansatz ermöglichte effiziente und kostengünstige Schulungen. Die robuste Validierung des Modells zeigt einen hohen Nutzen für klinische Anwendungen und ermöglicht es Pathologen, zeitnahe und präzise Diagnosen zu stellen. Die Integration fortschrittlicher Deep-Learning-Modelle in medizinische Bildgebungsabläufe birgt großes Potenzial für eine frühzeitige und genaue Krebsdiagnose und verbessert letztlich die Patientenergebnisse.

Introduction

Lungen- und Darmkrebs gehören in Bezug auf die Sterblichkeit zu den weltweit häufigsten Krebserkrankungen. Lungenkrebs ist die führende tödliche Krebsart mit über 1,8 Millionen Todesfällen pro Jahr, gefolgt von Darmkrebs als dritthäufigste Malignität und zweithäufigste Ursache der Krebssterblichkeit, basierend auf globalen Gesundheitsstatistiken. Eine genaue und frühzeitige Diagnose ist entscheidend für eine wirksame Behandlung und ein verbessertes Überleben dieser Krebsarten. Die histopathologische Untersuchung oder mikroskopische Untersuchung von Gewebeproben durch Pathologen bleibt eine der häufigsten Methoden zur Krebserkennung¹. Abbildung 1 zeigt die histopathologischen Stichproben verschiedener Lungen- und Darmgewebetypen².

Abbildung 1: Beispielbilder aus dem Datensatz. Diese Abbildung zeigt repräsentative Beispiele aus jeder Klasse im LC25000-Datensatz und hebt die visuelle Vielfalt zwischen gutartigen und bösartigen Lungen- und Dickdarmgewebebildern hervor. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Die digitale Pathologie hat die Branche transformiert, indem sie es ermöglicht, Histologie-Slides zu digitalisieren, die nun mit ausgeklügelten Deep-Learning-Algorithmen diagnostiziert werden. In Kombination mit Deep-Learning-Modellen sind Algorithmen hervorragend darin, subtile Muster in großen Daten zu erkennen, was die Genauigkeit und Effizienz der Diagnose erheblich steigert. Tabelle 1 zeigt die Beschreibung jeder Gewebeklasse.

Klassenbezeichnung	Beschreibung
Lungengutartiges Gewebe	Nicht-krebsartiges Gewebe in der Lunge, nicht am krebsartigen Wachstum beteiligt.
Lungenadenokarzinom	Eine Art Lungenkrebs, der aus drüsenepitihelialem Gewebe entsteht und für seine bösartigen Wachstumsmuster bekannt ist.
Lungenplattenepithelkarzinom	Eine Art von Lungenkrebs, die sich durch eine bestimmte zelluläre Morphologie auszeichnet, die von den Plattenepithelzellen in den Atemwegen entsteht.
Darmadenokarzinom	Die meisten Fälle von Darmkrebs werden durch eine häufige Art von Darmkrebs verursacht, die in den Drüsenzellen der Darmschleimhaut beginnt.
Darm-Benignes Gewebe	Gesundes Gewebe im Dickdarm, das keine Anzeichen von krebsartigen oder vorstufenartigen Erkrankungen zeigt.

Tabelle 1: Ein Überblick über die fünf Gewebe- und Krebsklassen im Datensatz, einschließlich Klassennamen, Merkmale und der Anzahl der Bilder in jeder Klasse.

EfficientNetB7, eine hochmoderne konvolutionelle neuronale Netzwerkarchitektur, wurde aufgrund seiner ausgewogenen Skalierung in Tiefe, Breite und Auflösung als besonders effektiv für Bildklassifikationsaufgaben identifiziert. Im Vergleich zu weit verbreiteten Architekturen wie ResNet und DenseNet erreicht EfficientNetB7 durch Compound Scaling ein überlegenes Gleichgewicht zwischen Klassifikationsgenauigkeit und Recheneffizienz, das Netzwerktiefe, Breite und Auflösung proportional skaliert. Obwohl ResNet und DenseNet eine robuste Leistung bei medizinischen Bildklassifikationsaufgaben gezeigt haben, benötigen sie typischerweise eine höhere Anzahl von Parametern und größere Rechenressourcen, um eine vergleichbare Genauigkeit zu erreichen, was EfficientNetB7 für groß angelegte histopathologische Analysen in ressourcenbegrenzten klinischen Umgebungen besser geeignet macht⁴. Die Anwendung fortschrittlicher rechnergestützter Modelle, einschließlich KI-Tools wie EfficientNetB7, bietet neue Möglichkeiten, traditionelle diagnostische Herausforderungen zu überwinden, indem sie Werkzeuge bereitstellt, die Pathologen unterstützen und potenziell die diagnostischen Ergebnisse verbessern. Die Integration von KI in die pathologische Praxis könnte den Zugang zu hochwertigen diagnostischen Diensten demokratisieren und es Regionen mit begrenzter medizinischer Expertise ermöglichen, fortgeschrittene Diagnostik durchzuführen.

Jüngste Benchmark-Studien und umfassende Übersichten in der medizinischen Bildanalyse haben konsequent die wachsende Wirkung von Deep-Learning-Architekturen in der Histopathologie^betont. Groß angelegte Analysen haben gezeigt, dass konvolutionelle neuronale Netze und ihre modernen Varianten eine Spitzenleistung bei der Identifizierung subtiler morphologischer Merkmale über mehrere Gewebetypen hinweg bieten und oft traditionelle diagnostische Methoden übertreffen. Vergleichende Bewertungen zeigen, dass fortschrittliche Architekturen, einschließlich EfficientNet und anderer skalierbarer Modelle, nicht nur eine überlegene Klassifikationsgenauigkeit erreichen, sondern auch eine verbesserte Recheneffizienz^{zeigen 6}. Darüber hinaus unterstreichen systematische Übersichtsartikel der digitalen Pathologie ihre transformative Rolle in routinemäßigen Diagnosen, indem sie Reproduzierbarkeit ermöglichen, die Inter-Beobachter-Variabilität reduzieren und die Integration mit automatisierten Pipelines ermöglichen. Diese gesammelten Ergebnisse bestätigen die Relevanz fortschrittlicher Deep-Learning-Modelle für die histopathologische Krebsklassifikation und liefern starke Belege dafür, dass der Einsatz skalierbarer und effizienter Architekturen klinische Herausforderungen wie Klassenungleichgewichte, histologische Variabilität und begrenzte Verfügbarkeit von erfahrenen Pathologen adressieren kann.

Die Ziele dieser Forschung sind (i) die Erstellung und Bewertung eines Deep-Learning-Modells zur Kategorisierung von histopathologischen Bildern von Lungen- und Darmkrebs basierend auf der EfficientNetB7-Architektur; (ii) Demonstration der Fähigkeit des Modells, eine hohe Klassifikationsgenauigkeit zu erreichen, die möglicherweise traditionelle diagnostische Methoden übertrifft; (iii) Untersuchung der Auswirkungen von Datenaugmentation, Vorverarbeitungstechniken und Transfer Learning auf die Modellleistung in einem domänenspezifischen Kontext.

Diese Studie zeigt nicht nur die hohe diagnostische Genauigkeit, die mit EfficientNetB7 auf histopathologischen Bildern erreichbar ist, sondern behandelt auch gezielt zentrale Herausforderungen wie Klassenungleichgewicht und Overfitting durch gezielte Datenaugmentation, robuste Validierungsstrategien und frühzeitige Stopptechniken. Die Methodik ist speziell darauf ausgelegt, reale klinische Umgebungen widerzuspiegeln, indem großflächige, erweiterte Datensätze verwendet und die Leistung des Modells anhand klinisch relevanter Kennzahlen bewertet wird. Die Automatisierung und Effizienz des Workflows stellen sicher, dass das System für die Integration in digitale Pathologielabore praktisch ist, was das Potenzial bietet, die Produktivität der Pathologen zu steigern, die diagnostische Konsistenz zu erhöhen und einen breiteren Zugang zu Expertenanalysen sowohl in ressourcenstarken als auch ressourcenbegrenzten klinischen Umgebungen zu ermöglichen.

Trotz bemerkenswerter Fortschritte im Deep Learning für medizinische Bildgebung bleiben bei der Klassifikation histopathologischer Bilder von Lungen- und Darmkrebs mehrere Herausforderungen^{bestehen 7}. Aktuelle Modelle neigen dazu, mit dem Klassenungleichgewicht umzugehen, wobei einige Krebsarten in Datensätzen unterrepräsentiert sein und verzerrte Vorhersagen liefern können. Darüber hinaus stellen subtile histologische Unterschiede zwischen Krebssubtypen wie Adenokarzinom und Plattenepithelkarzinom der Lunge eine gewaltige Herausforderung für eine korrekte Klassifizierung dar. Die meisten bisherigen Arbeiten wurden zur Einzel-Krebs-Klassifikation oder mit begrenzten kleinen Datensätzen durchgeführt, was eine breite Anwendbarkeit und Nützlichkeit im klinischen Umfeld ausschließt. Traditionelle Ansätze sind zudem weniger recheneffizient und daher weniger wünschenswert für große Daten- oder Echtzeitklinische Anwendungen⁸.

Die vorliegende Studie überbrückt diese Lücken, indem sie die EfficientNetB7-Architektur nutzt, ein hochmodernes Deep-Learning-Modell mit nachgewiesener Skalierbarkeit und Effektivität. Zufällige Zooms, Flips, Rotationen und Shifts werden als fortschrittliche Methoden zur Datenerweiterung eingesetzt, um die Robustheit und Generalisierungsfähigkeit des Modells über verschiedene histopathologische Muster hinweg zu maximieren. Transfer Learning wird auch verwendet, um das vortrainierte EfficientNetB7-Modell so zu feinjustieren, dass es in der Lage ist, auf eine Weise zu lernen und sich anzupassen, die spezifisch für Datensätze zu Lungen- und Darmkrebs ist und Trainingszeit sowie Rechenaufwand minimiert⁹. Der Einsatz von Global Average Pooling und Early Stopping verbessert zudem die Leistung des Modells, um ein gutes Training zu gewährleisten und Überanpassungen zu vermeiden.

Die Anwendung von Deep Learning in der medizinischen Bildgebung, insbesondere bei der Krebsdiagnose, hat in den letzten Jahren enorme Fortschritte gemacht. Die konventionelle Diagnose von Lungen- und Darmkrebs basiert hauptsächlich auf der histopathologischen Untersuchung, bei der Pathologen Gewebeproben unter dem Mikroskop^untersuchen. Obwohl effektiv, ist sie arbeitsintensiv, offen für Variabilität zwischen Beobachtern und meist durch das begrenzte Angebot an erfahrenen Pathologen, insbesondere in ressourcenschwachen Umgebungen, eingeschränkt. Diese Einschränkungen haben zur Entwicklung computergestützter KI- und Deep-Learning-basierter Diagnosesysteme geführt.

Deep-Learning-Modelle, insbesondere konvolutionale neuronale Netzwerke (CNNs), waren beeindruckend erfolgreich bei der Bildanalyse histopathologischer Proben¹¹. Sie sind besonders gut darin, komplexe Muster und subtile Variationen der Gewebemorphologie zu erkennen – Aufgaben, die sich für die Krebsklassifikation eignen. Trotz der Fortschritte bestehen weiterhin Mängel wie ein Klassenungleichgewicht, begrenzte Verallgemeinerungen gegenüber Szenarien mit mehreren Datensätzen und hohe Rechenkosten in den aktuellen Ansätzen. Zum Beispiel behandelt der Großteil der Arbeit die Einzelkrebsklassifikation, die ihre Anwendung auf Szenarien mit mehreren Krebserkrankungen beschränkt. Außerdem machen schlechte Vorverarbeitungs- und Datenergänzungstechniken es anfällig für Überanpassung, insbesondere in kleinen oder unausgewogenen Datensatzszenarien.

Jüngste Entwicklungen im Transfer Learning haben diese Einschränkungen teilweise überwunden, indem sie auf vortrainierten Modellen auf groß angelegten Datensätzen wie ImageNet genutzt wurden. EfficientNet, ResNet und DenseNet sind einige Modelle, die in der medizinischen Bildanalyse Aufmerksamkeit erregt haben, da sie hochrangige Funktionen aus begrenzten^{Trainingsdaten lernen} können. EfficientNet hat auch eine breite Verbreitung aufgrund seiner Skalierbarkeit und Effizienz erfahren, da es bei mehreren Bildklassifikationsbenchmarks eine Spitzengenauigkeit erreicht. Die Anwendung von EfficientNet bei der Klassifikation kombinierter Lungen- und Darmkrebs ist nicht umfassend untersucht, insbesondere im Hinblick auf den Umgang mit Klassenungleichgewichten und subtilen histologischen Variationen¹³.

Datenaugmentation war eine entscheidende Strategie zur Modellrobustheit und zur Verbesserung der Verallgemeinerung¹⁴. Durch die Einbeziehung von Variationen wie Rotation, Verschiebung, Zoomen und Umdrehen simulieren Datenaugmentationstechniken die Variabilität, die in tatsächlichen histopathologischen Bildern existiert, sodass Modelle invariante Merkmale lernen können. Frühzeitige Stopp- und Regularisierungstechniken verbessern die Modellleistung weiter, indem Überanpassungen vermieden und die Trainingseffizienz maximiert werden. Trotz all dieser Fortschritte besteht weiterhin Bedarf an End-to-End-Frameworks, die fortschrittliche Vorverarbeitung, Augmentation und Transfer Learning integrieren, um hohe Genauigkeit und Recheneffizienz für die Klassifikation von Multi-Krebserkrankungen zu erreichen. Tabelle 2 15,16,17,18,19,20,21,22,23,24 zeigt die Literatur der Studie aus der bestehenden Literatur.

Studium	Ziel
Talukder, M. A. et al.15 (2022)	Stellen Sie ein hybrides Ensemble-Merkmalsextraktionsmodell vor, das Deep Learning und maschinelles Lernen kombiniert, um Darm- und Lungenkrebs zu identifizieren.
Attallah, O. et al.16 (2022)	Bereitstellen Sie ein Lowweight-Deep-Learning-Framework, das verschiedene Modelle und Transformationstechniken kombiniert, um Lungen- und Darmkrebs frühzeitig zu erkennen.
Hage Chehade, A. et al.17 (2022)	Entwickeln Sie ein computergestütztes, maschinelles Lernsystem, das verschiedene Arten von Lungen- und Darmgewebe identifizieren kann.
Wahid, R. R. et al.18 (2023)	Verwenden Sie ein computergestütztes Diagnosesystem mit CNNs, um Lungen- und Darmkrebs zu erkennen.
Kumar, N. et al.19 (2022)	Vergleichen und kontrastieren Sie die Techniken zur Extraktion des Merkmals, die zur Kategorisierung von Darm- und Lungenkrebs verwendet werden.
Mehmood, S. et al.20 (2022)	Erstellen Sie ein vortrainiertes neuronales Netzwerk mit modifizierten Schichten Diagnosemodell für Lungen- und Darmkrebs, das sowohl genau als auch effizient ist.
Zhou, L. et al.21 (2024)	Vorhersagen neuer Ziele für Wogonin (WOG) bei der Behandlung von Lungen-, Blasen- und Darmkrebs mit bioinformatischen Methoden.
Reddy, K. R. et al.22 (2022)	Bereitstellung einer hybriden Methode zur Extraktion von Ensemblemerkmalen auf Basis von maschinellem Lernen für die Erkennung von Darmkrebs (LCC).
Shandilya, S., Nayak, S. R.23 (2022)	CNNs und das Design von Visionstransformatoren helfen bei der Klassifizierung von histopathologischen Bildern von Lungen- und Darmkrebs.
Hasan, M. et al.24 (2023)	Mit vielen CNN-Modellen werden Bilder von Lungen- und Darmkrebs klassifiziert, um die Diagnoseverfahren zu verbessern.

Tabelle 2: Ein Vergleich relevanter früherer Studien zur histopathologischen Bildklassifikation, detailliert verwendete Datensätze, Modelltypen und berichtete Ergebnisse.

Dieses Papier baut auf diesen Beiträgen auf, indem es ein Deep-Learning-Modell mit der EfficientNetB7-Architektur einsetzt, ergänzt durch modernste Datenaugmentation und Transfer Learning. Die aktuelle Lösung übertrifft die Schwächen früherer Lösungen durch verbesserte Klassifikationsgenauigkeit, Klassengleichgewicht und geringere Rechenkosten, weshalb sie eine optimale Lösung für den klinischen Einsatz darstellt.

Protocol

Diese Studie beinhaltete keine direkten Experimente an menschlichen Teilnehmern oder Tieren. Alle Arbeiten wurden mit dem öffentlich verfügbaren, anonymisierten LC25000 Datensatz histopathologischer Bilder durchgeführt, der keine identifizierbaren Patienteninformationen oder direkten Umgang mit menschlichem Gewebe enthielt. Eine Genehmigung des Institutional Review Board (IRB) oder des Institutional Animal Care and Use Committee (IACUC) war nicht erforderlich. Alle Verfahren entsprachen ethischen Standards und hielten sich an die Nutzungsbedingungen des Datensatzes für akademische Forschung. Abbildung 2 zeigt die Schritte des Workflow-Diagramms.

Abbildung 2: Arbeitsablauf der vorgeschlagenen Methode. Der Workflow umfasst Datenvorverarbeitung, Erweiterung, Modelltraining und Evaluation. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Datensatzbeschreibung
Der LC25000 Datensatz wurde für diese Studie verwendet. Es bestand aus 25.000 histopathologischen Bildern, die alle einheitlich als JPEG-Dateien mit einer Auflösung von 768 × 768 Pixel formatiert waren. Der Datensatz basiert auf einem ersten Set von 1.250 Originalbildern, darunter 250 gutartige Lungengewebeaufnahmen, 250 Adenokarzinome der Lunge, 250 Plattenepithelkarzinome, 250 gutartige Darmgewebeabbildungen und 250 Darmadenokarzinome. Die übrigen Bilder wurden durch Datenerweiterung generiert, um den Datensatz zu erweitern und so eine vielfältige und umfangreiche Sammlung für robustes Modelltraining und -validierung sicherzustellen.

Die hochauflösenden Bilder ermöglichten eine detaillierte Untersuchung der Zellstrukturen, was für eine genaue Krebsklassifikation unerlässlich war. Eine Datenerweiterung war aufgrund der begrenzten Anzahl an Originalbildern notwendig; Techniken wie Rotationen, Flips, Zooms und Shifts wurden eingesetzt, um die Datensatzgröße und -vielfalt synthetisch zu erhöhen. Dieser Prozess erzeugte weitere 23.750 synthetische Bilder auf klassenbalancierte Weise, was zu einem endgültigen Datensatz von 25.000 Bildern führte, wobei jede Klasse 5.000 Bilder nach der Augmentation enthält.

Datenvorverarbeitung
Die histopathologischen Rohbilder im Datensatz hatten eine Auflösung von 768 × 768 Pixeln. Um die Kompatibilität mit der EfficientNetB7-Architektur zu gewährleisten und die Recheneffizienz zu maximieren, wurde jedes Bild von 768 × 768 auf 224 × 224 Pixel verkleinert. Dieser Größenanpassungsprozess stellte einen Kompromiss zwischen dem Erhalt wesentlicher histologischer Merkmale und der Reduzierung des Rechenaufwands dar. Die Größenänderungsoperation wurde mathematisch dargestellt, wie in

Gleichung 1: (1)

wobei X das ursprüngliche Bild bezeichnete, X_{in der Größe das} verkleinerte Bild, und h und w jeweils die gewünschte Höhe und Breite darstellten. Alle Pixelwerte wurden auf einen Bereich von 0 bis 1 normalisiert, was das Training stabilisierte und beschleunigte, indem eine konsistente Eingabeverteilung über die Bilder sichergestellt wurde. Diese Normalisierung wurde mathematisch berechnet, wie in Gleichung 2 gezeigt. Dieser Schritt war entscheidend, um die Modellkonvergenz während des Trainings zu verbessern.

(2)

Datenaugmentation wurde als kritische Technik eingesetzt, um die Robustheit und Anwendbarkeit von Deep-Learning-Modellen zu verbessern, insbesondere im Kontext der medizinischen Bildgebung mit begrenzten und unausgewogenen Datensätzen. In dieser Studie wurden verschiedene Augmentationstechniken mit dem ImageDataGenerator-Modul von TensorFlow angewendet, um in vivo Variation histopathologischer Bilder zu simulieren. Diese Techniken umfassten zufällige Drehungen von bis zu 20 Grad, um die Variabilität der Gewebeorientierung zu simulieren, horizontale und vertikale Verschiebungen bis zu 20 % der Bilddimensionen, um die Positionsvariabilität während der Objektträgervorbereitung nachzuahmen, sowie zufällige Zooms von bis zu 20 %, um die Vergrößerungsstufen widerzuspiegeln.

Zusätzlich wurde horizontales Flipping durchgeführt, um Spiegelbildvariationen einzuführen und so den Trainingsdatensatz weiter zu bereichern. Um neu synthetisierte Pixel während dieser Transformationen zu verwalten, wurde eine Strategie des nächstgelegenen Nachbarn-Füllens gewählt, um reibungslose Übergänge zu gewährleisten und die Integrität wichtiger histologischer Merkmale zu bewahren. Die für die Erweiterung verwendete 2D-Rotationsmatrix wird in Gleichung 3 dargestellt, und Gleichung 4 definiert eine Funktion mit einer inkrementellen Änderung:

(3)

(4)

Diese Augmentationstechniken kompensierten Herausforderungen wie Klassenungleichgewicht, leichte histologische Variationen und Datensatzbeschränkungen, indem sie es dem Modell ermöglichten, invariante Merkmale zu lernen und das Risiko von Überanpassungen zu verringern. Durch die synthetische Erweiterung des Datensatzes und die Einbeziehung kontrollierter Variabilität verbesserte die Datenaugmentation die Fähigkeit des Modells, auf neue, unsichtbare Daten zu verallgemeinern, erheblich und schaffte so ein stärkeres und robusteres System für den klinischen Einsatz bei der Diagnose von Lungen- und Darmkrebs.

Modellarchitektur
Das Modell wurde auf Basis der EfficientNetB7-Architektur entwickelt, einem hochmodernen Deep-Learning-Netzwerk, das für seine Leistung, Skalierbarkeit und Effektivität bei Bildklassifikationsaufgaben bekannt ist. EfficientNetB7 wurde mit einer Reihe von Mobile Inverted Bottleneck Convolution (MBConv)-Blöcken konstruiert, die tiefenseparable Faltungen integrierten. Dieses strukturelle Design komprimierte das Modell effektiv, was zu erheblichen Reduktionen der Anzahl der Parameter bei minimalem Leistungsverlust führte. Diese Innovation ermöglichte es dem Modell, hohe Genauigkeit bei geringeren Rechenkosten zu erreichen, was es besonders für rechnerintensive Anwendungen wie histopathologische Bildanalyse geeignet machte. Abbildung 3 zeigt die Modellarchitektur des vortrainierten EfficientNetB7.

Abbildung 3: Modellarchitektur von EfficientNetB7. Diese Abbildung zeigt die detaillierte Struktur des EfficientNetB7-Modells und veranschaulicht seine Hauptschichten und funktionalen Blöcke, die für die Bildklassifikation verwendet werden. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Das Modell akzeptierte vorverarbeitete histopathologische Bilder, die von ihren ursprünglichen Abmessungen von 768 × 768 Pixel auf 224 × 224 Pixel verkleinert worden waren, um den Eingabeanforderungen von EfficientNetB7 gerecht zu werden. Jedes Bild durchlief mehrere Prozesse im Netzwerk, darunter Batch-Normalisierung, Swish-Aktivierungsfunktionen und Faltungsoperationen. Die Batch-Normalisierung wurde wie in Gleichung 5 gezeigt berechnet. Die Swish-Aktivierungsfunktion führte zu Nichtlinearität und ermöglichte ein schnelleres und effizienteres Training im Vergleich zu herkömmlichen Funktionen wie ReLU. Diese Schichten wurden entwickelt, um hierarchische Merkmale zu extrahieren und zu verbessern, sodass das Modell schrittweise von niedrigen zu höheren Mustern lernen konnte, während die Bilder im Netzwerk verbreitet wurden.

(5)

Das Faltungsrückgrat von EfficientNetB7, das auf dem ImageNet-Datensatz vortrainiert wurde, bot einen hochgradig verallgemeinerbaren Satz von Merkmaldetektoren, die über eine breite Palette von Bilddomänen hinweg wirksam waren. Die vortrainierte Basis spielte eine Schlüsselrolle bei der Erfassung subtiler, aber informativer Muster in histopathologischen Bildern, die oft durch hohe Variabilität innerhalb der Klassen und feinkörnige Merkmale gekennzeichnet sind. Die Ausgabe der Faltungsschichten wurde an eine globale Durchschnittspooling-Schicht weitergeleitet, die die räumlichen Dimensionen auf einen einzelnen Merkmalsvektor für jedes Bild reduzierte. Dieser Vektor, der die relevantesten Merkmale der Faltungsschichten einkapselt, wurde dann zu einem eindimensionalen Array abgeflacht, um mit vollständig zusammenhängenden Schichten kompatibel zu sein. Der Algorithmus zur verbesserten Erkennung von Lungen- und Darmkrebs ist in Supplementary File 1 bereitgestellt.

Die anschließende Netzwerkarchitektur umfasste zwei dichte (vollständig verbundene) Schichten mit jeweils 128 bzw. 64 Einheiten. Beide Schichten nutzten die Aktivierungsfunktion der Rectified Linear Unit (ReLU), um zusätzliche Nichtlinearität einzuführen und die extrahierten Merkmale feinabzustimmen, sodass das Modell präzisere Muster und Beziehungen innerhalb der Daten erkennen konnte. Die letzte Schicht des Modells war eine SoftMax-Ausgabeschicht mit fünf Neuronen, die jeweils eine der fünf Klassen im Datensatz repräsentierten. Die SoftMax-Funktion erzeugte eine Wahrscheinlichkeitsverteilung über die Klassen, die die Vorhersage des Modells für jedes Eingabebild widerspiegelte, wie in Gleichung 6 beschrieben:

(6)

Die Kombination aus modernsten Faltungstechniken, robuster Regularisierung und effektiven Optimierungsstrategien führte zu einem Deep-Learning-Modell, das sich hervorragend für die Klassifikation von hochrisikoreichen medizinischen Bilden eignet. Das Modell erreichte Präzision, Skalierbarkeit und operative Effizienz und zeigte ein starkes Potenzial für die klinische Anwendung bei der Diagnose von Lungen- und Darmkrebs. Innerhalb dieses Rahmens wurde die Regularisierung hauptsächlich durch fortschrittliche Datenerweiterung und den Einsatz von frühzeitigem Stopping erreicht; Es wurde kein expliziter Dropout oder Gewichtsabfall auf die dichten Schichten angewendet.

Schulung und Validierung
Die Validierungs- und Vortrainingspipeline des Convolutional Neural Network (CNN) für LC25000 histopathologische Bildklassifikation wurde entwickelt, um die Modellleistung zu optimieren und eine gute Verallgemeinerung sicherzustellen. Die Pipeline begann mit einer umfassenden Vorverarbeitung, die die Reduzierung der ursprünglichen 768 × 768-Pixel-Bilder auf 224 × 224 Pixel umfasste, um den Eingabeanforderungen der EfficientNetB7-Architektur gerecht zu werden. Die Pixelintensitäten wurden auf den Bereich [0, 1] normalisiert, um das Training zu stabilisieren und zu beschleunigen, und Datenerweiterungstechniken, einschließlich zufälliger Rotationen, Verschiebungen, Zooms und horizontaler Flips, wurden angewandt, um Variabilität einzuführen und Überanpassung zu mindern. Diese Vorverarbeitungsoperationen stellten sicher, dass das Modell invariante Merkmale lernte und gut auf neue Daten verallgemeinerte.

Das EfficientNetB7-Modell, das auf dem ImageNet-Datensatz vortrainiert wurde, wurde als Basis verwendet und bot einen robusten Merkmalsdetektor, der in der Lage ist, subtile histologische Muster zu erkennen. Das Modell wurde anschließend mit zwei dichten Schichten (128 und 64 Einheiten) feinabgestimmt, die durch die Funktion Rectified Linear Unit (ReLU) aktiviert wurden, gefolgt von einer SoftMax-Ausgangsschicht für die Fünf-Klassen-Klassifikation. Diese Architektur war sowohl auf Präzision als auch auf Recheneffizienz optimiert und eignete sich daher gut für medizinische Bildanalyse. Die Adam-Optimierer-Aktualisierungsregel für θ ist in Gleichung 7 dargestellt.

(7)

Modelltraining wurde in Chargen von 128 Bildern mit dem Adam-Optimierer durchgeführt, der die Lernrate adaptiv skalierte, um eine effektive Konvergenz zu fördern. Ein frühes Stoppkriterium wurde eingeführt, um Validierungsverluste zu überwachen und das Training zu stoppen, falls keine Verbesserung festgestellt wurde, um Überanpassungen zu verhindern und die Reiknerressourcen zu optimieren. Während des gesamten Trainings wurden wichtige Leistungskennzahlen – darunter Genauigkeit, Verlust, Präzision und Rückruf – mithilfe eines Hold-out-Validierungssets erfasst, das 20 % der Daten umfasste. Das Hold-out-Set lieferte wichtige Einblicke in die Verallgemeinerungsfähigkeiten des Modells und minderte das Risiko einer Überanpassung auf unsichtbare Daten.

Die Integration fortschrittlicher Vorverarbeitungs-, Datenerweiterungs- und Optimierungsstrategien führte zu hervorragender Modellgenauigkeit und Robustheit und zeigte ein starkes klinisches Anwendungspotenzial bei der Erkennung von Lungen- und Darmkrebs. Alle Experimente wurden auf einer NVIDIA Tesla P100 GPU mit 16 GB Speicher und 64 GB Systemspeicher durchgeführt. Die gesamte Trainingspipeline – einschließlich Vorverarbeitung, Augmentation und Modelloptimierung – erforderte etwa drei Stunden, um zehn Epochen mit einer Batchgröße von 128 Epochen abzuschließen. Diese rechnergestützte Infrastruktur wurde ausgewählt, um den großen, erweiterten Datensatz effizient zu verwalten und gleichzeitig angemessene Trainingszeiten einzuhalten, die für klinische Forschungsumgebungen geeignet sind.

Zur Reproduzierbarkeit wurden alle kritischen Hyperparameter explizit angegeben. Das Modell wurde mit dem Adam-Optimierer trainiert, mit einer konstanten Lernrate von 0,001. Die Ausbildung wurde maximal über 10 Epochen durchgeführt, wobei frühzeitige Stopps aufgrund von Validierungsverlust und einer Geduld von drei Epochen zur Verhinderung von Überanpassungen durchgeführt wurden. Eine Batchgröße von 128 Personen wurde sowohl für die Trainings- als auch für die Validierungsphase genutzt. Um konsistente Ergebnisse zu gewährleisten, wurde der zufällige Seed in allen Phasen des Datenladens und des Modelltrainings auf 42 gesetzt. Während der Ausbildung wurde kein Lernraten-Abfallplan angewendet.

Das Protokoll kombinierte systematische Vorverarbeitung, gut kalibrierte Hyperparameter, rigorose Validierungsschemata und eine offene Rechenumgebung, um sowohl Genauigkeit als auch Reproduzierbarkeit zu fördern. Der Workflow schuf durch die Integration robuster Deep-Learning-Architektur, effektive Optimierung und reproduzierbares experimentelles Design eine solide Grundlage für die histopathologische Bildklassifikation. Neben dem Nachweis einer starken Leistung bei der Erkennung von Lungen- und Darmkrebs definierte das Protokoll einen skalierbaren Rahmen, der in zukünftigen Forschungen auf ähnliche biomedizinische Bildgebende Herausforderungen ausgeweitet werden kann.

Während der Modellentwicklung wurden mehrere praktische Anpassungen umgesetzt, um zuverlässige und reproduzierbare Ergebnisse zu erzielen. Frühes Stoppen und fortschrittliche Datenaugmentation wurden eingesetzt, um ein Klassenungleichgewicht und Überanpassung zu beheben. Der hohe Speicherverbrauch während des Trainings wurde durch die Größe der Bilder auf 224 × 224 Pixel und die Verwendung einer Batchgröße von 128 Pixel gemildert. Bei langsamer Konvergenz wurde die Lernrate empirisch auf 0,001 gesetzt. Eine manuelle Überprüfung der Bildverzeichnisstruktur wurde durchgeführt, um Datenladefehler zu vermeiden, und zufällige Seeds wurden korrigiert, um die Reproduzierbarkeit zu gewährleisten. Diese Strategien können als praktische Orientierung für Forscher dienen, die ähnlichen Herausforderungen beim Training von Deep-Learning-Modellen mit großen histopathologischen Bilddatensätzen gegenüberstehen.

Statistische Analyse
Die statistische Modellierung der Modellleistung erfolgte mit einem umfassenden Set von Kennzahlen, um Genauigkeit, Stabilität und Generalisierbarkeit zu bewerten. Wichtige Bewertungsmaße umfassten Präzision, Rückruf, F1-Wert und Genauigkeit zur Quantifizierung der Klassifikationsleistung. Die Verwirrungsmatrix wurde verwendet, um klassenspezifische Fehlermetriken zu berichten, die gemäß den Gleichungen 8-10 berechnet wurden:

(8)

(9)

(10)

Zusätzlich wurden Fehlermaße wie Mean Squared Error (MSE), Root Mean Squared Error (RMSE) und Average Absolute Error (MAE) zur Bewertung der Vorhersagegenauigkeit ausgewertet, berechnet mit den Gleichungen 11-13:

(11)

(12)

(13)

Die Receiver Operating Characteristic (ROC)-Kurve und die Area Under the Curve (AUC) wurden verwendet, um die Fähigkeit des Modells zu bewerten, zwischen Klassen bei verschiedenen Schwellenwerten zu unterscheiden. Der AUC wurde wie in Gleichung 14 gezeigt berechnet:

(14)

Diese statistischen Analysen lieferten eine gründliche Bewertung der Klassifikationsleistung, Robustheit und Verallgemeinerung des Modells auf unbekannte Daten.

Ablationsstudie
Um den Beitrag jeder Komponente im Klassifikationsrahmen weiter zu bewerten, wurde eine Ablationsstudie durchgeführt, indem gezielt bestimmte architektonische Elemente des Endmodells weggelassen oder modifiziert wurden. Konkret wurden zwei alternative experimentelle Konfigurationen ausgewertet: Eine Konfiguration umfasste sowohl die Global Average Pooling- als auch die Flatten-Schicht, gefolgt von zwei dichten Schichten (128 und 64 Einheiten); die andere Konfiguration ließ sowohl die Flatten-Schicht als auch die 128-Einheiten-Dichteschicht aus, sodass nur noch die Global Average Pooling-Schicht und eine einzelne 64-Einheiten-Dichteschicht übrig blieben.

Die vollständige Architektur, wie in den Hauptergebnissen berichtet, erreichte eine Validierungsgenauigkeit von etwa 96 %. Als die Flatten-Schicht ausgeschlossen wurde und nach dem Global Average Pooling nur die 128- und 64-Einheiten-Dichteschichten verwendet wurden, sank die Validierungsgenauigkeit auf 81,6 %. Umgekehrt sank die Validierungsgenauigkeit, wenn die 128-Einheiten-Dichtschicht ausgeschlossen und die Flatten-Schicht beibehalten wurde, auf 88 %. Diese Ergebnisse zeigten die Notwendigkeit, sowohl die zusätzliche dichte Schicht als auch die entsprechenden architektonischen Komponenten einzubeziehen, um eine optimale Klassifikationsleistung zu erreichen. Die Ergebnisse der Ablationsexperimente zeigten konsequent, dass die Kombination aus Global Average Pooling, Flattening und zwei vollständig verbundenen Schichten eine ausdrucksstärkere Merkmalsrepräsentation ermöglichte, was zu einer robusteren und genaueren histopathologischen Bildklassifikation führte.

Results

Abbildung 4 zeigt das Training und die Validierung der Genauigkeit. Abbildung 5 zeigt den Trainings- und Validierungsverlust.

Abbildung 4: Trainings- und Validierungsgenauigkeit über Epochen. Diese Abbildung zeigt den Fortschritt...

Discussion

Bei der kritischen Überprüfung falsch gekennzeichneter Instanzen unter der EfficientNetB7-Deep-Learning-Architektur wird eine kritische Prüfung bei Instanzen durchgeführt, bei denen die Modellvorhersagen nicht mit den echten Labels im Validierungsdatensatz übereinstimmen. Kritische Analyse ist von äußerster Bedeutung bei der Analyse bestimmter Klassifikationsfehler, insbesondere wenn das Modell verschiedene histopathologische Merkmale von Lungen- und Darmgewebe falsch klassifiziert

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
A100 GPU (CUDA)	NVIDIA	CUDA Version 11.0	GPU-Beschleunigung für Modelltraining und -bewertung.
Kaggle-Plattform	Google	N/A	Cloudbasiertes Notizbuch zur Entwicklung von Machine-Learning-Modellen
Keras	TensorFlow (Google)	Version 2.6.0	Deep-Learning-API, die auf TensorFlow läuft.
LC25000	Borkowski AA, Bui MM, Thomas LB, Wilson CP, DeLand LA, Mastorides SM. Lungen- und Darmkrebs-Histopathologischer Bilddatensatz (LC25000)	N/A	Dieser Datensatz enthält 25.000 histopathologische Bilder mit 5 Klassen. Alle Bilder sind 768 x 768 Pixel groß und im JPEG-Dateiformat.
Matplotlib	Python Software Foundation	Version 3.5.0	Visualisierungsbibliothek zum Plotten von Ergebnissen.
NumPy	Python Software Foundation	Version 1.19.5	Numerische Computerbibliothek.
OpenCV	Open Source	Version 4.5.4	Bildverarbeitung und Computer-Vision-Bibliothek.
Pandas	Python Software Foundation	Version 1.3.4	Werkzeug zur Datenanalyse und -manipulation.
Python (Anaconda-Distribution)	Anaconda Inc	Version 3.7.12	Enthält vorinstallierte Pakete und Umgebungsmanagement-Tools.
Scikit-learn	Python Software Foundation	Version 0.23.2	Werkzeuge für maschinelles Lernen zur Leistungsbewertung.
TensorFlow	Google	Version 2.6.2	Deep-Learning-Framework für Diffusionsmodelle.