Ein neuartiger Ansatz mit dem KI-Vision-Transformator für die CT-Analyse zur Erkennung von Lungenkrebs

Zusammenfassung

Der Einsatz von Vision Transformers in dieser Studie ermöglicht es, Lungenkrebs anhand von CT-Bildern zu klassifizieren, wobei eine Genauigkeit von 98,18 % bei 1.190 Scans erreicht wird. Das Modell bewahrte ein zufriedenstellendes Robustheitsniveau mit Genauigkeitsniveaus zwischen 80–88 % bei verrauschten und verschwommenen Bildern im Vergleich zu Standardmodellen des Convolutional Neural Network (CNN) in Anwendungen der Verbrauchergesundheitsdiagnostik.

Zusammenfassung

Die Diagnose von Lungenkrebs bleibt schwierig, da es in bildgebenden Studien subtile Unterschiede zwischen gutartiger und bösartiger Erkrankung gibt. Obwohl traditionelle, konvolutionelle neuronale Netzwerke (CNNs) das Rückgrat der medizinischen Bildgebungsanalyse sind, weisen sie dennoch eine begrenzte Anwendbarkeit und Robustheit bei unterschiedlichen Bildgebungsmethoden auf. Der Fortschritt des maschinellen Lernens verändert traditionelle Diagnosemethoden in verbraucherorientierten Gesundheitstechnologien und verändert Prozesse in Bezug auf Zugänglichkeit und personalisierte Patientenversorgung. Dieses Papier beschreibt den Einsatz von Vision Transformers (ViTs) für die Klassifizierung von Lungenkrebs mit CT-Scans, im Zusammenhang mit Anwendungen im Bereich der Verbrauchergesundheit. Das Vision Transformer-Modell wurde mit einem vollständigen Datensatz von 1.190 CT-Bildern trainiert und erreichte eine Klassifikationsrate von 98,18 % mit einem Matthews-Korrelationskoeffizienten von 0,9676. Zusätzlich wurde die Leistung des Modells in simulierten Echtzeitszenarien mit Echtzeitrauschen und verschwommenen Datensätzen validiert. Obwohl Validierungsmethoden mit hoher diagnostischer Genauigkeit erhalten wurden, übertraf das ViT-Modell im gesamten Datensatz auch die herkömmliche validierte Methode, indem es eine Genauigkeit von 80–88 % anzeigte, um zwischen verrauschten und unscharfen Bildern zu unterscheiden, selbst unter diesen Umständen. Während erste Ergebnisse vielversprechende Informationen über die Robustheit von ViTs im Umgang mit Bildvariationen liefern, sollte dennoch ein vorsichtiger Ansatz bei der Kontextualisierung der Ergebnisse angewandt werden, da die Evaluationsstudien in einem relativ kleinen Datensatz und Simulationsumgebungen durchgeführt wurden. Für zukünftige Forschungsstudien wird es wertvoll sein, größere Datensätze zu verwenden, die repräsentativer für echte klinische Zustände und klinisch validierte Datensätze sind, um festzustellen, ob ViTs für die klinische Identifizierung der onkologischen Diagnostik vorteilhaft sind und um die Früherkennung zu verbessern.

Einleitung

Lungenkrebs ist weltweit erheblich belastend und betrifft jedes Jahr Millionen von Menschenleben. Aufgrund der aggressiven Natur des Krebses und des häufigen spät auftretenden Krankheitszustands ist die Sterblichkeit im Zusammenhang mit Lungenkrebs hoch. Früherkennung ist unerlässlich, da die Intervention die Wirksamkeit der Behandlung und die Überlebensraten erheblich verbessern kann¹. Der konventionelle Ansatz für vorläufige Screening und Diagnose bleibt mit der Nutzung der Computertomographie (CT) bestehen, um eine detailliertere Visualisierung der Lungenstrukturen zu ermöglichen. Die Bewertung der CT-Bilder ist jedoch komplex und vollständig von den Gutachtern als Radiologen abhängig. Tumorvariabilität in Eigenschaften wie Größe, Form und Dichte mindert ebenfalls die Zuverlässigkeit jeder menschlichen Beobachtung. Umweltfaktoren können die Genauigkeit und Reproduzierbarkeit von Entscheidungen auf Basis menschlicher Analyse herausfordern.
Mit diesen einschränkenden Faktoren im Hinterkopf hat die jüngere Literatur einen starken Fokus auf den Einsatz von künstlicher Intelligenz (KI) auf die medizinische Bildgebung gelegt, mit stärkerem Fokus auf Deep-Learning-(DL)-Modelle. DL, insbesondere mit Convolutional Neural Networks (CNNs), haben das Beobachtungsmuster in der medizinischen Bildgebung durch Änderungen der Bildanalysen^{unterbrochen 2}. CNNs haben die diagnostischen Prozesse in der Onkologie deutlich verbessert und zeigen die Fähigkeit, subtile und komplexe Merkmale in Bilddaten zu erkennen, die für das menschliche Auge oft nicht unterscheidbar sind. Trotz dieser Fortschritte stehen CNNs vor Einschränkungen: Überanpassung kleiner Datensätze, verminderter Robustheit unter variablen Erfassungsbedingungen und der Abhängigkeit von lokalen rezeptiven Feldern, die globale Abhängigkeiten übersehen können. Während hybride CNN-Transformer-Ansätze versuchen, konfaltionspriore mit Aufmerksamkeitsmechanismen zu kombinieren, übernehmen sie dennoch Verzerrungen von konvolutionalen Architekturen. Abbildung 1 zeigt einige Instanzen aus dem Datensatz, die verschiedene Klassen zeigen.

Abbildung 1: Visuelle Darstellung verschiedener Klassen, die repräsentative CT-Scan-Schnitte normaler, gutartiger und bösartiger Lungen zeigen und deren Ähnlichkeiten und Unterschiede hervorheben. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Repräsentative CT-Bilder werden für normale, gutartige und bösartige Fälle gezeigt. Während eine explizite Markierung diskriminierender Regionen die visuelle Interpretation erleichtert, erfordert die manuelle Annotation erfahrene Radiologen und lag außerhalb des Rahmens dieser Studie.

Vision Transformers (ViTs), ursprünglich für die natürliche Bildklassifikation³ eingeführt, stellen eine vielversprechende Alternative dar. Im Gegensatz zu CNNs oder CNN-Transformer-Hybriden verwenden ViTs ein vollständig aufmerksamkeitsorientiertes Framework, das globale kontextuelle Informationen über ein gesamtes Bild hinweg erfasst. Diese Studie ist besonders relevant für die CT-Bildgebung, bei der der diffuse und unregelmäßige Charakter der Tumormerkmale sich über Regionen erstrecken kann, anstatt sich nur auf lokale rezeptive Felder zu beschränken. Während CNN-Transformer-Hybridnetzwerke die konvolutionelle induktive Verzerrung stabilisieren, implementieren Vision Transformers (ViTs) eine vollständig aufmerksamkeitsbasierte Architektur, die es dem ViT-Modell ermöglicht, Langstreckenabhängigkeiten über komplette CT-Bilder zu erfassen – ein Vorteil bei der Bewertung diffuser oder unregelmäßiger Lungentumormerkmale.

Das Aufkommen transformatorbasierter Modelle im Bereich der medizinischen Bildgebung ist neu, mit einigen Beispielen in der weichen Radiologie und Histopathologie,4,5,6, die bemerkenswerte Vorteile hinsichtlich der Robustheit gegenüber Rauschen, Unschärfe und Inter-Scanner-Variabilität gegenüber traditionellen CNN-Systemen gezeigt haben, da sie eine Begründung für ViT in einem solchen klinischen Kontext unterstützen, ohne die Neuheit zu überbewerten. Angesichts eines strengeren Ansatzes bei der Bildgebung von Lungenkrebs im Vergleich zu Verbraucher-Gesundheitsanwendungen zielt diese Studie darauf ab, die Praktikabilität in einem robusten Bereich der evidenzbasierten Medizin zu rechtfertigen und sich gleichzeitig in der nicht ganz überwältigenden Literatur zu Transformatoren und deren Anwendungen zu verorten. Frühere Literatur hat gezeigt, dass die Genauigkeit von CNN-Diagnosemodalitäten aufgrund von Erwerbsvariabilität⁷ drastisch abnimmt, wobei das entsprechende ViT mit denselben Störungen besser zurechtkommt,8 was dem Konzept der Verwendung eines ViT in Bewertungsmodalitäten Glaubwürdigkeit verleiht und eine Option zur erhöhten Reproduzierbarkeit in diagnostischen Arbeitsabläufen bietet. Darüber hinaus werden praktische Aspekte wie die erforderliche Datensatzgröße, die Rechenbelastung und die Generalierbarkeit auf verschiedene klinische Umgebungen in der Studie klar berücksichtigt, indem Methoden wie Datenaugmentation, Transfer Learning und effiziente ViT-Varianten ^9,10 eingesetzt werden, um diese potenziellen Herausforderungen in der realen Anwendung zu adressieren.

Diese Studie baut auf diesem Fortschritt auf, indem sie ViTs für das Lungenkrebs-Stagingverfahren mithilfe von CT-Bilddaten implementiert und die Robustheit sowie Generalisierbarkeit des Modells im Vorhandensein von realen Bildproblemen untersucht. CT-Daten haben das Potenzial, Artefakte, Rauschen und Unschärfe in einem häufigen Ausmaß zu enthalten, die für Kliniker bedeutsame Merkmale verschleieren können. Durch die Untersuchung der Widerstandsfähigkeit gegenüber diesen Veränderungen in der Bildgebung zielt diese Studie darauf ab, einen zusätzlichen Stufenrahmen zu bieten, auf den sich in der Praxis bei Entscheidungen bezüglich Versorgung und Behandlung verlassen kann.

Die Beiträge dieser Studie umfassen: i) die spezifische Erkennung von Lungenkrebs anhand von CT-Bildern im IQ-OTH/NCCD-Datensatz durch die Nutzung und Untersuchung der Leistung eines Vision Transformer-Modells; ii) Bewertung der Leistung des Modells in praxisnahen klinischen Bildgebensszenarien, die für CT-Daten typisch sind, wie Rauschen und Unschärfe; iii) Vergleich von Genauigkeit, Empfindlichkeit und Spezifität von ViTs als Alternative zu traditionellen CNN-Modellen.

Die Organisation des restlichen Artikels ist wie folgt: Abschnitt II behandelt die Literaturübersicht und liefert frühere Arbeiten zur Erkennung von Lungenkrebs mit Deep-Learning-Techniken sowie zur Entwicklung von CNNs zu fortschrittlicheren Architekturen wie den ViTs. Abschnitt III stellt den Ansatz für diese Arbeit dar, der Datenvorverarbeitung, Informationen zur Modellarchitektur und Details zum Trainingsverfahren umfasst. Abschnitt IV präsentiert die Ergebnisse speziell mit den verschreibungspflichtigen Eigenschaften von ViTs als klinischer Methode und wie dies die Genauigkeit und Zuverlässigkeit von Lungenkrebs-Screenings verbessern kann. Abschnitt V fasst die Ergebnisse und Beiträge zur Praxis zusammen und diskutiert zukünftige Richtungen im Kontext von Deep Learning in einer medizinischen Umgebung.

VERWANDTE ARBEITEN:

Deep Learning (DL) hat die medizinische Bildgebung in den letzten zehn Jahren revolutioniert, insbesondere bei der Diagnose von Lungenkrebs. Anfangs basierte die Disziplin auf konventionellen maschinellen Lerntechniken wie Support Vector Machines (SVMs) und Entscheidungsbäumen, die durch den Bedarf an gut entwickelten, korrekt erworbenen Funktionen eingeschränkt waren. Diese Merkmale behandelten die Feinheiten medizinischer Bilder schlecht und verliehen oft Subjektivität.

Eine bedeutende Veränderung wurde mit der Erfindung der Convolutional Neural Networks (CNNs) bewirkt, die es ermöglichten, hierarchische Eigenschaften automatisch aus Daten¹¹ zu extrahieren. CNNs wurden häufig bei der CT-Scan-basierten Krebsstadieneinteilung, der Erkennung von Knoten und der Klassifizierung als gutartig oder bösartig eingesetzt. CNNs sind erfolgreich, aber sie haben ihre Grenzen. Dazu gehören Unterschiede bei den Bildsammlungseinstellungen und der Bedarf an großen, annotierten Datensätzen, die aufgrund von Datenschutzproblemen und der arbeitsintensiven Natur medizinischer Annotationen schwer zu finden sind. Tabelle 1 12,13,14,15,16,17,18,19,20 bietet die Zusammenfassung aktueller Studien im Bereich der Lungenkrebsdiagnose.

Crasta, Lavina Jean, Rupal Neema und Alwyn Roshan Pais (2024) [20]

Ein neuartiges Deep-Learning-Framework zur Erkennung und Klassifikation von Lungenkrebs mit CT-Bildern vorzustellen [20].

Das Papier führt ein 3D-VNet für die Segmentierung und ein 3D-ResNet für die Klassifikation ein und zeigt Verbesserungen in Genauigkeit und Robustheit gegenüber früheren Methoden.

Crasta, Lavina Jean, Rupal Neema und Alwyn Roshan Pais (2024) [20]

Ein neuartiges Deep-Learning-Framework zur Erkennung und Klassifikation von Lungenkrebs mit CT-Bildern vorzustellen [20].

Das Papier führt ein 3D-VNet für die Segmentierung und ein 3D-ResNet für die Klassifikation ein und zeigt Verbesserungen in Genauigkeit und Robustheit gegenüber früheren Methoden.

Tabelle 1: Zusammenfassung aktueller Studien, die verwendete Techniken und die berichtete Leistung zum Kontext aufzeigen.

Durch den Einsatz von Selbstaufmerksamkeitsprozessen, die den gesamten Kontext eines Bildes gleichzeitig berücksichtigen, beginnen Vision Transformers (ViTs) sich als wettbewerbsfähige Alternative zu CNNs bei bildbezogenen Aufgaben zu etablieren. ViTs sind besonders vielversprechend für die medizinische Bildgebung, da die Bedeutung einiger Regionen aufgrund ihrer globalen Verarbeitungskapazität von weiter entfernten Teilen des Bildes abhängen kann. Trotz ihrer Fähigkeit, komplexe Aufgaben wie das Erkennen von Korrelationen zwischen verschiedenen Krankheitsindikatoren in Scans zu bewältigen, sind ViTs im Bereich der medizinischen Bildgebung immer noch wenig erforscht.

ViTs wurden im Bereich der verbraucherorientierten Gesundheitsgeräte bisher nicht umfassend erforscht. Diese Studie zielt darauf ab, die Lücke zwischen hoher Genauigkeit und geringerer Latenz bei verbraucherorientierten Gesundheitsgeräten zu überbrücken, bei denen sie gut performen und in Echtzeit genaue Vorhersagen liefern können.

Protokoll

Der Datensatz umfasst insgesamt 1.190 CT-Scan-Schnitte aus 110 Fällen, die in drei Klassen eingeteilt sind: normal (55 Fälle), gutartig (15 Fälle) und bösartig (40 Fälle). Jeder Fall umfasst mehrere CT-Schnitte (mit etwa 80 bis 200 Schnitten pro Fall) und bieten vielfältige axiale Ansichten des Thoraxbereichs. Die CT-Bilder wurden in DICOM mit dem SOMATOM-Scanner mit Standardbildparametern aufgenommen: Röhrenspannung = 120 kV, Schnittdicke = 1 mm, Fensterbreite = 350–1.200 Hounsfield-Einheiten (HU) und Fenstermittelwerte = 50–600 HU, während eines vollständigen Atmungsanhaltens.

Alle Bilder wurden vor der Analyse vollständig deidentifiziert, um personenbezogene Daten (PII) zu entfernen. Der Datensatz wurde ethisch von den institutionellen Überprüfungsgremien der teilnehmenden medizinischen Zentren genehmigt, wobei die schriftliche Zustimmung vom Aufsichtsausschuss aufgehoben wurde. Die Fälle umfassten Personen aus unterschiedlichen Hintergründen, wie Regierungsangestellte, Landwirte und Einwohner mehrerer irakischer Provinzen (darunter Bagdad, Wasit, Diyala, Salahuddin und Babylon) mit unterschiedlichen Geschlechter, Alter, Bildungsniveau und Lebenshaltung.

Da der Datensatz öffentlich zugänglich und deidentifiziert ist, war für seine Verwendung in dieser Studie keine zusätzliche ethische Genehmigung erforderlich. Der Datensatz hält sich an die von den ursprünglichen Mitwirkenden und der Hosting-Plattform festgelegten Geschäftsbedingungen.

Die Methodik dieser Forschung verwendet einen mehrstufigen Prozess, der darauf ausgelegt ist, mit Hilfe des IQ-OTH/NCCD-Lungenkrebs-Datensatzes²¹ ein Vorhersagemodell zu erstellen. Diese Methodik schafft eine starke Grundlage für verbraucherzentrierte Gesundheitsgeräte, bei denen weniger Latenz erforderlich ist, was zu besserer Genauigkeit führen kann. Abbildung 2 zeigt den Arbeitsmechanismus des vorgeschlagenen Modells.

Abbildung 2: Workflow-Diagramm des vorgeschlagenen Modells, das Vorverarbeitung, Augmentation, Vision Transformer-Klassifikation und Bewertungsschritte darstellt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

1. Datensatzbeschreibung

Der IQ-OTH/NCCD-Lungenkrebs-Datensatz wurde im Herbst 2019 am Iraq-Oncology Teaching Hospital/National Center for Cancer Diseases gesammelt. Der Trainingsteil des verwendeten Datensatzes enthielt 1.097 Bilder, deren Beschreibung in Tabelle 2 angegeben ist, die die Anzahl der Beispielinstanzen verschiedener Klassen veranschaulicht.

Klasse	Anzahl der Bilder
Normal	416
Harmlos	120
Bösartig	561

Tabelle 2: Beispiele von normalen, gutartigen und bösartigen CT-Bildern aus dem Datensatz.

Der IQ-OTH/NCCD-Lungenkrebs-Datensatz wurde wegen seiner umfassenden Darstellung normaler, gutartiger und bösartiger CT-Scans ausgewählt. Obwohl andere Datensätze wie LIDC-IDRI und NSCLC-Radiomics verfügbar sind, konzentrieren sie sich entweder hauptsächlich auf die Entdeckung von Knoten oder es fehlen genügend Stichproben gutartiger Fälle. Der IQ-OTH/NCCD-Datensatz ist besonders geeignet für unsere Studie, da er es dem Vision Transformer ermöglicht, diskriminierende Merkmale in allen drei Klassen zu erlernen und so eine robuste Klassifikation subtiler Muster in Lungen-CT-Bildern zu ermöglichen.

2. Datenvorverarbeitung

Die Vorverarbeitung ist ein wichtiger Schritt zur Verbesserung der Modellleistung durch Konsistenz und angemessene Anpassungen der Daten, die im neuronalen Netzwerk verarbeitet werden. Um eine Konsistenz in der Eingabegröße für das neuronale Netzwerk sicherzustellen, haben wir alle Bilder auf die gleiche Größe von 256 x 256 Pixel skaliert und die Daten auf einen Pixelwert zwischen 0 und 1 normalisiert, in der Hoffnung, das Modelltraining und die Konvergenz zu verbessern. Tabelle 3 enthält die Werte der Augmentationstechnik.

Technik	Wert
Normalisierung	-
Größenänderung	image_size x image_size
RandomRotation	faktor=0,02
RandomZoom	height_factor=0,2, width_factor=0,2

Tabelle 3: Angewandte Augmentationstechniken mit Parameterbereichen.

Um die Robustheit des Modells gegen Overfitting zu erhöhen und seine Verallgemeinerungsfähigkeit zu verbessern, werden Datenerweiterungstechniken wie zufällige Rotationen und Zooms angewendet, die verschiedene Winkel und Größen von Lungenkrebsmanifestationen simulieren, wie sie bei verschiedenen Patienten auftreten können. In dieser Studie wurden zufällige Rotationen mit gleichmäßig abgeleiteten Winkeln von 0,02 Radianten und zufällige Zoom-Transformationen mit unterschiedlichen Höhen- und Breitenfaktoren angewendet. Die nachfolgenden Bilder sind in Abbildung 3 dargestellt.

Abbildung 3: CT-Bilder nach der Augmentation, die Rotation, Zoom und Normalisierung zur Verbesserung der Modellverallgemeinerung demonstrieren. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

Diese Vorverarbeitungstechniken sind erforderlich, und Augmentation wurde über alle Klassen hinweg eingesetzt, um die Robustheit des Modells sicherzustellen.

3. Modellarchitektur

Durch die Anpassung des neuartigen Vision Transformer (ViT)-Frameworks, um komplexe Bilddaten effektiv zu verarbeiten, soll die Modellarchitektur CT-Scans in drei Kategorien einteilen: normal, gutartig und bösartig. Mit dieser Methode werden 256 x 256 Pixel große Eingabebilder verarbeitet. Um Konsistenz zu gewährleisten und ein effizienteres Modelllernen zu fördern, wird jedes Bild mehreren Vorverarbeitungsoperationen unterzogen, wie z. B. Größenänderung und Normalisierung. Um die Widerstandsfähigkeit des Modells gegenüber Änderungen der Bildgröße und -ausrichtung zu verbessern, beginnt das Design mit einer Datenerweiterungsschicht, die Methoden wie Normalisierung, Größenänderung, zufällige Rotationen von 0,02 Radianten und zufällige Zooms von bis zu 20 % verwendet. Nach der Augmentation entnimmt das Modell 16 x 16 Pixel Patches aus jedem Bild, sodass jedes Bild 256 Patches hat.

Algorithmus 1 definiert den Workflow, das vorgeschlagene Modell und dessen Aufbau sowie die Feinabstimmung, die in Bezug auf das Modell durchgeführt wird.

Algorithmus 1: Lungenkrebsklassifikation mittels Vision Transformers
Eingabe: Satz von CT-Bildern I aus dem IQ-OTH/NCCD-Datensatz
Ausgabe: Klassifikationsergebnisse C in Kategorien: Normal, Gutartig, Bösartig
Vorverarbeitung:
   for each image i in I do
i <- Resize(i, 256 x 256)         // Normalize and resize images
i <- Normalize(i)
i <- DataAugmentation(i)        // Apply random rotations and zooms
   end for
Modellaufbau:
  Initialize Vision Transformer (ViT) Model
  Set number of patches P = 16 x 16
  Set number of heads H = 6 in multi-head attention
Ausbildung:
  for epoch = 1 to MaxEpochs do
    for each batch b in I do
      Patches <- ExtractPatches(b, P)
      EncodedPatches <- PatchEncoder(Patches)
      AttentionWeights <- MultiHeadAttention(EncodedPatches, H)
      ClassLogits <- TransformerEncoder(AttentionWeights)
      Loss <- ComputeLoss(ClassLogits, TrueLabels)
      UpdateModelWeights(Loss)
    end for
    if EarlyStoppingCriteriaMet (Val_Loss No Improvement Patience = 5 Epochs) then
      break
    end if
  end for
Validierung:
  Split data into TrainingSet (80%) and ValidationSet (20%)
  ComputeValidationMetrics(ValidationSet)
Auswertung:
  C <- Classify(I)
  ComputePerformanceMetrics(C)
  Return C

Um die räumlichen Beziehungen zwischen den Patches zu erhalten, werden diese Patches (Gleichung 1) in 768-dimensionale Vektoren abgeflacht (da jeder Patch 16 x 16 x 3 = 768 hat) und dann durch eine Patch-Codierungsschicht geschickt, die jeden Vektor durch Integration von Positionseinbettungen in einen 64-dimensionalen Raum projiziert. Der Kern der Architektur besteht aus acht Transformatorschichten, von denen jede einen Multi-Head-Attention-Mechanismus mit sechs Köpfen besitzt, sodass das Modell gleichzeitig auf verschiedene Bildteile fokussieren und eine breite Palette von Merkmalen erfassen kann. Sie wird durch die Gleichungen 2, 3 und 4 dargestellt.

Dabei ist μ der Mittelwert und σ² die Varianz der Eingabe x und ε eine kleine Konstante, um eine Division durch Null zu verhindern.

Dabei ist Q die Abfragematrix, K die Schlüsselmatrix, V die Wertmatrix und d_k die Dimension der Schlüsselvektoren.

Dabei sind W_i^Q, W_i^K und W_i^V die gelernten Gewichtungsmatrizen für Abfragen, Schlüssel und Werte bzw. W^O die Ausgabegewichtmatrix.

Das Blockdiagramm des vorgeschlagenen Modells ist in Abbildung 4 dargestellt.

Abbildung 4: Blockdiagramm des Vision Transformer-Modells mit MLP-Kopf, das die wichtigsten Verarbeitungsschichten und die Architektur darstellt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Jede Transformatorschicht enthält eine Mehrschicht-Wahrnehmung (MLP) mit versteckten Einheiten, die zunächst auf 128 und dann wieder auf 64 skaliert werden, wodurch der Informationsfluss effektiv erweitert und komprimiert wird, um komplexe Abhängigkeiten zu erfassen.

Dropout wird strategisch mit einer Rate von 0,1 in den Aufmerksamkeitsmechanismen und MLPs angewendet, um Überanpassungen zu verhindern. Der Ausgang des Transformatorencoders wird durch einen MLP-Kopf verarbeitet, der aus zwei dichten Schichten mit jeweils 2.048 bzw. 1.024 Einheiten besteht, wobei Gaussian Error Linear Units (GELU) zur Aktivierung verwendet werden, was sich als gut in Deep-Learning-Anwendungen erwiesen hat. Dies wird mit Gleichung 5 erreicht.

Dabei sind W₁ und W₂ Gewichtsmatrizen, b₁ und b₂ Verspannungen und GELU die verwendete Aktivierungsfunktion.

Ein Dropout von 0,1 wurde in den Transformatorschichten verwendet, um Überfitting zu verhindern, ohne wichtige Merkmalsinformationen zu verlieren. Die GELU-Aktivierungsfunktion wurde wegen ihrer glatten, nichtlinearen Eigenschaften genutzt, die in transformatorbasierten Modellen den Gradientenfluss und die Konvergenz fördern. Der Ausstieg wird mit Gleichung 6 regularisiert.

Dabei ist p die Dropout-Rate (z. B. 0,1 oder 0,5), und die Dropout-Schicht setzt während des Trainings zufällig einen Bruchteil p der Eingangseinheiten auf null.

Eine Aussetzrate von 0,5 in diesen Schichten trägt zusätzlich zur Abmilderung von Overfitting bei. Die letzte Schicht des Modells ist eine Logit-Schicht (Gleichung 7), die drei Klassen-Logits ausgibt, die den Kategorien normal, gutartig und bösartig entsprechen, wobei eine spärliche kategoriale Kreuzentropieverlustfunktion (Gleichung 8) verwendet wird, die für diese Mehrklassenklassifikation geeignet ist.

Dabei ist z_i der Logitsvektor für die Klasse i, SoftMax(z_i)) die vorhergesagten Wahrscheinlichkeiten und y_i das wahre Klassenlabel.

Das Modell wird mit dem AdamW-Optimierer (Gleichungen 9, 10, 11, 12 und 13) kompiliert, einer Erweiterung des Adam-Optimierers, der den Gewichtsabfall effektiver handhabt, gesetzt mit einer Lernrate von 0,001 und einem Gewichtsabfall von 0,0001, wodurch sowohl die Lerngeschwindigkeit als auch die Modellstabilität optimiert werden.

Dabei sind m_t und v_t das erste und zweite Moment der Gradienten und die bias-korrigierten Momente, η die Lernrate und ε eine kleine Konstante, um eine Division durch Null zu verhindern.

Das Modell verwendet beim Training eine Batchgröße von 32, um die GPU-Beschleunigung für schnellere Berechnungen zu nutzen, und ist so konfiguriert, dass es für 100 Epochen trainiert.

Aber das Training hat einen frühen Stoppmechanismus bei Validierungsverlusten, um das Training zu begrenzen, wenn das Modell aufhört zu verbessern, um Rechenressourcen zu sparen und Übertraining von fünf aufeinanderfolgenden Epochen zu vermeiden. Die Modellleistung wird mit Kennzahlen wie der spärlichen kategorialen Genauigkeit und der Top-2-Genauigkeit erfasst, die über die Klassifikationsfähigkeit des Modells in den wahrscheinlichsten vorhergesagten Kategorien informieren. Rückrufe für das Modelltraining umfassen Checkpointing, das das leistungsstärkste Modell entsprechend der Validierungsgenauigkeit speichert, um sicherzustellen, dass die erfolgreichste Version des Modells nach Abschluss des Trainingsprozesses erhalten bleibt. Diese robuste und gut geplante Architektur nutzt die Fähigkeiten von Transformatoren, um medizinische Bilddaten mit einem hochentwickelten Ansatz zur Nutzung moderner KI-Methoden für bedeutende Anwendungen in der Gesundheitsdiagnostik zu verarbeiten.

4. Ausbildung und Validierung

Das Modell wurde in einer Kaggle-Umgebung mit einer NVIDIA P100 GPU trainiert, und während des Trainingsprozesses wurde ein Mini-Batch-Gradientenabstieg mit einer Batchgröße von 32 verwendet. Der während des Trainings verwendete Optimierer war AdamW mit einer Lernrate von 0,001 und einem Gewichtsabfall von 0,0001; Das war ein gutes Gleichgewicht zwischen einer schnellen Konvergenz und etwas Regularisierung. Das Modell wurde für 100 Epochen trainiert, jedoch wurde frühes Stoppen bei Validierungsverlust mit einer Geduld von 5 Epochen verwendet. Einfach ausgedrückt: Wenn das Training den Validierungsverlust für 5 aufeinanderfolgende Epochen nicht verbessert, würde das Training wegen Überanpassung und Recheneffizienz stoppen. In den meisten Fällen stellte dieses Modell Gewichte aus der Epoche mit dem geringsten Validierungsverlust wieder her, was darauf hindeutet, dass es optimal arbeitete und nicht die gesamten 100 Epochen durchlaufen musste. Insgesamt etwa 32 Minuten, um das Modell zu trainieren.

Während des Trainings umfassten die Kennzahlen eine knappe kategoriale Genauigkeit und Top-2-Genauigkeit, die sowohl auf Trainings- als auch auf Validierungssets überwacht wurden. Diese Kennzahlen geben Einblicke darin, wie oft ein Modell die richtige Klasse vorhersagt und ob die richtige Klasse zu den beiden obersten Vorhersagen gehört, was in medizinischen Anwendungen von großer Bedeutung ist, da Fehlklassifikationen mit hoher Zuverlässigkeit erhebliche Folgen haben können. Die Lernkurven für Verlust und Genauigkeit sind in Abbildung 5 dargestellt.

.

Abbildung 5: Trainings- und Validierungsgenauigkeit sowie Verlustkurven über 50 Epochen, die stabiles Lernen und minimale Überanpassung zeigen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

In der vorliegenden Studie wurde keine Kreuzvalidierung durchgeführt. Dieses Setup ermöglichte effiziente Experimente mit der Modellarchitektur, einschließlich Anpassungen an Transformatorschichten und den Größen der MLP-Köpfe, während das Modell auf unsichtbaren Validierungsdaten gut verallgemeinert wurde.

5. Statistische Analyse

Die Leistung des Vision Transformer-Modells wurde statistisch auf Basis des IQ-OTH/NCCD-Lungenkrebs-Datensatzes analysiert. Präzision, Rückruf, F1-Wert und Genauigkeit wurden mit den Gleichungen 14, 15, 16 und 17 berechnet. Diese vier gelten als konventionelle Maße für Klassifikationsaufgaben, da sie Informationen über die Leistung des Modells bei der Klassifizierung und Klassifizierung pro Klasse für jede Klasse offenbaren können.

Recall ist ein Maß für die Fähigkeit eines Modells, alle relevanten Instanzen einer Klasse zu identifizieren, während Präzision der Anteil der positiven Identifikationen ist, die tatsächlich korrekt waren. Der F1-Score balanciert Erinnerung und Präzision, wenn beides wichtig ist.
Die für diese Aufgabe verwendeten Leistungsmaße waren die Matthews-Korrelationskoeffizient (MCC)-Gleichung 18 und Cohens Kappa-Gleichung 19.

Wobei P₀ die beobachtete Übereinstimmung ist, während P_e die erwartete Übereinstimmung ist.

Der MCC ist eine umfassende Messung der Klassifikationsleistung, die sowohl wahre positive als auch negative sowie falsch-positive und falsch-negative Ergebnisse berücksichtigt. Sein Wert kann zwischen -1 und 1 liegen, wobei 1 die perfekte Vorhersage, 0 die zufällige Vorhersage und -1 die vollständige Diskrepanz zwischen den vorhergesagten und wahren Labels darstellt. Das MCC war für Vergleiche verschiedener Modellleistungen wertvoll, wenn es auf unausgewogene Datensätze angewandt wurde, und bot ein Maß, das unabhängig von unterschiedlichen Klassengrößen ausgewogen ist.

Im Rahmen der zusätzlichen statistischen Analyse wurde der F2-Wert mit Priorität auf Abruf berechnet, wie in Gleichung 20 gezeigt.

Die Leistung des Modells wurde außerdem mittelmäßig quadratischer Fehler (), Root Mean Squared Error (RMSE) und Mean Absolute Error (MAE) quantifiziert – typischerweise Messungen für Regressionsaufgaben, die hier aber für die Klassifikationsaufgabe modifiziert werden, um die durchschnittliche Größe des Fehlers ohne Rücksicht auf die Richtung zu quantifizieren.

Um festzustellen, ob es praktikabel wäre, ViTs in verbraucherorientierte Gesundheitsgeräte zu integrieren, führten wir umfangreiche Leistungsbewertungsergebnisse durch, die sich ausschließlich auf die zeitliche Effizienz des Modells konzentrierten. Wir haben Funktionen erstellt, um die Zeit zu berichten, die benötigt wird, um ein einzelnes oder mehrere Bilder vorherzusagen, da dies besonders für Echtzeitanwendungen relevant wird. Für jedes Bild werden vor Beginn der Vorhersage die Daten zunächst so vorverarbeitet, dass sie die Form des vom Modell gewünschten Eingabebildes haben. Die Zeit, zu der die Vorhersage begann, und die Zeit, zu der die Vorhersage abgeschlossen war, haben wir aufgezeichnet, um die Ergebnisse von Zeit und Latenz zu erhalten. Zeit und durchschnittliche Latenz wurden mit Gleichung 21 bzw. 22 berechnet.

Wo:

• N ist die Anzahl der Bilder (Proben).
• Tend ist die Zeit, die nach der Vorhersage des i-ten Bildes aufgezeichnet wird.
• tstart ist die aufgezeichnete Zeit, bevor das i-te Bild vorhergesagt wird.

Weitere Experimente wurden durchgeführt, um die Robustheit des von uns vorgeschlagenen Vision Transformer-Modells zu bewerten, indem systematisch zusätzliches Rauschen und Unschärfe in die Bilder eingeführt wurden. Gaußsches Rauschen wurde jedem Pixel mit einem Rauschfaktor von 0,4 hinzugefügt, während Pixelwerte im Bereich von [0,1] abgeschnitten wurden. Der Unschärfefaktor wurde durch Gaußsche Unschärfe mit einer Kerngröße von 45× 45 verringert. Diese Experimente sind darauf ausgelegt, das Modell unter simulierten wahrnehmbaren Bildqualitätsverschlechterungen umfassend zu bewerten.

Ergebnisse

Das Vision Transformer-Modell zeigte außergewöhnliche Ergebnisse bei mehreren Bewertungsmetriken auf den IQ-OTH/NCCD-Lungenkrebsdatensätzen und differenzierte effektiverweise normale, gutartige und bösartige CT-Bilder. Die Gesamtmodellleistung erreichte eine hohe Genauigkeit von 98,18 % über den gesamten Testdatensatz mit 220 Bildern. Diese äußerst hohe Genauigkeit zeigt, dass das Modell sehr effektiv generalisieren kann und daher im klinischen Umfeld ein...

Diskussion

Es hat bemerkenswerte Ergebnisse bei der Bewertung und Implementierung des Vision Transformer-Modells auf dem IQ-OTH/NCCD-Lungenkrebsdatensatz mit hoher Genauigkeit erzielt. Die allgemeine Genauigkeit bei der Klassifizierung eines CT-Scans als normal, gutartig und bösartig beträgt mit diesem Modell 98,18 %.

Diese überlegene Genauigkeit wird durch die Leistung des Modells in den anderen Schlüsselwerten bewiesen, wie etwa 100 % Präzision bei der Erkennung von ma...

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
A100 GPU (CUDA)	NVIDIA	CUDA Version 11.6	GPU-Beschleunigung für Modelltraining und -bewertung.
AMD EPYC-7502P CPU	AMD	N/A	Prozessor, der für Hochleistungsrechnen verwendet wird.
Gigabit-Ethernet	Intel	N/A	Vernetzung für sichere Peer-to-Peer-Kommunikation im CPS.
Matplotlib	Python Software Foundation	Version 3.5	Visualisierungsbibliothek zum Plotten von Ergebnissen.
Paillier-Kryptosystem	Open Source (implementiert über TenSEAL)	N/A	Ermöglicht additive homomorphe Verschlüsselung auf Gradienten.
PySyft	OpenMined	Version 0.6.0	Unterschiedliche Datenschutz- und föderierte Lernbibliothek.
Python (Anaconda-Distribution)	Anaconda Inc	Version 3.9	Enthält vorinstallierte Pakete und Umgebungsmanagement-Tools, wird für Skripte und Framework-Entwicklung verwendet.
PyTorch	Meta-KI	Version 1.12	Deep-Learning-Framework für das Training von Modellen.
RAM	Corsair	256 GigaByte (GB)	Hohe Gedächtnisunterstützung für intensives Training.
Scikit-learn	Python Software Foundation	Version 1.1	Werkzeuge für maschinelles Lernen zur Leistungsbewertung.
Seaborn	Python Software Foundation	Version 0.11	Bibliothek zur statistischen Datenvisualisierung.
SSD-Speicher	Seagate	1 TeraByte (TB)	Für schnelle Datenspeicherung und -abruf.
TenSEAL	OpenMined	Version 0.3	Homomorphe Verschlüsselungsbibliothek für sichere Aggregation.
TensorFlow	Google	Version 2.9	Deep-Learning-Framework für Diffusionsmodelle.
Ubuntu OS	Kanonisch	Version 20.04 LTS	Betriebssystem, das für alle Experimente verwendet wird.