Hybride CNN-ViT-Modellierung zur Vorhersage des funktionellen Ergebnisses nach ischämischem Schlaganfall: Eine retrospektive Studie

Zusammenfassung

Ein hybrides CNN-ViT-Modell extrahierte multiparametrische MRT-Merkmale und kombinierte logistische Regression bildgebende und klinische Vorhersagen zur Schätzung des 90-Tage-Funktionsergebnisses nach akutem ischämischen Schlaganfall. Das Fusionsmodell erzielte die höchste interne Testleistung mit einem AUC von 0,885 und einer Genauigkeit von 0,840 und zeigte eine ermutigende externe Validierungsleistung.

Zusammenfassung

Der akute ischämische Schlaganfall (AIS) ist eine Hauptursache für Todesfälle und langfristige Behinderungen, und die frühzeitige Vorhersage der funktionellen Genesung ist wichtig für die Steuerung klinischer Entscheidungsfindung und Rehabilitationsplanung. Das funktionelle Ergebnis nach 90 Tagen wird üblicherweise mit der modifizierten Rankin-Skala (mRS) bewertet, aber die Vorhersage des Langzeitergebnisses anhand früher klinischer und bildgebender Informationen bleibt eine Herausforderung. Wir stellten die Hypothese auf, dass die Integration der multiparametrischen Magnetresonanztomographie (MRT) mit strukturierten klinischen Variablen unter Verwendung einer hybriden konvolutionellen neuronalen Netzwerk-(CNN)-Vision Transformer (ViT)-Architektur die Vorhersage von 90-Tage-Funktionsergebnissen im Vergleich zu Einzelmodalitätsmodellen verbessern würde. Eine retrospektive Kohorte von 300 AIS-Patienten, die sich einer multiparametrischen MRT unterzogen haben, wurde analysiert und in eine Trainings-Validierungskohorte (n = 250) und eine interne, unabhängige Testkohorte (n = 50) unterteilt. Eine zusätzliche externe Testkohorte von 37 AIS-Patienten wurde einbezogen, um die Generalisierbarkeit des Modells zu bewerten. Ein hybrides CNN-ViT-Modell wurde entwickelt, um multiparametrische MRT-Merkmale zu extrahieren, und Bildgebung sowie klinische Vorhersagen wurden mittels gestapelter logistischer Regression integriert. Die Modellleistung wurde anhand der Fläche unter der Empfänger-Betriebscharakteristik (AUC), Empfindlichkeit, Spezifität und Genauigkeit bewertet. Unter den ausgewerteten klinischen Modellen erzielte die Unterstützungsvektormaschine den höchsten internen Test-AUC (0,878). Das Bildgebungsmodell erreichte einen AEC von 0,782. Das multimodale Fusionsmodell erzielte die beste interne Gesamtleistung mit einem AEC von 0,885, einer Empfindlichkeit von 0,920, einer Spezifität von 0,760 und einer Genauigkeit von 0,840. Ähnliche Leistungstrends wurden in der externen Testkohorte beobachtet. Diese Ergebnisse deuten darauf hin, dass eine gestapelte Fusion von multiparametrischer MRT und klinischen Vorhersagen die 90-Tage-funktionale Endprognose nach AIS verbessern kann. Größere multizentrische Validierungsstudien sind jedoch vor der klinischen Umsetzung erforderlich.

Einleitung

Der akute ischämische Schlaganfall (AIS) bleibt eine der Hauptursachen für Tod und langfristige Behinderung, und Kliniker müssen die Genesung frühzeitig schätzen, wenn Behandlungs- und Entlassungsentscheidungen am zeitkritischsten^sind. Eine genaue frühzeitige Vorhersage der funktionellen Genesung ist daher klinisch wichtig, um Behandlungsstrategien, Rehabilitationsplanung und Entlassungsentscheidungen zu steuern. Das funktionelle Ergebnis von neunzig Tagen ist ein Standardendpunkt in der Schlaganfallforschung und -versorgung und wird am häufigsten mit der modifizierten Rankin-Skala (mRS) gemessen, die in klinischen Studien und Beobachtungsstudien Validität und Zuverlässigkeit festgestellt hat ^2,3. Trotz der routinemäßigen Anwendung bleibt die Vorhersage der 90-Tage-mRS anhand der Aufnahmedaten schwierig, da die Behinderung sowohl eine irreversible Gewebeverletzung als auch die prämorbiden Reserve- und Komorbiditätsbelastungen widerspiegelt, die die Genesung beeinflussen, selbst wenn die akuten Bildgebungsbefunde ähnlich^{sind 2,4}.

Multiparametrische MRT liefert klinisch verwertbare Biomarker für frühe ischämische Verletzungen und Gewebestatus, die nicht vollständig durch einen einzigen bildgebenden Kontrast erfasst werden. Die diffusionsgewichtete Bildgebung (DWI) ist sehr empfindlich gegenüber frühen ischämischen Veränderungen. Die scheinbare Diffusionskoeffizientenbildgebung (ADC) quantifiziert die Diffusionsrestriktion und hat in akuten Schlaganfallkohorten^{prognostische Nützlichkeit gezeigt 5}. Die T2-Fluid-Attenuated Inversion Recovery (T2-FLAIR) ergänzt die Diffusionsbildgebung, indem sie die Visualisierung der Läsionenentwicklung verbessert und ist zentral für DWI-FLAIR-Mismatch-Ansätze, die zur Schätzung des Läsionsalters und der Behandlungsfähigkeit bei^unsicherer Insetzzeit verwendet ^werden. Große, multizentrische Studien und randomisierte Studien haben gezeigt, dass die DWI-FLAIR-Fehlanpassung Patienten innerhalb eines therapeutischen Zeitfensters von 4,5 Stunden identifiziert und MRT-geführte Thrombolyse bei unbekanntem Schlaganfall unterstützt, was die prognostische Relevanz von DWI und FLAIR über die Diagnose ^6,7 hinaus unterstreicht. Gemeinsam unterstützen diese Beobachtungen Modellierungsstrategien, die DWI, ADC und T2-FLAIR integrieren, um sowohl frühe ischämische Kernmerkmale als auch zeitliche Informationen zu erfassen, die die funktionelle Wiederherstellung beeinflussen können.

Parallel dazu liefern etablierte klinische Variablen ein starkes prognostisches Signal und sind routinemäßig ab^{Aufnahme 4} verfügbar. Die National Institutes of Health Stroke Scale (NIHSS) ist ein weit verbreitetes Maß für den Schweregrad neurologischer Defizitrate und sagt das klinische Ergebnis stark voraus. Der etiologische Subtyp des Schlaganfalls, einschließlich der Studie von Org 10172 in der Klassifikation der akuten Schlaganfallbehandlung (TOAST), kann in einigen Analysen zusätzliche prognostische Informationen über NIHSS hinaus liefern ^8,9. Frühere Arbeiten haben außerdem gezeigt, dass vaskuläre Risikofaktoren und Begleiterkrankungen wiederholt unter Kandidatenprädiktoren für schlechtes Ergebnis in ischämischen Schlaganfallkohorten und prognostischen Studien ^4,10 identifiziert werden. Spezifische Komorbiditäten wie Vorhofflimmern, dekompensierte Herzinsuffizienz und Diabetes sind nach Schlaganfall ^1,11,12 konsequent mit schlechteren funktionellen Ergebnissen verbunden. Rauchen ist mit schlechteren funktionellen 90-Tage-Ergebnissen assoziiert, während Alkoholkonsum schwächere oder dosisabhängige Zusammenhänge aufweist und Lipidstörungen komplexere Zusammenhänge mit der Behinderung nach Schlaganfall^zeigen 13,14,15,16,17. Diese Ergebnisse unterstützen die Kombination strukturierter klinischer Prädiktoren zur Erfassung von Schlaganfallschwere, Ätiologie und Komorbiditätslast mit multiparametrischer MRT, anstatt sich nur auf eine der beiden Modalitäten zu verlassen.

Jüngste Machine-Learning-Studien legen nahe, dass computergestützte Modelle heterogene Biomarker integrieren können, um die Schlaganfallvorhersage zu verbessern, obwohl die Leistung stark von der Datenmodalität, Kohortenzusammensetzung, Modelldesign und Strategien zur Behandlung von Klassenungleichgewichten ^abhängt. Gradient Boosting und Ensemble-Methoden haben die Machbarkeit zur Vorhersage von 90-Tage-mRS anhand bildgebender, demografischer und klinischer Variablen gezeigt, insbesondere für die binäre Klassifikation eines ungünstigen Ergebnisses (mRS > 2)¹⁸. Jüngste multizentrische Studien, die 3-dimensionale Convolutional Neural Network (CNN)-abgeleitete MRT-Merkmale von DWI, ADC und FLAIR mit strukturierten klinischen Variablen kombinieren, haben gezeigt, dass multimodale Modelle komplementäre prognostische Informationen über Einzelmodalitätsansätze hinaus erfassen²¹. Ähnliche Ergebnisse wurden mit einzelnen bildgebenden Modalitäten wie diffusionsgewichteter Bildgebung oder kontrastloser Computertomographie mit klinischen Variablen ^18,22 berichtet. Repräsentative Studien mit multimodalen künstlichen Intelligenzmodellen zur Vorhersage von Schlaganfallergebnissen sind in Tabelle 1 zusammengefasst.

Studium	Bildgebende Modalität	KI-Technik (Modell)	Ziel	Zusammenfassung
Liu et al.18	MRT (DWI) + Klinisch	Deep-Learning-Prädiktionsmodell (DLPD, CNN-basiertes Bildgebungsnetzwerk + klinisches Merkmalnetzwerk)	Prognostizieren Sie eine ordinale 90-Tage-MRS anhand von Fusionsbildgebung und klinischen Informationen.	Das fusionierte Modell schnitt deutlich besser ab als nur bildgebende und klinische Modelle und erreichte eine hohe Genauigkeit bei der Vorhersage ungünstiger Ergebnisse.
Jung et al.21	MRI (DWI, ADC, FLAIR) + Klinisch	Ensemble-Deep-Learning-Modell, das 3D-CNN-Bildgebungsnetzwerke und ein klinisches Multilayer-Perzeptronmodell (MLP) kombiniert	Entwicklung eines multimodalen Ensemble-DL-Modells zur funktionalen Outcome-Vorhersage in AIS.	Die multimodale Integration verbesserte die Vorhersage der 3-Monats-Ergebnisse im Vergleich zu Einzelmodalitätsmodellen in einer großen multizentrischen Kohorte.
Wei et al.27	MRI (DWI, ADC) + Klinisch	Radiomik + maschinelles Lernen (LASSO-Merkmalauswahl + logistische Regression / Zufallswald-Klassifikatoren)	Vorhersagen der langfristigen funktionellen Ergebnisse mithilfe von MRT-Radiomik und klinischen Variablen.	Das radiomik-klinische Modell erzielte eine bessere prognostische Leistung als reine bildbildende oder klinische Modelle.
Liu et al.22	CT ohne Kontrastmittel + Klinisch	Deep-Learning-Fusionsmodell (CNN-Bildencoder + klinisches MLP-Netzwerk)	Vorhersagen von 90-Tage-Funktionsergebnissen aus akuten CT- und klinischen Daten.	Die multimodale Fusion verbesserte die Vorhersagegenauigkeit im Vergleich zu Einzelmodalitätsmodellen signifikant.
Liu et al.19	MRT (DWI) + Klinisch	Deep-Learning-Prädiktionsmodell (DLPD, CNN-basiertes Fusionsmodell)	Vergleichen Sie das Deep-Learning-Ergebnisprognosemodell mit den Vorhersagen von Ärzten.	Das KI-Modell erzielte eine vergleichbare Leistung wie Schlaganfallspezialisten bei der Vorhersage von 90-Tage-mRS-Ergebnissen.
Rehman et al.20	Klinisch	Hybrides Deep Learning (CNN+GRU mit ADASYN)	Vorhersage des Schlaganfallrisikos anhand unausgeglichener klinischer Daten	Hybrides Deep Learning mit ADASYN verbesserte die Leistung bei der Schlaganfallrisiko-Vorhersage und zeigte den Wert fortschrittlicher Datenbalancierung und Multimodelllerns.
Ali et al.29	MRT/fMRT/RS-fMRT	Systematischer Meta-Review von ML-, DL- und hybriden Modellen	Bewertung von Computerintelligenz-Techniken für neuroimaging-basierte Diagnostik	Hybride Modelle schnitten im Allgemeinen besser ab als eigenständige ML- und DL-Ansätze und stützen den Wert hybrider Architekturen für neuroimaging-basierte Vorhersage.

Tabelle 1: Zusammenfassung früherer Studien zur künstlich-intelligenzbasierten Vorhersage funktioneller Ergebnisse nach einem akuten ischämischen Schlaganfall. Repräsentative Studien mit Bildgebung, klinischen Variablen oder multimodalen Ansätzen zur Vorhersage funktioneller Ergebnisse nach einem Schlaganfall werden zusammengefasst, darunter Bildgebungsmodalität, Technik der künstlichen Intelligenz, Studienziel und Hauptergebnisse. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.

Viele bestehende Studien stützen sich jedoch auf einzelne Bildabbildungssequenzen oder konventionelle Deep-Learning-Modelle, die hauptsächlich lokale räumliche Merkmale erfassen und möglicherweise keine langfristigen kontextuellen Beziehungen innerhalb der Gehirnbildgebungsdaten vollständig modellieren. Daher bleibt eine spezifische Lücke bei der Entwicklung und externen Bewertung eines multimodalen Ansatzes, der gemeinsam DWI, ADC und T2-FLAIR mit strukturierten klinischen Variablen verwendet und gleichzeitig lokale Läsionsmerkmale-Extraktion und globale kontextuelle Modellierung kombiniert. Obwohl CNNs gut etabliert für die Extraktion von Merkmalen auf Läsionsebene sind, ermöglichen Transformer-basierte Architekturen wie Vision Transformers (ViTs) die Modellierung von Fernkontext-Beziehungen durch Aufmerksamkeitsmechanismen und bieten so komplementäre globale Darstellungen^23,24. Hybride CNN-ViT-Modelle bieten daher einen rationalen Rahmen für die gemeinsame Kodierung lokaler morphologischer Details und globaler Gehirnkontexte. Machine-Learning-Algorithmen eignen sich ebenfalls gut zur Modellierung komplexer nichtlinearer Beziehungen innerhalb heterogener strukturierter klinischer Daten²⁵. Geleitet von aktuellen multimodalen Lernprinzipien, die komplementäre intermodale Integration^betonen, kombinierte diese Studie multiparametrische MRT innerhalb eines CNN-ViT-Bildwirbelsäulens und integrierte diese Merkmale mit einem klinischen Machine-Learning-Modell zur 90-Tage-Ergebnisvorhersage. Die Neuheit der Studie liegt in der Entwicklung und externen Bewertung eines gestapelten multimodalen Fusionsrahmens, der komplementäre MRT-Sequenzen, lokal-globale CNN-ViT-Bildgebungsrepräsentationen und strukturierte klinische Prädiktoren in einem einheitlichen 90-Tage-Ergebnisprognosemodell integriert.

Die Hypothese der Studie war, dass die Integration multiparametrischer MRT mit strukturierten klinischen Variablen unter Verwendung einer hybriden CNN-ViT-Architektur die Vorhersage von 90-Tage-Funktionsergebnissen nach AIS im Vergleich zu Einzelmodalitätsmodellen verbessern würde. Dementsprechend war das Ziel, ein multimodales Deep-Learning-Framework zu entwickeln und zu evaluieren, das DWI-, ADC- und T2-FLAIR-MRT-Sequenzen mit strukturierten klinischen Prädiktoren integriert, um 90-Tage-mRS-Ergebnisse bei AIS-Patienten zu schätzen.

Protokoll

Diese Studie wurde vom Institutional Review Board des Shenzhen University General Hospital genehmigt (IRB-Zulassungsnr. KYLL-2026-077-1). Die Anforderung einer schriftlichen informierten Einwilligung wurde aufgrund des retrospektiven Designs der Studie aufgehoben.

1. Studienkohorte

Patienten mit akutem ischämischen Schlaganfall (AIS), die sich einer multiparametrischen MRT unterzogen hatten, wurden rückwirkend aus der institutionellen klinischen Datenbank identifiziert. Der gesamte Studienablauf, einschließlich Datensatzaufteilung, Entwicklung von Bildmodellen, klinischer Modellkonstruktion und multimodaler Fusion, ist in Abbildung 1 dargestellt.

Abbildung 1: Arbeitsablauf des multimodalen Ergebnisvorhersage-Frameworks. (A) Datenerfassung. Patienten mit akutem ischämischen Schlaganfall (AIS), die die vordefinierten Einschlusskriterien erfüllten, wurden rückwirkend identifiziert. Der Datensatz wurde in eine Trainings-Validierungskohorte (n = 250), eine interne, unabhängige Testkohorte (n = 50) und eine externe Testkohorte (n = 37) unterteilt. Innerhalb der Trainings-Validierungskohorte wurde eine geschichtete fünffache Kreuzvalidierung durchgeführt. (B) Entwicklung von Bildgebungsmodellen. Multiparametrische MRT-Sequenzen, einschließlich diffusionsgewichteter Bildgebung (DWI), scheinbarer Diffusionskoeffizienten (ADC) und T2-fluid-attenuated inversions-Recovery (T2-FLAIR), wurden mit einer hybriden 3-dimensionalen konvolutionellen neuronalen Netzwerk-Vision Transformer (CNN-ViT)-Architektur zur Ergebnisvorhersage verarbeitet. (C) Entwicklung klinischer Modelle. Strukturierte klinische Variablen wurden verwendet, um maschinelle Lernmodelle zur Vorhersage des 90-Tage-Funktionsergebnisses zu trainieren. (D) Multimodale Fusionsstrategie. Die von den bildgebenden und klinischen Modellen generierten Vorhersagen wurden mithilfe eines Stacked Logistic Regression Meta-Learners integriert, um Endergebnisvorhersagen zu erstellen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

MRT-Untersuchungen wurden mit klinischen MRT-Systemen durchgeführt. Für die Bildaufnahme wurde eine dedizierte Phased-Array-Kopfspule verwendet. Alle Sequenzen wurden in der Axialebene mit konsistenter Schnittpositionierung über verschiedene Modalitäten hinweg aufgenommen. Die diffusionsgewichtete Bildgebung (DWI) wurde mittels einer Einzelaufnahme mit Spin-Echo-Echo-Echo-Bildabbildung mit Wiederholungszeit (TR) von 3.000–5.000 ms und Echozeit (TE) von 80–90 ms aufgenommen. Die Diffusionssensibilisierung wurde mit b-Werten von 0 und 800–1.000 s/mm² in mindestens drei orthogonalen Richtungen angewendet. Das Gesichtsfeld reichte von 220–240 mm mit einer Matrixgröße von 128 × 128. Die Scheibendicke betrug 5–6 mm mit einem Zwischenspalt von 1–1,5 mm. Es wurden zwei bis vier Signaldurchschnitte ermittelt.

Apparent Diffusion Coefficient (ADC)-Karten wurden automatisch aus DWI-Daten auf der Scanner-Arbeitsstation unter Verwendung von monoexponentieller Anpassung basierend auf den erfassten b-Werten erzeugt. Die ADC-Werte wurden voxelweise berechnet und zur quantitativen Analyse exportiert. T2-Aufnahmen der fluid-attenuated inversion recovery (T2-FLAIR) wurden mit einer Inversionswiederherstellungssequenz mit TR von 8.000–10.000 ms, TE von 80–140 ms und einer Inversionszeit von 2.200–2.600 ms aufgenommen. Das Sichtfeld reichte von 220–240 mm mit einer Matrixgröße von 192 × 192 bis 256 × 256. Die Scheibendicke betrug 4–5 mm mit einem Zwischenspalt von 1–1,5 mm.

2. Datenvorverarbeitung

Klinische Daten wurden aus strukturierten Tabellenkalkulationen importiert, die Fallkennungen, mRS-Outcome-Scores, Datensatz-Split-Labels sowie demografische und klinische Variablen enthielten. Fallkennungen wurden standardisiert, um die Konsistenz mit den Dateinamen der Bildgebung zu gewährleisten. Klinische Variablen umfassten demografische Merkmale, die Schwere des Schlaganfalls mit der National Institutes of Health Stroke Scale (NIHSS), vaskuläre Risikofaktoren und bei der Aufnahme erfasste Begleiterkrankungen.

Das primäre Ergebnis war der funktionelle Status 90 Tage nach Schlaganfallbeginn, gemessen mit der modifizierten Rankin-Skala (mRS). Ein günstiges Ergebnis wurde als mRS ≤ 2 definiert und ein ungünstiges als mRS > 2. Der Datensatz wurde zufällig in Trainings-Validierungs- und interne unabhängige Testkohorten unterteilt, wobei stratifizierte Stichproben auf Basis der mRS-Verteilung verwendet wurden, um das Ergebnisgleichgewicht zu erhalten. Eine externe Testkohorte wurde separat verarbeitet und während der Modellentwicklung nicht verwendet. Innerhalb der Trainings-Validierungskohorte wurde geschichtete k-fache Kreuzvalidierung angewendet, um konsistente Ergebnisverteilungen über Falten hinweg aufrechtzuerhalten.

Alle DWI-, ADC- und T2-FLAIR-Bände wurden vor dem Modelltraining vorbearbeitet, um räumliche und numerische Konsistenz zwischen den Modalitäten sicherzustellen. Die gleiche Preprocessing-Pipeline wurde auf die Trainings-Validierung, den internen Test und die externen Testkohorten ohne Änderungen angewendet. Die Bilder wurden in die kanonische RAS-Orientierung umorientiert und in Gleitkomma-Arrays umgewandelt. Die räumliche Auflösung in der Ebene wurde mittels linearer Interpolation auf 256 × 256 neu besetzt. Die Durch-Ebenen-Dimension wurde auf 20 Schnitte standardisiert, indem eine zenterbasierte Strategie verwendet wurde: Volumina, die mehr als 20 Schnitte enthielten, wurden mittelbeschnitten, während Bände mit weniger als 20 Scheiben symmetrisch nullgepolstert wurden. Die endgültige Bandgröße betrug 256 × 256 × 20.

Die Intensitätsnormalisierung wurde unabhängig für jedes Volumen mittels z-Score-Normalisierung durchgeführt:

wobei x die Voxelintensität bezeichnet, μ die mittlere Intensität des Volumens und σ die Standardabweichung ist. Wenn σ = 0, wurde keine Normalisierung angewendet, um numerische Instabilität zu verhindern. Verarbeitete Volumes wurden im NIfTI-Format mit einer standardisierten affinen Matrix für die nachgelagerte Deep-Learning-Analyse gespeichert.

3. Entwicklung klinischer Modelle

Strukturierte klinische Variablen wurden verwendet, um Machine-Learning-Modelle zur Outcome-Vorhersage zu entwickeln. Zu den Kandidatenprädiktoren gehörten demografische Merkmale, vaskuläre Risikofaktoren, Schlaganfallätiologie und klinische Schweregradmaße zur Ausgangsbasis. Kontinuierliche Variablen wurden mittels Medianwerten imputiert und standardisiert. Kategoriale Variablen wurden mit der häufigsten Kategorie imputiert und mit One-Hot-Codierung codiert.

Mehrere maschinelle Lernalgorithmen wurden bewertet, darunter logistische Regression, Random Forest, Gradient Boosting, Support Vector Machine (SVM), extreme Gradient Boosting und Light Gradient Boosting Machine-Modelle. Die Modellentwicklung folgte einem geschichteten, fünffachen Cross-Validation-Rahmen innerhalb der Trainings-Validierungskohorte zur Schätzung der Generalisierungsleistung. Endgültige Vorhersagen für die internen und externen Testkohorten wurden durch Durchschnittsvorhersagen aus Modellen generiert, die auf jeder Kreuzvalidierungsfalte trainiert wurden. Während der Kreuzvalidierung oder Modellauswahl wurden keine externen Testproben verwendet.

4. Deep-Learning-Modellarchitektur

Eine dreidimensionale CNN-ViT-Hybridarchitektur wurde zur Ergebnisvorhersage aus multimodalen MRT-Volumina implementiert. Das Netzwerk wurde entwickelt, um lokale räumliche Merkmalsextraktion mit globaler kontextueller Modellierung innerhalb eines einheitlichen Rahmens zu kombinieren. Die Eingangsvolumina bestanden aus mehrkanaligen dreidimensionalen Bildern, die End-to-End-Verfahren verarbeitet wurden.

Die Merkmalsextraktion erfolgte zunächst mit einem hierarchischen dreidimensionalen Faltungsrückgrat, das aus 4 Stufen bestand. Jede Stufe enthielt 2 Faltungsschichten mit einer Kerngröße von 3 × 3 × 3 und Auffüllung von 1 Voxel, gefolgt von Batch-Normalisierung und rectifizierter linearer Einheitsaktivierung. Die räumliche Auflösung wurde schrittweise durch dreidimensionale Max-Pooling-Schichten reduziert, die nach den ersten drei Stufen angewendet wurden, während die Feature-Kanaltiefe auf jeder Ebene erhöht wurde, um höhere semantische Darstellungen zu erfassen. Die Dropout-Regularisierung (Dropout-Rate = 0,1) wurde nach der letzten Faltungsstufe angewendet, um Überanpassung zu reduzieren. Das Faltungsrückgrat transformierte das Eingangsvolumen von Größe C × D × H × W in eine kompakte, hochrangige Merkmalsrepräsentation mit reduzierten räumlichen Dimensionen.

Die resultierende Merkmalskarte wurde in eine Folge von Tokens umgeformt, indem räumliche Dimensionen abgeflacht wurden, sodass die Anzahl der Tokens entsprach:

N = D' x H' x W'

Globale kontextuelle Beziehungen zwischen Token wurden mit Transformer-Encoder-Schichten modelliert, die aus Multi-Head Self-Attention- und Feedforward-Netzwerken bestehen. Selbstaufmerksamkeit wurde berechnet wie folgt:

wobei Q, K und V die Abfrage-, Schlüssel- und Wertmatrizen bezeichnen und d die Einbettungsdimension darstellt. Schichtnormalisierung und Dropout wurden innerhalb jeder Encoder-Schicht angewendet, um die Trainingsstabilität zu verbessern. Das Transformatormodul bestand aus 3 Encoder-Schichten mit 8 Aufmerksamkeitsköpfen und einer Einbettungsdimension von 256.

Nach der Transformer-Codierung wurde die Darstellung des Klassifikationstokens extrahiert und normalisiert. Eine vollständig verbundene lineare Schicht erzeugte eine einzelne Logit-Ausgabe für die binäre Klassifikation.

Die vorgeschlagene hybride CNN-ViT-Architektur wurde bewusst als leichtes und parametereffizientes Modell konzipiert, um Repräsentationskapazität und Überanpassungsrisiko auszubalancieren. Das Modell umfasste 3,79 Millionen trainierbare Parameter (etwa 14,4 MB in fp32-Präzision), darunter 1,38 Millionen im Faltungsrückgrat und 2,37 Millionen im Transformator-Encoder.

5. Bildgebungsmodelltraining

Das Training des Bildgebenden Modells erfolgte mit einem geschichteten fünffachen Kreuzvalidierungsrahmen, um die Ergebnisverteilung über Falten zu erhalten und gleichzeitig die Leistungsabschätzung zu verbessern. Der Datensatz wurde in eine Trainings-Validierungskohorte und eine interne unabhängige Testkohorte unterteilt, wobei stratifizierte Stichproben basierend auf der Ergebnisverteilung verwendet wurden. Innerhalb der Trainings-Validierungskohorte wurde eine geschichtete fünffache Kreuzvalidierung angewendet. Für jede Falte wurde das Bildgebungsmodell mit der Trainingsteilmenge trainiert und mit der entsprechenden Validierungsteilmenge ausgewertet, während die abgehaltene Testkohorte ausschließlich für die endgültige Leistungsbewertung reserviert war.

Die Modelloptimierung erfolgte mit einem Deep-Learning-Framework auf einer GPU-ausgestatteten Workstation mit dem AdamW-Optimierer, Lernrate von 3 × 10⁻⁵ und einem Gewichtsabfall von 3 × 10⁻⁴. Die Ausbildung erfolgte mit einer Batchgröße von 8 Personen für bis zu 200 Epochen. Die binäre Kreuzentropie mit Logits wurde als Verlustfunktion verwendet.

Um das Klassenungleichgewicht zu beheben, wurde für jede Faltung ein positiver Klassengewichtungsfaktor berechnet, basierend auf dem Verhältnis negativer zu positiver Stichproben, und in die Verlustfunktion einbezogen. Gradientennorm-Clipping mit einer maximalen Norm von 0,5 wurde angewendet, um die numerische Stabilität während der Optimierung zu verbessern. Automatisches Mixed-Precision-Training wurde ermöglicht, um die Recheneffizienz zu verbessern.

Frühes Stoppen wurde eingeführt, wenn sich die Validierungsleistung über 30 aufeinanderfolgende Epochen nicht um mindestens 1 × 10⁻⁴ verbesserte. Der leistungsstärkste Modell-Checkpoint aus jedem Falt wurde beibehalten. Nach Abschluss aller Folds wurden Vorhersagen für die internen und externen Testkohorten mit jedem fold-spezifischen Modell erstellt, und die endgültigen Wahrscheinlichkeiten wurden durch Durchschnitt der Vorhersagen über die fünf Modelle hinweg ermittelt, um Ensemble-Ergebnisse zu erzeugen.

6. Multimodales Fusionsmodell

Eine gestapelte Fusionsstrategie wurde implementiert, um bildgebende Vorhersagen mit strukturierten klinischen Informationen zu integrieren. Das Deep-Learning-Bildgebungsmodell und das klinische Vorhersagemodell dienten als Basislerner, und ihre vorhergesagten Wahrscheinlichkeiten wurden als Eingabefunktionen für einen logistischen Regressions-Meta-Lerner verwendet. Zusätzliche Interaktionsmerkmale, einschließlich Produkt- und absoluter Differenz der vorhergesagten Wahrscheinlichkeiten, wurden integriert, um ergänzende Informationen zwischen Bildgebung und klinischer Vorhersagen zu erfassen.

Um Informationslecks zu verhindern, wurde der Meta-Lernende mit außerhalb der Falt vorhergesagten Wahrscheinlichkeiten aus der Trainings-Validierungskohorte trainiert. Kreuzvalidierte Out-of-Fold-Wahrscheinlichkeiten aus den Bildgebungs- und klinischen Modellen wurden anhand der Patientenidentifikator zusammengeführt, um den Meta-Lerner-Trainingsdatensatz zu erstellen. Für die internen und externen Testkohorten wurden entsprechende Testset-Wahrscheinlichkeiten aus den bildgebenden und klinischen Modellen als Eingaben für den trainierten Meta-Lernenden verwendet, um fusionierte Wahrscheinlichkeiten zu erzeugen. Der ausgebildete Meta-Lerner wurde auf beide Testkohorten angewendet, ohne neu anzupassen.

7. Ablationsstudie

Ablationsexperimente wurden durchgeführt, um die Beiträge einzelner MRT-Sequenzen und der Vision Transformer-Komponente unter Verwendung identischer Trainings- und Bewertungssettings wie das primäre Modell zu bewerten. Sequenzablationen umfassten Einzelsequenzmodelle, Leave-One-Sequence-out-Modelle und das vollständige multiparametrische Modell. Um den Beitrag des Vision Transformer-Moduls zu bewerten, wurde die vorgeschlagene hybride Architektur zusätzlich mit einer ausschließlich CNN-basierten Basislinie verglichen, bei der der Transformer-Encoder entfernt und das gleiche Faltungsrückgrat erhalten blieb.

8. Statistische Analyse

Die Modellleistung wurde separat in der internen unabhängigen Testkohorte und der externen Testkohorte unter Verwendung der Fläche unter der Empfänger-Betriebscharakteristiekkurve (AUC) als primäre Diskriminierungsmetrik bewertet. Empfänger-Betriebscharakteristik (ROC)-Kurven wurden mit den von jedem Modell generierten vorhergesagten Wahrscheinlichkeiten konstruiert. Sensitivität, Spezifität und Gesamtgenauigkeit wurden zusätzlich berechnet, um die Klassifikationsleistung zu charakterisieren.

Binäre Ergebnisse wurden anhand von Schwellenwerten generiert, die gemäß Youdens Index bestimmt wurden. Sensitivität, Spezifität und Genauigkeit wurden anschließend am optimalen Schwellenwert berechnet. Alle statistischen Analysen, die Entwicklung von maschinellen Lernmodellen und das Training von Deep-Learning-Modellen wurden mit standardisierten wissenschaftlichen Computing- und Machine-Learning-Softwarepaketen umgesetzt.

Ergebnisse

Studienkohorte

Insgesamt wurden 300 Patienten mit akutem ischämischen Schlaganfall (AIS) nach Anwendung vordefinierter Einschluss- und Ausschlusskriterien eingeschlossen. Der Datensatz wurde in eine Trainings-Validierungskohorte (n = 250) und eine interne, unabhängige Testkohorte (n = 50) unterteilt, die mittels stratifizierter Stichprobe basierend auf funktionaler Ergebnisverteilung basiert. Zusätzlich wurde eine externe Testkohorte von 37 AIS-Patienten aus einem unabhängigen...

Diskussion

Diese Studie entwickelte und evaluierte ein multimodales Rahmenwerk für künstliche Intelligenz, das multiparametrisches MRT und strukturierte klinische Variablen zur Vorhersage des 90-tägigen funktionellen Ergebnisses nach einem akuten ischämischen Schlaganfall (AIS) integriert. Das vorgeschlagene Fusionsmodell zeigte eine höhere prädiktive Leistung als sowohl das bildgebende als auch das klinische Modell allein. Konkret erreichte das gestapelte multimodale Modell, das Vorhersagen aus de...

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Magnetresonanztomographie-System ((Discovery MR750 3.0T)	GE Healthcare	https://www.gehealthcare.in/products/magnetic-resonance-imaging/3-0t/discovery-mr750	Klinischer MRT-Scanner zur Aufnahme von DWI-, ADC- und T2-FLAIR-Bildern
Phased-Array-Kopfspule	GE Healthcare	https://services.gehealthcare.com/gehcstorefront/p/5450630	Kopfspule zur MRI-Signalempfang
Grafikverarbeitungseinheit (RTX 4090)	NVIDIA	https://www.nvidia.com/en-us/geforce/graphics-cards/40-series/rtx-4090/	GPU, die für das Training von Deep-Learning-Modellen verwendet wird
Deep-Learning-Framework (PyTorch v2.1)	PyTorch Foundation	https://pytorch.org/	Framework zur Implementierung des CNN-Transformer-Modells
Programmiersprache (Python v3.10)	Python Software Foundation	https://www.python.org/downloads/release/python-3100/	Umgebung, die für die Modellentwicklung und Datenverarbeitung verwendet wird
Maschinelles Lernbibliothek (scikit-learn)	scikit-learn Entwickler	https://scikit-learn.org/stable/	Verwendet für klinische maschinelle Lernmodelle und statistische Analyse
Gradient-Boosting-Bibliothek (XGBoost)	DMLC	https://xgboost.readthedocs.io/en/release_3.2.0/	Verwendet für die Implementierung von Gradient-Boosting-Modellen
Gradient-Boosting-Bibliothek (LightGBM)	Microsoft	https://lightgbm.readthedocs.io/en/stable/	Verwendet für das LightGBM klinische Modell