Hybride CNN-ViT-modellering voor het voorspellen van functionele uitkomsten na ischemische beroerte: een retrospectieve studie

Samenvatting

Een hybride CNN-ViT-model extraheerde multiparametrische MRI-kenmerken, en gestapelde logistische regressie combineerde beeldvorming en klinische voorspellingen om het functionele uitkomst van 90 dagen na een acute ischemische beroerte te schatten. Het fusiemodel behaalde de hoogste interne testprestaties, met een AUC van 0,885 en een nauwkeurigheid van 0,840, en toonde bemoedigende externe validatieprestaties.

Samenvatting

Acute ischemische beroerte (AIS) is een belangrijke doodsoorzaak en langdurige invaliditeit, en vroege voorspelling van functioneel herstel is belangrijk voor het sturen van klinische besluitvorming en revalidatieplanning. Functioneel resultaat na 90 dagen wordt meestal beoordeeld met de aangepaste Rankin Scale (mRS), maar het voorspellen van langetermijnuitkomsten op basis van vroege klinische en beeldvormende informatie blijft een uitdaging. We stelden de hypothese op dat het integreren van multiparametrische magnetische resonantiebeeldvorming (MRI) met gestructureerde klinische variabelen met behulp van een hybride convolutioneel neuraal netwerk (CNN)-Vision Transformer (ViT) architectuur de voorspelling van functionele uitkomsten na 90 dagen zou verbeteren vergeleken met single-modality modellen. Een retrospectieve cohort van 300 AIS-patiënten die multiparametrische MRI ondergingen, werd geanalyseerd en verdeeld in een trainings-validatiecohort (n = 250) en een intern onafhankelijk testcohort (n = 50). Een extra externe testcohort van 37 AIS-patiënten werd opgenomen om de generaliseerbaarheid van het model te beoordelen. Er werd een hybride CNN-ViT-model ontwikkeld om multiparametrische MRI-kenmerken te extraheren, en beeldvorming en klinische voorspellingen werden geïntegreerd met behulp van gestapelde logistische regressie. De modelprestaties werden geëvalueerd met behulp van het gebied onder de ontvanger-operating characteristic curve (AUC), gevoeligheid, specificiteit en nauwkeurigheid. Van de geëvalueerde klinische modellen behaalde de support vector machine de hoogste interne test AUC (0,878). Het beeldvormingsmodel behaalde een AUC van 0,782. Het multimodale fusiemodel behaalde de beste algehele interne prestaties, met een AUC van 0,885, gevoeligheid van 0,920, specificiteit van 0,760 en nauwkeurigheid van 0,840. Vergelijkbare prestatietrends werden waargenomen in de externe testcohort. Deze bevindingen suggereren dat gestapelde fusie van multiparametrische MRI en klinische voorspellingen de functionele uitkomstvoorspelling na AIS na AIS kan verbeteren. Grotere multicenter validatiestudies zijn echter vereist voordat klinische implementatie kan plaatsvinden.

Inleiding

Acute ischemische beroerte (AIS) blijft een belangrijke doodsoorzaak en langdurige invaliditeit, en clinici moeten het herstel vroegtijdig inschatten wanneer behandelings- en ontslagbeslissingen het^{meest tijdgevoelig} zijn. Nauwkeurige vroege voorspelling van functioneel herstel is daarom klinisch belangrijk voor het sturen van behandelstrategieën, revalidatieplanning en ontslagbeslissingen. Negentig-dagen functionele uitkomst is een standaard eindpunt in beroerteonderzoek en -zorg en wordt meestal gemeten met de aangepaste Rankin Scale (mRS), die validiteit en betrouwbaarheid heeft vastgesteld in klinische studies en observationele studies ^2,3. Ondanks het routinematig gebruik blijft het voorspellen van 90-dagen mRS op basis van opnamegegevens moeilijk, omdat invaliditeit zowel onomkeerbaar weefselletsel als premorbide reserve- en comorbiditeitslast weerspiegelt, die het herstel beïnvloeden, zelfs wanneer acute beeldvormingsbevindingen vergelijkbaar zijn ^2,4.

Multiparametrische MRI levert klinisch bruikbare biomarkers van vroege ischemische schade en weefselstatus die niet volledig worden vastgelegd door één beeldvormend contrast. Diffusiegewogen beeldvorming (DWI) is zeer gevoelig voor vroege ischemische veranderingen. Apparent diffusion coefficient (ADC) imaging kwantificeert diffusiebeperking en heeft het prognostische nut aangetoond in acute beroertecohorten⁵. T2 vloeistofverzwakte inversieherstel (T2-FLAIR) vult diffusiebeeldvorming aan door de visualisatie van de evolutie van de laesie te verbeteren en is centraal in DWI-FLAIR mismatchbenaderingen die worden gebruikt om de ouderdom van de laesie en de geschiktheid voor behandeling te schatten wanneer de aanvangstijd onzeker is^{. 6,7}. Grote multicenterstudies en gerandomiseerde onderzoeken hebben aangetoond dat DWI-FLAIR-mismatch patiënten binnen een therapeutisch venster van 4,5 uur identificeert en MRI-geleide trombolyse ondersteunt bij onbekende beroerte, wat de prognostische relevantie van DWI en FLAIR na diagnose ^6,7 onderstreept. Gezamenlijk ondersteunen deze waarnemingen modelleringsstrategieën waarbij DWI, ADC en T2-FLAIR worden geïntegreerd om zowel vroege ischemische kernkenmerken als temporele informatie vast te leggen die functioneel herstel kunnen beïnvloeden.

Parallel daarmee leveren vastgestelde klinische variabelen een sterk prognostisch signaal en zijn ze routinematig beschikbaar bij opname⁴. De National Institutes of Health Stroke Scale (NIHSS) is een veelgebruikte maat voor de ernst van neurologisch tekort en voorspelt sterk de klinische uitkomst. Het etiologische subtype beroerte, inclusief Trial of Org 10172 in de Acute Stroke Treatment (TOAST) classificatie, kan in sommige analyses aanvullende prognostische informatie bieden buiten NIHSS ^8,9. Eerder onderzoek heeft ook aangetoond dat vasculaire risicofactoren en comorbide aandoeningen herhaaldelijk worden geïdentificeerd onder kandidaatvoorspellers van slechte uitkomsten in ischemische beroertecohorten en prognostische studies ^4,10. Specifieke comorbiditeiten zoals boezemfibrilleren, gedecompenseerd hartfalen en diabetes worden consequent geassocieerd met slechtere functionele uitkomsten na beroerte ^1,11,12. Roken wordt geassocieerd met slechtere functionele uitkomsten na 90 dagen, terwijl alcoholgebruik zwakkere of dosisafhankelijke verbanden vertoont, en lipidenstoornissen complexere relaties vertonen met post-beroerte invaliditeit 13,14,15,16,17. Deze bevindingen ondersteunen het combineren van gestructureerde klinische voorspellers die de ernst, etiologie en comorbiditeitslast van beroertes vastleggen met multiparametrische MRI, in plaats van alleen op een van beide modaliteiten te vertrouwen.

Recente machine learning-studies suggereren dat computationele modellen heterogene biomarkers kunnen integreren om de voorspelling van beroerteuitkomsten te verbeteren, hoewel prestaties sterk afhankelijk zijn van datamodaliteit, cohortsamenstelling, modelontwerp en strategieën voor het behandelen van klassenonevenwichten 18,19,20. Gradient boosting en ensemble-methoden hebben aangetoond dat het haalbaar is om 90-dagen mRS te voorspellen met behulp van beeldvormings-, demografische en klinische variabelen, met name voor binaire classificatie van een ongunstige uitkomst (mRS > 2)¹⁸. Recente multicenter studies die 3-dimensionale convolutionele neurale netwerken (CNN)-afgeleide MRI-kenmerken van DWI, ADC en FLAIR combineren met gestructureerde klinische variabelen, hebben aangetoond dat multimodale modellen complementaire prognostische informatie vastleggen voorbij single-modality benaderingen²¹. Vergelijkbare bevindingen zijn gerapporteerd met enkelvoudige beeldvormingsmodaliteiten zoals diffusiegewogen beeldvorming of niet-contrast computertomografie gecombineerd met klinische variabelen^18,22. Representatieve studies met multimodale kunstmatige intelligentiemodellen voor het voorspellen van beroerte-uitkomsten worden samengevat in Tabel 1.

Studie	Beeldvormingsmodaliteit	AI-techniek (model)	Doelstelling	Samenvatting
Liu et al.18	MRI (DWI) + Klinisch	Deep learning predictief model (DLPD, CNN-gebaseerd beeldvormingsnetwerk + klinisch feature-netwerk)	Voorspel ordinale 90-dagen mRS met behulp van fused imaging en klinische informatie.	Het gefuseerde model presteerde aanzienlijk beter dan alleen beeldvormings- en klinisch modellen en behaalde een hoge nauwkeurigheid bij het voorspellen van ongunstige uitkomsten.
Jung et al.21	MRI (DWI, ADC, FLAIR) + Klinisch	Ensemble deep learning model dat 3D-CNN beeldvormingsnetwerken combineert en een multilayer perceptron (MLP) klinisch model	Ontwikkel een multimodaal ensemble DL-model voor functionele uitkomstvoorspelling in AIS.	Multimodale integratie verbeterde de voorspelling van uitkomsten na 3 maanden vergeleken met single-modality modellen in een grote multicenter cohort.
Wei et al.27	MRI (DWI, ADC) + Klinisch	Radiomics + machine learning (LASSO-functieselectie + logistische regressie / random forest classifiers)	Voorspel langetermijn functionele uitkomsten met behulp van MRI-radiomics en klinische variabelen.	Het radiomisch-klinische model behaalde betere prognostische prestaties dan alleen beeldvormende of alleen klinische modellen.
Liu et al.22	Niet-contrast CT + Klinisch	Deep learning fusiemodel (CNN imaging encoder + klinisch MLP-netwerk)	Voorspel functionele uitkomsten na 90 dagen uit acute CT- en klinische gegevens.	Multimodale fusie verbeterde de voorspellingsnauwkeurigheid aanzienlijk vergeleken met single-modality modellen.
Liu et al.19	MRI (DWI) + Klinisch	Deep learning voorspellend model (DLPD, CNN-gebaseerd fusiemodel)	Evalueer het deep learning outcome prediction model aan de hand van de voorspellingen van artsen.	Het AI-model behaalde vergelijkbare prestaties als beroertespecialisten bij het voorspellen van 90-daagse mRS-uitkomsten.
Rehman et al.20	Klinisch	Hybride deep learning (CNN+GRU met ADASYN)	Voorspel het risico op een beroerte op basis van onevenwichtige klinische gegevens	Hybride deep learning met ADASYN verbeterde de prestaties bij het voorspellen van beroerterisico's, wat de waarde van geavanceerde databalansering en multimodel learning aantoont.
Ali et al.29	MRI/fMRI/rs-fMRI	Systematische meta-review van ML-, DL- en hybride modellen	Evalueer computationele intelligentietechnieken voor neuroimaging-gebaseerde diagnose	Hybride modellen presteerden over het algemeen beter dan zelfstandige ML- en DL-benaderingen, wat de waarde van hybride architecturen voor neuroimaging-gebaseerde voorspelling ondersteunt.

Tabel 1: Samenvatting van eerdere studies over op kunstmatige intelligentie gebaseerde voorspelling van functionele uitkomsten na een acute ischemische beroerte. Representatieve studies met beeldvorming, klinische variabelen of multimodale benaderingen voor de voorspelling van functionele uitkomsten na een beroerte worden samengevat, waaronder beeldvormingsmodaliteit, kunstmatige intelligentietechniek, studiedoel en belangrijkste bevindingen. Klik hier om deze tabel te downloaden.

Veel bestaande studies vertrouwen echter op enkele beeldvormingssequenties of conventionele deep learning-modellen die voornamelijk lokale ruimtelijke kenmerken vastleggen en mogelijk geen langeafstandscontextuele relaties binnen hersenbeeldgegevens volledig modelleren. Daardoor blijft er een specifieke kloof bestaan in het ontwikkelen en extern evalueren van een multimodale aanpak die gezamenlijk DWI, ADC en T2-FLAIR gebruikt met gestructureerde klinische variabelen, terwijl lokale laesiekenmerken worden gecombineerd en globale contextuele modellering. Hoewel CNN's goed gevestigd zijn voor het extraheren van kenmerken op laesionniveau, maken Transformer-gebaseerde architecturen zoals Vision Transformers (ViTs) modellering van contextuele langeafstandrelaties mogelijk via aandachtmechanismen, waardoor complementaire globale representaties worden geleverd^23,24. Hybride CNN-ViT-modellen bieden daarom een rationeel kader voor het gezamenlijk coderen van lokale morfologische details en globale hersencontext. Machine learning-algoritmen zijn eveneens goed geschikt voor het modelleren van complexe niet-lineaire relaties binnen heterogene gestructureerde klinische data²⁵. Geleid door recente multimodale leerprincipes die de nadruk leggen op complementaire cross-modale integratie²⁶, combineerde deze studie multiparametrische MRI binnen een CNN-ViT imaging backbone en integreerde deze kenmerken met een klinisch machine learning model voor 90-daagse uitkomstvoorspelling. De nieuwigheid van de studie ligt in de ontwikkeling en externe evaluatie van een gestapeld multimodale fusie-framework dat complementaire MRI-sequenties, lokaal en globaal CNN-ViT beeldvormingsrepresentaties en gestructureerde klinische voorspellers integreert binnen een uniform 90-daags uitkomstvoorspellingsmodel.

De hypothese van de studie was dat het integreren van multiparametrische MRI met gestructureerde klinische variabelen met een hybride CNN-ViT-architectuur de voorspelling van functionele uitkomsten na AIS na AIS zou verbeteren in vergelijking met single-modality modellen. Het doel was dan ook om een multimodaal deep learning-framework te ontwikkelen en te evalueren dat DWI-, ADC- en T2-FLAIR MRI-sequenties integreert met gestructureerde klinische voorspellers om 90-daagse mRS-uitkomsten bij AIS-patiënten te schatten.

Protocol

Deze studie werd goedgekeurd door de Institutionele Beoordelingscommissie van het Shenzhen University General Hospital (IRB-goedkeuring nr. KYLL-2026-077-1). De eis van schriftelijke geïnformeerde toestemming werd opgeheven vanwege het retrospectieve ontwerp van de studie.

1. Studiecohort

Patiënten met acute ischemische beroerte (AIS) die een multiparametrische MRI ondergingen, werden retrospectief geïdentificeerd uit de institutionele klinische database. De algemene studieworkflow, inclusief dataset-partitionering, ontwikkeling van beeldvormingsmodellen, klinische modelconstructie en multimodale fusie, wordt geïllustreerd in Figuur 1.

Figuur 1: Werkstroom van het multimodale uitkomstvoorspellingskader. (A) Dataverwerving. Patiënten met een acute ischemische beroerte (AIS) die voldeden aan vooraf gedefinieerde inclusiecriteria, werden retrospectief geïdentificeerd. De dataset werd verdeeld in een trainings-validatiecohort (n = 250), een interne onafhankelijke testcohort (n = 50) en een externe testcohort (n = 37). Gestratificeerde vijfvoudige kruisvalidatie werd uitgevoerd binnen de training-validatie cohort. (B) Ontwikkeling van beeldvormingsmodellen. Multiparametrische MRI-sequenties, waaronder diffusiegewogen beeldvorming (DWI), schijnbare diffusiecoëfficiënt (ADC) en T2 vloeistofverzwakte inversie recovery (T2-FLAIR), werden verwerkt met behulp van een hybride 3-dimensionale convolutioneel neuraal netwerk-Vision Transformer (CNN-ViT) architectuur voor uitkomstvoorspelling. (C) Ontwikkeling van klinisch model. Gestructureerde klinische variabelen werden gebruikt om machine learning-modellen te trainen voor de voorspelling van functionele uitkomsten na 90 dagen. (D) Multimodale fusiestrategie. Voorspellingen die door de beeldvormings- en klinische modellen werden gegenereerd, werden geïntegreerd met behulp van een gestapelde logistische regressie-meta-learner om uiteindelijke uitkomstvoorspellingen te maken. Klik hier om een grotere versie van deze figuur te bekijken.

MRI-onderzoeken werden uitgevoerd met behulp van klinische MRI-systemen. Voor beeldverwerving werd een speciale fase-array kopspoel gebruikt. Alle sequenties werden in het axiale vlak verkregen met consistente slice-positionering over modaliteiten. Diffusiegewogen beeldvorming (DWI) werd verkregen met behulp van een enkelvoudige spin-echo echo-planaire beeldvorming met herhalingstijd (TR) van 3.000–5.000 ms en echotijd (TE) van 80–90 ms. Diffusiesensitisatie werd toegepast met b-waarden van 0 en 800–1.000 s/mm² in ten minste 3 orthogonale richtingen. Het gezichtsveld varieerde van 220–240 mm met een matrixgrootte van 128 × 128. De sneeddikte was 5–6 mm met een tussenspleet van 1–1,5 mm. Er werden twee tot vier signaalgemiddelden verkregen.

Schijnbare diffusiecoëfficiënten (ADC) kaarten werden automatisch gegenereerd uit DWI-gegevens op het scannerwerkstation met behulp van mono-exponentiële fitting op basis van de verkregen b-waarden. ADC-waarden werden voxel-gewijs berekend en geëxporteerd voor kwantitatieve analyse. T2 vloeistofverzwakte inversieherstel (T2-FLAIR) beelden werden gemaakt met behulp van een inversieherstelsequentie met TR van 8.000–10.000 ms, TE van 80–140 ms en een inversietijd van 2.200–2.600 ms. Het gezichtsveld varieerde van 220–240 mm met een matrixgrootte van 192 × 192 tot 256 × 256. De sneeddikte was 4–5 mm met een tussenspleet van 1–1,5 mm.

2. Gegevensvoorverwerking

Klinische gegevens werden geïmporteerd uit gestructureerde spreadsheets met case-identificaties, mRS-uitkomstscores, dataset-splitlabels en demografische en klinische variabelen. Zaakidentificaties werden gestandaardiseerd om consistentie met beeldbestandsnamen te waarborgen. Klinische variabelen omvatten demografische kenmerken, de ernst van een beroerte gemeten met de National Institutes of Health Stroke Scale (NIHSS), vasculaire risicofactoren en comorbide aandoeningen die bij opname werden geregistreerd.

De primaire uitkomst was de functionele status 90 dagen na het begin van de beroerte, gemeten met de aangepaste Rankin Scale (mRS). Een gunstig resultaat werd gedefinieerd als mRS ≤ 2 en een ongunstig resultaat als mRS > 2. De dataset werd willekeurig verdeeld in trainingsvalidatie- en interne onafhankelijke testcohorten met behulp van gestratificeerde steekproeven op basis van mRS-verdeling om het uitkomstevenwicht te behouden. Een externe testcohort werd apart verwerkt en werd niet gebruikt tijdens modelontwikkeling. Binnen de training-validatiecohort werd gestratificeerde k-voudige kruisvalidatie toegepast om consistente uitkomstverdelingen over folds te behouden.

Alle DWI-, ADC- en T2-FLAIR-volumes werden vooraf verwerkt vóór modeltraining om ruimtelijke en numerieke consistentie tussen modaliteiten te waarborgen. Dezelfde preprocessing-pijplijn werd toegepast op de trainings-validatie, interne test en externe testcohorten zonder aanpassing. Beelden werden heroriënterend naar canonieke RAS-oriëntatie en omgezet naar floating-point arrays. De ruimtelijke resolutie in het vlak werd opnieuw bemonsterd naar 256 × 256 met behulp van lineaire interpolatie. De door-vlak dimensie werd gestandaardiseerd tot 20 slices met een center-gebaseerde strategie: volumes met meer dan 20 slices werden center-cropped, terwijl volumes met minder dan 20 slices symmetrisch zero-padding waren. De uiteindelijke volumegrootte was 256 × 256 × 20.

Intensiteitsnormalisatie werd onafhankelijk uitgevoerd voor elk volume met behulp van z-score normalisatie:

waarbij x de voxelintensiteit aanduidt, μ de gemiddelde intensiteit van het volume is, en σ de standaarddeviatie. Als σ = 0, werd normalisatie niet toegepast om numerieke instabiliteit te voorkomen. Verwerkte volumes werden opgeslagen in NIfTI-formaat met een gestandaardiseerde affiene matrix voor downstream deep learning-analyse.

3. Ontwikkeling van klinisch model

Gestructureerde klinische variabelen werden gebruikt om machine learning-modellen te ontwikkelen voor uitkomstvoorspelling. Kandidaatvoorspellers waren onder andere demografische kenmerken, vasculaire risicofactoren, beroerteetiologie en klinische ernstmetingen van de basislijn. Continue variabelen werden geïimputeerd met behulp van mediane waarden en gestandaardiseerd. Categorische variabelen werden geïimputeerd met de meest voorkomende categorie en gecodeerd met one-hot encoding.

Meerdere machine learning-algoritmen werden geëvalueerd, waaronder logistische regressie, random forest, gradient boosting, support vector machine (SVM), extreme gradient boosting en light gradient boosting machinemodellen. De ontwikkeling van het model volgde een gestratificeerd vijfvoudig crossvalidatiekader binnen de training-validatie cohort om de generalisatieprestaties te schatten. De definitieve voorspellingen voor de interne en externe testcohorten werden gegenereerd door het gemiddelde van voorspellingen van modellen die op elke crossvalidatiefolder waren getraind. Er werden geen externe testmonsters gebruikt tijdens kruisvalidatie of modelselectie.

4. Deep learning modelarchitectuur

Er werd een driedimensionale CNN-ViT hybride architectuur geïmplementeerd voor uitkomstvoorspelling van multimodale MRI-volumes. Het netwerk is ontworpen om lokale ruimtelijke feature-extractie te combineren met globale contextuele modellering binnen een uniform kader. Invoervolumes bestonden uit meerkanaals driedimensionale beelden die end-to-end werden verwerkt.

Feature-extractie werd aanvankelijk uitgevoerd met behulp van een hiërarchische driedimensionale convolutionele ruggengraat bestaande uit 4 fasen. Elke fase bevatte 2 convolutionele lagen met een kerngrootte van 3 × 3 × 3 en opvulling van 1 voxel, gevolgd door batchnormalisatie en rectificeerde lineaire eenheidsactivatie. De ruimtelijke resolutie werd geleidelijk verminderd met behulp van 3-dimensionale max-pooling-lagen die na de eerste 3 fasen werden toegepast, terwijl de diepte van het feature-kanaal op elk niveau toenam om semantische representaties op hoger niveau vast te leggen. Dropout-regularisatie (dropoutpercentage = 0,1) werd toegepast na de laatste convolutionele fase om overfitting te verminderen. De convolutionele ruggengraat transformeerde het invoervolume van grootte C × D × H × W in een compacte hoog-niveau kentekenrepresentatie met verminderde ruimtelijke afmetingen.

De resulterende feature map werd hervormd tot een reeks tokens door ruimtelijke dimensies af te vlakken zodat het aantal tokens overeenkwam met:

N = D' x H' x W'

Globale contextuele relaties tussen tokens werden gemodelleerd met behulp van Transformer-encoderlagen die bestaan uit multi-head self-attention en feedforward-netwerken. Zelfaandacht werd berekend als:

waarbij Q, K en V respectievelijk query-, key- en waardematrices aanduiden, en d de embedding-dimensie vertegenwoordigt. Laagnormalisatie en dropout werden binnen elke encoderlaag toegepast om de trainingsstabiliteit te verbeteren. De transformatormodule bestond uit 3 encoderlagen met 8 aandachtshoofden en een embedding-dimensie van 256.

Na Transformer-codering werd de representatie die overeenkwam met het classificatietoken geëxtraheerd en genormaliseerd. Een volledig verbonden lineaire laag produceerde één enkele logit-output voor binaire classificatie.

De voorgestelde hybride CNN-ViT-architectuur is bewust ontworpen als een lichtgewicht en parameter-efficiënt model om representatiecapaciteit en overfittingrisico in balans te brengen. Het model bestond uit 3,79 miljoen trainbare parameters (ongeveer 14,4 MB in fp32-precisie), waaronder 1,38 miljoen in de convolutionele ruggengraat en 2,37 miljoen in de transformator-encoder.

5. Beeldvormingsmodeltraining

De training van het beeldvormingsmodel werd uitgevoerd met behulp van een gestratificeerd vijfvoudig cross-validatiekader om de uitkomstverdeling over vouwen te behouden en tegelijkertijd de robuustheid van prestatieschatting te verbeteren. De dataset werd verdeeld in een trainingsvalidatiecohort en een interne onafhankelijke testcohort met behulp van gestratificeerde steekproeven op basis van uitkomstverdeling. Binnen de training-validatie cohort werd gestratificeerde vijfvoudige kruisvalidatie toegepast. Voor elke vouw werd het beeldvormingsmodel getraind met de trainingssubset en geëvalueerd met de bijbehorende validatiesubset, terwijl de vastgehouden testcohort exclusief werd gereserveerd voor de definitieve prestatie-evaluatie.

Modeloptimalisatie werd uitgevoerd met een deep learning-framework op een met GPU uitgeruste werkstation met de AdamW-optimizer, leersnelheid van 3 × 10⁻⁵ en gewichtsafname van 3 × 10⁻⁴. De training werd gegeven met een batchgrootte van 8 personen tot wel 200 tijdperken. Binaire kruis-entropie met logits werd gebruikt als verliesfunctie.

Om klasse-onevenwicht aan te pakken, werd voor elke vouw een positieve klassewegingsfactor berekend op basis van de verhouding van negatieve tot positieve monsters en opgenomen in de verliesfunctie. Gradient norm clipping met een maximale norm van 0,5 werd toegepast om de numerieke stabiliteit tijdens optimalisatie te verbeteren. Automatische mixed-precision training werd mogelijk gemaakt om de rekenkundige efficiëntie te verbeteren.

Vroegtijdig stoppen werd ingevoerd wanneer validatieprestaties niet verbeterden met minstens 1 × 10⁻⁴ over 30 opeenvolgende epochs. Het best presterende modelcontrolepunt van elke vouw bleef behouden. Na voltooiing van alle folds werden voorspellingen voor de interne en externe testcohorten gegenereerd met elk fold-specifiek model, en werden de uiteindelijke kansen verkregen door voorspellingen over de 5 modellen te middelen, zodat ensemble-output werd gegenereerd.

6. Multimodaal fusiemodel

Er werd een gestapelde fusiestrategie geïmplementeerd om beeldvormingsvoorspellingen te integreren met gestructureerde klinische informatie. Het deep learning imagingmodel en het klinische voorspellingsmodel dienden als basislers, en hun voorspelde kansen werden gebruikt als invoerfuncties voor een logistische regressie meta-learner. Extra interactiekenmerken, waaronder het product en het absolute verschil van voorspelde waarschijnlijkheden, werden toegevoegd om aanvullende informatie tussen beeldvorming en klinische voorspellingen vast te leggen.

Om informatielek te voorkomen werd de meta-leerling getraind met behulp van buiten de vouw voorspelde kansen die werden gegenereerd uit de training-validatiecohort. Kruisgevalideerde out-of-fold kansen uit de beeldvormings- en klinische modellen werden samengevoegd op patiëntidentificatie om de meta-leerling trainingsdataset te construeren. Voor de interne en externe testcohorten werden overeenkomstige testset-kansen uit de beeldvormings- en klinische modellen gebruikt als input voor de getrainde meta-leerling om gefuseerde kansen te genereren. De getrainde meta-leerling werd toegepast op beide testcohorten zonder aanpassing.

7. Ablatiestudie

Ablatie-experimenten werden uitgevoerd om de bijdragen van individuele MRI-sequenties en de Vision Transformer-component te beoordelen, waarbij gebruikmaken van identieke trainings- en evaluatie-instellingen als het primaire model. Sequentie-ablaties omvatten enkel-sequentiemodellen, leave-one-sequence-out modellen en het volledige multiparametrische model. Om de bijdrage van de Vision Transformer-module te evalueren, werd de voorgestelde hybride architectuur bovendien vergeleken met een CNN-only baseline waarbij de Transformer-encoder werd verwijderd terwijl dezelfde convolutionele ruggengraat behouden bleef.

8. Statistische analyse

De modelprestaties werden afzonderlijk geëvalueerd in de interne onafhankelijke testcohort en de externe testcohort, waarbij het gebied onder de receiver operating characteristic curve (AUC) de primaire discriminatiemaatstaf was. Receiver operating characteristic (ROC) curves werden geconstrueerd met voorspelde kansen die door elk model zijn gegenereerd. Gevoeligheid, specificiteit en algehele nauwkeurigheid werden bovendien berekend om classificatieprestaties te karakteriseren.

Binaire uitkomsten werden gegenereerd met behulp van drempels die volgens Youden's index werden bepaald. Gevoeligheid, specificiteit en nauwkeurigheid werden vervolgens berekend op de optimale drempel. Alle statistische analyses, ontwikkeling van machine learning-modellen en training van deep learning-modellen werden uitgevoerd met behulp van standaard wetenschappelijke computing- en machine learning-softwarepakketten.

Resultaten

Studiecohort

In totaal werden 300 patiënten met acute ischemische beroerte (AIS) opgenomen na toepassing van vooraf gedefinieerde inclusie- en exclusiecriteria. De dataset werd verdeeld in een trainings-validatiecohort (n = 250) en een interne onafhankelijke testcohort (n = 50) met behulp van gestratificeerde steekproeven op basis van functionele uitkomstverdeling. Daarnaast werd een externe testcohort van 37 AIS-patiënten uit een onafhankelijke dataset opgenomen om voorlopige...

Discussie

Deze studie ontwikkelde en evalueerde een multimodaal kunstmatige intelligentie-framework dat multiparametrische MRI en gestructureerde klinische variabelen integreert voor de voorspelling van een functioneel resultaat na een acute ischemische beroerte (AIS). Het voorgestelde fusiemodel toonde hogere voorspellende prestaties dan zowel het beeldvormings- als het klinisch model alleen. Specifiek behaalde het gestapelde multimodale model, dat voorspellingen van het op support vector machine...

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
Magnetische resonantie beeldvormingssysteem ((Discovery MR750 3.0T)	GE Healthcare	https://www.gehealthcare.in/products/magnetic-resonance-imaging/3-0t/discovery-mr750	Klinische MRI-scanner gebruikt voor het verkrijgen van DWI-, ADC- en T2-FLAIR-beelden
Phased-array hoofdspoel	GE Healthcare	https://services.gehealthcare.com/gehcstorefront/p/5450630	Hoofdspoel gebruikt voor MRI-signaalontvangst
Grafische verwerkingseenheid (RTX 4090)	NVIDIA	https://www.nvidia.com/en-us/geforce/graphics-cards/40-series/rtx-4090/	GPU gebruikt voor deep learning modeltraining
Deep learning framework (PyTorch v2.1)	PyTorch Foundation	https://pytorch.org/	Framework gebruikt om het CNN-Transformer-model te implementeren
Programmeertaal (Python v3.10)	Python Software Foundation	https://www.python.org/downloads/release/python-3100/	Omgeving gebruikt voor modelontwikkeling en gegevensverwerking
Machine learning bibliotheek (scikit-learn)	scikit-learn ontwikkelaars	https://scikit-learn.org/stable/	Gebruikt voor klinische machine learning modellen en statistische analyse
Gradient boosting bibliotheek (XGBoost)	DMLC	https://xgboost.readthedocs.io/en/release_3.2.0/	Gebruikt voor gradient boosting model implementatie
Gradient boosting bibliotheek (LightGBM)	Microsoft	https://lightgbm.readthedocs.io/en/stable/	Gebruikt voor LightGBM klinische model