İskemik İnmeden Sonra Fonksiyonel Sonuçları Tahmin Etmek İçin Hibrit CNN-ViT Modelleme: Retrospektif Bir Çalışma

Özet

Hibrit CNN-ViT modeli, çok parametrik MRI özelliklerini çıkardı ve lojistik regresyon, görüntüleme ile klinik tahminleri birleştirerek akut iskemik felç sonrası 90 günlük fonksiyonel sonuçları tahmin etti. Füzyon modeli, 0.885 AUC ve 0.840 doğruluk ile en yüksek iç test performansını elde etti ve umut verici dış doğrulama performansı gösterdi.

Özet

Akut iskemik inme (AIS), ölüm ve uzun vadeli engelliliğin başlıca nedenlerinden biridir ve fonksiyonel iyileşmenin erken tahmini, klinik karar alma ve rehabilitasyon planlamasını yönlendirmek için önemlidir. 90 günlük fonksiyonel sonuçlar genellikle modifiye Rankin Ölçeği (mRS) kullanılarak değerlendirilir, ancak erken klinik ve görüntüleme bilgilerinden uzun vadeli sonuçları tahmin etmek hâlâ zordur. Hibrit konvolüsyon sinir ağı (CNN)-Vision Transformer (ViT) mimarisi kullanılarak yapılandırılmış klinik değişkenlerle çok parametrik manyetik rezonans görüntülemenin (MRI) entegre edilmesinin, tek modaliteli modellere kıyasla 90 günlük fonksiyonel sonuçların tahminini iyileştireceğini öne sürdük. Multiparametrik MRI geçiren 300 AIS hastasından oluşan retrospektif bir kohort analiz edildi ve eğitim-doğrulama kohortu (n = 250) ile dahili bağımsız test kohortu (n = 50) olarak ayrıldı. Model genellelenebilirliğini değerlendirmek için ek olarak 37 AIS hastasından oluşan bir dış test kohortu dahil edildi. Multiparametrik MRI özelliklerini çıkarmak için hibrit bir CNN-ViT modeli geliştirildi ve görüntüleme ile klinik tahminler, üst üste yığılmış lojistik regresyon kullanılarak entegre edildi. Model performansı, alıcının çalışma karakteristik eğrisinin (AUC) altındaki alan, hassasiyet, özgülük ve doğruluk kullanılarak değerlendirildi. Değerlendirilen klinik modeller arasında, destek vektör makinesi en yüksek dahili test AUC'sini (0.878) elde etti. Görüntüleme modeli 0.782 AUC elde etti. Multimodal füzyon modeli, 0.885 AUC, 0.920 hassasiyet, 0.760 özgülük ve 0.840 doğruluk ile en iyi genel dahili performansı elde etti. Benzer performans eğilimleri dış test kohortunda gözlemlendi. Bu bulgular, çok parametrli MRI ve klinik tahminlerin üst üste birleştirilmesinin, AIS sonrası 90 günlük fonksiyonel sonuç tahminini iyileştirebileceğini göstermektedir. Ancak, klinik uygulamadan önce daha büyük çok merkezli doğrulama çalışmaları gereklidir.

Giriş

Akut iskemik inme (AIS), ölüm ve uzun vadeli engelliliğin önde gelen nedenlerinden biri olmaya devam etmekte ve klinisyenler, tedavi ve taburcu kararlarının en hassas olduğu zamanlarda iyileşmeyi erken tahmin^{etmelidir 1}. Bu nedenle, fonksiyonel iyileşmenin doğru erken tahmini, tedavi stratejileri, rehabilitasyon planlaması ve taburcu kararları için klinik olarak önemlidir. Doksan günlük fonksiyonel sonuç, inme araştırma ve bakımında standart bir son noktadır ve en yaygın olarak modifiye edilmiş Rankin Ölçeği (mRS) kullanılarak ölçülür; bu ölçek, klinik çalışmalarda ve gözlemsel çalışmalarda geçerlilik ve güvenilirliği^{kanıtlanmış 2,3}. Rutin kullanımına rağmen, kabul verilerinden 90 günlük mRS'yi tahmin etmek zordur çünkü engellilik hem geri dönülemez doku hasarını hem de akut görüntüleme bulguları benzer olsa bile iyileşmeyi etkileyen premorbid rezerv ve komorbidite yükünü^{yansıtır 2,4}.

Çok parametrik MRG, erken iskemik yaralanma ve doku durumunun klinik olarak uygulanabilir biyobelirteçlerini sağlar; ancak tek bir görüntüleme kontrastı ile tam olarak yakalanmamaktadır. Difüzyon ağırlıklı görüntüleme (DWI), erken iskemik değişikliklere karşı son derece hassastır. Görünür difüzyon katsayısı (ADC) görüntüleme, difüzyon kısıtlamasını niceliksel olarak nicelleştirir ve akut inme kohortlarında prognostik fayda^{göstermiştir 5}. T2 sıvı zayıflatılmış ters inversiyon iyileşmesi (T2-FLAIR), lezyon evriminin görselleştirilmesini artırarak difüzyon görüntülemesini tamamlar ve başlangıç zamanı belirsiz olduğunda lezyon yaşı ve tedavi uygunluğunu tahmin etmek için kullanılan DWI-FLAIR uyumsuzluk yaklaşımlarının merkezinde^{yer alır 6,7}. Büyük çok merkezli çalışmalar ve randomize çalışmalar, DWI-FLAIR uyumsuzluğunun hastaları 4,5 saatlik terapötik bir dönem içinde tespit ettiğini ve bilinmeyen başlangıçlı inmede MRI rehberli trombolizi desteklediğini göstererek, DWI ve FLAIR'in^{teşhis 6,7} ötesinde prognostik önemini vurgulamaktadır. Bu gözlemler, DWI, ADC ve T2-FLAIR'i entegre eden modelleme stratejilerini desteklemekte, hem erken iskemik çekirdek özellikleri hem de fonksiyonel iyileşmeyi etkileyebilecek zamansal bilgileri yakalamayı destekler.

Paralel olarak, yerleşik klinik değişkenler güçlü bir prognostik sinyal sağlar ve rutin olarak^4. yatışta mevcuttur. Ulusal Sağlık Enstitüleri İnme Ölçeği (NIHSS), nörolojik açığı şiddetinin yaygın bir ölçütüdür ve klinik sonuçları güçlü şekilde öngörür. İnme etiyolojik alt tipi, Akut İnme Tedavisinde Org 10172 (TOAST) sınıflandırması dahil olmak üzere, bazı analizlerde NIHSS'nin ötesinde ek prognostik bilgiler sağlayabilir ^8,9. Önceki çalışmalar ayrıca, iskemik inme kohortlarında ve prognostik çalışmalarda kötü sonuçların aday tahmincileri arasında damar risk faktörleri ve komorbid^{durumların tekrar} tekrar tespit edildiğini göstermiştir ^4,10. Atriyal fibrilasyon, dekompansyonlu kalp yetmezliği ve diyabet gibi spesifik eş hastalıklar, inme sonrası daha kötü fonksiyonel sonuçlarla tutarlı^{olarak ilişkilendirilmiştir 1,11,12}. Sigara içmek daha kötü 90 günlük fonksiyonel sonuçlarla ilişkilendirilirken, alkol kullanımı daha zayıf veya doza bağlı ilişkiler gösterirken, lipid bozuklukları inme sonrası engellilikle daha karmaşık ilişkiler^gösterir 13,14,15,16,17. Bu bulgular, inme şiddetini, etiyolojisini ve komorbidite yükünü yakalayan yapılandırılmış klinik tahmin cihazlarını, yalnızca her iki yönteme de dayanmak yerine çoklu parametrik MRI ile birleştirmeyi destekler.

Son makine öğrenimi çalışmaları, hesaplamalı modellerin inme sonuç tahminini artırmak için heterojen biyobelirteçleri entegre edebileceğini göstermektedir; ancak performans veri modalitesi, kohort bileşimi, model tasarımı ve sınıf dengesizliği yönetimi stratejilerine büyük ölçüde bağlıdır 18,19,20. Gradient güçlendirme ve toplu yöntemler, özellikle olumsuz bir sonucun ikili sınıflandırılması için görüntüleme, demografik ve klinik değişkenler kullanılarak 90 günlük mRS'nin tahmin edilmesinin mümkün olduğunu göstermiştir (mRS > 2)¹⁸. DWI, ADC ve FLAIR'den alınan 3 boyutlu konvolüsyon sinir ağı (CNN) kaynaklı MRI özelliklerini yapılandırılmış klinik değişkenlerle birleştiren son çok merkezli çalışmalar, çoklu modal modellerin tek modalite yaklaşımlarının ötesinde tamamlayıcı prognostik bilgileri yakaladığını^{göstermiştir 21}. Benzer bulgular, difüzyon ağırlıklı görüntüleme veya kontrastsız bilgisayar tomografisi gibi tek görüntüleme yöntemleri kullanılarak klinik^{değişkenlerle birleştirildiğinde bildirilmiştir 18,22}. İnme sonucu tahmini için çok modlu yapay zeka modelleri kullanan temsil çalışmaları Tablo 1'de özetlenmiştir.

Çalışma	Görüntüleme Yöntemi	Yapay Zeka Tekniği (Model)	Amaç	Özet
Liu ve ark.18	MRI (DWI) + Klinik	Derin öğrenme öngörücü modeli (DLPD, CNN tabanlı görüntüleme ağı + klinik özellik ağı)	Birleşmiş görüntüleme ve klinik bilgilerle 90 günlük mRS'nin sırasını tahmin edin.	Birleşmiş model, sadece görüntüleme ve sadece klinik modelleri önemli ölçüde geride bıraktı ve olumsuz sonuçları tahmin etme konusunda yüksek doğruluk sağladı.
Jung ve ark.21	MRI (DWI, ADC, FLAIR) + Klinik	3D-CNN görüntüleme ağları ile çok katmanlı perceptron (MLP) klinik modelini birleştiren derin öğrenme modeli topluluk	AIS'de fonksiyonel sonuç tahmini için çok modlu toplu DL modeli geliştirin.	Multimodal entegrasyon, büyük bir çok merkezli kohortta tek modaliteli modellere kıyasla 3 aylık sonuçların tahminini iyileştirdi.
Wei ve ark.27	MRI (DWI, ADC) + Klinik	Radyomik + makine öğrenimi (LASSO özellik seçimi + lojistik regresyon / rastgele orman sınıflandırıcıları)	MRI radyomikleri ve klinik değişkenler kullanarak uzun vadeli fonksiyonel sonuçları tahmin edin.	Radyomik-klinik modeli, sadece görüntüleme veya sadece klinik modellere göre daha iyi prognostik performans sağlamıştır.
Liu ve ark.22	Kontrastsız BT + Klinik	Derin öğrenme birleşme modeli (CNN görüntüleme kodlayıcısı + klinik MLP ağı)	Akut faz BT ve klinik verilerden 90 günlük fonksiyonel sonuçları tahmin edin.	Multimodal füzyon, tek modaliteli modellere kıyasla tahmin doğruluğunu önemli ölçüde artırdı.
Liu ve ark.19	MRI (DWI) + Klinik	Derin öğrenme öngörücü modeli (DLPD, CNN tabanlı füzyon modeli)	Derin öğrenme sonuç tahmin modelini doktor tahminleriyle karşılaştırın.	Yapay zeka modeli, 90 günlük mRS sonuçlarını tahmin etmede felç uzmanlarıyla karşılaştırılabilir performans sağladı.
Rehman ve ark.20	Klinik	Hibrit derin öğrenme (CNN+GRU ve ADASYN)	Dengesiz klinik verilerden inme riskini tahmin edin	ADASYN ile hibrit derin öğrenme, inme riski tahmin performansını geliştirerek gelişmiş veri dengeleme ve çoklu model öğrenmenin değerini gösterdi.
Ali ve ark.29	MRI/fMRI/rs-fMRI	ML, DL ve hibrit modellerin sistematik meta-incelemesi	Nörogörüntüleme tabanlı tanı için hesaplamalı zeka tekniklerini değerlendirin	Hibrit modeller genellikle bağımsız ML ve DL yaklaşımlarını geride bırakarak, nörogörüntüleme tabanlı tahmin için hibrit mimarilerin değerini desteklemiştir.

Tablo 1: Akut iskemik felç sonrası fonksiyonel sonuçların yapay zeka tabanlı tahmini üzerine önceki çalışmaların özeti. İnme sonrası fonksiyonel sonuçların tahmini için görüntüleme, klinik değişkenler veya multimodal yaklaşımlar kullanılarak yapılan temsil çalışmalar, görüntüleme modalitesi, yapay zeka tekniği, çalışma amacı ve ana bulgular dahil olmak üzere özetlenir. Bu tabloyu indirmek için lütfen buraya tıklayın.

Ancak, mevcut birçok çalışma, öncelikle yerel mekansal özellikleri yakalayan ve beyin görüntüleme verilerindeki uzun vadeli bağlamsal ilişkileri tam olarak modellemeyebilecek tek görüntüleme dizilerine veya geleneksel derin öğrenme modellerine dayanır. Sonuç olarak, DWI, ADC ve T2-FLAIR ile yapılandırılmış klinik değişkenlerle birlikte kullanan, yerel lezyon özelliği çıkarımı ve küresel bağlamsal modellemenin birleştirildiği multimodal bir yaklaşımın geliştirilmesi ve dışa dönük değerlendirilmesinde özel bir boşluk kalmaktadır. CNN'ler lezyon düzeyinde özellik çıkarımı için iyi kurulmuş olsa da, Vision Transformers (ViT) gibi Transformer tabanlı mimariler, dikkat mekanizmaları aracılığıyla uzun menzilli bağlamsal ilişkilerin modellemesini mümkün kılarak tamamlayıcı küresel temsiller^{sağlar 23,24}. Bu nedenle, hibrit CNN-ViT modelleri, yerel morfolojik detayları ve küresel beyin bağlamını ortak kodlamak için rasyonel bir çerçeve sağlar. Makine öğrenimi algoritmaları, heterojen yapılandırılmış klinik veriler içinde karmaşık doğrusal olmayan ilişkileri modellemek için benzer şekilde uygundur²⁵. Tamamlayıcı çapraz modal entegrasyon^26'yı vurgulayan son multimodal öğrenme prensipleriyle yönlendirilen bu çalışma, CNN-ViT görüntüleme omurgasında çok parametrik MRI ile birleştirilmiş ve bu özellikleri 90 günlük sonuç tahmini için makine öğrenimi klinik modeliyle entegre etmiştir. Çalışmanın yeniliği, tamamlayıcı MRI dizilerini, yerel-küresel CNN-ViT görüntüleme temsillerini ve yapılandırılmış klinik tahmincileri birleşik bir 90 günlük sonuç tahmin modeli içinde entegre eden yığılmış çok modlu bir füzyon çerçevesinin geliştirilmesi ve dış değerlendirmesinde yatmaktadır.

Çalışmanın hipotezi, hibrit CNN-ViT mimarisi kullanılarak çok parametrik MRI ile yapılandırılmış klinik değişkenlerle entegre edilmesinin, AIS sonrası 90 günlük fonksiyonel sonuçların tahminini tek modaliteli modellere kıyasla daha iyi yapacağıydı. Buna uygun olarak, amaç, AIS hastalarında 90 günlük mRS sonuçlarını tahmin etmek için DWI, ADC ve T2-FLAIR MRI dizilerini yapılandırılmış klinik tahmincilerle birleştiren çok modlu bir derin öğrenme çerçevesi geliştirmek ve değerlendirmekti.

Protokol

Bu çalışma, Shenzhen Üniversitesi Genel Hastanesi Kurumsal İnceleme Kurulu tarafından onaylandı (IRB onay no. KYLL-2026-077-1). Yazılı bilgilendirilmiş onay gerekliliği, çalışmanın geriye dönük tasarımı nedeniyle kaldırıldı.

1. Çalışma grubu

Çok parametrik MRG geçiren akut iskemik inme (AIS) hastaları, kurumsal klinik veritabanından geriye dönük olarak tanımlandı. Veri seti bölümleme, görüntüleme modeli geliştirme, klinik model oluşturma ve çoklu modal füzyon dahil olmak üzere genel çalışma iş akışı Şekil 1'de gösterilmiştir.

Şekil 1: Çok modlu sonuç tahmin çerçevesinin iş akışı. (A) Veri edinimi. Önceden belirlenmiş dahil etme kriterlerini karşılayan akut iskemik inme (AIS) hastaları geriye dönük olarak tanımlandı. Veri seti, bir eğitim doğrulama kohortu (n = 250), bir iç bağımsız test kohortu (n = 50) ve bir dış test kohortu (n = 37) olarak bölündü. Eğitim-doğrulama kohortu içinde beş katmanlı çapraz doğrulama gerçekleştirildi. (B) Görüntüleme modeli geliştirme. Difüzyon ağırlıklı görüntüleme (DWI), görünür difüzyon katsayısı (ADC) ve T2 sıvı zayıflatılmış ters dönüşüm geri kazanımı (T2-FLAIR) dahil olmak üzere çok parametrik MRI dizileri, sonuç tahmini için hibrit 3 boyutlu konvolüsyon sinir ağı-Vision Transformer (CNN-ViT) mimarisi kullanılarak işlendi. (C) Klinik model geliştirme. Yapılandırılmış klinik değişkenler, 90 günlük fonksiyonel sonuçların tahmini için makine öğrenimi modellerini eğitmek için kullanıldı. (D) Çok modlu füzyon stratejisi. Görüntüleme ve klinik modeller tarafından oluşturulan tahminler, üst üste bir lojistik regresyon meta-öğrenicisi kullanılarak entegre edilerek nihai sonuç tahminleri oluşturuldu. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

MR incelemeleri klinik MRI sistemleri kullanılarak gerçekleştirildi. Görüntü elde etmek için özel bir faz dizisi kafa bobini kullanıldı. Tüm diziler, modaliteler arasında tutarlı dilim konumlandırması kullanılarak eksenel düzlemde alındı. Difüzyon ağırlıklı görüntüleme (DWI), 3.000–5.000 ms tekrarlama süresi (TR) ve 80–90 ms yankı süresi (TE) ile tek atışlı spin-eko eko-düzlemsel görüntüleme dizisi kullanılarak elde edildi. Difüzyon duyarlılığı, en az 3 ortogonal yönde 0 ve 800–1.000 s/^{mm 2} b-değerleri kullanılarak uygulanmıştır. Görüş alanı 220–240 mm arasında değişiyordu ve matris boyutu 128 × 128 idi. Dilim kalınlığı 5–6 mm olup, aradaki aralık 1–1,5 mm idi. İki ila dört sinyal ortalaması elde edildi.

Görünür difüzyon katsayısı (ADC) haritaları, elde edilen b-değerlere dayalı tek üstel uyum kullanılarak tarayıcı iş istasyonundaki DWI verilerinden otomatik olarak oluşturuldu. ADC değerleri voxel bazında hesaplandı ve nicel analiz için dışa aktarıldı. T2 sıvı zayıflatılmış ters geri dönüş kurtarma (T2-FLAIR) görüntüleri, TR 8.000–10.000 ms, TE'si 80–140 ms ve ters dönüşüm süresi 2.200–2.600 ms ile bir ters iyileşme dizisi kullanılarak alındı. Görüş alanı 220–240 mm arasında değişiyordu ve matris boyutu 192 × 192, 256 × 256 arasındaydı. Dilim kalınlığı 4–5 mm ve aradaki aralık 1–1,5 mm idi.

2. Veri ön işleme

Klinik veriler, vaka tanımlayıcıları, mRS sonuç puanları, veri seti bölünmüş etiketleri ve demografik ile klinik değişkenleri içeren yapılandırılmış tablolardan aktarıldı. Vaka tanımlayıcıları, görüntüleme dosya adlarıyla tutarlılığı sağlamak için standartlaştırıldı. Klinik değişkenler arasında demografik özellikler, Ulusal Sağlık Enstitüleri İnme Ölçeği (NIHSS) kullanılarak ölçülen inme şiddeti, damar risk faktörleri ve yatışta kaydedilen eşlik eden durumlar yer alıyordu.

Birincil sonuç, inme başlangıcından 90 gün sonra fonksiyonel durum oldu ve modifiye edilmiş Rankin Ölçeği (mRS) kullanılarak ölçüldü. Olumlu bir sonuç mRS ≤ 2, olumsuz bir sonuç ise mRS > 2 olarak tanımlandı. Veri seti, sonuç dengesini korumak için mRS dağılımına dayalı stratifike örnekleme kullanılarak eğitim-doğrulama ve iç bağımsız test kohortlarına rastgele bölündü. Dış test kohortu ayrı olarak işlendi ve model geliştirme sırasında kullanılmadı. Eğitim-doğrulama kohortu içinde, katmanlar arasında tutarlı sonuç dağılımlarını korumak için katmanlı k-kat çapraz doğrulama uygulandı.

Tüm DWI, ADC ve T2-FLAIR hacimleri, modaliteler arasında mekansal ve sayısal tutarlılığı sağlamak için model eğitiminden önce önceden işlendi. Aynı ön işleme boru hattı, eğitim doğrulama, iç test ve harici test kohortlarına değişiklik yapılmadan uygulandı. Görüntüler kanonik RAS yönüne yönlendirildi ve kayan noktalı dizilere dönüştürüldü. Düzlem içi mekansal çözünürlük, doğrusal interpolasyon kullanılarak 256 × 256'ya yeniden örneklendi. Tam düzlem boyutu, merkez tabanlı bir strateji kullanılarak 20 dilim olarak standartlaştırıldı: 20'den fazla dilim içeren hacimler merkezden kırpılırken, 20'den az dilim içeren hacimler simetrik olarak sıfır dolgulu hale getirildi. Son hacim sayı 256 × 256 × 20 idi.

Yoğunluk normalizasyonu, her hacim için z-skor normalizasyonu kullanılarak bağımsız olarak gerçekleştirilmiştir:

burada x voxel yoğunluğunu gösterir, μ hacimin ortalama yoğunluğudur ve σ standart sapmadır. Eğer σ = 0 ise, sayısal istikrarsızlığı önlemek için normalizasyon uygulanmadı. İşlenen hacimler, aşağı akış derin öğrenme analizi için standartlaştırılmış bir afin matriks ile NIfTI formatında kaydedildi.

3. Klinik model geliştirme

Yapılandırılmış klinik değişkenler, sonuç tahmini için makine öğrenimi modelleri geliştirmek amacıyla kullanıldı. Aday tahminciler arasında demografik özellikler, damar risk faktörleri, inme etiyolojisi ve başlangıç klinik şiddet ölçümleri yer aldı. Sürekli değişkenler medyan değerler kullanılarak atfedilir ve standartlaştırılır. Kategorik değişkenler en sık kullanılan kategori kullanılarak atselleştirilmiş ve tek sıcak kodlama ile kodlanmıştır.

Lojistik regresyon, rastgele orman, gradyan artırma, destek vektör makinesi (SVM), aşırı gradyan artırıcı ve hafif gradyan artırıcı makine modelleri dahil olmak üzere birden fazla makine öğrenimi algoritması değerlendirildi. Model geliştirme, genelleştirme performansını tahmin etmek için eğitim-doğrulama kohortu içinde beş katlı çapraz doğrulama çerçevesini takip etti. İç ve dış test kohortları için nihai tahminler, her çapraz doğrulama katında eğitilmiş modellerden alınan tahminlerin ortalamalarıyla oluşturuldu. Çapraz doğrulama veya model seçimi sırasında harici test örnekleri kullanılmadı.

4. Derin öğrenme model mimarisi

Multimodal MRI hacimlerinden sonuç tahmini için 3 boyutlu bir CNN-ViT hibrit mimarisi uygulandı. Ağ, yerel uzamsal özellik çıkarımı ile küresel bağlamsal modelleme birleşik bir çerçeve içinde birleştirmek üzere tasarlandı. Giriş hacimleri, uçtan uca işlenen çok kanallı 3 boyutlu görüntülerden oluşuyordu.

Özellik çıkarımı başlangıçta 4 aşamadan oluşan hiyerarşik 3 boyutlu konvolüsyon bir omurga kullanılarak gerçekleştirildi. Her aşama, çekirdek boyutları 3 × 3 × 3 olan 2 konvolüsyon katman ve 1 voxel dolgusu içeriyordu; ardından parti normalizasyonu ve doğrultu doğrusal birim aktivasyonu yapıldı. Mekânsal çözünürlük, ilk 3 aşamadan sonra uygulanan 3 boyutlu maksimum havuzlama katmanlarıyla kademeli olarak azaltıldı; özellik kanalı derinliği her seviyede artırıldı ve yüksek seviyeli anlamsal temsiller yakalandı. Aşırı uyumu azaltmak için son konvolüsyon aşamadan sonra (bırakma oranı = 0.1) programı bırakılmıştır. Konvolüsyon omurga, C × D × H × W boyutlarındaki giriş hacmini, uzanımsal boyutları azaltılmış kompakt, yüksek seviyeli bir özellik temsiline dönüştürdü.

Ortaya çıkan özellik haritası, mekânsal boyutlar düzleştirilerek token sayısının şu şekilde karşılandığı şekilde bir jeton dizisine dönüştürüldü:

N = D' x H' x W'

Tokenlar arasındaki küresel bağlamsal ilişkiler, çoklu başlı öz-dikkat ve ileriye besleme ağlarından oluşan Transformer kodlayıcı katmanları kullanılarak modellendi. Öz-dikkat şu şekilde hesaplandı:

burada Q, K ve V sırasıyla sorgu, anahtar ve değer matrislerini gösterir ve d göme boyutunu temsil eder. Her kodlayıcı katmanında katman normalizasyonu ve dışarı çıkarma uygulanarak eğitim kararlılığını artırdı. Transformer modülü, 8 dikkat başlığı ve 256 göme boyutu olan 3 kodlayıcı katmanından oluşuyordu.

Transformer kodlamasından sonra, sınıflandırma belirtekonuna karşılık gelen temsil çıkarılıp normalleştirildi. Tamamen bağlı bir doğrusal katman, ikili sınıflandırma için tek bir logit çıktısı üretirdi.

Önerilen hibrit CNN-ViT mimarisi, temsil kapasitesi ile aşırı uyum riskini dengelemek için hafif ve parametre açısından verimli bir model olarak kasıtlı olarak tasarlandı. Model, 3,79 milyon eğitilebilir parametre (fp32 hassasiyetinde yaklaşık 14,4 MB) içeriyordu; bunların 1,38 milyonu konvolüsyon omurgasında ve 2,37 milyonu Transformer kodlayıcısında.

5. Görüntüleme modeli eğitimi

Görüntüleme modelinin eğitimi, katlar arasında sonuç dağılımını korumak ve performans tahmininin sağlamlığını artırmak için katmanlı beş katlı çapraz doğrulama çerçevesi kullanılarak gerçekleştirildi. Veri seti, sonuç dağılımına dayalı stratifikasyonlu örnekleme kullanılarak bir eğitim-doğrulama kohortu ve dahili bağımsız test kohortu olarak bölündü. Eğitim-doğrulama kohortu içinde, beş katlı katmanlı çapraz doğrulama uygulandı. Her katlama için, görüntüleme modeli eğitim alt kümesi kullanılarak eğitildi ve ilgili doğrulama alt kümesi kullanılarak değerlendirildi; oysa tutulan test grubu yalnızca nihai performans değerlendirmesi için ayrıldı.

Model optimizasyonu, AdamW optimizatörüyle GPU donanımlı bir iş istasyonunda derin öğrenme çerçevesi kullanılarak gerçekleştirildi; öğrenme hızı 3 × 10⁻⁵ ve ağırlık düşüşü 3 × 10⁻⁴ idi. Eğitim, 200 döneme kadar 8 adet parti kullanılarak gerçekleştirildi. Kayıp fonksiyonu olarak logitlerle ikili çapraz entropi kullanıldı.

Sınıf dengesizliğini gidermek için, negatif ve pozitif örneklerin oranına göre her katlama için pozitif sınıf ağırlıklandırma faktörü hesaplanmış ve kayıp fonksiyonuna dahil edilmiştir. Optimizasyon sırasında sayısal kararlılığı artırmak için maksimum 0.5 normlu gradyen norm kırpımı uygulandı. Otomatik karma hassasiyetli eğitim hesaplama verimliliğini artırmak için mümkün oldu.

Erken durdurma, doğrulama performansının 30 ardışık dönemde en az 1 × 10⁻⁴ artmadığında uygulanmıştır. Her katlamadan en iyi performans gösteren model kontrol noktası korundu. Tüm katlamalar tamamlandıktan sonra, her katlama özgül modeli kullanılarak iç ve dış test kohortları için tahminler oluşturuldu ve nihai olasılıklar 5 model arasında tahminlerin ortalaması alınarak topluluk çıktıları elde edildi.

6. Multimodal füzyon modeli

Görüntüleme kaynaklı tahminleri yapılandırılmış klinik bilgilerle entegre etmek için yığılmış bir füzyon stratejisi uygulandı. Derin öğrenme görüntüleme modeli ve klinik tahmin modeli, temel öğrenenler olarak hizmet verdi ve onların tahmin edilen olasılıkları, lojistik regresyon meta-öğrenicisi için giriş özellikleri olarak kullanıldı. Ürün ve tahmin edilen olasılıkların mutlak farkı gibi ek etkileşim özellikleri, görüntüleme ve klinik tahminler arasında tamamlayıcı bilgi toplamak için dahil edilmiştir.

Bilgi sızıntısını önlemek için, meta-öğrenen, eğitim-doğrulama kohortundan üretilen katmandan çıkmış tahmin edilmiş olasılıklar kullanılarak eğitildi. Görüntüleme ve klinik modellerden çapraz doğrulanmış katlanmış dışı olasılıklar, hasta tanımlayıcı tarafından birleştirilerek meta-öğrenen eğitim veri seti oluşturuldu. İç ve dış test kohortları için, görüntüleme ve klinik modellerden alınan test seti olasılıkları, eğitilmiş meta-öğreniciye kaynaşmış olasılıklar oluşturmak için girdi olarak kullanıldı. Eğitilmiş meta-öğrenen, her iki test grubuna da yeniden donanım yapılmadan uygulandı.

7. Ablasyon çalışması

Bireysel MRI dizilerinin ve Vision Transformer bileşeninin katkılarını değerlendirmek için ablasyon deneyleri, birincil model olarak aynı eğitim ve değerlendirme ayarları kullanılarak gerçekleştirildi. Dizi ablasyonları arasında tek dizili modeller, bir ardıcıl bırakış modelleri ve tam çok parametrik model yer alıyordu. Vision Transformer modülünün katkısını değerlendirmek için, önerilen hibrit mimari, ayrıca aynı konvolüsyon omurgasını koruyarak Transformer kodlayıcısının çıkarıldığı CNN'e özel bir temel ile karşılaştırıldı.

8. İstatistiksel analiz

Model performansı, alıcı çalışma karakteristik eğrisinin (AUC) altındaki alan kullanılarak iç bağımsız test kohortu ve dış test kohortunda ayrı ayrı değerlendirildi. Alıcı çalışma karakteristikası (ROC) eğrileri, her model tarafından üretilen tahmin edilen olasılıklar kullanılarak oluşturuldu. Sınıflandırma performansını karakterize etmek için hassasiyet, özgülük ve genel doğruluk da hesaplandı.

İkili sonuçlar, Youden indeksine göre belirlenen eşikler kullanılarak oluşturuldu. Hassasiyet, özgüllük ve doğruluk daha sonra optimal eşik seviyesinde hesaplandı. Tüm istatistiksel analizler, makine öğrenimi modeli geliştirme ve derin öğrenme model eğitimi, standart bilimsel hesaplama ve makine öğrenimi yazılım paketleri kullanılarak uygulanmıştır.

Sonuçlar

Çalışma grubu

Önceden tanımlanmış dahil etme ve dışlama kriterlerinin uygulanmasıyla toplam 300 akut iskemik inme (AIS) hastası dahil edildi. Veri seti, fonksiyonel sonuç dağılımına dayalı stratifikasyon kullanılarak bir eğitim-doğrulama kohortu (n = 250) ve iç bağımsız test kohortu (n = 50) olarak bölündü. Ayrıca, bağımsız bir veri setinden 37 AIS hastasından oluşan bir dış test grubu ön dış doğrulama sağlamak için dahil edilmiştir. Model geliştirme ve performans tahmini için...

Tartışma

Bu çalışma, akut iskemik felç (AIS) sonrası 90 günlük fonksiyonel sonucun tahmini için çok parametrli MRI ve yapılandırılmış klinik değişkenleri entegre eden çok modlu bir yapay zeka çerçevesi geliştirdi ve değerlendirdi. Önerilen füzyon modeli, yalnızca görüntüleme veya klinik modelden daha yüksek öngörü performansı göstermiştir. Özellikle, destek vektör makinesi (SVM) tabanlı klinik model ve görüntüleme modelinden tahminleri entegre eden yığılmış multimodal model, dahili bağımsız test ...

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
Manyetik rezonans görüntüleme sistemi ((Discovery MR750 3.0T)	GE Healthcare	https://www.gehealthcare.in/products/magnetic-resonance-imaging/3-0t/discovery-mr750	DWI, ADC ve T2-FLAIR görüntülerinin alımı için kullanılan klinik MRI tarayıcısı
Aşamalı dizi başlık bobini	GE Healthcare	https://services.gehealthcare.com/gehcstorefront/p/5450630	MRI sinyal alımı için kullanılan başlık
Grafik işlemci birimi (RTX 4090)	NVIDIA	https://www.nvidia.com/en-us/geforce/graphics-cards/40-series/rtx-4090/	Derin öğrenme modeli eğitimi için kullanılan GPU
Derin öğrenme çerçevesi (PyTorch v2.1)	PyTorch Foundation	https://pytorch.org/	CNN-Transformer modelini uygulamak için kullanılan çerçeve
Programlama dili (Python v3.10)	Python Software Foundation	https://www.python.org/downloads/release/python-3100/	Model geliştirme ve veri işleme için kullanılan ortam
Makine öğrenimi kitaplığı (scikit-learn)	scikit-learn Geliştiricileri	https://scikit-learn.org/stable/	Klinik makine öğrenimi modelleri ve istatistiksel analiz için kullanılır
Gradient boosting kitaplığı (XGBoost)	DMLC	https://xgboost.readthedocs.io/en/release_3.2.0/	Gradient boosting model uygulaması için kullanılır
Gradient boosting kitaplığı (LightGBM)	Microsoft	https://lightgbm.readthedocs.io/en/stable/	LightGBM klinik modeli için kullanılır