Bu sistematik inceleme ve meta-analiz, hepatosellüler karsinomda mikrovasküler invazyonun ameliyat öncesi tahmini için radyomik tabanlı modellerin tanısal performansını değerlendirmektedir.
Araştırma makalesi
Bu sistematik inceleme ve meta-analiz, hepatosellüler karsinomda mikrovasküler invazyonun ameliyat öncesi tahmini için radyomik tabanlı modellerin tanısal performansını değerlendirmektedir.
Bu sistematik inceleme ve meta-analiz, hepatosellüler karsinomda (HCC) mikrovasküler istilayı (MVI) öngörmek için radyomik tabanlı modellerin tanısal performansını değerlendirmiştir. MVI, HCC'de prognozun temel bir belirleyicisidir ve küratif tedavi sonrası erken nüks ile azalmış sağkalım ile güçlü bir şekilde ilişkilidir. MVI'nın konvansiyonel klinik ve görüntüleme özellikleri kullanılarak ameliyat öncesi doğru şekilde öngörülmesi zor olmaya devam etmektedir. Radyomikler, tıbbi görüntülemeden tümör heterojenliğinin kantitatif analizine olanak tanıyarak gelecek vadeden bir yaklaşım olarak ortaya çıkmıştır. Bu çalışma, HCC'de MVI'yı öngörmek için radyomik tabanlı modellerin tanısal performansını sistematik olarak değerlendirmeyi amaçlamıştır. BT ve MR tabanlı radyomik modelleri değerlendiren 26 çalışmayı kapsayan bir sistematik inceleme ve meta-analiz gerçekleştirilmiştir. Tanısal performansa ilişkin veriler çıkarılmış ve görüntüleme modalitesi ile model tipine göre alt grup analizleri yapılarak rastgele etkiler modelleri kullanılarak havuzlanmış analizler gerçekleştirilmiştir. Genel olarak, radyomik modeller 0,85'lik (95% CI 0,82–0,88) havuzlanmış bir AUC ile iyi tanısal performans göstermiştir. Klinik-radyomik modeller, yalnızca radyomik modellerden daha yüksek ve daha tutarlı performans sergilemiştir (MR: 0,87'ye karşı 0,85; BT: 0,87'ye karşı 0,81). 3B tabanlı modeller arasında havuzlanmış AUC 0,85 (95% CI 0,82–0,88) olarak belirlenmiştir. Sonuç olarak, radyomik tabanlı modeller, özellikle klinik değişkenlerle birleştirildiğinde, HCC'de MVI'nın ameliyat öncesi öngörüsü için gelecek vadeden bir performans göstermektedir. Ancak, önemli düzeydeki heterojenlik ve sınırlı dış validasyon, klinik uygulamadan önce metodolojik standardizasyon ve prospektif çok merkezli validasyon ihtiyacını vurgulamaktadır.
Hepatosellüler karsinom (HCC), dünya çapında en yaygın maligniteler arasında yer almakta ve kansere bağlı ölümlerin önde gelen nedenlerinden biri olmaya devam etmektedir1. Mikrodamar istilası (MVI), agresif tümör davranışı ile ilişkili temel bir patolojik özelliktir ve karaciğer rezeksiyonu veya transplantasyonu sonrası erken nüksetme ve genel sağkalım süresinin azalması ile tutarlı bir şekilde ilişkilendirilmektedir2,3,4. Ancak, mikrodamar istilasının ameliyat öncesi tespiti zor olmaya devam etmektedir çünkü bu durum ancak rezeke edilen veya eksize edilen örneklerin histopatolojik incelemesiyle kesin olarak onaylanabilmektedir. Sonuç olarak, tedavi kararları genellikle MVI durumuna dair doğrudan bilgi olmadan verilmek zorundadır. Güncel uygulamada, MVI olasılığını tahmin etmek için tümör boyutu, serum alfa-fetoprotein seviyeleri5, uydu nodüllerin varlığı ve düzensiz tümör sınırları, peritümoral kontrastlanma ve kapsül yokluğu gibi kalitatif görüntüleme özellikleri dahil olmak üzere dolaylı göstergeler yaygın olarak ve temel olarak kullanılmaktadır6.
Bu faktörler popülasyon düzeyinde MVI ile ilişkilidir ve klinik karar verme süreçlerine dahil edilmiştir; ancak, bireysel hasta düzeyindeki öngörücü doğrulukları hala sınırlıdır7,8. Örneğin, serum alfa-fetoprotein yalnızca hastaların bir alt kümesinde yükselmiş durumdadır ve özgüllükten yoksundur; görüntüleme özellikleri ise gözlemciler arası değişkenliğe tabidir ve görüntüleme protokollerine ve okuyucunun uzmanlığına bağlıdır9,10. Ek olarak, konvansiyonel görüntüleme değerlendirmesi büyük ölçüde kalitatif olup tümör mimarisinin mekânsal heterojenliğini veya mikroskobik vasküler invazyon ile ilişkili olan tümör-karaciğer arayüzündeki ince mikroçevresel değişiklikleri yakalayamaz11. Bu kısıtlamalar, mevcut preoperatif risk değerlendirmesinin güvenilirliğini azaltmakta ve daha sağlam ve kantitatif yaklaşımlara olan ihtiyacı vurgulamaktadır. Görüntüden türetilen özelliklerin yüksek verimli ekstraksiyonuna olanak tanıyan radyomik, temel tümör biyolojisini yansıtabilecek intratümöral ve peritümöral heterojenliği yakalamanın bir yolunu sunar12,13. Peritümöral arteriyel kontrastlanma, düzensiz kenarlar ve hepatobiliyer faz hipointensitesi gibi özellikler MVI ile ilişkilidir ve görüntüleme tabanlı kantitatif modellerin potansiyel rolünü desteklemektedir14.
Ancak, bildirilen tanısal performans; kısmen görüntüleme modalitesi, edinme protokolleri, segmentasyon yöntemleri ve model geliştirme yaklaşımlarındaki farklılıklar nedeniyle tutarsızlık göstermiştir. Ayrıca, çalışmaların çoğu retrospektif niteliktedir, tek merkezli ortamlarda yürütülmüştür ve nispeten az sayıda çalışma bağımsız harici doğrulama içermektedir. Bu nedenle, bu sistematik derlemenin amacı; görüntüleme yaklaşımları ve model geliştirmedeki heterojenliği göz önünde bulundurarak, verileri görüntüleme modalitesi, segmentasyon stratejisi ve model tipine göre ayrı ayrı sunarak, hepatosellüler karsinomda mikrovasküler invazyonun preoperatif öngörüsü için MRI ve BT tabanlı modeller dahil olmak üzere radyomik tabanlı modellerin tanısal doğruluğunu değerlendirmektir.
Arama stratejisi
Ocak 2015'ten Nisan 2026'ya kadar PubMed (MEDLINE), Embase, Web of Science ve Cochrane Library dahil olmak üzere dört veri kaynağı taranmıştır. Arama stratejisi, Boolean operatörleri kullanılarak üç kavramsal blok birleştirilerek oluşturulmuştur: hastalıkla ilgili terimler (hepatosellüler karsinom, HCC, karaciğer kanseri, hepatik karsinom), metodolojiyle ilgili terimler (radyomik, radyomik, tekstür analizi, kantitatif görüntüleme, görüntüleme biyobelirteci) ve sonuçla ilgili terimler (mikrovasküler invazyon, MVI, vasküler invazyon, mikroskobik vasküler invazyon). PubMed arama dizini şu şekildedir: (("hepatocellular carcinoma"[MeSH Terms] OR "liver cancer"[Title/Abstract] OR "HCC"[Title/Abstract] OR "hepatic carcinoma"[Title/Abstract]) AND ("radiomics"[Title/Abstract] OR "radiomic"[Title/Abstract] OR "texture analysis"[Title/Abstract] OR "quantitative imaging"[Title/Abstract] OR "imaging biomarker"[Title/Abstract]) AND ("microvascular invasion"[MeSH Terms] OR "MVI"[Title/Abstract] OR "vascular invasion"[Title/Abstract] OR "microscopic vascular invasion"[Title/Abstract])) AND (2015/01/01:2026/04/30[Date - Publication]).
Çalışma seçimi
Elde edilen tüm kayıtlar, mükerrer kayıtların kaldırılması ve tarama işlemleri için web tabanlı bir sistematik inceleme platformu olan Rayyan'a (Katar Hesaplama Araştırma Enstitüsü) aktarıldı. İki bağımsız hakem, önceden tanımlanmış uygunluk kriterlerine göre tüm başlıkları ve özetleri taradı. Ardından, tam metin makaleler getirildi ve nihai dahil etme işlemi için aynı iki hakem tarafından bağımsız olarak değerlendirildi. En az bir önceden belirlenmiş nicel senteze katkıda bulunacak yeterli tanısal performans verisi bildiren çalışmalar uygun görüldü. Mevcut olduğunda; ikincil tanısal doğruluk analizleri için gerçek pozitif, gerçek negatif, yanlış pozitif ve yanlış negatif veriler çıkarıldı. Taramanın herhangi bir aşamasındaki anlaşmazlıklar tartışma yoluyla çözüldü ve fikir birliğine varılamadığı durumlarda üçüncü bir kıdemli hakemin hakemliğiyle karar verildi. Çalışma seçim süreci bir PRISMA akış diyagramında (Şekil 1) özetlenmiştir. Bu çalışma için kullanılan tüm araçlar ve platformlar Materyaller Tablosu'nda listelenmiştir.
Veri çıkarma
İki incelemeci, standartlaştırılmış ve pilot uygulaması yapılmış bir veri çıkarma formu kullanarak dahil edilen tüm çalışmalardan verileri bağımsız olarak çıkardı. Çıkarılan öğeler arasında çalışma özellikleri (ilk yazar, yayın yılı, ülke, çalışma tasarımı, katılım dönemi ve kurum türü), hasta özellikleri (örneklem büyüklüğü, ortalama veya medyan yaş, cinsiyet dağılımı, MVI prevalansı, karaciğer hastalığının etiyolojisi ve tümör özellikleri), görüntüleme özellikleri (modalite, tarayıcı tipi, kontrast madde ve görüntüleme fazı), radyomiks metodolojisi (segmentasyon bölge tipi; uygun olan yerlerde peritümöral marjin genişliği; ROI belirleme yöntemi; segmentasyon boyutluluğu), model özellikleri (sınıflandırıcı tipi ve doğrulama stratejisi) ve tanısal performans metrikleri (alıcı işletim karakteristik eğrisi altındaki alan [AUC], duyarlılık, özgüllük, pozitif olabilirlik oranı, negatif olabilirlik oranı ve tanısal olasılık oranı) yer aldı. Çalışmaların birden fazla uygun model veya kohort bildirdiği durumlarda, önceden belirlenmiş nicel analizlerde kullanılan ilgili model düzeyindeki veya kohort düzeyindeki tahminler çıkarıldı. Tablo 1 ve 2'de bu tahminleri ayırt etmek için ekler (a-d) kullanılmıştır. Veri çıkarma sırasında incelemeciler arasındaki tutarsızlıklar konsensüs yoluyla çözülmüştür.
Kalite değerlendirmesi
Dahil edilen çalışmaların metodolojik kalitesi, birbirini tamamlayan iki araç kullanılarak değerlendirilmiştir. Yanlılık riski ve uygulanabilirlik kaygıları, Tanısal Doğruluk Çalışmalarının Kalite Değerlendirmesi 2 (QUADAS-2) aracı15 ile değerlendirilmiştir. Radyomiklere özgü metodolojik kalite, Metodolojik Radyomik Skorlama (METRICS)16 kullanılarak değerlendirilmiştir. Kalite değerlendirmesi, iki hakem tarafından bağımsız olarak gerçekleştirilmiş ve görüş ayrılıkları konsensüs yoluyla çözülmüştür. Sonuçlar, alan düzeyindeki özet tablolar kullanılarak anlatımsal ve grafiksel olarak sunulmuştur.
İstatistiksel analiz
Ayırt edici performans, C istatistiği (alıcı işletim karakteristik eğrisi altındaki alan [AUC]) kullanılarak özetlendi. Çalışmalar arası değişkenliği hesaba katmak için kısıtlanmış maksimum olasılık yöntemi kullanılarak AUC değerlerinin rastgele etkili meta-analizi gerçekleştirildi. Doğrudan bildirilmediği durumlarda, standart hatalar yayınlanmış %95 güven aralıklarından türetildi; varyans tahminleri olmayan çalışmalar için standart hatalar, pozitif ve negatif vaka sayılarına dayalı Hanley ve McNeil yöntemi kullanılarak tahmin edildi17. Varyansları stabilize etmek için AUC değerleri meta-analizden önce logit-transformasyona tabi tutuldu ve yorumlama için ters-transformasyona tabi tutuldu. Birleştirilmiş tahminler, ilgili %95 güven aralıkları ile birlikte sunuldu. Çalışmalar arası heterojenlik I2 istatistiği kullanılarak değerlendirildi; %25, %50 ve %75 değerleri sırasıyla düşük, orta ve yüksek heterojenliği temsil etti. Çalışmalar tanımlayıcı olarak yalnızca tümör veya hem tümör hem de peritümoral bölgeleri içeren modeller şeklinde kategorize edildi. Bu kategori yeterince temsil edilmediği için ayrı bir yalnızca peritümoral kantitatif alt grup analizi yapılmadı. Görüntüleme modalitesine (BT'ye karşı MRG) ve segmentasyon boyutluluğuna (2D'ye karşı 3D) göre ek alt grup analizleri gerçekleştirildi. Genellenebilirliği değerlendirmek için harici olarak valide edilmiş modellerle sınırlandırılmış ek analizler yapıldı. Tüm istatistiksel analizler R yazılımı (versiyon 4.4.1) kullanılarak gerçekleştirildi. Şu R paketleri kullanıldı: meta (versiyon 7.0-1) ve metafor (versiyon 4.6-0) meta-analiz için, dmetar (versiyon 0.1.0) ise tamamlayıcı fonksiyonlar için kullanıldı. Birleştirilmiş AUC'ler, kısıtlanmış maksimum olasılık tahmincisi ile metagen fonksiyonu kullanılarak hesaplandı. Model ayarları, güven aralıkları için Knapp-Hartung düzeltmesini içeriyordu. Analiz kodu Ek Dosya 2 olarak sunulmuştur. Tüm testler için 0,05'ten küçük iki yönlü bir p-değeri istatistiksel olarak anlamlı kabul edildi.
Literatür taraması sonucunda 368 kayıt belirlenmiş olup, bunlardan 89'unun mükerrer olduğu saptanmıştır. Mükerrer kayıtların çıkarılmasının ardından 279 kayıt taranmış ve 26 çalışma dahil etme kriterlerini karşılamıştır (Şekil 1). Manuel tarama yoluyla ek bir çalışma belirlenmemiştir.
Çalışma özellikleri
Dahil edilen 26 çalışma18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43 ağırlıklı olarak retrospektifti (26'da 25) ve bir tanesi prospektif çalışmaydı. Çalışmaların çoğu Çin'de yürütülmüş (23 çalışma), geri kalanı ise Avrupa kaynaklıydı. Örneklem büyüklükleri çalışmalar arasında önemli ölçüde farklılık gösteriyordu; eğitim kohortları 66 ile 461 hasta, doğrulama kohortları ise 25 ile 283 hasta arasında değişiyordu. 9 çalışmada dış doğrulama yapılırken, çoğunluk (17 çalışma) yalnızca iç doğrulamaya dayanmaktaydı. En sık kullanılan modalite manyetik rezonans görüntüleme (MRI) (17 çalışma), ardından bilgisayarlı tomografi (CT) (10 çalışma) idi; bir çalışma ise hem CT hem de MRI'yı entegre etmişti. Çalışmaların çoğu üç boyutlu segmentasyon yaklaşımları uygularkın (22 çalışma), iki çalışma açıkça iki boyutlu segmentasyon kullanmıştı. Kalan iki çalışma (referans 18 ve 30), segmentasyon boyutlarını net bir şekilde belirtmemişti veya güvenle kategorize edilemeyen hibrit bir yaklaşım benimsemişti; bu nedenle, bu iki çalışma segmentasyon tabanlı alt grup analizinden hariç tutuldu ancak genel havuzlanmış analizde tutuldu. Segmentasyon stratejileri çalışmalar arasında farklılık gösteriyordu. On altı çalışma yalnızca tümör bölgelerini analiz ederken, 10 çalışma genellikle sabit radyal marjlar kullanılarak tanımlanan hem tümör hem de peritümöral bölgeleri dahil etmişti. Peritümöral bilgileri içeren çalışmalar daha çok ilerleyen yıllarda yürütülmüştü. Dahil edilen çalışmalar genelinde toplam 26 öngörü modeli belirlendi. Çalışmaların çoğu (26'da 15), radyomik özellikleri klinik değişkenlerle entegre eden klinik-radyomik modeller geliştirirken, 11 çalışma yalnızca radyomik yaklaşımlar kullandı (Tablo 1). Dahil edilen çalışmalarda rapor edilen doğruluk, sensitivite, spesifite ve ilgili kontenjans tablosu verileri (TP, FP, FN, TN) Tablo 2'de özetlenmiştir.
Model ayrımı
Dahil edilen tüm çalışmalarda, radyomik tabanlı modeller mikrovasküler invazyonun öngörüsü için iyi bir ayırt edici performans göstermiştir. Rastgele etkiler modelinden elde edilen havuzlanmış C-istatistiği (AUC), çalışmalar arası belirgin bir heterojenlik ile (I2 = 77%) 0,85'tir (95% CI 0,82–0,88) (Şekil 2). Model tipine göre katmanlandırıldığında, klinik-radyomik modeller, yalnızca radyomik içeren modellere kıyasla daha yüksek ve daha tutarlı bir ayırt edici performans sergilemiştir. Yalnızca radyomik içeren modeller, belirgin bir heterojenlik ile (I2 = 80%) 0,84'lük bir havuzlanmış AUC değeri vermiştir (95% CI 0,78–0,88) (Şekil 2). Buna karşılık, hem radyomik hem de klinik değişkenleri içeren modeller 0,87'lik daha yüksek bir havuzlanmış AUC değerine ulaşmış (95% CI 0,85–0,89) ve belirgin şekilde daha düşük heterojenlik göstermiştir (I2 = 23%) (Şekil 2).
3D segmentasyon kullanan çalışmalar arasında (Ek Şekil 1), birleştirilmiş AUC 0,85 (%95 GA 0,82–0,88) idi ve belirgin bir heterojenlik saptandı (I2 = %77,8). Alt grup analizinde, sadece radyomik temelli modeller 0,83'lük bir birleştirilmiş AUC değerine ulaşırken (%95 GA 0,78–0,88; I2 = %80,7), klinik-radyomik modeller daha yüksek ve daha tutarlı bir performans sergilemiştir (AUC 0,87, %95 GA 0,85–0,89; I2 = %15,1). BT tabanlı çalışmalarda (Ek Şekil 2), heterojenlik yüksek olmasına rağmen (I2 = %88,6), birleştirilmiş AUC 0,83 (%95 GA 0,76–0,88) olarak bulunmuştur. Performansın sadece radyomik temelli modeller arasında önemli ölçüde değiştiği görülürken (AUC 0,81, %95 GA 0,70–0,89; I2 = %85,1), klinik değişkenleri içeren modeller hem daha yüksek performans göstermiş hem de dikkat çekici derecede daha tutarlı olmuştur (AUC 0,87, %95 GA 0,83–0,90; I2 = %4,0). MR tabanlı çalışmalarda (Ek Şekil 3), genel ayırt etme gücü biraz daha yüksek olup, birleştirilmiş AUC 0,86 (%95 GA 0,83–0,89) ve orta düzeyde heterojenlik (I2 = %57,6) saptanmıştır. Benzer bir örüntü burada da gözlemlenmiş; klinik-radyomik modeller, sadece radyomik yaklaşımlara (AUC 0,85, %95 GA 0,79–0,89; I2 = %61,7) kıyasla marjinal olarak daha iyi performans ve azalmış değişkenlik göstermiştir (AUC 0,87, %95 GA 0,84–0,90; I2 = %33,4).
Harici doğrulama performansı
Harici olarak valide edilen modeller arasında (n=9), genel ayırt edici performans yüksek kalmaya devam etti. Birleştirilmiş AUC 0,87 (%95 CI 0,82–0,91) iken, orta düzeyde heterojenlik (I2 = %66) gözlendi (Ek Şekil 4). Harici validasyon kohortları içindeki alt grup analizi, model türleri arasında benzer birleştirilmiş performans ancak kesinlikte farklılıklar olduğunu gösterdi. Sadece radyomik tabanlı modeller 0,87'lik bir birleştirilmiş AUC (%95 CI 0,78–0,93) elde ederken, klinikoradyomik modeller 0,87'lik bir birleştirilmiş AUC (%95 CI 0,83–0,91) sağladı.
Kalite değerlendirmesi
Genel metodolojik kalite orta düzeydeydi. Referans standart ve akış alanları, tüm çalışmaların histopatoloji ve uygun görüntüleme-cerrahi aralıklarını kullanmasıyla tutarlı bir şekilde düşük riskliydi. Yanlılığın temel kaynağı, yüksek boyutlu radyomik veya derin öğrenme modellerini, modelleme stratejilerinin sınırlı ön belirlemesini ve tekrarlanabilirliğin tutarsız raporlanmasını yansıtan indeks test alanıydı. Hasta seçimi genel olarak düşük riskliydi, ancak daha küçük tek merkezli retrospektif kohortlarda endişeler daha yüksekti (Ek Tablo 1). Radyomiğe özgü değerlendirme, değişken metodolojik titizlik gösterdi (Ek Tablo 1). Görüntüleme protokolleri ve segmentasyon genellikle raporlanmış olsa da, tekrarlanabilirlik testleri ve dış doğrulama daha az yaygındı. Daha güncel çok merkezli çalışmalar, yöntemler arasındaki heterojenlik önemli ölçüde devam etse de, geliştirilmiş tasarım ve doğrulama uygulamaları sergiledi.
VERİLERİN ERİŞİLEBİLİRLİĞİ:
Bu sistematik inceleme ve meta-analiz sırasında üretilen veya analiz edilen tüm veriler, yayımlanan bu makalede ve ek bilgi dosyalarında yer almaktadır. Veritabanı arama stratejileri Ek Dosya 1'de, R analiz kodları ise Ek Dosya 2'de sunulmuştur. Havuzlama için kullanılan çıkarılmış çalışma düzeyindeki veriler Tablo 1 ve 2'de tam olarak sunulmuş olup, ayrıntılı kalite değerlendirme sonuçları Ek Tablo 1'de yer almaktadır. Bulguların yeniden üretilmesi için bunlardan başka herhangi bir ham veri dosyasına ihtiyaç yoktur.

Şekil 1: Çalışma seçim sürecinin akış diyagramı. Çalışmaların tanımlanması, taranması, uygunluk değerlendirmesi ve dahil edilmesine ilişkin, her aşamadaki kayıt sayısını gösteren akış diyagramı. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayınız.

Şekil 2: Mikrovasküler invazyonu öngören radyomik modellerin tanısal performansının orman grafiği (forest plot). Model tipine göre katmanlandırılmış, çalışma düzeyindeki ve havuzlanmış C-istatistikleri (AUC'ler) %95 güven aralıklarıyla birlikte gösterilmiştir. Heterojenlik I2 istatistiği kullanılarak değerlendirilmiş ve rastgele etkili modeller kullanılmıştır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Tablo 1: Dahil edilen çalışmaların özellikleri. Çalışma tasarımı, popülasyon, görüntüleme modalitesi, segmentasyon stratejisi, model tipi ve doğrulama yaklaşımının özeti. Sonekler (a–c), tek bir çalışma içindeki birden fazla modeli veya kohortu belirtir. Kısaltmalar: CT = bilgisayarlı tomografi; MRI = manyetik rezonans görüntüleme. Bu Tabloyu indirmek için lütfen buraya tıklayın.
Tablo 2: Mikrovasküler invazyonu öngörmek için radyomik modellerin tanısal performansı. Çalışma düzeyindeki doğruluk, duyarlılık, özgüllük ve kontingans verileri (TP, FP, FN, TN), model tipi ve doğrulama ayarına göre gösterilmiştir. Gerektiğinde doğruluk yeniden hesaplanmıştır. Sonekler (a–c), aynı çalışma içindeki birden fazla modeli veya kohortu belirtir. Bu tabloyu indirmek için lütfen buraya tıklayın.
Ek Şekil 1: 3B segmentasyon kullanan radyomik modellerin tanısal performansı. 3B segmentasyon yaklaşımlarını uygulayan çalışmalar için model tipine göre (yalnızca radyomik ile klinikoradyomik) katmanlandırılmış, çalışma düzeyindeki ve havuzlanmış C-istatistiklerini (AUC'ler) gösteren forest plot. Analiz, uzaysal heterojeniteyi daha kapsamlı bir şekilde yakalayan 3B hacimsel özellik çıkarımının, genel havuzlanmış tahmine kıyasla performans farkları yaratıp yaratmadığını belirlemek ve her bir alt grup içindeki heterojeniteyi değerlendirmek amacıyla gerçekleştirilmiştir. Lütfen bu dosyayı indirmek için buraya tıklayınız.
Ek Şekil 2: BT tabanlı radyomik modellerin tanısal performansı. Görüntüleme modalitesi olarak bilgisayarlı tomografi (BT) kullanan çalışmalar için model türüne göre (yalnızca radyomik ile klinik-radyomik) sınıflandırılmış, çalışma düzeyindeki ve havuzlanmış C-istatistiklerini (AUC'ler) gösteren forest plot. Bu alt grup analizi, BT tabanlı radyomik modellerin MRI tabanlı modellerle benzer tanısal performansa ulaşıp ulaşmadığını değerlendirmek ve klinik değişkenlerin eklenmesinin BT çalışmaları içindeki performans tutarlılığı üzerindeki etkisini belirlemek amacıyla gerçekleştirilmiştir. Bu dosyayı indirmek için lütfen buraya tıklayın.
Ek Şekil 3: MRI tabanlı radyomik modellerin tanısal performansı. Görüntüleme yöntemi olarak manyetik rezonans görüntüleme (MRI) kullanan çalışmalar için model tipine göre (yalnızca radyomik ile klinikoradyomik) ayrıştırılmış, çalışma düzeyindeki ve havuzlanmış C-istatistiklerini (AUC'ler) gösteren forest plot. Bu alt grup analizi, MRI'ın üstün yumuşak doku kontrastının ve multiparametrik kapasitesinin, BT tabanlı modellere kıyasla MVI tahmini için daha yüksek ayırıcılık performansına dönüşüp dönüşmediğini değerlendirmek amacıyla gerçekleştirilmiştir. Lütfen bu dosyayı indirmek için buraya tıklayın.
Ek Şekil 4: Harici olarak valide edilmiş modellerin tanısal performansı. Bağımsız kohortlarda harici validasyona tabi tutulan modeller için, model tipine göre (yalnızca radyomik ile klinik-radyomik) tabakalandırılmış, çalışma düzeyindeki ve havuzlanmış C-istatistiklerini (AUC'ler) gösteren forest plot. Bu analiz, özellikle radyomik tabanlı modellerin bağımsız veri setlerine genellenebilirliğini değerlendirmek ve modeller harici popülasyonlara uygulandığında performans düşüşlerinin meydana gelip gelmediğini saptamak amacıyla gerçekleştirilmiştir; bu durum, klinik uygulanabilirliğin kritik bir göstergesidir. Lütfen bu dosyayı indirmek için buraya tıklayın.
Ek Tablo 1: Dahil edilen çalışmaların kalite değerlendirmesi. Dahil edilen her bir çalışma için QUADAS-2 aracı kullanılarak yapılan metodolojik kalite değerlendirmesinin ayrıntılı sonuçları. Tablo; hasta seçimi, indeks test, referans standart, akış ve zamanlama olmak üzere dört alanda yanlılık riski ve uygulanabilirlik endişesi derecelendirmelerini sunmaktadır. Her alan, her çalışmadan çıkarılan spesifik gerekçelerle desteklenen değerlendirmelerle "düşük risk", "yüksek risk" veya "belirsiz risk" olarak derecelendirilmiştir. Bu durum, okuyucuların bireysel çalışmaların metodolojik titizliğini değerlendirmelerine ve havuzlanmış tahminleri etkileyebilecek potansiyel yanlılık kaynaklarını belirlemelerine olanak tanır. Lütfen bu dosyayı indirmek için buraya tıklayın.
Ek Dosya 1: Veritabanı arama stratejileri. Tüm veritabanı arama stratejileri bu belgede birleştirilmiştir. Bu dosyayı indirmek için lütfen buraya tıklayın.
Ek Dosya 2: R analiz kodu. Bu analizi gerçekleştirmek için kullanılan kod bu belgede yer almaktadır. Bu dosyayı indirmek için lütfen buraya tıklayın.
26 çalışmanın dahil edildiği bu sistematik derleme ve meta-analiz, radyomik tabanlı modellerin hepatosellüler karsinomda mikrovasküler invazyonun preoperatif öngörüsünde, çoğu AUC tahmininin yaklaşık 0,80 ile 0,90 arasında değiştiği, iyi ancak değişken bir performans sergilediğini ortaya koymuştur. Çalışmalar genelinde, performans tek tip olmamakla birlikte, tanısal doğruluk genellikle orta ila yüksek düzeyde olup duyarlılık ve özgünlük tipik olarak %70'in üzerine çıkmıştır. Klinik değişkenleri içeren modeller, yalnızca radyomik içeren modellere göre daha tutarlı bir ayırt etme kapasitesi ve daha yüksek özgünlük gösterme eğilimindedir. Ayrıca, MR tabanlı yaklaşımlar, BT tabanlı modellere göre biraz daha yüksek performans göstermiştir. Ancak bu bulgular; muhtemelen performanstaki gözlemlenen varyasyona katkıda bulunan çalışmalar arası belirgin heterojenlik ile çalışma tasarımı, görüntüleme protokolleri ve modelleme stratejilerindeki farklılıklar bağlamında değerlendirilmelidir.
Daha önceki birkaç meta-analiz, HCC'de MVI öngörüsü için radyomikleri değerlendirmiştir. Bir çalışma44 13 çalışmayı dahil etmiş ve MRI tabanlı radyomikler için 0,88'lik bir havuzlanmış AUC bildirmiş; kombine modellerin, yalnızca radyomik yaklaşımlardan daha iyi performans gösterdiğini belirtmiştir (AUC: 0,90'a karşı 0,85). Bir başka çalışma45 soliter HCC'li 3.539 hastayı kapsayan 26 çalışmayı analiz etmiş ve radyomik modeller için 0,85 (%95 GA 0,82–0,88) havuzlanmış AUC bildirmiştir. Mevcut sentez, klinikoradiomik modellerin (AUC 0,87), yalnızca radyomik modellere (AUC 0,84) kıyasla daha yüksek ve daha tutarlı bir performans sergilediğini göstererek bu bulguları genişletmekte ve klinik değişken entegrasyonunun artısal değerini vurgulamaktadır. Ayrıca, görüntüleme modalitesine göre yapılan ayrı analizler —MRI'ın (0,86) BT'den (0,83) daha iyi performans gösterdiğini ortaya koyarak— önceki çalışmalardan daha kesin tahminler sunmaktadır. Bir grup tarafından yapılan başka bir meta-analiz46 hem BT hem de MRI çalışmalarını dahil etmiş ancak model tipi karşılaştırmalarından ziyade öncelikle risk sınıflandırmasına odaklanmıştır. Mevcut çalışma, görüntüleme modaliteleri genelinde yalnızca radyomik ve klinikoradiomik modelleri karşılaştırarak ve dışsal olarak valide edilmiş modelleri ayrı ayrı değerlendirerek önceki çalışmaları genişletmektedir. Bu artısal yenilikler, radyomik model performansı hakkında daha ayrıntılı bir anlayış sağlamakta ve gelecekteki model geliştirme ile klinik uygulamalar için daha net bir rehberlik sunmaktadır.
Bu meta-analizde klinik değişkenleri içeren modellerde gözlemlenen daha yüksek ve daha tutarlı performans, mikrovaskülerlezyonun temel patofizyolojisi ile uyumludur. Mikrovasküler invazyon, genellikle mikroskobik tümör trombüsleri ve lokal hepatik perfüzyondaki değişikliklerin eşlik ettiği, tümör kenarındaki küçük portal ven dallarına tümör yayılımını temsil eder. Bu değişiklikler, tümör merkezinden ziyade tümör-karaciğer arayüzünde daha belirgindir; bu durum, bu bölgeyi yansıtan görüntüleme özelliklerinin neden tekrarlanan şekilde MVI ile ilişkili olduğunu açıklar. Örneğin, peritümoral arteriyel kontrastlanma ve hepatobiliyer faz hipointensitesi, mikroskobik vasküler obstrüksiyonun neden olduğu azalmış portal venöz akım ve kompansatuar arteriyel hiperperfüzyon ile ilişkilendirilmişken; düzensiz veya pürüzsüz olmayan tümör kenarları, görünür tümör sınırının ötesine uzanan infiltratif büyüme paternlerini yansıtmaktadır. Kantitatif görüntüleme, tümörün içindeki ve çevresindeki doku ve sinyal yoğunluğunun sistematik karakterizasyonuna olanak tanıyarak hücresel yoğunluk, nekroz ve mikrovasküler yapıdaki temel farklılıkları ortaya koymaktadır.
Bu bulgular, görüntüleme özelliklerinin tek başına mikrovasküler invazyon riskinin doğru karakterizasyonu için yetersiz olduğunu göstermektedir. Dahil edilen çalışmalar genelinde, yalnızca radyomik tabanlı modeller, klinik-radyomik modellere kıyasla önemli bir heterojenlik ve biraz daha düşük ayırıcı performans sergilemiştir. Bu durum, mikrovasküler invazyonun yalnızca lokal görüntüleme özellikleri tarafından değil, aynı zamanda sistemik düzeydeki tümör biyolojisi tarafından da belirlendiği gerçeğini yansıtmaktadır. Yükselmiş alfa-fetoprotein, daha büyük tümör boyutu ve bozulmuş karaciğer fonksiyonu gibi klinik faktörler, tümör agresifliğinin iyi tanımlanmış belirteçleridir ve vasküler invazyon ile erken nüksle tutarlı bir şekilde ilişkilendirilmiştir. Daha büyük tümörlerin komşu mikrovaskülatüre invaze etme olasılığı daha yüksekken, yükselmiş AFP daha kötü diferansiyasyon ve daha agresif fenotiplerle ilişkilidir. Dolayısıyla, bu değişkenlerin görüntüleme özellikleriyle entegrasyonu, mikroskobik invazyonun lokal kanıtlarını tümör davranışının daha geniş göstergeleriyle birleştirerek tamamlayıcı bilgiler sağlar. Bu durum, klinik-radyomik modellerin yalnızca daha yüksek havuzlanmış AUC değerleri elde etmekle kalmayıp aynı zamanda belirgin şekilde daha düşük heterojenlik gösterdiği mevcut analizde yansıtılmıştır; bu da farklı çalışma ortamları arasında daha yüksek bir stabiliteye işaret etmektedir.
Peritümöral radyomik özelliklerin öngörücü değerinin mekanistik temeli, tümör-karaciğer ara yüzündeki MVI ile ilişkili patofizyolojik değişikliklerde yatmaktadır. Mikrovasküler invazyon, tümör kenarına komşu portal ven dalları içinde tümör hücresi embolilerinin oluşmasını içerir ve bu durum küçük portal venüllerin kısmi veya tam tıkanıklığına yol açar. Bu tıkanıklık, peritümöral karaciğer parankimine giden portal venöz akışın azalmasıyla sonuçlanır ve buna telafi edici arteriyel hiperperfüzyon eşlik eder; bu fenomen görüntülemede peritümöral arteriyel kontrastlanma veya perfüzyon heterojenliği olarak yansır. Ek olarak, mikroskobik tümör tromboları lokal inflamatuar yanıtları tetikler ve doku mikroarkitektürünü değiştirir; bu durum hücresel yoğunluk, nekroz ve mikrovasküler yoğunluktaki değişiklikleri yansıtan radyomik doku özellikleri tarafından yakalanabilir. Patolojik çalışmalar, bu peritümöral değişikliklerin kaba tümör sınırının ötesine uzandığını göstermiş olup, farklı radyal marjinlere sahip peritümöral bölgelerin radyomik modellere dahil edilmesi için biyolojik bir temel sağlamıştır. Dolayısıyla, dahil edilen çalışmalardaki peritümöral görüntüleme özellikleri ile MVI arasındaki tutarlı ilişki, bu temel vasküler ve mikroyapısal değişikliklere dayanmakta ve kantitatif görüntüleme bulgularına biyolojik makuliyet kazandırmaktadır.
MRI tabanlı modellerde gözlemlenen hafifçe daha yüksek performans, görüntüleme yeteneğindeki bilinen farklılıklarla da tutarlıdır. MRI; tümör farklılaşması ve vasküler invazyon ile ilişkili olan difüzyon, perfüzyon ve hepatosit spesifik kontrast tutulumu gibi multiparametrik değerlendirmelere olanak tanır45. Hepatobiliyer faz hipointensitesi ve peritümöral sinyal değişiklikleri MRI'da daha kolay tespit edilir. Bu özellikler, mikroskobik tümör yayılımıyla ilişkili bozulmuş hepatosit fonksiyonunu ve değişmiş perfüzyonu yansıtır. BT ise temel olarak kontrastlanma paternlerine dayanır ve bu değişikliklere karşı daha az hassastır. Bu durum, BT tabanlı modellerde gözlemlenen daha yüksek değişkenliği açıklayabilir.
Literatürdeki baskın modaliteler oldukları için mevcut derlemenin BT ve MR tabanlı radyomiklere odaklandığını belirtmekte fayda vardır. Bununla birlikte, PET/CT radyomikleri; sadece anatomik veya fonksiyonel MR ile yakalanamayan tümör metabolizması, hipoksi ve biyolojik heterojenliği karakterize ederek MVI öngörüsü için tamamlayıcı bir değer sunabilir. Ortaya çıkan kanıtlar, SUVmax gibi metabolik parametrelerin ve PET'ten elde edilen tekstürel özelliklerin tümör agresifliği ve vasküler invazyon ile ilişkili olabileceğini göstermektedir. Yine de, MVI öngörüsünde PET/CT radyomikleri için kanıt temeli BT ve MR ile karşılaştırıldığında sınırlı kalmaktadır ve bu alan gelecek çalışmalarda daha fazla araştırmayı hak etmektedir. Bu bulguların klinik uygulama, özellikle de hepatosellüler karsinomun preoperatif değerlendirmesi açısından önemli etkileri vardır. Mikro vasküler invazyonun preoperatif olarak tanımlanması zor olmaya devam etmekte olup rezeksiyon, transplantasyon veya lokorejyonel terapi seçimini etkilemektedir. Klinik değişkenleri içeren kantitatif görüntüleme modelleri, rutin görüntüleme ve serum belirteçlerinin ötesinde risk stratifikasyonunu iyileştirebilir. Öngörülen yüksek risk, rezeksiyon düşünülen hastalarda daha geniş cerrahi sınırlar veya daha sıkı postoperatif sürveyansı destekleyebilir. Benzer şekilde, iyileştirilmiş risk stratifikasyonu, özellikle transplant adaylarındaki sınır vakalarda seçim ve listeye alma kararları için yardımcı olabilir.
Bu meta-analizin birincil odağı ayırt edici performans (AUC) olsa da, kalibrasyon ve klinik faydanın gerçek dünyadaki uygulanabilirlik için aynı derecede temel olduğu belirtilmelidir. Hosmer-Lemeshow testi ve kalibrasyon grafikleri gibi kalibrasyon metrikleri, öngörülen ve gözlemlenen riskler arasındaki uyumu değerlendirir ve bilinçli klinik karar verme süreçleri için kritik öneme sahiptir. Karar eğrisi analizi, bir modelin farklı risk eşikleri boyunca kullanımının net faydasını değerlendirir ve bu durum klinik uygulama ile doğrudan ilişkilidir. Ancak, dahil edilen çalışmalar arasında yalnızca küçük bir kısmı kalibrasyon ölçümlerini veya karar eğrisi analizini bildirmiş olup, bu durum önemli bir bilgi boşluğunu temsil etmektedir. Gelecekteki çalışmalar, klinik çeviriyi kolaylaştırmak ve model öngörülerinin hem doğru hem de uygulanabilir olmasını sağlamak için bu metriklerin raporlanmasına öncelik vermelidir.
Gözlemlenen gelecek vadeden performansa rağmen, bu modeller henüz rutin klinik kullanım için hazır değildir. Çalışmaların çoğu retrospektif olarak ve tek merkezli ortamlarda yürütülmüştür; görüntüleme protokollerinde, segmentasyon yöntemlerinde ve model geliştirmede önemli varyasyonlar mevcuttur. Eksternal validasyon sınırlı kalmıştır ve yapıldığı durumlarda validasyon kohortları genellikle küçük veya benzer popülasyonlardan türetilmiştir. Kalibrasyonu, klinik faydayı veya model kullanımının tedavi kararları üzerindeki etkisini değerlendiren çok az çalışma bulunmaktadır. Bu kısıtlamalar; rezeksiyon sınırları, transplant uygunluğu ve sürveyans yoğunluğu ile ilgili kararların güvenilir ve genellenebilir risk tahminleri gerektirdiği klinik uygulamalarda önem taşımaktadır. Ek olarak, merkezler arasındaki görüntü elde etme ve işleme süreçlerindeki değişkenlik model performansını ve tekrarlanabilirliği etkileyebilir, bu da rutin bakıma aktarımı daha da kısıtlayabilir. Mevcut durumda, bu modeller bağımsız araçlar olmaktan ziyade, yerleşik klinik ve görüntüleme değerlendirmelerine yardımcı unsurlar olarak düşünülmelidir. Gelecekteki çalışmalar; prospektif, çok merkezli validasyona, görüntüleme ve analiz yöntemlerinin standardizasyonuna ve bu modellerin kullanımının karar verme sürecini ve hasta sonuçlarını iyileştirip iyileştirmediği dahil olmak üzere klinik faydanın değerlendirilmesine odaklanmalıdır.
Bu çalışmanın birkaç kısıtlılığı bulunmaktadır. Birincisi, coğrafi dağılım oldukça dengesizdir; 26 çalışmanın 23'ü (%88,5) Çin'de, sadece 3'ü Avrupa bölgelerinde gerçekleştirilmiştir. Doğu'daki (viral hepatit kaynaklı) ve Batı'daki (metabolik kaynaklı) HCC arasındaki etiyolojik farklar göz önüne alındığında, bu durum küresel HCC popülasyonlarına genelenebilirliği önemli ölçüde sınırlamaktadır ve Batı alt grubu gerekli minimum örneklem boyutunu (≥10 çalışma) karşılamadığı için bölgelere göre resmi alt grup analizi güvenilir şekilde gerçekleştirilememiştir. İkincisi, birçok çalışma için tam 2 × 2 kontingans verileri mevcut değildi ve eşik değer tanımları önemli ölçüde farklılık gösteriyordu; bu nedenle, temel kantitatif sentez, havuzlanmış eşik değerine bağlı tanısal doğruluk ölçümleri yerine (Özet kısmında sunulduğu gibi) AUC üzerine odaklanmıştır ve dahil edilen tüm 26 çalışma genelinde bu metriklerin kapsamlı bir meta-analizi mümkün olmamıştır. Bunun nedeni, bazı çalışmaların tam kontingans tablolarını atlamış olması ve daha da önemlisi, çalışmalar arasında eşik değer tanımlarında ciddi bir heterojenlik bulunmasıdır; bu durum, eşik etkileri hesaba katılmadan bu metriklerin herhangi bir düzeltilmemiş havuzlamasını metodolojik olarak güvenilmez kılmaktadır. Üçüncüsü, tutarsız raporlama ve alt gruplar arasındaki yetersiz örneklem boyutları nedeniyle (sınıflandırıcı tipi başına yalnızca 1–3 çalışma), tümör çapı, kontrast madde tipi, peritumoral kenar genişliği veya sınıflandırıcı tipine göre katmanlandırılmış ek alt grup analizleri yapılamamıştır; bu da çalışmalar arasındaki önemli heterojenliğin (I2= %77) kaynaklarını araştırma yeteneğini sınırlamıştır. Dördüncüsü, METRICS skorlarının tüm çalışmalar için uygun bir formatta mevcut olmaması, tek bir QUADAS-2 özet kategorisi atamanın doğası gereği öznel olması ve yalnızca 26 çalışma ile çok sayıda kovaryantın yer aldığı bir meta-regresyonun düşük güce sahip olup aşırı öğrenmeye (overfitting) eğilimli olması nedeniyle, yazarlar metodolojik kalite ile model performansı arasındaki ilişkiyi meta-regresyon yoluyla kantitatif olarak inceleyememiştir. Beşincisi, dahil edilen çalışmaların çoğu nispeten küçük örneklem boyutlarına sahip, retrospektif ve tek merkezli çalışmalardır; dış doğrulama ise 26 çalışmanın sadece 9'unda raporlanmış ve doğrulama kohortlarının çoğu benzer kurum ortamlarından türetilmiştir, bu da genelenebilirliği sınırlamaktadır. Görüntüleme protokollerindeki, özellik çıkarım hatlarındaki ve model geliştirme yaklaşımlarındaki değişkenlik, tekrarlanabilirliği daha da etkileyebilir. Altıncısı, tanısal performansın raporlanması tutarsızdır; bazı çalışmalar tam kontingans verilerini, AUC'ler için güven aralıklarını, kalibrasyon metriklerini veya karar eğrisi analizini —ki bunların tamamı gerçek dünyadaki uygulanabilirliği değerlendirmek için gereklidir— atlamıştır ve bu durum önemli bir bilgi boşluğunu temsil etmektedir. Bu kısıtlılıklara rağmen, radyomik tabanlı modellerin iyi tanısal performans göstermesiyle (havuzlanmış AUC 0,85, %95 GA 0,82–0,88) dahil edilen tüm çalışmalarda etkinin yönünün tutarlı olması, temel bulguların sağlamlığını desteklemektedir; klinik-radyomik modellerin yalnızca radyomik modellere kıyasla daha yüksek ve daha tutarlı performansı ile MRI tabanlı modeller için CT tabanlı modellerden daha yüksek havuzlanmış AUC gözlemlenmesi, gelecekteki model geliştirmelerine rehberlik edecek klinik olarak anlamlı içgörüler sunmaktadır. Bununla birlikte, bu kısıtlılıklar, bu modellerin rutin klinik uygulamaya aktarılabilmesi için standart görüntüleme protokollerine sahip, tanısal performans metriklerinin eksiksiz raporlandığı ve kalibrasyon ile klinik faydanın sistematik olarak değerlendirildiği prospektif, çok merkezli doğrulama çalışmalarına olan ihtiyacı vurgulamaktadır.
Yazarların herhangi bir çıkar çatışması yoktur. Dil düzenlemesi, tutarlılık kontrolü ve şekil formatlama işlemleri için düzeltme aşamasında yapay zeka destekli araçlar kullanılmıştır. Yeni bir çalışma verisi oluşturulmamıştır ve tüm bilimsel kararlar, düzeltmeler ve nihai içerik, makalenin tüm sorumluluğunu üstlenen yazarlar tarafından incelenmiş ve onaylanmıştır.
Bu çalışma, Pekin Araştırma Koğuşu Mükemmeliyet Programı (BRWEP; No. BRWEP2024W032240102) tarafından desteklenmiştir.
| Ad | Şirket | Katalog numarası | Yorumlar |
|---|---|---|---|
| Cochrane Library | Wiley | https://www.cochranelibrary.com/ | |
| Cochrane Library | Wiley | https://www.cochranelibrary.com/ | |
| Embase | Elsevier | https://www.embase.com/ | |
| Embase | Elsevier | https://www.embase.com/ | |
| meta R paketi | CRAN | https://cran.r-project.org/package=meta | |
| meta R paketi | CRAN | https://cran.r-project.org/package=meta | |
| metafor R paketi | CRAN | https://cran.r-project.org/package=metafor | |
| metafor R paketi | CRAN | https://cran.r-project.org/package=metafor | |
| Microsoft Excel | Microsoft Corporation | https://www.microsoft.com/microsoft-365/excel | |
| Microsoft Excel | Microsoft Corporation | https://www.microsoft.com/microsoft-365/excel | |
| PRISMA 2020 akış diyagramı şablonu | PRISMA Group | http://www.prisma-statement.org/ | |
| Mplus (kullanıldıysa) | StatModel | https://www.statmodel.com/ | |
| PubMed (MEDLINE) | National Library of Medicine | https://pubmed.ncbi.nlm.nih.gov/ | |
| PRISMA 2020 akış diyagramı şablonu | PRISMA Group | http://www.prisma-statement.org/ | |
| QUADAS-2 aracı | Cochrane | https://www.quadas.org/ | |
| PubMed (MEDLINE) | National Library of Medicine | https://pubmed.ncbi.nlm.nih.gov/ | |
| R yazılımı (versiyon 4.4.1) | R Foundation for Statistical Computing | https://www.r-project.org/ | |
| QUADAS-2 aracı | Cochrane | https://www.quadas.org/ | |
| Rayyan | Qatar Computing Research Institute | https://www.rayyan.ai/ | |
| R yazılımı (versiyon 4.4.1) | R Foundation for Statistical Computing | https://www.r-project.org/ | |
| Web of Science | Clarivate | https://www.webofscience.com/ | |
| Rayyan | Qatar Computing Research Institute | https://www.rayyan.ai/ | |
| Web of Science | Clarivate | https://www.webofscience.com/ |