Yöntem makalesi

Parotis Bezinin Hassas Tanısı İçin Az Sayıdaki Multimodal Derin Öğrenme Çerçevesi

DOI:

10.3791/70231

⸱

8 Mayıs 2026

 ,  ,  ,  ,  ,  , 
1Stomatology Department, The Affiliated Wuxi People's Hospital of Nanjing Medical University, 2Department of Oral and Maxillofacial Surgery, Zhongshan Hospital, Fudan University

Bu makalede

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu makale, manyetik rezonans görüntüleme dizileriyle parotis bezi tümörlerinin doğru sınıflandırılması için birkaç denemeli multimodal derin öğrenme çerçevesi sunmaktadır.

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

İyi huylu ve kötü huylu parotis tümörleri arasında doğru ayrım yapmak hasta prognozu için şarttır. Ancak, parotis tümörlerin yüksek derecede heterojenliği ve görüntüleme verilerinin sınırlı erişilebilirliği nedeniyle, ameliyat öncesi tanı önemli bir zorluk olmaya devam etmektedir. Bu sorunu ele almak için, mevcut çalışma küçük örneklemli öğrenmeye dayalı çok modlu bir derin öğrenme çerçevesi önermektedir. Bu çerçeve, çok dizili MRI bilgilerini entegre eder ve örneklerin sınırlı olduğu durumlarda özellik çıkarımı ve sınıflandırma performansını artırmak için çok ölçekli bir mekânsal dikkat mekanizması içerir. Model, histopatolojik olarak doğrulanmış primer parotis bezi tümörleri (107 iyi huylu, 91 malign) olan ve kurumumuzda tam ameliyat öncesi MRI geçiren, T1 ağırlıklı, T2 ağırlıklı ve difüzyon ağırlıklı görüntüleme dahil olmak üzere tam ameliyat öncesi MR geçiren ve parotis lezyonu için önceden tedavi edilmeden retrospektif olarak toplanan 198 hasta kohortu kullanılarak sistematik olarak değerlendirildi. Kohort, hasta düzeyinde eğitim (%70), doğrulama (%15) ve test (%15) setlerine ayrıldı; bu gruplar iyi huylu ve kötü huylu oranı korumak için tabakalı rastgele örnekleme kullanıldı; böylece karşılıklı alt kümeler sağlandı ve veri sızıntısı önlendi. Model, eğri altı alan (AUC) olarak 0.9822 elde etti. Bu bulgu, sistemin iyi huylu ve kötü huylu tümörleri ayırt etme kapasitesini vurgulamaktadır. Ayrıca, model deneyimli radyologlara kıyasla tanı doğruluğu açısından önemli avantajlar göstermiş ve bu da ameliyat öncesi iyi huylu ve kötü huylu farklılaşma ve parotis tümörler için klinik karar desteğinde potansiyel uygulamasını vurgulamaktadır.

Giriş

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Epidemiyolojik veriler, parotis bezi tümörlerinin görülme oranının arttığını göstermektedir. İnsan vücudundaki en büyük tükürük bezi olan parotisbezi 1, baş ve boyun tümörlerinin yüksek sıklık oranlı bölgelerinden biridir. Parotis bezi tümörleri nispeten nadir olmakla birlikte, baş ve boyun tümörlerinin yaklaşık %5'ini oluştururken, iyi huylu lezyonlar kötü hutlu lezyonları çok daha fazladır ve tüm parotis bezi tümörlerinin yaklaşık %80'inioluşturur 2,3. İyi huylu ve kötü huylu parotis tümörler biyolojik davranış, tedavi stratejileri ve prognozda önemli farklılıklar gösterir. İyi huylu tümörler genellikle yavaş büyür, geniş bir büyüme gösterir ve nadiren metastaz yapar. Tam cerrahi rezeksiyondan sonra olumlu sonuçlar elde edilir. Buna karşılık, kötü huylu tümörler belirgin invaziv büyüme desenleri gösterir ve sık sık yüz siniri, cilt ve kemik gibi çevre dokulara girer. Ayrıca uzak metastaz yapabilirler ve bu da daha kötüprognoza yol açar 4,5.

Buna rağmen, iyi huylu ve kötü huylu parotis tümörler arasında ameliyat öncesi ayırt edilmesi klinik tanısal bir zorluk olmaya devam etmektedir. Spesifik klinik belirtilerin olmaması nedeniyle, çoğu parotis tümörün (malignitesi ne olursa olsun) ilk belirtisi ağrısız bir kitledir ve bu da yalnızca belirti veya semptomlara dayalı olarak farklılaşmayızorlaştırır 6,7. Ağrı veya yüz felci gibi semptomlar genellikle malignitenin potansiyel göstergesi olarak kabul edilse de, erken malign lezyonlarda nadirdir. Buna karşılık, bazı iyi huylu tümörlerde iltihap yanıtları benzer belirtiler gösterebilir. Parotis tümörlerinin ameliyat öncesi değerlendirmesi, öncelikle görüntüleme çalışmalarıyla sağlanır ve bu çalışmalar bu değerlendirme için birincil invaziv olmayan yöntemdir. Ancak, her görüntüleme modalitesinin kendi sınırlamaları olduğunu belirtmek gerekir. Manyetik rezonans görüntüleme (MR), olağanüstü yumuşak doku çözünürlüğü nedeniyle parotis tümörü değerlendirmesi için en uygun yöntem olarak kabul edilir ve çalışmalar, iyi huylu ve kötü huylu lezyonları ayırt etmede maksimum %93 doğrulukgöstermektedir 8. Ancak, geleneksel diziler sinyal özelliklerinde önemli birörtüşme sergiler 9. BT öncelikle kemik tutulumunu değerlendirmek için kullanılır; ancak iyi huylu tümörlerden kötü huylu tümörleri ayırt etme konusunda hassasiyeti MRI ile dahadüşüktür 10,11. Ultrason, yüzeysel lezyonların ön değerlendirmesi için geçerli bir yöntemdir; ancak etkinliği operatörün uzmanlığına bağlıdır12. PET-CT, yüksek metabolik duyarlılığıyla karakterizedir; ancak yüksek maliyeti ve yanlış pozitif oranı nedeniyle ilk tanıda kullanımını sınırlar; bu da kötü huylu tümörlerin evrelenmesi ve takibi için daha uygun hale getirir. Sonuç olarak, tek görüntüleme yöntemleri genellikle kesin teşhis koyamaz; ameliyat öncesi iyi huylu ve kötü huylu lezyonlar arasındaki ayırt genellikle çoklu modal bilgilerin kapsamlı analizine dayanır.

Son yıllarda, özellikle konvolüsyon sinir ağları (CNN) tarafından temsil edilen derin öğrenme (DL) teknolojilerinin alt kümesi olan yapay zeka (AI) alanı, tümör görüntüleme teşhisindeki gelişmelere önemli katkı sağlamıştır. Bunun nedeni, bu teknolojilerin sunduğu güçlü görüntü özelliği çıkarma ve desen tanıma yetenekleridir. Derin öğrenme modelleri, çok katmanlı sinir ağları aracılığıyla karmaşık çok ölçekli özellikleri otomatik olarak çıkarır; bu da manuel özellik tasarımına olan bağımlılığı önemli ölçüde azaltırken tanı performansını artırır. Önemli bir araştırma dizisi bu potansiyelleri çok modlu tıbbi görüntülemede doğrulamıştır. Gu Jionghui ve ark.13 , meme ultrasonu ve MR'ı entegre eden çok modlu bir derin öğrenme sistemi geliştirdi; bu sistem, neoadjuvan kemoterapiye yanıtı etkili şekilde tahmin etti ve geleneksel yöntemleri geride bıraktı. Lu G ve ark.14 , ultrason, mamografi ve MRI görüntülerini transfer öğrenme stratejileriyle entegre ederek iyi huylu ve kötü huylu meme tümörleri arasında kesin bir ayırt gerçekleştirerek 0.947 AUC elde ettiler. Horasan A ve ark.15 , ResNet ve Inception mimarileriyle 3D CNN'ler kullanarak prostat çok parametrik MRI (mpMRI) füzyon analizini yaparak yaklaşık %91,3 doğruluk elde ettiler. Parotis görüntülemede, Zhang G ve ark.16 benign-malign differensiasyon için ultrason ve klinik verileri entegre eden derin öğrenme modeli geliştirdi; Hu X ve Wang H.17 , CT görüntülerine dayalı aResNet50 modeliyle %92,3 sınıflandırma doğruluğu (AUC=0,96) elde etti. Bu çalışmalardan elde edilen toplu kanıtlar, parotis ve diğer katı tümör görüntülerinin analizinde derin öğrenme modellerinin kullanılmasının önemli faydalarını göstermektedir.

Ancak, geleneksel derin öğrenme yöntemleri genellikle optimal performansa ulaşmak için önemli veri setlerine dayanır. Parotis kanseri, düşük insidanslı bir tümör olarak nispeten sınırlıverilere sahiptir 18. Ayrıca, parotis tümörler yüksek görüntüleme heterojenliği gösterir; bu durum sinyal yoğunluğu, morfolojik yapı ve çevredeki bez dokusuyla ilişkilerde karmaşık değişikliklerle işaret edilir. Bu özellikler, küresel tümör morfolojisi ve sınır tanımı gibi çeşitli mekansal ölçekleri kapsar; ayrıca iç sinyal heterojenliği ve infiltratif desenler gibi yerel özellikler içerir; bu da tek ölçekli veya basit özellik çıkarma yöntemlerinin iyi huylu ve kötü huylu lezyonlar arasındaki temel ayrımları tam olarak yakalamasını zorlaştırır. Ayrıca, önceki çalışmalar genellikle tek MRI dizilerine (örneğin, yalnızca yapısal veya fonksiyonel görüntüleme) dayanmıştır; bu da tümör özelliklerinin kapsamlı temsillerini elde etme yeteneğini sınırlamaktadır; öncekiçalışmalarda bildirildiği gibi, 19,20.

Bu zorlukları ele almak için, çok dizili MRI ve çok ölçekli bir mekansal dikkat mekanizmasını entegre eden küçük örneklemli multimodal derin öğrenme çerçevesinin, sınırlı veri koşullarında iyi huylu ve kötü huylu parotis tümörleri etkili bir şekilde ayırt edebileceğini ve geleneksel yaklaşımları ve radyolog değerlendirmesini geride bırakabileceğini öne sürdük. Özellikle, bu çerçeve, sınırlı sayıda temsilci iyi huylu ve kötü huylu vakadan ayırtıcı özellikleri öğrenmek için birkaç atışlı öğrenme21 stratejisi kullanır. Model, önemli lezyon bölgelerine odaklanmak için mekânsal dikkat mekanizması kullanır ve böylece modelin iyi huylu ve kötü huylu parotis tümörleri ayırt etme doğruluğunu artırır. Model, kurumumuzda patolojik olarak doğrulanmış parotis bezi tümörleri olan 198 hastadan oluşan retrospektif bir kohort kullanılarak değerlendirildi. Bu çalışma, morfolojik ve fonksiyonel bilgileri desteklemek için yapısal (T1WI, T2WI) ve fonksiyonel (DWI) MRI dizilerini entegre etmektedir. Önerilen çerçeve, iyi huylu ve kötü huylu parotid tümörler arasında ameliyat öncesi ayırt edilmesini kolaylaştırmak için tasarlanmıştır.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Protokol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışmada kullanılan tüm hasta verileri yalnızca Wuxi Halk Hastanesi'nde toplanmış ve patolojik olarak doğrulanmış 198 parotis tümör vakasından oluşmaktadır. Bu çalışma, Wuxi Halk Hastanesi Kurumsal İnceleme Kurulu (IRB No. KY24068) ve kurumsal yönergeler ile uluslararası etik standartlara tam uyum sağlayarak yürütülür. Tüm veriler analiz öncesinde tamamen anonimleştirildi.

MRI Görüntü Alımı

Tüm MRI dizileri (T1 ağırlıklı görüntüleme, T2 ağırlıklı görüntüleme ve difüzyon ağırlıklı görüntüleme) 16 kanallı baş ve boyun bobini kullanılarak 3.0 Tesla MRI tarayıcısında (Siemens MAGNETOM Verio veya Prisma) alındı. Edinim parametreleri şöyleydi: T1 ağırlıklı görüntüler TR/TE = 500/15 ms, dilim kalınlığı = 3 mm, matriks = 256 × 256, görüş alanı = 240 mm ile elde edildi; T2 ağırlıklı görüntüler TR/TE = 4000/90 ms, dilim kalınlığı = 3 mm, matriks = 320 × 320, görüş alanı = 240 mm ile alındı; Difüzyon ağırlıklı görüntüler TR/TE = 5000/80 ms, b-değerleri = 0 ve 1000 s/mm 2, dilim kalınlığı = 3 mm, matriks = 128 × 128, görüş alanı = 240 mm ile elde edildi; görünür difüzyon katsayısı haritaları otomatik olarak oluşturuldu. Tüm diziler, kesim arası boşluk olmadan eksenel düzlemde alınmıştır.

Çalışma Tasarımı

Bu retrospektif çalışma, histopatolojik olarak doğrulanmış primer parotis bezi tümörlerine sahip 198 hastanın ameliyat öncesi MRI verilerini analiz etti (107 iyi huylu ve 91 kötü huylu). Tüm hastalar kurumumuzda tam parotid MRG muayenelerinden geçti; bunlar arasında T1 ağırlıklı görüntüleme, T2 ağırlıklı görüntüleme ve difüzyon ağırlıklı görüntüleme dizileri bulundu ve parotis lezyonu için önceden tedavi yapılmadı. Referans standardı olarak cerrahi rezeksiyon örnekleri veya çekirdek biyopsisi kullanın. Dahil etme kriterleri, histopatolojik olarak doğrulanmış primer parotid bez tümörü, kurumumuzda gerekli tüm dizileri içeren ameliyat öncesi MRI ve parotis lezyonu için önceden ameliyat, radyoterapi, kemoterapi veya ablasyon yapılmamasıydı. Dışlama kriterleri arasında parotis bezine metastatik tümörler, görüntüleri tanı koymayan belirgin hareket artefaktları veya eksik diziler ve önceki tedavi sonrası tekrarlayan tümörler yer alıyordu. Genel kohort, yaşları 26 ile 89 yaş arasında değişen 118 erkek (%59,6) ve 80 kadından (%40,4) oluşuyordu (ortalama ± SD 53,0 ± 12,8 yıl) ve tümör tipine göre demografik özellikler şu şekildeydi: iyi huylu grup (n=107), 59 erkek (%55,1) ve 48 kadın (%44,9), yaş aralığı 28–87 (ortalama ± SD 54,2 ± 12,1 yıl), ve kötü huylu grup (n=91) 59 erkek (%64,8) ve 32 kadın (%35,2), yaş aralığı 26–89 (ortalama SD ± 51,6 ± 13,4 yıl); 198 hastayı eğitim (%70), doğrulama (%15, N=30) ve test (%15, N=30) setlerine ayırmak için katmanlı rastgele örnekleme yaklaşımı uygulanmış, tüm alt setlerde iyi huylu ve kötü huylu oranı korurken (doğrulama ve test setleri her biri 16 iyi huylu ve 14 kötü huylu vaka içeriyordu), bölünme ise dilim veya görüntü başına değil, hasta düzeyinde gerçekleştirilmiştir. Tüm eğitim, doğrulama ve test setlerinin birbirini dışlamasını, aralarında hasta örtüşmemesini sağlayarak veri sızıntısını önleyecek ve model genellenebilirliğinin tarafsız değerlendirilmesini sağladı.

Veri ön işleme

Çalışma, tüm MRI görüntülerinde standart ön işlemeyi dört ana adımla uyguladı: görüntü kaydı ve yeniden örnekleme, ses verme, veri artırma ve normalizasyon. MRI protokolleri ve hasta konumlandırmasındaki farklılıkları gidermek için, tüm T1WI, T2WI ve DWI hacimleri önce referans uzayı olarak T1WI dizisine katı şekilde kaydedildi ve trilinear interpolasyon kullanılarak izotropik 1mm 3 çözünürlükte yeniden örneklendi. Daha sonra tüm kayıtlı hacimlerde Yerel Olmayan Ortalamalar (NLM)algoritması 22 kullanılarak ses giderme işlemi yapıldı; yumuşatma parametresi otomatik olarak tahmini gürültü standart sapmasının 0,8 katı olarak ayarlandı, arama penceresi 21×21×21 voxel ve benzerlik penceresi 7×7×7 voxel olarak belirlendi. Bu yaklaşım, önemli yapısal detayları korurken rastgele gürültüyü etkili bir şekilde azaltır. Daha sonra, etkili eğitim örneklem boyutunu genişletmek, model genellemesini iyileştirmek ve sınırlı veri setinde aşırı uyumu azaltmak için, rastgele dönüş (±15°) ve rastgele ölçeklendirme (0.9–1.1)23,24 dahil olmak üzere birden fazla veri artırma stratejisi her eğitim döneminde yalnızca eğitim seti görgelerine uygulandı ve tüm dönüşümler tam tekrarlanabilirlik için sabit rastgele 42 tohum kullanılarak üretildi; Doğrulama ve test setleri, nesnel model değerlendirmesini sağlamak için artırılmamış kaldı. Son olarak, farklı tarama cihazları ve oturumlar arasında sinyal yoğunluğundaki sistematik değişimleri ortadan kaldırmak için, her hacme ortalama çıkarılarak ve standart sapmaya bölünerek Z-skoru normalizasyonu uygulandı; ardından normalize edilmiş piksel değerleri, PyTorch derin öğrenmeçerçevesi 25'in giriş gereksinimlerini karşılamak için [0, 1] aralığına doğrusal olarak ölçeklendirildi.

Model mimarisi

Mevcut çalışma, birden fazla MRI dizisinden (T1 ağırlıklı görüntüleme, T2 ağırlıklı görüntüleme ve difüzyon ağırlıklı görüntüleme) tamamlayıcı bilgileri entegre eden ve sınırlı örneklem koşullarında özellik temsili ve sınıflandırma performansını artırmak için çok ölçekli bir mekânsal dikkat mekanizması içeren çok ölçekli bir mekânsal dikkat mekanizması içeren birkaç atış öğrenmeye dayalı çok modlu bir derin öğrenme çerçevesi önermektedir. Tüm MRI hacimleri aynı tarayıcıda eksenel düzlemde alındı; Girdiden önce, dizileri aralarında mekansal hizalanmayı sağlamak için katı kayıtlardan geçtiler; hizalama kalitesi kıdemli bir radyolog tarafından manuel olarak doğrulandı ve parotid lezyonu merkezli tam 3D hacimler standart bir ilgi alanına kırpıldı, izotropik çözünürlükle yeniden örneklendi ve tutarlı boyutlara yeniden boyutlandırıldı. Birkaç atış öğrenme paradigması, çok ölçekli mekansal dikkat modülü ve kanal bazında birleştirme yoluyla çapraz modal özellik birleşimini birleştirerek, çerçeve, veri kıtlığı olan ortamlarda model genellemesiyle ilgili zorlukları ele alır ve az sayıda açıklamalı örnekten ayırt edici özelliklerin sağlam öğrenilmesini sağlar; tam mimari Şekil 1'de gösterilmiştir. Veri seti 198 hastayı içerse de, parotis tümörlerin yüksek görüntüleme heterojenliği göstermesi ve annotasyonlu hacimsel multimodal verilerin görev karmaşıklığına göre nispeten sınırlı kalması nedeniyle az sayıda hasta içeren birkaç enjeksiyon yaklaşımı benimsenmiştir; böylece nadir etiketlenmiş örneklerle gerçek dünya klinik senaryolarını daha iyi simüle eder; karşılaştırma için geleneksel denetimli eğitim yaklaşımı da değerlendirilmiş ve az atışlı konfigürasyonun avantajları Sonuçlar bölümündeki ablasyon çalışmalarında gösterilmiştir. Omurga ağı, her MRI dizisi için paylaşılan ağırlık özellik çıkarıcısı olarak Kinetics-400 üzerinde önceden eğitilen R3D-1826'yı (tam uzaylı-zaman konvolüsyonlara sahip 3D ResNet-18 varyantı) kullanır; Adaptasyon sırasında, prototipik bir ağ başlığı birkaç atış sınıflandırma için kullanılır; çok ölçekli mekânsal dikkat modülü, her modalite-spesifik dalın konvolüsyon aşamalarını takip ederek eklenir, ardından çapraz modal füzyon ve ortak sınıflandırıcı gelir. Önerilen çok ölçekli uzaysal dikkat mekanizmasının yeniliği, 1×1, 3×3 ve 5×5 çekirdek boyutlarına sahip paralel konvolüsyon yolların kullanılmasında yatmaktadır; burada her yol bağımsız olarak farklı bir alıcı alanda uzamsal dikkat haritası üretir ve bu harita daha sonra softmax kullanılarak normalleştirilir ve ağırlıklı toplam yoluyla giriş özellikleriyle adaptif şekilde birleştirilir; Bu tasarım, iç sinyal heterojenliği gibi ince yerel detaylardan tümör kenarları ve çevre dokularla arayüzler gibi daha geniş bağlamsal yapılara kadar birden fazla mekansal ölçekte lezyon özelliklerini açıkça yakalıyor ve geleneksel dikkat modüllerine kıyasla üstün performans sağlıyor. İnce ayar stratejisi iki aşamada ilerler: başlangıçta, önceden eğitilmiş R3D-18 omurga katmanları genel uzaylı-zaman temsillerini korumak için dondurulurken, sadece dikkat modülleri, füzyon katmanları ve prototipik kafa eğitilir; sonrasında, her omurgadan son iki kalıntı bloğu (katman3 ve katman4) çözülerek MR'a özgü hacimsel özelliklere uçtan uca uyum sağlanır. Eğitim, Adam optimizörü kullanılarak gerçekleştirildi ve başlangıç öğrenme oranı 0.0001 oldu; bu oran her 20 dönemde bir adım azalma zamanlamasıyla 0.1 kat azaltıldı; model, standart birkaç atış protokolünü 2 yönlü K-shot konfigürasyonunda (birincil meta-eğitim ve değerlendirme sırasında K=5 olarak) takip ederek 8 bölümlük parti boyutuyla 100 epizodik eğitim geçirdi; tüm deneyler 24 GB belleğe sahip yüksek performanslı bir GPU üzerinde gerçekleştirildi ve veri bölümleme, ağırlık başlatma ve artırma boyunca tam tekrarlanabilirlik sağlamak için sabit rastgele 42 tohum uygulandı.

Parotis Bezi Tümörü Sınıflandırması için Birkaç Atış Öğrenme Görevi Paradigması

Parotis bezi tümörleri için yüksek kaliteli notasyonlu verilerin sınırlı bulunabilirliği ve bu lezyonların yüksek görüntüleme heterojenliği göz önüne alındığında, bu çalışma genel veri seti 198 hastadan oluşmasına rağmen metrik tabanlı birkaç enjeksiyon öğrenme paradigmasını benimsemektedir. Destek kümesi–sorgu seti görev yapısı, klinik uygulamada tanısal akıl yürütme sürecini simüle etmek için kullanılır; burada nadir veya heterojen tümör alt tipleri için genellikle çok az sayıda temsilci örnek mevcuttur. Her eğitim görevi, N-yolla K-shot formatında tanımlanır (N=2, iyi huysuz/kötü niyetli sınıflandırmaya karşılık gelir), böylece model az sayıda örnekten ayırt edici özellik temsillerini öğrenebilir. Özellikle, her görev için destek kümesi sınıf başına K çok modlu örnek (T1 ağırlıklı görüntüleme, T2 ağırlıklı görüntüleme ve difüzyon ağırlıklı görüntüleme) içerirken, sorgu kümesi sınıflandırılacak örnekleri içerir. Model, gömüme alanındaki sorgu örneklem özellikleri ile sınıf prototipleri arasındaki benzerliği hesaplayarak mesafe metriklerine dayalı sınıflandırma kararları alır. Bu öğrenme mekanizması, modeli büyük ölçekli açıklamalı verilere bağımlılıktan kurtarma yeteneğiyle dikkat çeker ve böylece veri sıkıntısı olan klinik ortamlarda pratik uygulamalar için daha uygun hale getirir. Doğrudan karşılaştırma için, epizodik az atış örnekleme olmadan tam eğitim setini kullanan geleneksel denetimli eğitim yaklaşımı da değerlendirilmiş ve sınırlı örneklem koşullarında genelleme ve stabilite açısından birkaç atış konfigürasyonunun avantajları, Sonuçlar bölümünde sunulan ablasyon çalışmalarında nicel olarak gösterilmiştir.

Sınıflandırma aşamasında, bu çalışma sınıflandırıcı olarak prototipik bir ağ kullanır. Destek kümesindeki her kategori c için, p_c prototip vektör gömülü destek örneklerinin ortalaması olarak hesaplanır:

figure-protocol-1(1)

burada f(·) göme fonksiyonunu (özellik çıkarıcı) gösterir, figure-protocol-2 kategori c'nin i-ci destek örneğidir ve K, sınıf başına çekim sayısıdır.

Verilen bir sorgu örneği x için, kategori c'ye ait olma olasılığı, negatif Öklid mesafeleri üzerindeki softmax fonksiyonu kullanılarak hesaplanır:

figure-protocol-3(2)

burada d(·, ·) Öklid mesafe fonksiyonunu temsil eder.

Çok Modal Özellik Birleşimine Dayalı Mimari

Çok dizili MRI verilerinin tamamlayıcı değerinden tam olarak yararlanmak için, bu çalışma T1 ağırlıklı görüntüleme (T1WI), T2 ağırlıklı görüntüleme (T2WI) ve difüzyon ağırlıklı görüntüleme (DWI) dizilerini ayrı ayrı işleyen üç dallı özellik füzyon ağı tasarladı. Her dizis önce Kinetics-400 veri setinde önceden eğitilmiş paylaşılan ağırlıkta R3D-18 modeli kullanılarak özellik çıkarımından geçer; ağırlıklar resmi PyTorch TorchVision uygulamasından elde edilir; Adaptasyon sırasında, önceden eğitilmiş omurganın tüm katmanlarının başlangıçta sabit tutulduğu, genel mekansal zamansal temsillerin korunması için iki aşamalı ince ayar stratejisi uygulandı; ancak yalnızca çok ölçekli uzaysal dikkat modülleri, çapraz modal füzyon katmanları ve prototipik ağ başlığı eğitildi; ardından her omurgadan son iki kalıntı bloğu (katman3 ve katman4) MR'a özgü hacimsel özelliklere uçtan uca uyum sağlamak için çözüldü. önceki katmanlar (katman1 ve katman2) ise antrenman boyunca donmuş kalıyor. Bu ağ, tümörün hacimsel morfolojisini ve mekansal bağlamsal bilgiyi etkili bir şekilde yakalamak için uzamsal ve zaman boyutları arasında kayan 3D konvolüsyon çekirdekleri kullanır. Özellik birleşmesi sırasında, üç modalitenin dikkat artırılmış özellik temsillerinin kanal boyutu boyunca birleştirilerek kapsamlı bir multimodal özellik vektörü oluşturulduğu birleştirme tabanlı çapraz modal bir strateji uygulanır. Bu füzyon yaklaşımı, her bir modalitenin benzersiz bilgilerini—T1WI'nin anatomik berraklığı, T2WI'nin doku bileşimi hassasiyeti ve DWI'nin hücresel yoğunluk işlevselliği—korur ve tanı bilgisinin etkin tamamlayıcılığını sağlar; böylece özellik ifade zenginliğini ve ayırt edici gücünü önemli ölçüde artırır.

Çok Ölçekli Mekansal Dikkat Mekanizması

Bu çalışma, farklı uzamsal ölçeklerde lezyon özelliklerini yakalamak için çok ölçekli bir mekânsal dikkat modülü içermektedir. Şekil 2'de gösterildiği gibi, modül 1×1, 3×3 ve 5×5 çekirdek boyutlarına sahip paralel konvolüsyon yollar kullanır. Her yol bağımsız olarak bir uzamsal dikkat haritası üretir; bu harita softmax kullanılarak normalleştirilir ve ardından ağırlıklı toplamlama yoluyla giriş özellikleriyle adapte edilebilir şekilde birleştirilir. Bu tasarım, modelin iyi huylu ve kötü huylu lezyonları ayırt etmek için daha ilgili bölgelere odaklanmasını sağlarken, alakasız arka plan alanlarının etkisini azaltır. Ortaya çıkan dikkat haritaları, görüntülerde ilgi alanlarını vurgulamaya yardımcı olabilir.

VERİ ERIŞILEBILIRLIĞI:

Çalışma kohortundan tamamen anonimleştirilmiş çok modlu MRI dizilerinin (T1WI, T2WI, DWI) temsilci bir alt kümesi, Zenodo deposunda şu adreste kamuya açık olarak mevcuttur: https://doi.org/10.5281/zenodo.17744149 (Versiyon v1). Bu veriler, erişim kısıtlaması olmadan Creative Commons Attribution 4.0 International (CC-BY 4.0) lisansı altında paylaşılmaktadır. Tam anonimleştirilmiş veri seti henüz kamuya açık değildir ve bu makalenin resmi yayımlanmasının ardından kurumsal ve etik onaya bağlı olarak deponun sonraki bir versiyonunda yayımlanacaktır.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Sonuçlar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Model Performansı Genel Bakış

Modelin tanısal performansını değerlendirmek için doğruluk, hassasiyet, hatırlama ve F1 puanı gibi standart metrikler seti kullanıldı. 2-yollu 5-atış konfigürasyonu altında, R3D-18 tabanlı multimodal az atışlı öğrenme modeli, parotid bez tümörlerinin sınıflandırılması için test setinde şu sonuçları elde etti: doğruluk %96,88, hassasiyet %97,50, geri çağırma %96,88 ve F1 puanı %96,83. Şekil 3A'...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Tartışma

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışmada, çok dizili MRI (T1 ağırlıklı, T2 ağırlıklı ve difüzyon ağırlıklı görüntüleme) ile çok ölçekli uzamsal dikkat mekanizmasını entegre eden multimodal birkaç deneme derin öğrenme çerçevesinin, sınırlı açıklamalı veri koşullarında iyi huylu ve kötü huylu parotis bezi tümörlerini doğru şekilde ayırt edebileceğini ve hem geleneksel derin öğrenme yaklaşımlarını hem de deneyimli radyologları geride bırakabileceğini öne sürdük.

Deneysel sonuçlar bu hipotez...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Açıklamalar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar, rekabet eden finansal veya finansal olmayan çıkarlar belirtmemektedir.

Teşekkürler

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu araştırma, Çin Ulusal Doğa Bilimleri Vakfı (No.82473200), Jiangsu İl Sağlık Komisyonu'nun Ana Tıbbi Araştırma Projesi (No.K2023061) ve Jiangsu Eyalet Sağlık Komisyonu'nun YJH'ye yönelik yaşlı sağlığı (KLM2023019) projesi tarafından finanse edilmiştir

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
Grad-CAMhttps://github.com/jacobgil/pytorch-grad-cam
NumPy 1.25NumPy Geliştiricilerihttps://numpy.org/
pandas 2.1Pandas Geliştiricilerihttps://pandas.pydata.org/
PycharmJetBrainshttps://www.jetbrains.com/zh-cn/pycharm/
Python 3.10Python Yazılım Vakfıhttps://www.python.org/
PyTorch 2.1Meta Platforms, Inc.https://pytorch.org/
scikit-learn 1.3Scikit-learn Geliştiricilerihttps://scikit-learn.org/
SHAPhttps://github.com/slundberg/shap
Siemens MAGNETOM Prisma 3.0T Manyetik Rezonans Görüntüleme SistemiSiemens Healthineershttps://www.siemens-healthineers.cn/magnetic-resonance-imaging/3t-mri-scanner/magnetom-prisma

Kaynaklar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Liu, X., Pan, Y., Zhang, X., Sha, Y., Wang, S., et al. A Deep Learning Model for Classification of Parotid Neoplasms Based on Multimodal Magnetic Resonance Image Sequences. Laryngoscope. 133 (2), 327-335 (2023).
  2. Moore, M. G., Yueh, B., Lin, D. T., Bradford, C. R., Smith, R. V., et al. Controversies in the Workup and Surgical Management of Parotid Neoplasms. Otolaryngol Head Neck Surg. 164 (1), 27-36 (2021).
  3. Gautam, S. K., Kumar, S., Singh, H. P., Singh, A. B., Chandra, M. Clinico-Pathological Profile of Parotid Gland Tumors at a Tertiary Care Center in North India. Natl J Maxillofac Surg. 14 (3), 438-443 (2023).
  4. Alshammari, A., Aljufairi, E., Alsayed, A. Oncocytic Mucoepidermoid Carcinoma of the Parotid Gland: Case Report. J Surg Case Rep. 2022 (4), rjac039(2022).
  5. Thielker, J., Grosheva, M., Ihrler, S., Wittig, A., Guntinas-Lichius, O. Contemporary Management of Benign and Malignant Parotid Tumors. Front Surg. 5, 39(2018).
  6. Davachi, B., Imanimoghaddam, M., Majidi, M. R., Sahebalam, A., Johari, M., et al. The Efficacy of Magnetic Resonance Imaging and Color Doppler Ultrasonography in Diagnosis of Salivary Gland Tumors. J Dent Res Dent Clin Dent Prospects. 8 (4), 246-250 (2014).
  7. Pedicelli, A., Trombatore, P., Bartolo, A., Camilli, A., Rossi, E. D., et al. Preoperative Direct Puncture Embolization of Castleman Disease of the Parotid Gland: A Case Report. Curr Oncol. 31 (4), 2047-2056 (2024).
  8. Paris, J., Facon, F., Pascal, T., Chrestian, M., Moulin, G., et al. Preoperative Diagnostic Values of Fine-Needle Cytology and MRI in Parotid Gland Tumors. Eur Arch Otorhinolaryngol. 262 (1), 27-31 (2005).
  9. Yologlu, Z., Aydin, H., Alp, N. A., Aribas, B. K., Kizilgoz, V., et al. Diffusion-Weighted Magnetic Resonance Imaging in the Diagnosis of Parotid Masses: Preliminary Results. Saudi Med J. 37 (12), 1412-1417 (2016).
  10. Stoia, S., et al. Cross-Sectional Imaging and Cytologic Investigations in the Preoperative Diagnosis of Parotid Gland Tumors: An Updated Literature Review. Bosn J Basic Med Sci. 21 (1), 19-32 (2021).
  11. Christe, A., Waldherr, C., Hallett, R., Zbaeren, P., Thoeny, H. MR Imaging of Parotid Tumors: Typical Lesion Characteristics Improve Discrimination Between Benign and Malignant Disease. Am J Neuroradiol. 32 (7), 1202-1207 (2011).
  12. Li, L., Zhao, Y., Luo, D., Yang, L., Hu, L., et al. Diagnostic Value of Single-Source Dual-Energy Spectral Computed Tomography in Differentiating Parotid Gland Tumors: Initial Results. Quant Imaging Med Surg. 8 (6), 588-596 (2018).
  13. Gu, J., Zhong, X., Fang, C., Lou, W., Fu, P., et al. Deep Learning of Multimodal Ultrasound: Stratifying the Response to Neoadjuvant Chemotherapy in Breast Cancer Before Treatment. Oncologist. 29 (2), e187-e197 (2024).
  14. Lu, G., Tian, R., Yang, W., Liu, R., Liu, D., et al. Deep Learning Radiomics Based on Multimodal Imaging for Distinguishing Benign and Malignant Breast Tumors. Front Med. 11, 1402967(2024).
  15. Horasan, A., Güneş, A. Advancing Prostate Cancer Diagnosis: A Deep Learning Approach for Enhanced Detection in MRI Images. Diagnostics. 14 (14), 1871(2024).
  16. Zhang, G., et al. A Deep Learning Model for the Differential Diagnosis of Benign and Malignant Salivary Gland Tumors Based on Ultrasound Imaging and Clinical Data. Quant Imaging Med Surg. 13 (5), 2989-3000 (2023).
  17. Hu, Z., Wang, B., Pan, X., Cao, D., Gao, A., et al. Using Deep Learning to Distinguish Malignant from Benign Parotid Tumors on Plain Computed Tomography Images. Front Oncol. 12, 919088(2022).
  18. Khodabakhshi, Z., et al. MRI-Based Radiomics for Predicting Histology in Malignant Salivary Gland Tumors: Methodology and Proof of Principle. Sci Rep. 14 (1), 9945(2024).
  19. Sreecharan, V., et al. Multiparametric MRI in Diagnosis of Parotid Gland Tumor: An Observational Study in 3-T MRI. Indian J Radiol Imaging. 35 (2), 402-410 (2024).
  20. Chang, Y. J., Huang, T. Y., Liu, Y. J., Chung, H. W., Juan, C. J. Classification of Parotid Gland Tumors by Using Multimodal MRI and Deep Learning. NMR Biomed. 34 (8), e4408(2021).
  21. Parnami, A., Lee, M. Learning from Few Examples: A Summary of Approaches to Few-Shot Learning. ArXiv. abs/2203.04291, (2022).
  22. Buades, A., Coll, B., Morel, J. M. A Non-Local Algorithm for Image Denoising. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 2, 60-65 (2005).
  23. Maharana, K., Mondal, S., Nemade, B. A Review: Data Pre-Processing and Data Augmentation Techniques. Global Transitions Proceedings, 3, 91-99 (2022).
  24. Mumuni, A., Mumuni, F. Data augmentation: A comprehensive survey of modern approaches. Array. 16, 100258(2022).
  25. Au, R. C., Tan, W. C., Bourbeau, J., Hogg, J. C., Kirby, M. Impact of Image Pre-Processing Methods on Computed Tomography Radiomics Features in Chronic Obstructive Pulmonary Disease. Phys Med Biol. 66 (24), 245015(2021).
  26. Tran, D., Wang, H., Torresani, L., Ray, J., LeCun, Y., et al. A Closer Look at Spatiotemporal Convolutions for Action Recognition. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, , 6450-6459 (2017).
  27. He, K., Zhang, X., Ren, S., Sun, J. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 770-778 (2016).
  28. Huang, G., Liu, Z., Van Der Maaten, L., Weinberger, K. Q. Densely Connected Convolutional Networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 2261-2269 (2017).
  29. Xie, S., Girshick, R., Dollár, P., Tu, Z., He, K. Aggregated Residual Transformations for Deep Neural Networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), , 5987-5995 (2017).
  30. Snell, J., Swersky, K., Zemel, R. Prototypical Networks for Few-Shot Learning. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing System, , 4080-4090 (2017).
  31. Zhou, F., Wang, P., Zhang, L., Wei, W., Zhang, Y. Revisiting Prototypical Network for Cross-Domain Few-Shot Learning. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), , 20061-20070 (2023).
  32. Li, T., et al. Automated Diagnosis of Major Depressive Disorder With Multi-Modal MRIs Based on Contrastive Learning: A Few-Shot Study. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 32, 1566-1576 (2024).
  33. Liu, Q., Tian, Y., Zhou, T., et al. A Few-Shot Disease Diagnosis Decision Making Model Based on Meta-Learning for General Practice. Artif Intell Med. 147, 102718(2024).
  34. Jiao, S., et al. Multi-Modal Contrastive Learning for Medical Image Classification with Limited Training Data. 2024 International Conference on Machine Learning and Applications (ICMLA), , 1083-1088 (2024).
  35. Ouahab, A., Ahmed, O. B. ProtoMed: Prototypical Networks with Auxiliary Regularization for Few-Shot Medical Image Classification. Image and Vision Computing. 154, 105337(2025).
  36. Wang, L., Uddin, I. I., Santosh, K. C. Expert-Guided Explainable Few-Shot Learning with Active Sample Selection for Medical Image Analysis. IEEE Journal of Biomedical and Health Informatics. , (2025).
  37. Hu, J., Shen, L., Sun, G. Squeeze-and-Excitation Networks. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, , 7132-7141 (2018).
  38. Woo, S., Park, J., Lee, J. Y., Kweon, I. S. CBAM: Convolutional Block Attention Module. Computer Vision – ECCV 2018: 15th European Conference, Munich, Germany, September 8–14, 2018, Proceedings, Part VII, , 3-19 (2018).
  39. Wang, Q., et al. ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), , 11534-11542 (2020).
  40. Misra, D., et al. Rotate to Attend: Convolutional Triplet Attention Module. 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), , 3138-3147 (2021).
  41. Selvaraju, R. R., Cogswell, M., Das, A., Vedantam, R., Parikh, D., et al. Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization. 2017 IEEE International Conference on Computer Vision (ICCV), , 618-626 (2017).
  42. Wang, S., Zhang, Y. Grad-CAM: Understanding AI Models. Computers, Materials & Continua. 76 (2), 1321-1324 (2023).
  43. Lundberg, S. M., Lee, S. I. A Unified Approach to Interpreting Model Predictions. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems, , 4768-4777 (2017).

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Yeniden basım ve izinler

Bu JoVE makalesinin metnini veya şekillerini yeniden kullanmak için izin iste

İzin iste

Etiketler

Few Shot LearningParotid Gland TumorsMRI DiagnosisSpatial AttentionTumor ClassificationBenign Malignant DifferentiationSmall Sample LearningClinical Decision Support

İlgili makaleler