Araştırma makalesi
Bu çalışma, MobileNetV2, EfficientNetV1 ve Inception-ResNet-V2 ile transfer öğrenme kullanarak MRI görüntülerinden dört sınıflı beyin tümörü sınıflandırması için hafif dikkat odaklı derin öğrenme çerçevesi sunmaktadır. Model, düşük hesaplama karmaşıklığıyla yüksek sınıflandırma doğruluğu sağlar ve kaynak kısıtlı klinik karar destek uygulamalarını destekler.
Bu araştırmanın amacı, manyetik rezonans görüntüleme (MR) verilerini kullanarak beyin tümörlerini dört kategoriye ayırmak için hafif ama doğru bir derin öğrenme çerçevesi geliştirmektir—gliomlar, menenjiomlar, hipofiz tümörleri ve sağlıklı beyin dokusu. Önerilen metodoloji, transfer öğrenmesini—MobileNetV2, EfficientNetV1 ve Inception-ResNet-V2—önceden eğitilmiş üç konvolüsyon sinir ağı modeliyle birleştiriyor ve insan görme sisteminin bir görüntünün klinik olarak ilgili bölgelerine odaklanma yeteneğini taklit eden bir dikkat mekanizmasıyla entegre ediyor. Bu dikkat odaklı yaklaşım, tümör lokalizasyonunu artırırken alakasız arka plan bilgisini bastırır. Çerçeve, dört sınıf boyunca binlerce etiketlenmiş görüntü içeren büyük, halka açık bir beyin MRI veri seti üzerinde değerlendirilir. Önerilen yöntemin doğrudan çoğaltılmasına olanak sağlamak için standart ön işleme, veri artırma ve eğitim protokolleri kullanılır. Deneysel sonuçlar, EfficientNetV1'in en yüksek sınıflandırma performansına ulaştığını ve hem MobileNetV2 hem de Inception-ResNet-V2'ye kıyasla üstün doğruluk sağladığını göstermektedir. Çalışma, önerilen hafif ve dikkat temelli çerçevenin doğruluk ve hesaplama karmaşıklığını etkili bir şekilde dengelediğini, özellikle kaynak kısıtlı ortamlarda gerçek zamanlı ve mobil sağlık uygulamaları için son derece uygun hale getirdiğini sonucuna varıyor.
Manyetik rezonans görüntüleme (MR) kullanılarak beyin tümörlerinin doğru sınıflandırılması, klinik tanı, tedavi planlaması ve prognoz tahmininde kritik bir roloynar 1. Glioma, menenjiom ve hipofiz tümörleri dahil olmak üzere beyin tümörleri, belirgin patolojik özellikler ve tedavi yanıtları gösterir; Bu nedenle, erken ve güvenilir teşhis, terapötik sonuçları iyileştirmek ve hastalık ilerlemesini azaltmak için gereklidir. MR, üstün yumuşak doku kontrastı, invaziv olmayan yapısı ve birden fazla anatomik düzlemde tümör morfolojisini görselleştirme yeteneği nedeniyle beyin tümörü değerlendirmesinde yaygın olarak tercih edilir. Ancak, MRI taramalarının manuel yorumlanması genellikle zaman alıcıdır ve özellikle tümör sınırları düzensiz olduğunda veya tümör sınıfları arasında görsel benzerlikler olduğunda radyolojik uzmanlığa büyük ölçüde bağlıdır. Sonuç olarak, otomatik bilgisayar destekli tanı sistemleri, radyologlara doğru ve verimli tümör sınıflandırmasında yardımcı olmak için giderek daha önemli hale gelmiştir.
Derin öğrenme (DL) tabanlı görüntü analiz teknikleri, biyomedikal ve bilgisayar görme uygulamalarında otomatik hastalık sınıflandırmasını önemli ölçüdeilerletmiştir 2,3. Nöro-onkolojide, makine öğrenimi ve transfer öğrenme teknikleri, tümör tespiti, segmentasyon ve sınıflandırma görevlerinde umut verici performansgöstermiştir 4. Özellikle konvolüsyon sinir ağları (CNN'ler), el yapımı özellik mühendisliğine dayanmadan doğrudan MRI taramalarından hiyerarşik görüntü özelliklerini otomatik olarak çıkarma konusunda üstün bir yetenek göstermiştir. CNN mimarileri, görüntüleme verilerinden ayırt edici tümörle ilgili temsilleri öğrenerek geleneksel makine öğrenimi yaklaşımlarına kıyasla sınıflandırma performansını iyileştirebilir. DL'deki son gelişmeler, büyük ölçekli görüntüleme veri setlerini daha iyi hassasiyetle ve insan müdahalesini azaltabilen yüksek performanslı görüntü sınıflandırma sistemlerinin geliştirilmesini mümkün kıldı.
Bu gelişmelere rağmen, geleneksel derin CNN mimarileri genellikle yüksek bellek tüketimi, artan parametre karmaşıklığı ve uzun eğitim süresi gibi önemli hesaplama kaynaklarıgerektirir 5. Bu tür hesaplamalı talepler, kaynak kısıtlı klinik ortamlarda ve mobil sağlık sistemlerinde uygulanmalarını kısıtlar. Ayrıca, hafif konvolüsyon sinir ağı mimarileri, düşük hesaplama karmaşıklığı ve düşük kaynaklı uygulamalarda dağıtıma uygunlukları nedeniyle giderek daha fazla ilgiçekmiştir 5. Son zamanlarda yapılan birkaç çalışma, optimize edilmiş CNN stratejilerini, verimli özellik çıkarma mekanizmalarını ve hafif dağıtım çerçevelerini inceleyerek sınıflandırma verimliliğini artırmadan tahmin doğruluğunuönemli ölçüde azaltmadan incelemiştir 6,7,8. Ancak, hesaplama verimliliği ile sağlam çok sınıflı tümör sınıflandırma performansı arasında dengelenmek, MRI tabanlı beyin tümörü analizinde büyük bir zorlukolmaya devam etmektedir9.
Dikkat temelli derin öğrenme çerçeveleri, tıbbi görüntü analizinde özellik temsilinin iyileştirilmesi için etkili çözümler olarak ortayaçıkmıştır 10. Dikkat mekanizmaları, sinir ağlarının tanısal olarak ilgili görüntü bölgelerini seçici olarak vurgulamasını sağlarken, alakasız arka plan bilgisini bastırır. İnsan görme sisteminden ilham alan dikkat odaklı mimariler, hesaplama odaklarını tümör-spesifik mekânsal bölgelere ve bağlamsal özelliklere yönlendirerek ayırt edici özellik öğrenimini geliştirir. Bu tür mekanizmalar, beyin tümörü MR analizi için özellikle faydalıdır çünkü tümör dokuları genellikle heterojen yoğunluk desenleri, düzensiz morfoloji ve tümör kategorileri arasında örtüşen görsel özellikler gösterir. Sonuç olarak, dikkat modüllerinin CNN tabanlı mimarilere entegre edilmesi, sınıflandırma doğruluğunu artırabilir ve özellik yerelleştirme performansını artırabilir.
Son zamanlarda yapılan birkaç çalışma, DL çerçevelerinin otomatik beyin tümörü teşhisi ve MRI tabanlı tümör sınıflandırması için potansiyelinigöstermiştir 11,12. Gao ve ark., MRI verilerini kullanarak beyin tümörü teşhisi için bir DL modeli geliştirmiş ve doğrulamış, otomatik nörogörüntüleme analizi için güçlü sınıflandırma yeteneğigöstermiştir 11. Benzer şekilde, Abdusalomov ve ark. MRI taramaları kullanarak DL tabanlı beyin tümörü tespit yöntemlerini araştırmış ve umut verici tanı performansıbildirmiştir 12. Bu çalışmalar sınıflandırma doğruluğunu artırmış olsa da, veri seti çeşitliliği, model genellemesi ve hesaplama gereksinimleriyle ilgili sınırlamalar hâlâ çözülmemiştir. Birçok durumda, eğitim veri setleri boyut olarak sınırlı veya kısıtlı klinik kaynaklardan türetilmişti, bu da heterojen hasta popülasyonlarında aşırı uyum riskini artırmış ve dayanıklılık azalmıştır.
Tümör görselleştirmesini ve özellik çıkarımını iyileştirmek için multimodal MRI analizi ve rekonstrüksiyon teknikleri deincelenmiştir 13,14. Sun ve arkadaşları, derin öğrenme rekonstrüksiyon çerçevesi ile denge azaltma stratejileri kullanılarak multimodal MRI tabanlı glioma değerlendirmesiniincelediler 13. Çalışmaları, glioma tespit doğruluğunu artırmak için görüntü kalitesi iyileştirmenin önemini gösterdi. Benzer şekilde, Srinivas ve Rao çoklu modal MRI beyin tümörü alt bölgesi analizi için DL tabanlı bir segmentasyonçerçevesi önermiştir 14. Yaklaşımları tümör alt bölgesi ayırtını iyileştirmiş ve bireysel tedavi planlamasına katkıda bulunmuştur. Buna rağmen, çoklu modal çerçeveler genellikle kapsamlı ön işleme, artan hesaplama kaynakları ve görüntüleme modaliteleri arasında hassas görüntü kaydı gerektirir; bu da uygulamaların pratik klinik ortamlarda uygulanabilirliğini sınırlayabilir.
Dikkat odaklı çoklu modal füzyon yöntemleri de segmentasyon doğruluğunu ve MRI özellikentegrasyonunu artırmak için önerilmiştir 15,16,17,18. Zhou ve ark., çok modlu beyin tümörü segmentasyonu için dikkat mekanizması tabanlı bir füzyon çerçevesitanıtmıştır 15. Çalışma, bağlamsal özellik öğrenimi yoluyla segmentasyon performansının arttığını gösterdi; ancak yaklaşım ağırlıklı olarak hafif tümör sınıflandırması yerine segmentasyona odaklandı. Benzer şekilde, Zhou ve Du hızlandırılmış MRIrekonstrüksiyonu 16 için 3D multimodal bir ağ önerirken, Huang ve ark. çoklu modal beyin tümörü teşhisi için uyarlanabilir çok ardışık füzyon ağı olan AMF-Net'igeliştirmiştir. Zhou ve ark. ayrıca multimodal hızlandırılmış MRI rekonstrüksiyası için MLMFNet'iönermiştir 18. Bu yöntemler yeniden yapılandırma kalitesini ve füzyon yeteneğini artırsa da, büyük ölçüde çoklu MRI modalitelerine, derin mimarilere ve hesaplama açısından pahalı füzyon operasyonlarına dayanıyordu. Bu tür gereksinimler, kaynak kısıtlı sağlık sistemlerinde ve uç tabanlı tanı platformlarında uygulanabilirliğini azaltabilir.
Ek çalışmalar, glioma, meningiom ve hipofiz tümörlerinin MRI görüntüleri kullanılarak sınıflandırılması için özel DL çerçeveleriniincelemiştir 19. Mokri ve arkadaşları, MRI taramaları kullanarak üç ana beyin tümörü tipini tanımlamak için DL tabanlı bir sınıflandırma sistemigeliştirmiştir 19. Çalışma teşvik edici performans gösterse de, model nispeten küçük veri setlerine dayanıyor ve hafif transfer öğrenme çerçeveleriyle karşılaştırmalar yoktu. Transformator tabanlı mimariler, uzun menzilli özellik bağımlılıklarını ve bağlamsal ilişkileri modelleme yetenekleri sayesinde tıbbi görüntülemede de son zamanlarda ilgiçekmiştir 20. Feng ve ark. hızlandırılmış MR görüntü yeniden yapılandırması için multimodal bir transformatörçerçevesi önermiştir 20. Yaklaşımları, geleneksel yöntemlere kıyasla yeniden yapılandırma performansını artırdı; Ancak, Transformer mimarileri genellikle kapsamlı hesaplama kaynakları ve büyük ölçekli eğitim veri setleri gerektirir; bu da kaynak kısıtlı tıbbi sistemlerde pratik kullanımlarını sınırlayabilir.
Transfer öğrenme tabanlı hafif CNN mimarileri, hesaplama karmaşıklığını azaltmada ve sınıflandırma doğruluğunukorumada önemli umut umudu göstermiştir 21,22,23. Rahman ve ark. MobileNetV2 kullanarak gelişmiş ön işleme ve ince ayar yaklaşımlarıyla birleşerek beyin tümörü sınıflandırmasında gelişmiş performansgöstermiştir 21. MobileNetV2, derinlik açısından ayrılabilir konvolüsyonları, azaltılmış parametre sayısı ve verimli özellik çıkarımı sayesinde hafif tıbbi görüntüleme uygulamaları için özellikle uygundur. Benzer şekilde, EfficientNet tabanlı çerçeveler, ağ derinliği, genişliği ve giriş çözünürlüğünü aynı anda optimize eden bileşik ölçeklendirme stratejileri sayesinde güçlü çok sınıflı sınıflandırma performansıgöstermiştir 22. EfficientNet mimarileri, geleneksel CNN'lere kıyasla daha düşük hesaplama yükünü koruyarak daha iyi sınıflandırma verimliliği sağlar. Ayrıca, Inception-ResNet mimarileri, görüntü sınıflandırma performansını artırmak için kalıcı öğrenmeyi verimli özellik çıkarma mekanizmalarıyla entegreeder 23. Bu tür hibrit mimariler, hesaplama verimliliğini korurken etkili gradyan yayılımı ve daha derin ağ temsili öğrenmesini sağlar.
MRI tabanlı beyin tümörü sınıflandırmasında önemli ilerleme kaydedilmiş olsa da, bazı sınırlamalar hâlalâ çözülmemiştir. Mevcut yaklaşımların çoğu, hesaplama açısından yoğun mimarilerde sınıflandırma doğruluğunu önceliklendirir, ancak dağıtım verimliliği veya hesaplama kısıtlamaları yeterince ele alınmaz. Diğer çalışmalar ise doğrudan dört sınıflı tümör sınıflandırması yerine segmentasyon, multimodal rekonstrüksiyon veya özellik füzyon üzerine odaklanır. Ayrıca, nispeten az sayıda çerçeve, verimli çok sınıflı beyin tümörü sınıflandırması için hafif transfer öğrenme mimarisini dikkat yönlendirmeli özellik öğrenimiyle entegre eder. Bu nedenle, kaynak kısıtlı klinik ortamlarda sınıflandırma doğruluğu, hafif dağıtım ve ayırt edici özellik çıkarımı dengeleyen hesaplama açısından verimli bir çerçeveye ihtiyaç devam etmektedir.
Bu nedenle, bu çalışma, MRI görüntüleri kullanılarak dört sınıflı beyin tümörü sınıflandırması için hafif dikkat yönlendirmeli transfer öğrenme çerçevesi önermektedir. Önerilen çerçeve, MobileNetV2, EfficientNetV1 ve Inception-ResNet-V2'yi, tanı açısından ilgili tümör bölgelerini seçici olarak vurgulayan ve alakasız arka plan özelliklerini bastıran bir dikkat mekanizmasıyla birleştiriyor. Çerçeve, özellik ayrımcılığı ve sınıflandırma performansını artırırken hesaplama karmaşıklığını azaltmayı amaçlamaktadır. Hafif transfer-öğrenme altyapılarını dikkat yönlendirmeli özellik çıkarımı ile birleştirerek, önerilen yaklaşım, kaynak kısıtlı klinik karar destek ortamlarında otomatik MRI tabanlı beyin tümörü sınıflandırması için verimli, ölçeklenebilir bir çözüm sunmayı amaçlamaktadır.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Bu çalışma, kamuya açık ve anonimleştirilmiş bir veri seti kullandı; bu nedenle, bilgilendirilmiş onay gerekmiyordu. Önerilen yaklaşım altı bileşenden oluşur: ön işleme, konvolüsyon modülü, dikkat modülü, konvolüsyon ve dikkat modüllerinin entegrasyonu ve tamamen bağlı (FC) katmanlar. Şekil 1 , yöntemimizin tüm iş akışını göstermektedir.
Veri seti edinimi
Etiketlenmiş beyin MRI görüntüleri, dört tümör kategorisi ve normal dokudan oluşan kamuya açık bir Kaggle veri setinden elde edilir.
Veri ön işleme
Görüntüler eşit bir çözünürlükte yeniden boyutlandırılır ve yoğunluk normalleştirilir. Genelleştirmeyi iyileştirmek için isteğe bağlı artırma (dönme, takla atma, yakınlaştırma) uygulanır. Veri seti, eğitim (%70) ve test (%30) setlerine ayrılmıştır.
Model mimarisi
ImageNet'te önceden eğitilmiş üç omurga CNN'i—MobileNetV2, EfficientNetV1 ve Inception-ResNet-V2—MRI görüntüleri kullanılarak beyin tümörlerini dört kategoriye ayırmak için kullanıldı. MobileNetV2 ve EfficientNetV1, 224 × 224 piksel giriş boyutuyla yapılandırılmışken, Inception-ResNet-V2 ise 299 × 299 piksel giriş boyutu gerektiriyordu. Transfer öğrenme sürecinde, başlangıçtaki konvolüsyon katmanlar genelleştirilmiş görüntü özelliklerini korumak için dondurulurken, üst katmanlar beyin tümörü sınıflandırması için modeli uyarlamak üzere ince ayar edilmiştir. Her omurga, Küresel Ortalama Havuzlama, yoğun katmanlar, düzenlendirme için dropout ve dört sınıfı tahmin etmek için Softmax aktivasyon fonksiyonunu içeren hafif bir sınıflandırma başıyla eşleştirildi. Dropout, aşırı uyumu azaltmak ve genellemeyi artırmak için uygulandı. Tasarlanmış mimari, verimli özellik çıkarımı daha düşük hesaplama talepleriyle etkili bir şekilde birleştirerek, hassas sınıflandırmayı kolaylaştırırken kaynak sınırlı ve kavram kanıtı senaryolarında kullanıma uygun kaldı.
Dikkat odaklı özellik çıkarımı
Giriş görüntüleri, başlangıçta bir konvolüsyon katmandan ve ardından özel bir dikkat modülünden geçer. Paralel maksimum havuzlama ve ortalama havuzlama, belirgin ve bağlamsal özellikleri yakalar; bunlar tümörle ilgili bölgeleri vurgulamak için konvolüsyonla birleştirilir ve iyileştirilir.
Konvolüsyon omurga ve füzyon
Dikkat ağırlıklı özellikler önceden eğitilmiş omurgalara (MobileNetV2, EfficientNetV1 veya Inception-ResNet-V2) iletilir. Yüksek seviyeli konvolüsyon katmanlar, bellek erişimini azaltmak ve hesaplama verimliliğini artırmak için mantıksal olarak birleştirilir.
Sınıflandırma
Düzleştirilmiş özellikler, ReLU6 aktivasyonu ve dropout ile tamamen bağlı katmanlardan geçirilir, böylece son dört sınıf softmax sınıflandırması için kompakt bir temsil oluşturur.
Değerlendirme
Model performansı, test setinde doğruluk, hassasiyet, hatırlama, F1 puanı ve karışıklık matrisleri kullanılarak değerlendirilir.
Çerçeve geliştirme
Önerilen çözüm Python dilinde uygulanmış ve yürütme için Keras kullanılmıştır. Tablo 1 hiperparametreleri göstermektedir. Veri seti, 70:30 oranında bir eğitim seti ve test seti olarak bölünür. Her veri seti için nihai dengeli performansı göstermek için beş farklı rastgele tren/test bölünmesi kullanılır.
Ön işleme
Giriş görüntüleri güncellenmelidir çünkü MobileNetV2 çerçevesi önerilen çözümün temelini oluşturur. Fotoğraflardan yüksek çözünürlüklü özellikleri çıkarmak için, giriş boyutuyla önceden eğitilmiş MobileNetV2 modeli kullanılır. Her giriş görüntüsü daha sonra [-1, 1] aralığında 224×224 piksele ölçeklenir.
Konvolüsyon modeli
MobileNetV2, hesaplama taleplerini en aza indirmek için tasarlanmış verimli bir Konvolüsyon Sinir Ağı (CNN) mimarisini kullanarak görüntü tanıma yeteneğini geliştirir. Geleneksel CNN'ler yüksek hassasiyet sağlarken, genellikle önemli bellek ve işlem gücü gerektirirler. MobileNetV1, standart konvolüsyonu iki ayrı işleme ayıran derinlik olarak ayrılabilir konvolüsyon kavramını tanıttı: girdileri filtrelemek için derinlik yoluyla konvolüsyon ve özellikleri entegre etmek için noktasal konvolüsyon (nokta yoluyla konvolüsyon). MobileNetV2, bu fikri genişletme katmanları, derinlik konvolüsyonu, projeksiyon katmanları ve kalıntı bağlantılardan oluşan darboğaz kalıntı blokları dahil ederek geliştirir. Projeksiyon katmanı, özellik kanallarını sıkıştırırken, kalıntı bağlantılar ağ boyunca daha iyi bilgi akışını sağlar. Kararlılığı artırmak ve öğrenme performansını artırmak için, konvolüsyon işlemlerden sonra ReLU6 aktivasyonu ve toplu normalizasyon uygulanır.
Bu araştırmada, ImageNet üzerinde önceden eğitilmiş MobileNetV2, özellikleri çıkarmak için omurga modeli olarak kullanıldı; böylece etkili yüksek seviyeli anlamsal temsiller sunuldu ve beyin tümörü sınıflandırması için hesaplama maliyetlerini düşük tuttu. Her konvolüsyon katmanından sonra, ReLU aktivasyon fonksiyonunun bir uyarlaması olan bir ReLU6 aktivasyon katmanı bulunur; burada boyut altı olarak maksimize edilir, ayrıca bir toplu normalizasyon katmanı bulunur. Yaygın 1x1 konvolüsyon, ortalama havuzlama ve sınıflandırma katmanları, kalan 17 darboğaz bloğuna uygulanarak tam MobileNetV2 mimarisini oluşturur. MobileNetV2'yi omurga ağı olarak ImageNet üzerinde önceden eğitilmiş olarak kullandık. Böyle bir durumda, konvolüsyon harita, MobileNetV2 konvolüsyon katmanından geçtikten sonra son kalıntı bloktan elde edilir. Alt seviyedeki kalıntı bloklar daha küçük özellik haritaları üretir. Bu tür bloklar, genel görüntü tanımlaması için yüksek seviyeli veri toplamadıkları için araştırmamıza katkıda bulunmazlar. Model oluşturma ve eğitim sırasında, 7 × 7 3D özellik haritası üreten konvolüsyon katmanlardan önceki katmanlar sabit tutulur. Matematiksel terimlerle, bu aşağıdaki Eq (1)'de ifade edilir:
F1(I) = Konv(I) (1)
Burada, F1(I), giriş görüntüsünün I'inden çıkarılan konvolüsyon özelliği temsil eder.
Odak modülü
İnsan beyninin dikkat mekanizması, insanların doğal olarak bir görüntüdeki her detaydan çok önemli görsel girdilere odaklandığını ima eder ve bu dönüşüm ağının tasarımının temelini oluşturur. Bu fikir sayesinde derin öğrenme araştırmalarında çok sayıda dikkat temelli model oluşturulmuştur. Beyin tümörü temsillerinde görülen mekânsal korelasyonlar, önerilen dikkat mekanizmasıyla vurgulanır. Kanal dikkat modülü özellik kanalları arasında en önemli tümörle ilgili bilgileri yakarken, bölgesel dikkat birimi MRI görüntüsünün en bilgilendirici bölgelerini belirler. Yapılandırılmış dikkat yöntemi kullanılarak, önerilen odak birimi ayırt edici tümör bilgisi içeren alanlara odaklanır.
Özellik temsili iyileştirmek için, uzamsal özellik tespit aşamasından önce Üst Aktivasyon Havuzu ve dengeli özellik çıkarma gibi teknikler kullanılır. Bu strateji, modelin klinik açıdan önemli tümör bölgelerini vurgulama yeteneğini artırırken, alakasız arka plan detaylarını en aza indirir; böylece sınıflandırma doğruluğunu ve özellik öğrenme verimliliğini artırır. İkincisi ise maksimum havuzlu ve ortalama havuzlu tensorların birleştirilişidir. Son olarak, sigma aktivasyon fonksiyonu, 7x7 konvolüsyon filtre ile birleşerek görseller içindeki görsel uyaranlar aktive edilir. Odak modülünün farklı aşamaları (2) ve (3) denklemlerinde belirtilmiştir. burada dengeli Pool(F) ∈ RHxWx1 ortalama havuzlama işlemini temsil eder ve MaxPool(F) ∈ RHxWx1 maksimum havuzlama işlemini tanımlar.
F2(I) = [AvgPool(F); MaxPool(F)] (2)
Bu iki eleman haritası 3D olarak birleştirilerek bir eleman haritası oluşturulabilir
F2(I) = ∈ RHxwx1. F3(I) = σ(f7x7(F2(I))) (3)
burada σ, sigma'yı gösteren aktivasyon fonksiyonudur. HxWxC yükseklik kodlu tensör (V), genişlik (W) ve kalınlık (C) ile temsil edilen dikkat özellikleri, F3(I) ile temsil edilirken, f7x7 filtre boyutu konvolüsyon işlemini (7x7) temsil eder.
Dikkatin birleşimi ve bir konvolüsyon modeli
Tek bir kodlayıcıya dayanan bir ağın aksine, çoklu modal bir Birleştirme Birimi, modalitelerin büyük çoğunluğu için çok daha verimli ve kapsamlı bilgi çıkarabilir. Füzyon bloğu, maksimum temel Cross-modal özelliklere doğru yönlendirmek için tasarlanmıştır; bu nedenle, tümör bölgesi ekstraksiyonu için dikkat çekilecek alanları belirler. Bu, bireysel gizli temsillerin basit bir birleşimidir, ancak bazı bilgiler kaybolur. Böylece, Sitaula ve diğerlerinin temel özellik birleştirme yöntemi kullanılarak konvolüsyon ve gözlem modüllerinin özellik haritaları birleştirilerek birleşik nesne haritası oluşturuldu. Bu iki özellik haritası çeşitli görüntü özelliklerindeki farklılıkları yakaladığı için, max, minimum veya toplam tabanlı stratejiler yerine basit bir birleştirme yöntemi kullanmaya karar verdik. Bu ayrıca, tensör çarpım hesaplaması biçimi olarak bilineşer yöntemleri kullanan alternatif yöntemlere göre hesaplama açısından daha hafif hale getirir. Bu iki özellik birleştirildiğinde, ortaya çıkan şey özellik tensörü olarak adlandırılır. T karakterlerinin toplanmış tensör çıktısının matematiksel ifadesi, Denklem (4) ile verilir.
[F1(I), F3(I)] = T(I) (4)
Burada F1(I) ∈ RHxWx1 ve F2(I) ∈ RHxWx1280. Bunlar, aynı genişliğe (W) ve yüksekliğe (H) sahip 3D tensorlardır. Ayrıca, bunlar 3D K üretiminde birleştirilebilir; burada T(I) ∈ LxWx1281.
Tam Bağlı Katmanlar (FC)
Özellik birleşiminden sonra hacimsel tensörü lineer özellik vektöre dönüştürmek için bir dizi FC katmanı kullandık. Sınıflandırma başı, bir Küresel Ortalama Havuzlama katmanı, tamamen bağlı yoğun katmanlar, kesilme düzenleme ve bir Softmax çıkış katmanından oluşur. ReLU6 aktivasyon fonksiyonu kullanılır; 128 birim ve %50 kesinti olasılığı vardır.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
MobileNetV2, EfficientNetV1 ve Inception-ResNet-V2 olmak üzere üç önceden eğitilmiş derin öğrenme modeli, MRI görüntüleri kullanılarak dört sınıflı beyin tümörü sınıflandırması için değerlendirildi.
Kullanılan Veri Seti
Önerilen çerçeve, Kaggle platformundan elde edilen halka açık beyin tümörü MRI veri seti kullanılarak değerlendirildi. Veri seti 835 normal beyin MRI görüntüsü, 826 glioma görüntüsü, 822 meningiom görüntüsü ve 827 hipofiz tü...
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Doğruluk, hatırlama, F1-puanı ve hassasiyete dayalı performans değerlendirmesi, MobileNetV2 ve Inception-ResNet-V2'nin beyin tümörü sınıflandırmasında benzer sonuçlar elde ettiğini, her birinin toplam ve ağırlıklı ortalama doğruluğuna %97–98 olduğunu ortaya koymaktadır. Buna karşılık, EfficientNet geliştirilmiş genelleme ve bileşik ölçeklendirme stratejisi sayesinde makro ve ağırlıklı ortalama metriklerinde %99 doğruluk sağlayarak, diğer modelleri geride bırakıyor. Bu bulgular, Efficient...
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Yazarların beyan edecek çıkar çatışmaları yoktur.
Bu çalışma için herhangi bir dış fon alınmadı.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
```html
| Ad | Şirket | Katalog numarası | Yorumlar |
|---|---|---|---|
| Brain MRI Veri Kümesi | IEEE | https://dx.doi.org/10.21227/q2vt-tf46 | Veri kümesi enstitü erişimi ile indirildi. MRI veri kümesi dört sınıf içerir: glioma, meningioma, hipofiz tümörü ve normal beyin |
| CNN Hızlandırıcı (Katman Füzyonu) | Önerilen çalışma | — | Hafıza erişiminin azaltılması ve hesaplama verimliliğinin artırılması için üst katmanlı evrişimsel katmanların mantıksal füzyonu |
| Özel Dikkat Modülü | Önerilen çalışma | — | Maksimum havuzlama ve ortalama havuzlamayı tümörle ilgili bölgeleri vurgulamak için entegre eden dikkat mekanizması |
| EfficientNetV1 | Ön eğitimli (ImageNet) | Optimal doğruluk ve verimlilik dengesi sağlayan ölçeklenebilir CNN mimarisi | |
| Google Colaboratory | https://colab.research.google.com/ | GPU desteği ile model eğitimi, değerlendirme ve deneyler için kullanılan bulut tabanlı ortam | |
| Inception-ResNet-V2 | Ön eğitimli (ImageNet) | Inception modüllerini kalan bağlantılarla birleştiren derin hibrit CNN mimarisi | |
| Keras | v2.6.0 | Hızlı model prototiplemesi için TensorFlow üzerinde oluşturulan üst düzey sinir ağı API'si | |
| Matplotlib | Matplotlib Geliştiricileri | v3.4.3 | Eğitim eğrileri, kafa karıştırıcı matrisler ve performans ölçütlerinin çizimi için kullanılan görselleştirme kitaplığı |
| MobileNetV2 | Ön eğitimli (ImageNet) | Mobil ve kenar dağıtımı için optimize edilmiş hafif CNN omurga | |
| NumPy | NumPy Geliştiricileri | v1.21.4 | Sayısal işlemler için kullanılan temel bilimsel hesaplama kitaplığı |
| Pandas | Pandas Geliştirme Ekibi | v1.3.4 | Veri seti organizasyonu ve meta veri işleme için kullanılan veri işleme ve manipülasyon kitaplığı |
| Python | Python Software Foundation | v3.8.10 | Veri ön işleme, model geliştirme ve değerlendirme için kullanılan ana programlama dili |
| Scikit-learn | Scikit-learn Geliştiricileri | En yeni kararlı | Hassasiyet, geri çağırma, F1 skoru ve kafa karıştırıcı matrisler gibi performans değerlendirme ölçütleri için kullanılır |
| Seaborn | Seaborn Geliştiricileri | En yeni kararlı | Gelişmiş grafiksel analiz için kullanılan üst düzey istatistiksel görselleştirme kitaplığı |
| TensorFlow | v2.6.0 | CNN omurgalarını ve dikkat modüllerini uygulamak için kullanılan uçtan uca derin öğrenme çerçevesi |
Bu JoVE makalesinin metnini veya şekillerini yeniden kullanmak için izin iste
İzin iste