Bu çalışma, insan katılımcıların dahil edilmesini veya tanımlanabilir hasta verilerinin toplanmasını içermemiştir. Tüm deneyler, Kaggle deposundan temin edilen ve kamuya açık olan ISIC 2020 cilt lezyonları veri seti kullanılarak yürütülmüştür; bu nedenle, kurumsal etik kurul onayı ve bilgilendirilmiş onam gerekmemiştir. Bu çalışmada kullanılan tüm malzemeler Malzemeler Tablosunda yer almaktadır.
Öznitelik çıkarımı ve birleştirme
Deri lezyonu görüntüleri, önceden eğitilmiş çoklu CNN modelleri kullanılarak işlenmiştir. Seçilen önceden eğitilmiş CNN mimarilerinden çıkarılan derin öznitelik vektörleri, her bir deri lezyonu görüntüsü için birleşik bir öznitelik temsili oluşturmak üzere birbirine eklenir. Benimsenen birleştirme stratejisi, farklı CNN mimarileri tarafından öğrenilen tamamlayıcı görsel bilgileri koruyarak, sonraki SVM sınıflandırıcısının hem düşük düzeyli doku özelliklerinden hem de daha yüksek düzeyli anlamsal temsillerden yararlanmasını sağlar. Temel bileşenler analizi veya karşılıklı bilgi tabanlı öznitelik seçimi gibi boyut indirgeme teknikleri öznitelik boyutunu azaltabilse de, birleşik öznitelik uzayı kullanılan RBF-SVM sınıflandırıcısı için hesaplama açısından yönetilebilir kalırken heterojen CNN omurgalarından çıkarılan tamamlayıcı tanısal bilgileri de koruduğundan, birleşik temsilin tamamı kasıtlı olarak tutulmuştur.
Sınıflandırma
Birleştirilmiş öznitelik vektörleri, RBF çekirdekli bir SVM sınıflandırıcısını eğitmek için kullanıldı. Optimal sınıflandırma ayarlarını belirlemek için hiperparametre optimizasyon teknikleri uygulandı. Sınıflandırıcı daha sonra deri lezyonlarını ilgili sınıflarına ayırdı.
Açıklanabilirlik
Yorumlanabilirliği artırmak amacıyla, sınıflandırma sonuçlarına en önemli katkıyı sağlayan görüntü bölgelerini vurgulayan görsel açıklamalar oluşturmak için LIME uygulandı. Bu açıklamalar, klinisyenlerin modelin kararlarını anlamalarına ve doğrulamalarına yardımcı olacaktır.
Değerlendirme planı
Önerilen çerçeve, bir kıyaslama deri lezyonu veri seti kullanılarak değerlendirilmiştir. Performans; Doğruluk, Kesinlik, Duyarlılık ve F1-Skoru kullanılarak analiz edilmiştir. Önerilen çerçevenin etkinliğini kanıtlamak amacıyla mevcut makine öğrenimi ve derin öğrenme yaklaşımlarına karşı karşılaştırmalı deneyler yürütülmüştür.
Beklenen sonuçlar
Çalışmanın, doğru ve yorumlanabilir bir cilt lezyonu sınıflandırma sistemi üretmesi bekleniyordu. Ön deneysel sonuçlar, EDLF-SLC'nin %88,0 doğruluk, %89,0 kesinlik, %87,0 duyarlılık ve %88,0 F1-skoru elde ederek birçok rakip yöntemi geride bıraktığını göstermektedir. LIME açıklamalarının entegrasyonunun, güvenilirliği artırması ve klinik uygulamalarda yapay zeka destekli tanı sistemlerinin benimsenmesini kolaylaştırması öngörülmüştür.
Önem
Bu araştırma, cilt lezyonu teşhisindeki hem performans hem de şeffaflık zorluklarını ele alarak, gelişmekte olan açıklanabilir sağlık hizmetleri yapay zekası alanına katkıda bulunmaktadır. Önerilen çerçeve, dermatologların daha güvenilir ve yorumlanabilir tanısal kararlar vermelerini destekleme ve nihayetinde hasta bakımını iyileştirme potansiyeline sahiptir. Ayrıca, bu bölümde yazarlar, bu araştırma çalışmasında uygulanan materyaller ve metodolojiye ilişkin bilgiler sunmuştur. Özellikle yazarlar, deneyler için kullanılan veri setinin açıklamasıyla başlayıp, Cilt Lezyonu Sınıflandırması için Açıklanabilir Derin Öğrenme Çerçevesinin ayrıntılı tartışmasına geçiş yapmışlardır.
Veri Seti
Sunulan çalışma, Kaggle web sitesinden (https://www.kaggle.com/datasets/fanconic/skin-cancer-malignant-vs-benign) erişilebilen, halka açık ISIC 2020 (International Skin Imaging Collaboration) veri setine dayanmaktadır. ISIC deposu, Şekil 1'de gösterildiği gibi farklı cilt lezyonu türlerine ait çok çeşitli dermoskopik görüntüler sağladığı için dermatolojik görüntüleme alanındaki en iyi kaynaklardan biri olarak kabul edilmektedir. Önemli bir nokta olarak veri seti, hem benign hem de malign durumların görüntülerini içerdiğinden, cilt kanseri için ikili sınıflandırma görevlerini gerçekleştirmek için kullanışlıdır 46. Mevcut veri setinde, 1.800'ü benign ve 1.497'si malign olmak üzere toplam 3.297 görüntü bulunmaktadır. Daha verimli deneyler için veriler bir eğitim seti ve bir test seti olarak bölünmüştür. Özellikle, eğitim setinde 1.440 benign ve 1.197 malign olmak üzere 2.637 görüntü bulunurken; test seti, 360'ı benign ve 300'ü malign olmak üzere 660 görüntüden oluşmaktadır. Veri setinin özeti Tablo 2'de gösterilmiştir.
Önerilen EDLF-SLC modeli
Bu makalede, birden fazla önceden eğitilmiş evrişimli sinir ağı modelinin avantajlarını birleştiren hibrit bir yaklaşıma dayalı, yeni ve açıklanabilir bir derin öğrenme tekniği kullanılarak, deri lezyonlarını benign ve malign kategorilerine ayırmak için verimli ve anlaşılır bir çözüm önerilmiştir. Evrişimli sinir ağlarının, tıbbi görüntülerden üst düzey semantik özelliklerin çıkarılmasında oldukça etkili olduğu kanıtlanmıştır. Bu yeteneği kullanan, deri lezyonu sınıflandırması için önerilen açıklanabilir derin öğrenme çerçevesi (EDLF-SLC), üstün performans elde etmek için birden fazla önceden eğitilmiş CNN modelinden yararlanır. Tıbbi karar verme sürecinin gerekli şeffaflığını sağlamak amacıyla, çıktı sonuçları için yerel ve insan tarafından okunabilir açıklamalar oluşturmak üzere önerilen yaklaşımda LIME benimsenmiştir. Tüm çerçeve, Şekil 2'de gösterildiği gibi üç ana aşamaya ayrılabilir: (1) veri ön işleme, (2) özellik çıkarma ve sınıflandırma ve (3) yorumlanabilirlik.
Model mimarisi ve entegrasyonu
Ön adım olarak, yedi popüler derin öğrenme modeli (MobileNetV2, ResNet50, EfficientNetB0, Xception, InceptionResNetV2, NASNetLarge ve MobileNet) seçilmiş ve doğrulama veri kümesi üzerinde ayrı ayrı değerlendirilmiş; özellik çıkarımı aşaması için en etkili dört model (ResNet50, EfficientNetB0, MobileNet ve Xception) belirlenmiştir. Önerilen çerçevede, her bir girdi görüntüsü x, seçilen önceden eğitilmiş modellerden bağımsız olarak geçirilmiştir. Bu modellerin her birinden son tam bağlantılı katman çıkarılmış ve önceki katmanlardan özellik vektörleri elde edilmiştir. fResNet50(x), fEfficientNetB0(x), fMobileNet(x) ve fXception(x), yukarıda belirtilen modellerin her birinden elde edilen çıktı özellik vektörlerini ifade eder. Bu özellik vektörlerinin uç uca eklenmesiyle (concatenation), yeni bir toplulaştırılmış özellik vektörü F(xi) elde edilir:
F(xi) = [f(ResNet50)(xi);f(EfficientNetB0)(xi);f(MobileNet)(xi);f(Xception)(xi)] (1)
Ardından, sınıflandırma sonucunu elde etmek için F(xi), radyal tabanlı fonksiyon (RBF) çekirdeğine sahip bir SVM sınıflandırıcısından geçirilmiştir. Önerilen çerçeve için tüm algoritma Ek Dosya 1'de sunulmuştur.
Önerilen çerçeve, her ön eğitimli CNN mimarisinin kendine özgü ağ yapısı ve öğrendiği özellik hiyerarşisi aracılığıyla cilt lezyonlarının farklı ayırt edici özelliklerini yakalaması nedeniyle doğrudan özellik düzeyinde füzyonu benimsemektedir. Sonuç olarak, bu heterojen özellik temsillerinin uç uca eklenmesi, sınıflandırma öncesinde daha kapsamlı bir lezyon karakterizasyonuna katkıda bulunan tamamlayıcı bilgileri korur. Temel bileşenler analizi (PCA) veya karşılıklı bilgi tabanlı özellik seçimi gibi boyut azaltma teknikleri, füzyonlanmış temsilin boyutunu düşürebilse de, farklı CNN omurgaları tarafından çıkarılan tamamlayıcı tanısal bilgileri korurken boyutu benimsenen RBF-SVM sınıflandırıcısı için hesaplamalı olarak yönetilebilir kaldığından, eksiksiz füzyonlanmış özellik vektörü kasıtlı olarak tutulmuştur. Bu tasarım, dolayısıyla, sınıflandırma öncesinde potansiyel olarak bilgilendirici özellikleri elemekten ziyade, tamamlayıcı derin temsillerin korunmasına öncelik vermektedir.
Veri hazırlama
Veri hazırlama işlemi, ön işleme ve veri setinin eğitim ve test setlerine ayrılmasını içermiştir. Ön işleme; tutarsızlıkların giderilmesi, yinelenen öğelerin silinmesi, giriş görüntülerinin biçimlendirilmesi ve iyi bir modelin kararlı eğitimi için özellik ölçeklendirmesinin yapılması yoluyla veri kalitesini artırmayı amaçlamaktadır. Tüm görüntüler, Z-skoru normalizasyonu aracılığıyla [−1, 1] aralığına normalize edilmiştir:
(2)
burada µ ve σ sırasıyla ilgili görüntünün ortalama değerini ve standart sapmasını temsil eder. Veri seti iki alt kümeye, yani bir eğitim setine (%70,0) ve bir test setine (%30,0) ayrılmıştır.
Veri artırımı
Aşırı öğrenmeyi (overfitting) önlemek ve modelin genelleme yeteneğini artırmak için eğitim seti üzerinde bazı artırımlar kullanılmıştır. Görüntü artırımları, tıbbi durumların temel özelliklerini değiştirmeden veri setini yapay olarak genişletmek amacıyla görüntülerin modifiye edilmesini içerir. Artırım hattı Keras Sequential API kullanılarak oluşturulmuştur. Rastgele yatay çevirme, dar bir açıda döndürme, yeniden boyutlandırma, ölçeklendirme, parlaklık/kontrast ayarı, yakınlaştırma ve bazı küçük hareketler gibi dönüşümler kullanılmıştır. Artırılmış görüntülerin temsili örnekleri Şekil 3'te gösterilmiştir.
Önceden eğitilmiş modeller
Giriş görüntülerinden öznitelik çıkarmak için önerilen çerçevede birkaç önceden eğitilmiş derin öğrenme modeli benimsenmiştir. Bu modeller arasında MobileNet, ResNet50, EfficientNetB0, Xception, NASNetLarge, Inception-ResNet-v2 ve MobileNetV2 bulunmaktadır. MobileNet ve MobileNetV2, derinlemesine ayrılabilir konvolüsyonlar kullanarak verimli hesaplamalar yapan hafif derin öğrenme modelleridir. ResNet50, modeli eğitmek için artık bağlantılar (residual connections) mekanizmasını kullanır ve böylece eğitim sırasında gradyanların kaybolması problemini önler. EfficientNetB0, bileşik ölçeklendirme yaklaşımıyla verimlilik ve hassasiyet arasında bir denge kurar. Xception, derinlemesine ayrılabilir konvolüsyonlar kullanarak Inception ağını genişletir. NASNetLarge, optimal derin sinir ağı yapıları oluşturmak için sinirsel mimari arama kullanımıyla ilgilidir ve Inception-ResNet-v2, Inception modeli ile artık bağlantılar mekanizmasının bir hibritini oluşturur. ResNet50 (1,024 öznitelik), EfficientNetB0 (1,280 öznitelik), MobileNet (1,024 öznitelik) ve Xception'dan (2,048 öznitelik) çıkarılan öznitelik vektörleri, birleşik 5,376 boyutlu bir temsil oluşturmak için birbirine eklenir. Bu füzyon stratejisi, sınıflandırmadan önce temsili azaltmak yerine, farklı CNN mimarileri tarafından öğrenilen tamamlayıcı temsilleri korumak için seçilmiştir. Elde edilen öznitelik vektörü, daha sonra birleştirilmiş öznitelik alanı içindeki optimal doğrusal olmayan karar sınırını belirleyen RBF-SVM sınıflandırıcıya aktarılır.
Açıklanabilir Yapay Zeka modeli (LIME)
Model tahminlerinin yerel yorumlanabilirliğini sağlamak amacıyla yazarlar, her bir spesifik model tahmini için LIME47 olarak adlandırılan yerelleştirilmiş, insan tarafından okunabilir açıklamalar oluşturma yöntemini benimsemişlerdir. Herhangi bir giriş görüntüsü için LIME, öncelikle görüntüyü süper piksel adı verilen daha küçük birimlere ayırır. Ardından orijinal görüntüden pertürbasyonlar oluşturulur ve derin sinirsel modelden gelen tahminler her bir pertürbasyon için kestirilir. Daha sonra, orijinal giriş örneğine yakınlıklarına bağlı ağırlıklar kullanılarak pertürbasyonlar üzerine ağırlıklı bir doğrusal model uydurulur. Doğrusal model uydurulduktan sonra, her bir süper pikselin nihai etiketin tahminindeki rolünü belirten özellik önem skorları kestirilir. Bu önem skorları, nihai açıklama görüntüsünde görsel olarak vurgulanır. LIME algoritması Ek Dosya 2'de gösterilmiştir.