Bu çalışma, yüksek tanı doğruluğunu model yorumlanabilirliği ile birleştiren, cilt lezyonu sınıflandırmasına yönelik açıklanabilir bir CNN tabanlı çerçeve sunmaktadır. Sistem, lezyon görüntülerini sınıflandırmakta ve tahminleri için görsel açıklamalar oluşturmaktadır. Sonuçlar, güçlü bir performans ve artırılmış şeffaflık sergileyerek klinik karar verme sürecini desteklemekte ve dermatologların cilt hastalıklarını erken teşhis etmelerine yardımcı olmaktadır.
Araştırma makalesi
Derin Öğrenme Kullanarak Cilt Lezyonu Sınıflandırması İçin Açıklanabilir Bilgisayar Destekli Bir Çerçeve
Bu makalede
Özet
Özet
Derin evrişimli sinir ağlarının cilt bölgesindeki hastalıkların teşhisi amacıyla kullanılması, farklı çalışmalarda dermatologlar tarafından elde edilenlerle benzer doğruluk seviyeleri sağladığını kanıtlamıştır. Bununla birlikte, bazı durumlarda düşük performans ve yetersiz genelleme kapasitesinin yanı sıra, kara kutu modellerin kullanımına bağlı düşük yorumlanabilirlik gibi birçok zorluk hâlâ mevcuttur. Bu durum, doğru teşhislerin yanı sıra açıklanabilirlik de gerektirdiği için pratik uygulama önünde önemli engeller oluşturmakta ve bir çözüm bulunmasını zorunlu kılmaktadır. Bahsedilen zorlukların üstesinden gelmek için bu çalışma kapsamında cilt lezyonu sınıflandırması için açıklanabilir bir derin öğrenme çerçevesi (EDLF-SLC) geliştirilmiştir. Çerçeve, hem doğruluk hem de yorumlanabilirlik açısından iyileştirmeler sağlamak için makine öğrenimi ve açıklanabilir yapay zeka (XAI) alanındaki çeşitli yaklaşımları üç aşamalı bir yöntemle kullanmaktadır. İlk aşamada, farklı ağ mimarileri tarafından öğrenilen tamamlayıcı ayırt edici bilgileri korumak amacıyla, önceden eğitilmiş birden fazla CNN mimarisinden çıkarılan derin temsiller birleştirilmektedir. Ardından, elde edilen özellikleri sınıflandırmak için radial baz fonksiyon çekirdekli Destek Vektör Makinesi (SVM) sınıflandırıcıları kullanılmaktadır. Son olarak, model tarafından yapılan tahminler, yerel yorumlanabilir model-agnostik açıklamalar (LIME) aracılığıyla yorumlanmaktadır. Deneysel sonuçlar, EDLF-SLC'nin %88,0 doğruluk, %89,0 kesinlik, %87,0 duyarlılık ve %88,0 F1 skoruna ulaştığını göstererek, bu çalışmada dikkate alınan deneysel koşullar altında yakın zamanda rapor edilen çeşitli yöntemlerle karşılaştırıldığında rekabetçi bir performans sergilediğini kanıtlamaktadır.
Giriş
Deri lezyonları, benign anormalitelerden, cilt kanserinin en ölümcül formu olan melanom gibi malign kanserlere kadar geniş bir yelpazeye sahip oldukları için dermatoloji ve onkolojide başlıca bir endişe kaynağıdır. 2020 yılında, melanom dünya genelinde yaklaşık 325.000 yeni vakaya ve 57.000'den fazla ölüme neden olmuştur1. Tarama ve tedavi yöntemlerindeki ilerlemeler hasta sonuçlarını iyileştirmiş olsa da, gecikmiş teşhis ve sağlık hizmetlerine sınırlı erişim, özellikle genç popülasyonlar arasında yüksek mortalite ve kaybedilen yaşam yıllarına katkıda bulunmaya devam etmektedir2,3.
Geleneksel tanı esas olarak görsel incelemeye ve dermoskopiye dayanır; bu durum süreci klinisyenlerin uzmanlığına bağımlı hale getirerek sübjektifliğe, gözlemciler arası değişkenliğe, gereksiz biyopsilere ve uzamış muayene sürelerine yol açar4,5,6. Bu kısıtlamaları gidermek için derin öğrenme, özellikle de CNN'ler, otomatik cilt lezyonu sınıflandırması için etkili bir çözüm olarak ortaya çıkmıştır. DDCNN-F7, YOLOv7-XAI8 ve diğer birçok mimari9,10,11,12,13 dahil olmak üzere CNN tabanlı modeller, ayırt edici görüntü özelliklerini otomatik olarak öğrenerek yüksek tanısal doğruluk sergilemiştir. Başarılarına rağmen, çoğu derin öğrenme modeli "kara kutu" şeklinde çalışmakta, bu da klinisyenlerin güvenini sınırlamakta ve rutin tıbbi uygulamalarda benimsenmelerini engellemektedir. Bu nedenle, tahminlerin görsel açıklamalarını sunarak model şeffaflığını artırmak amacıyla açıklanabilir yapay zeka teknikleri tanıtılmıştır. Bu yöntemler arasında Local Interpretable Model-Agnostic Explanations, model kararlarını en çok etkileyen görüntü bölgelerini belirleyerek yorumlanabilir yerel açıklamalar oluşturur14.
Deri lezyonu sınıflandırması, doğru, güvenilir ve erken evre deri kanseri teşhisine duyulan ihtiyaçla beraber, geleneksel klinik değerlendirmelerden gelişmiş yapay zeka tabanlı tanı sistemlerine doğru evrilmiştir. Bu evrim; geleneksel tanı yöntemleri, bilgisayar destekli tanı (CAD), makine öğrenmesi (ML), derin öğrenme (DL) ve son dönemde açıklanabilir yapay zeka (XAI) ile federatif öğrenme (FL) olmak üzere beş ana aşama üzerinden ilerlemiş; geleneksel muayene yöntemlerinin kısıtlamalarını aşarken tanısal doğruluğu, tutarlılığı, ölçeklenebilirliği ve klinik güvenilirliği artırmaya yönelik sürekli çabaları yansıtmıştır. İlk hesaplamalı yöntemler; asimetri, kenar düzensizliği, renk varyasyonu ve lezyon çapını içeren ABCD kuralından türetilen, elle hazırlanmış görüntü tanımlayıcıları aracılığıyla klinik akıl yürütmeyi taklit etmeye çalışmıştır. Bu özellikler, melanom tanısını desteklemek amacıyla Bayes ağları, karar ağaçları, uzman sistemler ve bulanık çıkarım modelleri ile birleştirilmiş ve birçok çalışma %90'ı aşan sınıflandırma doğrulukları bildirmiştir15,16,17. Bilgisayar destekli tanı için önemli bir temel oluşturmalarına rağmen, bu yöntemler tamamen manuel olarak tasarlanmış özelliklere ve önceden tanımlanmış tanısal kurallara dayanmaktaydı. Sonuç olarak; görüntü kalitesindeki, lezyon morfolojisindeki, aydınlatmadaki ve görüntüleme koşullarındaki değişimlere karşı sınırlı bir dayanıklılık göstermişlerdir.
Bu eksiklikleri gidermek amacıyla, geleneksel görüntü analizi ile modern yapay zeka tabanlı çerçeveler arasında bir ara adım olarak klasik CAD sistemleri ortaya çıkmıştır. CAD sistemleri, tanısal tutarlılığı artırmak ve klinik karar verme sürecine yardımcı olmak için manuel özellik çıkarımını geleneksel sınıflandırıcılarla birleştirmiştir. Birkaç hibrit yaklaşım, hiyerarşik kümelemeyi tekrarlayan sinir ağları ve uzun kısa süreli bellek mimarileriyle entegre ederek %99,5'e yaklaşan sınıflandırma doğrulukları elde etmiştir18. Diğer CAD tabanlı çerçeveler, gradient boosting sınıflandırıcılarını SHAP tabanlı açıklamalarla birleştirerek model şeffaflığını artırırken rekabetçi tanısal doğruluk sergilemiştir19. Bu sistemler tamamen kural tabanlı yaklaşımlara göre önemli bir gelişmeyi temsil etse de, manuel özellik çıkarımına, kapsamlı ön işlemeye, dikkatle açıklanmış veri setlerine ve çok aşamalı işlem hatlarına yoğun bir şekilde dayanmaya devam etmiştir.
Makine öğrenimi teknikleri, açık kural tasarımı yerine veri odaklı öğrenmeyi mümkün kılarak otomatik cilt lezyonu sınıflandırmasını daha da geliştirmiştir. Lojistik regresyon ve k-en yakın komşu dahil olmak üzere, konvolüsyonel sinir ağlarını geleneksel makine öğrenimi sınıflandırıcılarıyla birleştiren hibrit çerçeveler, kıyaslama veri setlerinde %95'i aşan doğruluk oranlarına ulaşarak güçlü bir sınıflandırma performansı sergilemiştir9. Öz-denetimli çok modlu öğrenme, dermoskopik ve klinik görüntüleri ortaklaşa kullanarak öznitelik temsilini daha da iyileştirmiş, böylece sınıflandırma performansını artırırken kapsamlı manuel açıklamalara olan bağımlılığı azaltmıştır20. Ek çalışmalar, öznitelik ayırt ediciliğini ve sınıflandırma doğruluğunu artırmak için CNN'leri genel ayırıcı analiz, SURF tanımlayıcılar ve optimizasyon algoritmalarıyla birleştirmiştir21. DenseNet-201, InceptionV3 ve ikili ağaç optimizasyon algoritmalarını kullanan otomatik öznitelik seçimi teknikleri, rekabetçi tanı performansını korurken öznitelik temsilini daha da geliştirmiştir22. AlexNet ve GoogLeNet gibi önceden eğitilmiş mimarileri kullanan transfer öğrenimi yaklaşımları da sınırlı eğitim verilerine rağmen gelecek vadeden sınıflandırma yetenekleri göstermiştir23. Buna rağmen, çoğu makine öğrenimi yöntemi dikkatle tasarlanmış ön işleme prosedürlerine, el yapımı optimizasyon stratejilerine, dengeli veri setlerine ve kapsamlı hiperparametre ayarına bağımlı kalmaya devam etmiştir. Sınırlı dış doğrulamaları ve sınıf dengesizliğine olan hassasiyetleri, bu yöntemlerin farklı klinik ortamlardaki pratik uygulanabilirliğini daha da kısıtlamıştır.
Derin Öğrenme'nin (DL)le beraber gelen yenilikler, doğrudan ham görüntü verilerinden uçtan uca öğrenmeyi mümkün kılarak otomatik cilt lezyonu sınıflandırmasını temelden dönüştürmüştür. Evrişimli Sinir Ağları (CNN), birçok kıyaslama veri seti genelinde tanı performansını önemli ölçüde artırırken, elle oluşturulan özellik mühendisliği ihtiyacını ortadan kaldırmıştır. CNN tabanlı yaklaşımların çoğu, giderek daha karmaşık hale gelen mimariler aracılığıyla lezyon sınıflandırmasında belirgin iyileşmeler göstermiştir. Simetri duyarlı CNN modelleri, klinik olarak anlamlı lezyon özelliklerini incelemiş ancak yalnızca orta düzeyde dengeli doğruluk elde etmiştir24. Diğerleri, nicel güvenilirlik ölçütleri getirirken yorumlanabilirliği artırmak amacıyla EfficientNet mimarilerini LIME ve SHAP açıklamalarıyla entegre etmiştir25. Lezyon segmentasyonu, topluluk öğrenimi ve CNN'leri birleştiren hibrit DL sistemleri, birden fazla ISIC veri setinde mükemmel performans sergilemiş ancak segmentasyon kalitesine ve sınıf dengesizliğine karşı hassas kalmaya devam etmiştir26.
Yakın zamanda, birbirini tamamlayan DL tekniklerini entegre eden, giderek daha karmaşıklaşan hibrit mimariler sınıflandırma doğruluğunu daha da artırmıştır. YOLOv5 ve bağımsız bileşen analizi ile birleştirilen koşullu üretici çekişmeli ağlar %99'u aşan sınıflandırma doğruluklarına ulaşmış olsa da, hesaplama karmaşıklıkları pratik uygulamalarını sınırlamıştır 27. Benzer şekilde, hibrit LSTM–ResNet mimarileri uzaysal-zamansal temsilleri etkili bir şekilde öğrenmiş ancak önemli ölçüde daha fazla hesaplama kaynağı gerektirmiştir28. Sap-Former'ı da kapsayan Transformer tabanlı modeller, öznitelik temsilini geliştirmek için küresel bağlamsal bilgiden yararlanmış ancak kapsamlı ön işleme, büyük ölçekli etiketli veri setleri ve önemli miktarda hesaplama gücü gerektirmiştir29. S-MobileNet gibi hafif alternatifler, hesaplama verimliliği ile tanı doğruluğu arasında bir denge kurmaya çalışmış30, denetimsiz etki alanı uyarlama yöntemleri ise yalnızca sınırlı eğitim örnekleri mevcut olduğunda etkinliği azalmasına rağmen etki alanları arası genelleştirmeyi geliştirmiştir31. Modifiye edilmiş evrişimli dikkat modülleri ve anlık görüntü topluluk öğrenimini içeren dikkatyle güçlendirilmiş hibrit ağlar da maymun çiçeği deri lezyonu sınıflandırması için gelecek vadeden performanslar sergilemiş, ancak sınıf dengesizliği, görüntü çeşitliliği ve sınırlı açıklanabilirlik ile ilgili zorluklar çözülmeden kalmıştır32. Daha derin ağ tasarımları ve hibrit kayıp fonksiyonları kullanan özelleştirilmiş rezidüel mimariler sınıflandırma doğruluğunu %99'un üzerine daha da çıkarmış ancak önemli ölçüde daha fazla hesaplama yükü ve eğitim süresine yol açmıştır33. Kapsamlı inceleme çalışmaları, DL'nin ayırt edici görüntü temsillerini otomatik olarak öğrenerek geleneksel el yapımı yaklaşımlardan önemli ölçüde daha iyi performans gösterdiği sonucuna tutarlı bir şekilde varmış; aynı zamanda görüntüleme artifaktları, aydınlatma değişkenliği, hesaplama karmaşıklığı ve sınırlı klinik genelleme ile ilgili süregelen zorlukları tespit etmiştir34.
DL teşhis doğruluğunu önemli ölçüde artırmış olsa da, model şeffaflığı, belirsizlik tahmini ve güvenilir klinik uygulama konusundaki endişeler, XAI ve federated learning'e (federatif öğrenme) olan ilgiyi artırmıştır. Birçok çalışma, konformal tahmin, Monte Carlo dropout ve kanıtsal derin öğrenme dahil olmak üzere belirsizlik niceleme tekniklerini incelemiş ve güvenilir güven tahmini yöntemlerinin, ek hesaplama ve veri odaklı kısıtlamalar getirmesine rağmen karar destek süreçlerini önemli ölçüde geliştirebileceğini göstermiştir35. Özellik öğrenme verimliliğini artırırken sınıf dengesizliği sorununu çözmek için Transformer tabanlı karşılıklı öğrenme (mutual learning) çerçeveleri de önerilmiştir36. Diğer yaklaşımlar, lezyon segmentasyonu ve sınıflandırmasını geliştirmek için tam çözünürlüklü CNN'leri graf tabanlı optimizasyon teknikleriyle birleştirmiş37, birden fazla tamamlayıcı özellik temsilini entegre eden hibrit derin öğrenme çerçeveleri ise kapsamlı ön işlem gerektirmesine rağmen %99,5'e yaklaşan sınıflandırma doğrulukları elde etmiştir38.
Son araştırmalar, klinisyen güvenini artırmak ve pratik klinik adaptasyonu kolaylaştırmak için açıklanabilirliği doğrudan DL çerçevelerine entegre etmeye giderek daha fazla odaklanmıştır. Grad-CAM ve Score-CAM ile birlikte birden fazla evrişimli sinir ağı mimarisi kullanan açıklanabilir sistemler, hem dahili hem de harici veri setlerinde rekabetçi sınıflandırma performansını korurken tanısal olarak ilgili lezyon bölgelerini başarıyla lokalize etmiştir39. Dermoskopik görüntüleri klinik meta verilerle birleştiren hibrit CNN–Transformer çerçeveleri, klinik olarak anlamlı görsel açıklamalar üretmek için SHAP ve Grad-CAM kullanarak öngörü performansını daha da artırmıştır40. EfficientNetV2S, Swin Transformer'lar, modifiye edilmiş Xception ağları ve grafik dikkat mekanizmalarını entegre eden ek transformer tabanlı hibrit mimariler, tamamlayıcı global ve lokal lezyon özelliklerini etkili bir şekilde yakalamış olsa da, yüksek parametre sayıları ve azınlık sınıflardaki sınırlı performansları pratik uygulamaları kısıtlamıştır41. Benzer şekilde, hibrit YOLOv8–Vision Transformer çerçeveleri; adaptif artırımın yanı sıra SHAP ve Grad-CAM açıklamaları aracılığıyla gelişmiş lezyon lokalizasyonu, çok sınıflı sınıflandırma ve görsel yorumlanabilirlik göstermiştir; ancak bu yöntemler öncelikle kıyaslama veri setlerine dayanmaya devam etmiş ve azınlık lezyon kategorileri için sınırlı sağlamlık sergilemiştir42. Çeşitli derleme makaleleri, modern derin öğrenme teknikleri tarafından elde edilen dikkat çekici ilerlemenin yanı sıra hesaplama verimliliği, açıklanabilirlik, veri seti bağımlılığı ve klinik doğrulama ile ilgili süregelen zorlukların altını çizerek bu gelişmeleri özetlemiştir43,44,45. Tablo 1, cilt lezyonu sınıflandırması için derin öğrenme algoritmaları kullanan yakın zamanda yayınlanmış bazı çalışmaları özetlemektedir.
Son dönem DL yöntemlerinin cilt lezyonu sınıflandırmasında elde ettiği dikkat çekici ilerlemelere rağmen, mevcut yaklaşımların çoğu yüksek hesaplama karmaşıklığı, büyük etiketli veri setlerine bağımlılık, sınırlı model yorumlanabilirliği ve çeşitli gerçek dünya klinik ortamlarında yetersiz doğrulama gibi kısıtlamalar taşımaktadır. Bu sınırlamaların üstesinden gelmek için bu çalışma, sağlam ve doğru bir sınıflandırma amacıyla birden fazla CNN mimarisinden çıkarılan tamamlayıcı özellikleri bir SVM sınıflandırıcısı ile entegre eden EDLF-SLC çerçevesini önermektedir. Çerçeve ayrıca, görüntü kalitesini artırmak ve sınıf dengesizliğini gidermek için geliştirilmiş ön işleme yöntemleri kullanırken, bireysel tahminlerin görsel açıklamalarını sağlamak için LIME tekniğini dahil ederek model şeffaflığını ve klinik güvenilirliği artırmaktadır.
Bu çalışmanın katkıları üç yönlüdür. İlk olarak yazarlar, doğru ve güvenilir cilt lezyonu sınıflandırması elde etmek için gelişmiş evrişimli sinir ağlarını (CNN'ler) bir destek vektör makinesi (SVM) sınıflandırıcısıyla entegre eden sağlam bir çerçeve olan EDLF-SLC'yi önermektedirler. İkinci olarak yazarlar, sınıf dengesizliğini gidermek ve görüntü gürültüsünü azaltmak için geliştirilmiş ön işleme tekniklerini uygulayarak giriş görüntülerinin kalitesini ve sınıflandırma modelinin genel performansını artırmaktadırlar. Üçüncü olarak yazarlar, sınıflandırma kararlarını en güçlü şekilde etkileyen görüntü bölgelerini vurgulayarak tekil model tahminlerini görselleştirmek ve yorumlamak için Yerel Yorumlanabilir Modelden Bağımsız Açıklamalar (LIME) yöntemini dahil ederek önerilen çerçevenin şeffaflığını ve yorumlanabilirliğini artırmaktadırlar.
Protokol
Bu çalışma, insan katılımcıların dahil edilmesini veya tanımlanabilir hasta verilerinin toplanmasını içermemiştir. Tüm deneyler, Kaggle deposundan temin edilen ve kamuya açık olan ISIC 2020 cilt lezyonları veri seti kullanılarak yürütülmüştür; bu nedenle, kurumsal etik kurul onayı ve bilgilendirilmiş onam gerekmemiştir. Bu çalışmada kullanılan tüm malzemeler Malzemeler Tablosunda yer almaktadır.
Öznitelik çıkarımı ve birleştirme
Deri lezyonu görüntüleri, önceden eğitilmiş çoklu CNN modelleri kullanılarak işlenmiştir. Seçilen önceden eğitilmiş CNN mimarilerinden çıkarılan derin öznitelik vektörleri, her bir deri lezyonu görüntüsü için birleşik bir öznitelik temsili oluşturmak üzere birbirine eklenir. Benimsenen birleştirme stratejisi, farklı CNN mimarileri tarafından öğrenilen tamamlayıcı görsel bilgileri koruyarak, sonraki SVM sınıflandırıcısının hem düşük düzeyli doku özelliklerinden hem de daha yüksek düzeyli anlamsal temsillerden yararlanmasını sağlar. Temel bileşenler analizi veya karşılıklı bilgi tabanlı öznitelik seçimi gibi boyut indirgeme teknikleri öznitelik boyutunu azaltabilse de, birleşik öznitelik uzayı kullanılan RBF-SVM sınıflandırıcısı için hesaplama açısından yönetilebilir kalırken heterojen CNN omurgalarından çıkarılan tamamlayıcı tanısal bilgileri de koruduğundan, birleşik temsilin tamamı kasıtlı olarak tutulmuştur.
Sınıflandırma
Birleştirilmiş öznitelik vektörleri, RBF çekirdekli bir SVM sınıflandırıcısını eğitmek için kullanıldı. Optimal sınıflandırma ayarlarını belirlemek için hiperparametre optimizasyon teknikleri uygulandı. Sınıflandırıcı daha sonra deri lezyonlarını ilgili sınıflarına ayırdı.
Açıklanabilirlik
Yorumlanabilirliği artırmak amacıyla, sınıflandırma sonuçlarına en önemli katkıyı sağlayan görüntü bölgelerini vurgulayan görsel açıklamalar oluşturmak için LIME uygulandı. Bu açıklamalar, klinisyenlerin modelin kararlarını anlamalarına ve doğrulamalarına yardımcı olacaktır.
Değerlendirme planı
Önerilen çerçeve, bir kıyaslama deri lezyonu veri seti kullanılarak değerlendirilmiştir. Performans; Doğruluk, Kesinlik, Duyarlılık ve F1-Skoru kullanılarak analiz edilmiştir. Önerilen çerçevenin etkinliğini kanıtlamak amacıyla mevcut makine öğrenimi ve derin öğrenme yaklaşımlarına karşı karşılaştırmalı deneyler yürütülmüştür.
Beklenen sonuçlar
Çalışmanın, doğru ve yorumlanabilir bir cilt lezyonu sınıflandırma sistemi üretmesi bekleniyordu. Ön deneysel sonuçlar, EDLF-SLC'nin %88,0 doğruluk, %89,0 kesinlik, %87,0 duyarlılık ve %88,0 F1-skoru elde ederek birçok rakip yöntemi geride bıraktığını göstermektedir. LIME açıklamalarının entegrasyonunun, güvenilirliği artırması ve klinik uygulamalarda yapay zeka destekli tanı sistemlerinin benimsenmesini kolaylaştırması öngörülmüştür.
Önem
Bu araştırma, cilt lezyonu teşhisindeki hem performans hem de şeffaflık zorluklarını ele alarak, gelişmekte olan açıklanabilir sağlık hizmetleri yapay zekası alanına katkıda bulunmaktadır. Önerilen çerçeve, dermatologların daha güvenilir ve yorumlanabilir tanısal kararlar vermelerini destekleme ve nihayetinde hasta bakımını iyileştirme potansiyeline sahiptir. Ayrıca, bu bölümde yazarlar, bu araştırma çalışmasında uygulanan materyaller ve metodolojiye ilişkin bilgiler sunmuştur. Özellikle yazarlar, deneyler için kullanılan veri setinin açıklamasıyla başlayıp, Cilt Lezyonu Sınıflandırması için Açıklanabilir Derin Öğrenme Çerçevesinin ayrıntılı tartışmasına geçiş yapmışlardır.
Veri Seti
Sunulan çalışma, Kaggle web sitesinden (https://www.kaggle.com/datasets/fanconic/skin-cancer-malignant-vs-benign) erişilebilen, halka açık ISIC 2020 (International Skin Imaging Collaboration) veri setine dayanmaktadır. ISIC deposu, Şekil 1'de gösterildiği gibi farklı cilt lezyonu türlerine ait çok çeşitli dermoskopik görüntüler sağladığı için dermatolojik görüntüleme alanındaki en iyi kaynaklardan biri olarak kabul edilmektedir. Önemli bir nokta olarak veri seti, hem benign hem de malign durumların görüntülerini içerdiğinden, cilt kanseri için ikili sınıflandırma görevlerini gerçekleştirmek için kullanışlıdır 46. Mevcut veri setinde, 1.800'ü benign ve 1.497'si malign olmak üzere toplam 3.297 görüntü bulunmaktadır. Daha verimli deneyler için veriler bir eğitim seti ve bir test seti olarak bölünmüştür. Özellikle, eğitim setinde 1.440 benign ve 1.197 malign olmak üzere 2.637 görüntü bulunurken; test seti, 360'ı benign ve 300'ü malign olmak üzere 660 görüntüden oluşmaktadır. Veri setinin özeti Tablo 2'de gösterilmiştir.
Önerilen EDLF-SLC modeli
Bu makalede, birden fazla önceden eğitilmiş evrişimli sinir ağı modelinin avantajlarını birleştiren hibrit bir yaklaşıma dayalı, yeni ve açıklanabilir bir derin öğrenme tekniği kullanılarak, deri lezyonlarını benign ve malign kategorilerine ayırmak için verimli ve anlaşılır bir çözüm önerilmiştir. Evrişimli sinir ağlarının, tıbbi görüntülerden üst düzey semantik özelliklerin çıkarılmasında oldukça etkili olduğu kanıtlanmıştır. Bu yeteneği kullanan, deri lezyonu sınıflandırması için önerilen açıklanabilir derin öğrenme çerçevesi (EDLF-SLC), üstün performans elde etmek için birden fazla önceden eğitilmiş CNN modelinden yararlanır. Tıbbi karar verme sürecinin gerekli şeffaflığını sağlamak amacıyla, çıktı sonuçları için yerel ve insan tarafından okunabilir açıklamalar oluşturmak üzere önerilen yaklaşımda LIME benimsenmiştir. Tüm çerçeve, Şekil 2'de gösterildiği gibi üç ana aşamaya ayrılabilir: (1) veri ön işleme, (2) özellik çıkarma ve sınıflandırma ve (3) yorumlanabilirlik.
Model mimarisi ve entegrasyonu
Ön adım olarak, yedi popüler derin öğrenme modeli (MobileNetV2, ResNet50, EfficientNetB0, Xception, InceptionResNetV2, NASNetLarge ve MobileNet) seçilmiş ve doğrulama veri kümesi üzerinde ayrı ayrı değerlendirilmiş; özellik çıkarımı aşaması için en etkili dört model (ResNet50, EfficientNetB0, MobileNet ve Xception) belirlenmiştir. Önerilen çerçevede, her bir girdi görüntüsü x, seçilen önceden eğitilmiş modellerden bağımsız olarak geçirilmiştir. Bu modellerin her birinden son tam bağlantılı katman çıkarılmış ve önceki katmanlardan özellik vektörleri elde edilmiştir. fResNet50(x), fEfficientNetB0(x), fMobileNet(x) ve fXception(x), yukarıda belirtilen modellerin her birinden elde edilen çıktı özellik vektörlerini ifade eder. Bu özellik vektörlerinin uç uca eklenmesiyle (concatenation), yeni bir toplulaştırılmış özellik vektörü F(xi) elde edilir:
F(xi) = [f(ResNet50)(xi);f(EfficientNetB0)(xi);f(MobileNet)(xi);f(Xception)(xi)] (1)
Ardından, sınıflandırma sonucunu elde etmek için F(xi), radyal tabanlı fonksiyon (RBF) çekirdeğine sahip bir SVM sınıflandırıcısından geçirilmiştir. Önerilen çerçeve için tüm algoritma Ek Dosya 1'de sunulmuştur.
Önerilen çerçeve, her ön eğitimli CNN mimarisinin kendine özgü ağ yapısı ve öğrendiği özellik hiyerarşisi aracılığıyla cilt lezyonlarının farklı ayırt edici özelliklerini yakalaması nedeniyle doğrudan özellik düzeyinde füzyonu benimsemektedir. Sonuç olarak, bu heterojen özellik temsillerinin uç uca eklenmesi, sınıflandırma öncesinde daha kapsamlı bir lezyon karakterizasyonuna katkıda bulunan tamamlayıcı bilgileri korur. Temel bileşenler analizi (PCA) veya karşılıklı bilgi tabanlı özellik seçimi gibi boyut azaltma teknikleri, füzyonlanmış temsilin boyutunu düşürebilse de, farklı CNN omurgaları tarafından çıkarılan tamamlayıcı tanısal bilgileri korurken boyutu benimsenen RBF-SVM sınıflandırıcısı için hesaplamalı olarak yönetilebilir kaldığından, eksiksiz füzyonlanmış özellik vektörü kasıtlı olarak tutulmuştur. Bu tasarım, dolayısıyla, sınıflandırma öncesinde potansiyel olarak bilgilendirici özellikleri elemekten ziyade, tamamlayıcı derin temsillerin korunmasına öncelik vermektedir.
Veri hazırlama
Veri hazırlama işlemi, ön işleme ve veri setinin eğitim ve test setlerine ayrılmasını içermiştir. Ön işleme; tutarsızlıkların giderilmesi, yinelenen öğelerin silinmesi, giriş görüntülerinin biçimlendirilmesi ve iyi bir modelin kararlı eğitimi için özellik ölçeklendirmesinin yapılması yoluyla veri kalitesini artırmayı amaçlamaktadır. Tüm görüntüler, Z-skoru normalizasyonu aracılığıyla [−1, 1] aralığına normalize edilmiştir:
(2)
burada µ ve σ sırasıyla ilgili görüntünün ortalama değerini ve standart sapmasını temsil eder. Veri seti iki alt kümeye, yani bir eğitim setine (%70,0) ve bir test setine (%30,0) ayrılmıştır.
Veri artırımı
Aşırı öğrenmeyi (overfitting) önlemek ve modelin genelleme yeteneğini artırmak için eğitim seti üzerinde bazı artırımlar kullanılmıştır. Görüntü artırımları, tıbbi durumların temel özelliklerini değiştirmeden veri setini yapay olarak genişletmek amacıyla görüntülerin modifiye edilmesini içerir. Artırım hattı Keras Sequential API kullanılarak oluşturulmuştur. Rastgele yatay çevirme, dar bir açıda döndürme, yeniden boyutlandırma, ölçeklendirme, parlaklık/kontrast ayarı, yakınlaştırma ve bazı küçük hareketler gibi dönüşümler kullanılmıştır. Artırılmış görüntülerin temsili örnekleri Şekil 3'te gösterilmiştir.
Önceden eğitilmiş modeller
Giriş görüntülerinden öznitelik çıkarmak için önerilen çerçevede birkaç önceden eğitilmiş derin öğrenme modeli benimsenmiştir. Bu modeller arasında MobileNet, ResNet50, EfficientNetB0, Xception, NASNetLarge, Inception-ResNet-v2 ve MobileNetV2 bulunmaktadır. MobileNet ve MobileNetV2, derinlemesine ayrılabilir konvolüsyonlar kullanarak verimli hesaplamalar yapan hafif derin öğrenme modelleridir. ResNet50, modeli eğitmek için artık bağlantılar (residual connections) mekanizmasını kullanır ve böylece eğitim sırasında gradyanların kaybolması problemini önler. EfficientNetB0, bileşik ölçeklendirme yaklaşımıyla verimlilik ve hassasiyet arasında bir denge kurar. Xception, derinlemesine ayrılabilir konvolüsyonlar kullanarak Inception ağını genişletir. NASNetLarge, optimal derin sinir ağı yapıları oluşturmak için sinirsel mimari arama kullanımıyla ilgilidir ve Inception-ResNet-v2, Inception modeli ile artık bağlantılar mekanizmasının bir hibritini oluşturur. ResNet50 (1,024 öznitelik), EfficientNetB0 (1,280 öznitelik), MobileNet (1,024 öznitelik) ve Xception'dan (2,048 öznitelik) çıkarılan öznitelik vektörleri, birleşik 5,376 boyutlu bir temsil oluşturmak için birbirine eklenir. Bu füzyon stratejisi, sınıflandırmadan önce temsili azaltmak yerine, farklı CNN mimarileri tarafından öğrenilen tamamlayıcı temsilleri korumak için seçilmiştir. Elde edilen öznitelik vektörü, daha sonra birleştirilmiş öznitelik alanı içindeki optimal doğrusal olmayan karar sınırını belirleyen RBF-SVM sınıflandırıcıya aktarılır.
Açıklanabilir Yapay Zeka modeli (LIME)
Model tahminlerinin yerel yorumlanabilirliğini sağlamak amacıyla yazarlar, her bir spesifik model tahmini için LIME47 olarak adlandırılan yerelleştirilmiş, insan tarafından okunabilir açıklamalar oluşturma yöntemini benimsemişlerdir. Herhangi bir giriş görüntüsü için LIME, öncelikle görüntüyü süper piksel adı verilen daha küçük birimlere ayırır. Ardından orijinal görüntüden pertürbasyonlar oluşturulur ve derin sinirsel modelden gelen tahminler her bir pertürbasyon için kestirilir. Daha sonra, orijinal giriş örneğine yakınlıklarına bağlı ağırlıklar kullanılarak pertürbasyonlar üzerine ağırlıklı bir doğrusal model uydurulur. Doğrusal model uydurulduktan sonra, her bir süper pikselin nihai etiketin tahminindeki rolünü belirten özellik önem skorları kestirilir. Bu önem skorları, nihai açıklama görüntüsünde görsel olarak vurgulanır. LIME algoritması Ek Dosya 2'de gösterilmiştir.
Sonuçlar
Geliştirilen sınıflandırma çerçevesinin performans değerlendirmesi, hata matrisinden türetilen geleneksel değerlendirme ölçütlerine dayanmaktadır. Bir hata matrisi, tanımlanan her bir sınıf için yapılan doğru ve yanlış sınıflandırma sayılarının gösterimi aracılığıyla, sınıflandırıcı performansının eksiksiz bir şekilde anlaşılmasını sağlar. Bu sayede, tüm hata türleri analiz edilebilir. Örneğin, hastalıkların teşhisinde hem yanlış pozitifler hem de yanlış negatifler özellikle önemlidir. Yüksek yanlış pozitif değerleri, bir sınıflandırıcının yüksek duyarlılığını gösterebilir; ancak aynı zamanda, çok sayıdaki yanlış negatif, sınıflandırıcının düşük duyarlılığına işaret eder ve potansiyel sağlık riskleri oluşturur. Bu çalışmada aşağıdaki performans metrikleri kullanılmıştır. Bunlar; doğruluk (accuracy), kesinlik (precision), geri çağırma (recall), F1-skoru (F1-score), özgüllük (specificity), gerçek pozitif oranı (TPR) ve yanlış pozitif oranıdır (FPR). Bu metriklerin formülleri aşağıda listelenmiştir:
Doğruluk=(TP+TN)/(TP+TN+FP+FN) (3)
Kesinlik = TP/(TP+FP) (4)
(5)
(6)
(7)
(8)
Bu durumda TP, çerçeve tarafından tespit edilen malign cilt kanserlerinin sayısını gösterirken, TN benign lezyonların sayısını belirtir. Buna karşılık FP, aslında benign oldukları halde malign olarak sınıflandırılan lezyonlardaki yanlış karar sayısını ortaya koyar. FN ise yanlış tanınan benign örneklerin sayısını yansıtır. Cilt kanseri sınıflandırmasıyla ilgili olarak, ortaya çıkabilecek potansiyel olumsuz etkiler nedeniyle yanlış negatiflerin minimize edilmesi son derece önemlidir.
Temel modellerin performansı
Tüm hesaplama deneyleri Google Colab'ın bulut tabanlı ortamında gerçekleştirilmiştir. Bu platformun, işletim sistemi olarak önceden tanımlanmış bir Ubuntu 20.04 kullanan sanal makine örneklerinin çalıştırılmasına izin verdiği belirtilmelidir. Temel modelleri eğitmek için Python sürüm 3.9 ve PyTorch framework sürüm 2.3.1 kullanılmıştır. Ek olarak, tüm hesaplama düğümleri aynı özelliklere sahipti; bunlar 2.2 GHz frekansında bir Intel Xeon CPU, NVIDIA Tesla T4 GPU, 16 GB RAM ve 70 GB depolama kapasitesidir. Böylece, bu deneysel düzenek, farklı donanım platformlarının getirdiği değişkenliği azaltmaya ve sonuçların güvenilirliğini ve tekrarlanabilirliğini artırmaya olanak sağlamıştır. Deneysel ortamın tam bir özeti Tablo 3'te bulunabilir.
Şekil 4, ResNet-50 mimarisi için 100 epoch'luk eğitime karşılık gelen öğrenme eğrilerini göstermektedir. Eğitim, 2.110 görüntü içeren bir veri seti üzerinden gerçekleştirilmiş, doğrulama veri setinin boyutu ise 660 görüntü olarak belirlenmiştir. Görüldüğü üzere, eğitim sırasında doğruluk oranı sürekli artarak yaklaşık %90,0'a ulaşmıştır. Aynı zamanda, doğruluktaki artış ilk 50 epoch boyunca gözlemlenmiş; bu noktadan sonra doğruluk oranı neredeyse sabit kalmıştır ki bu durum modelin yakınsadığının bir işareti olarak değerlendirilebilir. Doğrulama aşamasında model, %86,0'a eşit bir AUC değeri sergileyerek makul ayırıcı özelliklere sahip olduğunu kanıtlamıştır.
Şekil 5'te sunulan hata matrisi, 660 görüntü içeren bir test seti durumunda ResNet-50 modelinin sınıflandırma doğruluğu açısından performansını karakterize etmektedir. Değerlendirme sırasında model, 360 benign örneğin 310'unu ve 300 malign örneğin 239'unu doğru bir şekilde tanımıştır. Ancak, nispeten yüksek sayıda malign örnek yanlış sınıflandırılmış olup, bu durum nispeten yüksek bir yanlış negatif değerine yol açmıştır. Sınıflandırıcının pratikte kullanımı sırasında bu tür hataların ciddi sonuçları olabileceği göz önüne alındığında, bu sonuç daha ayrıntılı olarak değerlendirilmelidir. Toplamda model; %83,0 doğruluk, %83,3 kesinlik (precision), %83,3 duyarlılık (recall) ve %83,3 F1-skoru değerlerine ulaşmıştır.
Tablo 4, her iki sınıf açısından ResNet-50 modelinin performans özelliklerinin ayrıntılı bir açıklamasını içermektedir. Sınıflandırıcı, kesinlik açısından nispeten dengeli bir davranış sergilemiştir; iyi huylu örnekler için bu değer %83,0 iken, kötü huylu örneklerde kesinlik %84,0 olarak gerçekleşmiştir. Benzer şekilde, duyarlılık değerleri iyi huylu lezyonlar için %88,0'a ve kötü huylu lezyonlar için %78,0'a ulaşmıştır. Tablodaki destek (support), her bir sınıfa karşılık gelen örnek sayısını temsil etmektedir.
Önerilen EDLF-SLC modeli
Şekil 6, önerilen modelin 300 epoch boyunca eğitim ve doğrulama AUC değerlerini göstermektedir. AUC metriği, modelin benign ve malign sınıfları ayırt etme yeteneğini yansıtmakta olup, daha yüksek değerler daha iyi bir ayırt etme performansına işaret eder. Gözlemlendiği üzere, eğitim AUC değeri eğitim süreci boyunca istikrarlı bir şekilde artarak yaklaşık 200. epoch'ta 1,00 maksimum değerine ulaşmıştır. Doğrulama AUC değeri de başlangıç eğitim aşamalarında kademeli olarak iyileşmiş; ancak yaklaşık 150 epoch'tan sonra düzleşmeye başlayarak modelin yakınsadığını göstermiştir. 0,95 olan nihai doğrulama AUC değeri, güçlü bir genelleme kapasitesini ve etkili sınıf ayrılabilirliğini kanıtlamaktadır.
Şekil 7'de sunulan önerilen modelin hata matrisi; modelin 299 benign örneği ve 272 malign örneği doğru şekilde sınıflandırdığını, buna karşın 28 benign vakayı malign ve 61 malign vakayı benign olarak yanlış sınıflandırdığını göstermektedir. Toplamda model, 571 doğru tahmin ve 89 yanlış sınıflandırma gerçekleştirmiştir. Özellikle, yanlış negatiflerin (benign olarak yanlış sınıflandırılan malign vakalar) daha yüksek sayıda olması, bu tür hataların önemli klinik etkileri olabileceğinden kritik bir sınırlamaya işaret etmektedir. Buna rağmen, genel sınıflandırma performansı güçlü kalmaya devam etmektedir. Sınıflandırma öncesinde boyutları kasıtlı olarak kaldıran özellik seçimi yaklaşımlarının aksine, önerilen çerçeve, birden fazla heterojen CNN mimarisi tarafından oluşturulan eksiksiz birleştirilmiş derin temsili korur. Bu tasarım, her bir omurganın tamamlayıcı lezyon özelliklerini çıkarması ve eksiksiz temsilin korunmasının, potansiyel olarak bilgilendirici özellikleri hariç tutmadan SVM sınıflandırıcısının birleştirilmiş ayırt edici bilgileri kullanmasına olanak tanıması nedeniyle benimsenmiştir. Sonuç olarak, benimsenen özellik birleştirme stratejisi, hesaplama uygulanabilirliğini korurken tamamlayıcı temsil öğrenimine öncelik vermektedir.
Şekil 8, önerilen model tarafından üretilen sınıflandırma sonuçlarının temsili örneklerini sunmaktadır. Sonuçlar, modelin doğru sınıflandırılan örneklere yüksek güven puanları atadığını göstermektedir. Spesifik olarak, benign vakalar yüksek tahmin edilen olasılıklar (örneğin, %99.84 ve %99.85) sergilerken, malign vakalar da güçlü güven düzeyleri (örneğin, %99.98 ve %99.96) göstermektedir. Bu bulgular, modelin görsel olarak zorlayıcı senaryolarda bile benign ve malign lezyonlar arasında etkili bir şekilde ayrım yapabildiğini göstermektedir. Yorumlanabilirliği artırmak için, Şekil 9A–D'de gösterildiği gibi model tahminleri için yerelleştirilmiş açıklamalar oluşturmak amacıyla LIME çerçevesi kullanılmıştır. LIME, modelin karmaşık karar sınırını yerel olarak yorumlanabilir doğrusal bir model kullanarak yaklaşık olarak hesaplar. Her giriş görüntüsü için yöntem, süper pikselleri seçici olarak maskeleyerek ve karşılık gelen tahminleri değerlendirerek pertürbe edilmiş örnekler oluşturur. Daha sonra, ağırlıkların radyal tabanlı bir fonksiyon çekirdeği kullanılarak orijinal girişe olan yakınlığa göre belirlendiği ağırlıklı bir doğrusal model bu örneklere uydurulur. Ortaya çıkan katsayılar, her bir süper pikselin nihai tahmine olan katkısını temsil eder ve şu şekilde tanımlanır:
(9)
burada Xj ∈ {0, 1}, j-inci süperpikselin varlığını veya yokluğunu, Bj ilgili katkı ağırlığını ve B0 ise temel tahmini belirtir. Pozitif katsayılar (Bj > 0) malign sınıfa katkıda bulunan bölgeleri gösterirken, negatif katsayılar (Bj < 0) benign özelliklere karşılık gelir. Şekil 9B, D'de gösterilen LIME tabanlı görselleştirmeler, her bir sınıflandırma kararına katkıda bulunan en etkili bölgeleri vurgulamaktadır. Benign lezyonlar için model, tekdüze pigmentasyon ve belirgin sınırlarla karakterize edilen bölgeleri ön plana çıkarmaktadır. Buna karşılık, malign vakalar için vurgulanan bölgeler; düzensiz sınırlar, renk heterojenliği ve atipik dokular gibi klinik olarak anlamlı özelliklere karşılık gelmektedir. Vurgulanan bölgelerin yoğunluğu, ilgili Bj katsayılarının büyüklüğünü yansıtmaktadır.
Bu sonuçlar, EDLF-SLC modelinin ABCD kuralı gibi yerleşik dermatolojik kriterlerle uyumlu, klinik olarak anlamlı özelliklere odaklandığını göstermektedir. Bu uyum, modelin yorumlanabilirliğini ve güvenilirliğini artırarak onu klinik karar desteği için daha uygun hale getirmektedir. Ayrıca, Şekil 10; Grad-CAM, HiResCAM, GradCAM++, XGradCAM, LayerCAM, EigenGradCAM ve EigenCAM dahil olmak üzere ek açıklanabilirlik teknikleri kullanılarak elde edilen karşılaştırmalı görselleştirme sonuçlarını sunarak, farklı yöntemler genelinde belirlenen belirgin bölgelerin tutarlılığını daha da doğrulamaktadır. Önerilen EDLF-SLC modelinin ve yedi temel modelin 100 epokluk eğitim sonrası performansına ilişkin bir karşılaştırma Tablo 5'te görülebilir. EDLF-SLC, deneysel bağlama göre değerlendirilen temel mimarilerle karşılaştırıldığında, değerlendirilen her bir metrikte 0,88'lik rekabetçi bir performans sergilemiştir. EfficientNetB0 ve ResNet50 de sırasıyla 0,85 ve 0,83'lük doğruluk oranlarıyla iyi sonuçlar elde etmiştir. Buna karşılık, Inception-ResNetV2 değerlendirilen modeller arasında en düşük sınıflandırma performansına sahip olmuştur. Öte yandan, nispeten daha düşük sınıflandırma doğruluğına rağmen, hesaplama verimliliği temel modellerle kıyaslanabilir düzeyde kalmıştır. Önerilen EDLF-SLC modeli, benimsenen deneysel koşullar altında değerlendirilen temel modellere kıyasla rekabetçi bir performans göstermiştir.
Önerilen çerçevenin mevcut yaklaşımlara kıyasla performansını değerlendirmek için Tablo 6, deri lezyonu sınıflandırması için temsilci olan en güncel yöntemlerle bir karşılaştırma sunmaktadır. Örneğin47, 0,86'lık bir doğruluk oranı bildirirken, 48 benzer bir doğruluk ancak daha düşük kesinlik, duyarlılık ve F1-skoru elde eden topluluk tabanlı (ensemble) bir model kullanmıştır. Topluluk öğrenimi ve çoklu CNN mimarilerine dayanan güncel çalışmalar25,49, 0,87'ye kadar çıkan doğruluk oranları bildirmiştir. Benimsenen deneysel koşullar altında, önerilen EDLF-SLC çerçevesi, lezyon segmentasyon modelleri gibi ek bileşenlere ihtiyaç duymadan, birleşik ve açıklanabilir bir mimari kullanarak 0,88'lik bir doğruluk oranına ulaşmıştır.
VERİ KULLANILABİLİRLİĞİ
Bu çalışmanın bulgularını destekleyen veriler, https://www.kaggle.com/datasets/fanconic/skin-cancer-malignant-vs-benign adresindeki Kaggle platformunda açıkça erişilebilir durumdadır.
Şekil 1: Bu çalışmada kullanılan iki tanısal sınıfı gösteren ISIC veri setinden temsili dermoskopik görüntüler. Örnekler benign (0) ve malign (1) olarak etiketlenmiş olup, veri seti genelindeki lezyon morfolojisi, renk ve doku değişkenliğini vurgulamaktadır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 2: Önerilen EDLF-SLC çerçevesinin eksiksiz iş akışı. Protokol, ISIC 2020 görüntü alımı ile başlar ve bunu ön işleme, veri artırma, veri seti bölümlendirme, dört önceden eğitilmiş CNN mimarisi kullanılarak derin özellik çıkarma, özellik birleştirme, SVM sınıflandırması, performans değerlendirmesi ve LIME tabanlı açıklama üretimi takip eder. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 3: Veri artırma teknikleri kullanılarak oluşturulan artırılmış cilt lezyonu görüntüsü örnekleri. Buna yatay ve dikey çevirme, döndürme, ölçeklendirme ve parlaklık ayarı dahildir. Bu dönüşümler veri seti çeşitliliğini artırır, model dayanıklılığını iyileştirir ve eğitim sırasında aşırı öğrenme (overfitting) riskini azaltır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 4: ResNet-50 modelinin 100 eğitim epoku boyunca eğitim ve doğrulama alıcı işletim karakteristiği eğri altı alanı (ROC-AUC). Mavi eğri eğitim AUC'sini, turuncu eğri ise doğrulama AUC'sini temsil etmektedir. Eğriler, ilk eğitim epokları sırasında hızlı bir yakınsama ve ardından tutarlı şekilde yüksek doğrulama performansı ile stabil bir optimizasyon sergileyerek, etkili bir öğrenme ve doğrulama veri seti üzerinde tatmin edici bir genelleme olduğunu göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 5: Test veri setinde ResNet-50 modelinin konfüzyon matrisi. Satırlar gerçek sınıf etiketlerini (0 = benign, 1 = malign), sütunlar ise tahmin edilen sınıf etiketlerini temsil etmektedir. Köşegen elemanlar doğru sınıflandırılan örnekleri (310 benign ve 239 malign) gösterirken, köşegen dışındaki elemanlar 50 yanlış pozitif ve 61 yanlış negatif dahil olmak üzere hatalı sınıflandırılan örnekleri temsil etmektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayınız.
Şekil 6: Önerilen EDLF-SLC modelinin 300 eğitim epoku boyunca eğitim ve doğrulama alıcı işletim karakteristik eğri altında kalan alan (ROC-AUC) değerleri. Mavi eğri eğitim AUC'sini, turuncu eğri ise doğrulama AUC'sini temsil etmektedir. Model, ilk eğitim epokları sırasında hızlı bir yakınsama sergilemiş, ardından geri kalan epoklar boyunca tutarlı şekilde yüksek eğitim ve doğrulama AUC değerleri ile kararlı bir optimizasyon göstermiştir. Sürdürülen doğrulama performansı, önerilen EDLF-SLC çerçevesinin doğrulama veri seti üzerinde iyi bir genelleme yeteneğine ve kararlı öğrenme davranışına sahip olduğunu kanıtlamaktadır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 7: Önerilen EDLF-SLC modelinin test veri seti üzerindeki konfüzyon matrisi. Satırlar gerçek sınıf etiketlerini (0 = benign, 1 = malign), sütunlar ise tahmin edilen sınıf etiketlerini temsil etmektedir. Köşegen elemanlar doğru sınıflandırılan örnekleri (299 benign ve 272 malign) gösterirken, köşegen dışındaki elemanlar 61 yanlış pozitif ve 28 yanlış negatif dahil olmak üzere yanlış sınıflandırılan örnekleri göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 8: Önerilen EDLF-SLC modeli tarafından oluşturulan örnek tahminler.Bu şekil, benign ve malign lezyonlar için sınıflandırma güven seviyelerini göstermekte ve modelin ayırt edici kapasitesini ortaya koymaktadır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayınız.
Şekil 9: Önerilen EDLF-SLC modelinin LIME tabanlı yerel açıklamaları. Şekil, modelin sınıflandırma kararlarına katkıda bulunan en etkili süperpiksel bölgelerini vurgulamaktadır. (A) Benign bir cilt lezyonunun orijinal dermoskopik görüntüsü. (B) Benign lezyon için LIME açıklaması; vurgulanan süperpikseller, benign tahminine en çok katkıda bulunan bölgeleri belirtmektedir. (C) Malign bir cilt lezyonunun orijinal dermoskopik görüntüsü. (D) Malign lezyon için LIME açıklaması; malign sınıflandırmayı ağırlıklı olarak etkileyen ayırt edici süperpiksel bölgelerini göstermektedir. Sarı sınırlar, LIME tarafından tanımlanan etkili süperpikselleri belirlerken, gri bölgeler tahmine katkısı minimum olan alanları temsil etmektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayınız.
Şekil 10: Önerilen EDLF-SLC modeline uygulanan sınıf aktivasyon haritalama (CAM) tabanlı açıklanabilirlik yöntemlerinin karşılaştırması. Şekil; aynı dermoskopik görüntü için GradCAM, HiResCAM, GradCAM++, XGradCAM, LayerCAM, EigenGradCAM ve EigenCAM tarafından oluşturulan lokalizasyon haritalarını karşılaştırmaktadır. İlk panel orijinal giriş görüntüsünü, ardından her bir açıklanabilirlik yöntemi tarafından üretilen karşılık gelen ham aktivasyon haritalarını ve ısı haritası bindirmelerini göstermektedir. Görselleştirmeler, uzamsal lokalizasyondaki farklılıkları örneklendirmekte ve önerilen EDLF-SLC çerçevesinin sınıflandırma kararına en güçlü katkıyı sağlayan görüntü bölgelerini vurgulamaktadır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
| Ref. | Yıl | Veri Seti | Veri boyutu | Öznitelik çıkarımı | Yöntem | Doğruluk |
| 9 | 2022 | HAM10000 veri seti | 10015 cilt lezyonu görüntüsü | Renk ve şekil öznitelikleri | ML algoritmaları ve Konvolüsyonel NN modelleri | 95.1% |
| 19 | 2023 | PH2 veri seti | 200 açıklanmış görüntü | Asimetri, Çizgiler, Noktalar/Globüller, Regresyon alanları öznitelikleri | ML modelleri | 94.0% |
| 30 | 2024 | HAM10000 veri seti | 10000 görüntü | Renk ve şekil öznitelikleri | S-MobileNet | 97.7% |
| 28 | 2025 | ISIC2020 ve HAM10000 veri setleri | ISIC2020 (12,670 görüntü) ve HAM10000 (10,015 görüntü) | Renk ve şekil | Residual network-Long Short-Term Memory (R-LSTM50) | 95.7% (ISIC2020); 94.2% (HAM10000) |
| 32 | 2026 | Monkeypox Skin Lesion Dataset (MSLD) | 770 görüntü | Bağlam ve doku | DenseNet121, Xception, InceptionV3 ve CBAM | 88% (DenseNet121) |
| 39 | 2025 | HAM10000 | 38,569 görüntü | Bağlam ve doku | MobileNet, ResNet50, InceptionV3 ve EfficientNet | 93.6% (MobileNet) |
| 40 | 2025 | ISIC 2019 | 2357 görüntü | Bağlamsal ve Mekansal | CNN-transformer tabanlı çok modlu DL | 98.71% |
| 41 | 2026 | ISIC 2019 | 25,000 görüntü | Bağlam ve doku | TransXV2S | 95.26% |
| 42 | 2025 | HAM10000 | 10,015 görüntü | Renk ve şekil | YOLOv8 ile ViT | 93% |
Tablo 1: Literatür karşılaştırması. Deri lezyonu sınıflandırması için derin öğrenme algoritmalarını kullanan yakın zamanda yayınlanmış bazı çalışmaların özeti.
| Veri Seti | İyi huylu | Malign | Toplam |
| Eğitim verileri | 1440 | 1197 | 2637 |
| Test verileri | 360 | 300 | 660 |
| Toplam veri | 1800 | 1497 | 3297 |
Tablo 2: Veri seti dağılımı. Eğitim ve test ayrımları dahil olmak üzere, ISIC 2020 veri setindeki iyi huylu ve kötü huylu örneklerin dağılımı.
| Bileşen | Şartname |
| İşletim Sistemi | Ubuntu 20.04 |
| Programlama Dili | Python 3.9 |
| DL Çerçevesi | PyTorch 2.3.1 |
| Optimizasyon Algoritması | Adam |
| Öğrenme oranı zamanlaması | 1e−3 |
| Epok sayısı | 100/300 |
| Merkezi İşlem Birimi | 2 vCPU 2,2 GHz |
| GPU (Grafik İşleme Birimi) | Tesla T4 (16 GB) × 1 |
| Rastgele Erişimli Bellek | 16 GB |
| Eğitilebilir Parametreler | 2.430.353 (9,27 MB) |
| Eğitilemez Parametreler | 133.434.397 (509,01 MB) |
Tablo 3: Sistem özellikleri. Yazılım çerçeveleri ve model eğitimi ile değerlendirmesi için kullanılan donanım kaynakları dahil olmak üzere hesaplama ortamının ayrıntılı özellikleri.
| Sınıf | Hassasiyet | Duyarlılık | F1-skoru | Destek |
| Benign sınıf | 0.83 | 0.88 | 0.85 | 360 |
| Malign sınıf | 0.84 | 0.78 | 0.81 | 300 |
| Doğruluk | - | - | 0.832 | 660 |
| Makro ortalama | 0.84 | 0.83 | 0.83 | 660 |
| Ağırlıklı ortalama | 0.84 | 0.83 | 0.83 | 660 |
Tablo 4: Sınıflandırma raporu. ResNet-50 modelinin test veri seti üzerindeki sınıflandırma performansı; her bir sınıf için kesinlik, duyarlılık, F1-skoru ve destek değerlerini içermektedir.
| Model | Doğruluk | Kesinlik | Duyarlılık | F1 Skoru | Süre (s) |
| NASNetLarge | 0.77 | 0.76 | 0.77 | 0.76 | 2002.47 |
| EfficientNetB0 | 0.85 | 0.85 | 0.85 | 0.85 | 734.8 |
| Xception | 0.8 | 0.81 | 0.8 | 0.8 | 732.23 |
| ResNetV2 | 0.63 | 0.64 | 0.63 | 0.611 | 1072.34 |
| MobileNet | 0.79 | 0.8 | 0.79 | 0.79 | 629.29 |
| MobileNetV2 | 0.77 | 0.79 | 0.77 | 0.77 | 660.5 |
| ResNet50 | 0.83 | 0.83 | 0.83 | 0.83 | 749.77 |
| EDLF-SLC | 0.88 | 0.89 | 0.87 | 0.88 | 3279.77 |
Tablo 5: Model performans karşılaştırması. Önerilen EDLF-SLC modelinin ve temel derin öğrenme modellerinin doğruluk, kesinlik, duyarlılık, F1-skoru ve hesaplama süresi açısından karşılaştırmalı performansı.
| Model | Doğruluk | Hassasiyet | Geri Çağırma | F1-Skoru |
| ResNet-18 [25] | 0.85 | 0.85 | 0.85 | 0.85 |
| SVM ile ResNet-50 [50] | 0.87 | 0.88 | 0.98 | 0.93 |
| Hibrit DL modelleri + SVM [48] | 0.86 | 0.84 | 0.8 | 0.84 |
| Hibrit DL modelleri + SVM [49] | 0.86 | 0.8 | 0.6 | 0.68 |
| Önerilen EDLF-SLC | 0.88 | 0.89 | 0.87 | 0.88 |
Tablo 6: Model karşılaştırma metrikleri. Önerilen EDLF-SLC çerçevesi ile deri lezyonu sınıflandırması için kullanılan güncel yöntemlerin performans karşılaştırması.
Ek Dosya 1: Algoritma 1. Veri ön işleme, birden fazla CNN mimarisi kullanılarak derin özellik çıkarımı, SVM tabanlı sınıflandırma ve deri lezyonu tahmini için LIME tabanlı açıklanabilirliği özetleyen, önerilen EDLF-SLC çerçevesinin iş akışı. Bu dosyayı indirmek için lütfen buraya tıklayın.
Ek Dosya 2: Algoritma 2. Süper piksel oluşturma, pertürbasyon örneklemesi, vekil model kurulumu ve sınıflandırma kararına en çok katkıda bulunan görüntü bölgelerinin görselleştirilmesini gösteren LIME tabanlı yerel açıklama sürecinin iş akışı. Bu dosyayı indirmek için lütfen buraya tıklayın.
Tartışma
Cilt lezyonu sınıflandırması için önerilen açıklanabilir derin öğrenme çerçevesi (EDLF-SLC), tamamlayıcı derin öznitelik temsillerinin açıklanabilir yapay zeka ile birleştirilmesinin hem sınıflandırma performansını hem de model şeffaflığını artırabileceğini göstermektedir. Öznitelik çıkarımı için birden fazla önceden eğitilmiş CNN mimarisini (ResNet50, EfficientNetB0, MobileNet ve Xception) entegre eden ve nihai sınıflandırma için bir Destek Vektör Makinesi (SVM) kullanan bu çerçeve, tek bir ana ağdan elde edilenlere kıyasla daha zengin ve daha ayırt edici lezyon temsilleri oluşturmak için farklı öznitelik çıkarıcıların güçlü yönlerinden yararlanmaktadır. Ayrıca, yerel yorumlanabilir model-agnostik açıklamaların (LIME) entegrasyonu, yerelleştirilmiş görsel açıklamalar sağlayarak klinisyenlerin her bir tahmine en çok katkıda bulunan görüntü bölgelerini anlamalarına olanak tanır ve modelin tanısal kararlarına olan güveni artırır.
Deneysel sonuçlar, EDLF-SLC'nin MobileNet, Xception ve ResNet50 dahil olmak üzere temel CNN modelleriyle karşılaştırıldığında rekabetçi bir performans sergilediğini göstererek tamamlayıcı özellik füzyonu ve SVM tabanlı sınıflandırmanın etkinliğini vurgulamaktadır. Güncel durum düzeyindeki (state-of-the-art) yaklaşımlarla yapılan karşılaştırmalar, önerilen çerçevenin rekabetçiliğini daha da doğrulamaktadır. Örneğin, iki çalışma48,49 topluluk tabanlı (ensemble-based) yöntemler kullanarak yaklaşık 0,86 doğruluk oranları bildirmiş, diğer hibrit CNN-SVM çerçeveleri25,50,51,52,53 ise 0,87'ye kadar doğruluk oranları elde etmiş ancak daha karmaşık mimarilere ve ek ön işleme veya segmentasyon modüllerine dayanmıştır. Buna karşılık, önerilen çerçeve, açık bir lezyon segmentasyonu gerektirmeksizin nispeten sadeleştirilmiş bir mimari kullanarak 0,88 doğruluk oranına ulaşırken aynı zamanda LIME aracılığıyla yorumlanabilir tahminler sunmaktadır. Bu sonuçlar, SVM sınıflandırması öncesinde tamamlayıcı CNN özellik çıkarıcılarının birleştirilmesinin, mimari basitliği ve şeffaflığı korurken tanı performansını artırabileceğini göstermektedir.
Önerilen çerçeve sınıflandırma doğruluğunu ve yorumlanabilirliğini artırsa da, bu iyileşme artan hesaplama maliyeti pahasına gerçekleşmektedir. EDLF-SLC'nin toplam eğitim süresi yaklaşık 3279.77 s olup, ResNet50 (749.77 s) ve MobileNet (629.29 s) gibi bireysel CNN modellerine göre önemli ölçüde daha yüksektir. Bu ek hesaplama yükü, birden fazla önceden eğitilmiş CNN'in eğitilmesinden ve sınıflandırma öncesinde özellik füzyonunun gerçekleştirilmesinden kaynaklanmaktadır. Bu tür bir ödünleşim, gelişmiş öngörü performansının daha yüksek hesaplama gereksinimleri karşılığında elde edildiği hibrit ve topluluk öğrenme yaklaşımlarında yaygın olarak gözlemlenir. Bununla birlikte, klinik karar destek sistemlerinde, tanı doğruluğu, sağlamlık ve güvenilirlik, hasta sonuçlarını doğrudan etkiledikleri için genellikle eğitim verimliliğinden daha önemli kabul edilir.
Önerilen çerçevenin bir diğer önemli avantajı açıklanabilirliğidir. Genellikle kara kutu olarak işlev gören geleneksel derin öğrenme modellerinin aksine, EDLF-SLC, tahmin sürecinin vakaya özel görsel açıklamalarını sağlamak için LIME'ı bünyesinde barındırır. Bu açıklamalar, klinisyenlerin modelin klinik olarak ilgili lezyon bölgelerine odaklanıp odaklanmadığını doğrulamasını sağlayarak şeffaflığı artırır, klinik yorumlamayı destekler ve yapay zeka destekli tanıya olan güveni kolaylaştırır. Sonuç olarak, önerilen çerçeve, tahmin performansı ile model yorumlanabilirliği arasında pratik bir denge sunarak, cilt lezyonlarının sınıflandırılması için gelecek vaat eden bir bilgisayar destekli karar destek aracı haline gelmektedir.
Bu teşvik edici sonuçlara rağmen, birkaç sınırlamanın kabul edilmesi gerekmektedir. İlk olarak, çerçeve yalnızca halka açık ISIC veri seti kullanılarak değerlendirilmiştir ve farklı klinik koşullar, görüntüleme cihazları ve hasta popülasyonları altında elde edilen görüntüler üzerindeki genelleme yeteneğinin doğrulanması gerekmektedir. İkinci olarak, birden fazla önceden eğitilmiş CNN mimarisinin kullanılması, tek gövdeli modellere kıyasla hesaplama karmaşıklığını ve eğitim süresini kaçınılmaz olarak artırmaktadır. Üçüncü olarak, deneyler boyunca sabit hiperparametre ayarları benimsenmiştir ve daha fazla optimizasyon, farklı veri setleri genelinde performansı ve uyarlanabilirliği artırabilir. Son olarak, LIME model şeffaflığını artırsa da, açıklamaları yereldir ve pertürbasyona bağımlıdır; bu da açıklama tutarlılığının çalıştırmalar arasında değişebileceği ve rutin klinik kullanımdan önce dermatoloji uzmanları tarafından daha fazla doğrulanması gerektiği anlamına gelir.
Gelecekteki araştırmalar, önerilen çerçevenin çok sayıda büyük ölçekli ve çok merkezli deri lezyonu veri setleri kullanılarak doğrulanmasına, hafif özellik füzyonu ve model sıkıştırma teknikleri aracılığıyla hesaplama verimliliğinin optimize edilmesine, gelişmiş hiperparametre optimizasyon stratejilerinin araştırılmasına ve çerçevenin çok sınıflı deri lezyonu sınıflandırmasına genişletilmesine odaklanacaktır. Ayrıca, ek açıklanabilir yapay zeka tekniklerinin entegre edilmesi ve dermatologlarla prospektif klinik değerlendirmelerin yapılması, önerilen çerçevenin gerçek dünyadaki klinik ortamlardaki güvenilirliğini, yorumlanabilirliğini ve pratik uygulanabilirliğini daha da güçlendirecektir.
Açıklamalar
Yazarlar, herhangi bir çıkar çatışması olmadığını beyan ederler.
Teşekkürler
Yazarlar, bu çalışmanın tamamlanmasını kolaylaştıran araştırma ortamını ve kurumsal desteği sağladığı için Taif University'ye içten teşekkürlerini sunarlar.
Malzemeler
| Ad | Şirket | Katalog numarası | Yorumlar |
|---|---|---|---|
| ISIC 2020 Cilt Lezyonu Veri Seti | International Skin Imaging Collaboration (ISIC) | ISIC 2020 Challenge Veri Seti | Model geliştirme ve değerlendirmesinde kullanılan dermoskopik görüntü veri seti. |
| Keras | Keras Ekibi | TensorFlow ile entegre | Derin öğrenme modellerinin oluşturulması ve eğitilmesi. |
| LIME (Local Interpretable Model-Agnostic Explanations) | Ribeiro et al. | Python paketi | Model tahminleri için yerel görsel açıklamaların oluşturulması. |
| Matplotlib | Matplotlib Geliştiricileri | En güncel uyumlu sürüm | Öğrenme eğrilerinin, konfüzyon matrislerinin ve değerlendirme grafiklerinin görselleştirilmesi. |
| NumPy | NumPy Geliştiricileri | En güncel uyumlu sürüm | Sayısal hesaplama ve dizi manipülasyonu. |
| NVIDIA Tesla T4 GPU | NVIDIA Corporation | 16 GB VRAM | Model eğitimi ve çıkarım hızlandırma. |
| Pandas | Pandas Geliştirme Ekibi | En güncel uyumlu sürüm | Veri işleme ve deneysel sonuç yönetimi. |
| Ön Eğitimli CNN Modelleri | TensorFlow/Keras Applications | ResNet50, EfficientNetB0, MobileNet, Xception | Dermoskopik görüntülerden derin öznitelik çıkarımı. |
| Python | Python Software Foundation | Sürüm 3.9 | Uygulama için kullanılan programlama dili. |
| PyTorch | PyTorch Foundation | Sürüm 2.3.1 | Öznitelik çıkarımı ve model uygulaması için kullanılan derin öğrenme çerçevesi. |
| Scikit-learn | Scikit-learn Geliştiricileri | En güncel uyumlu sürüm | Destek Vektör Makinesi (SVM), değerlendirme metrikleri ve veri ön işleme. |
| Destek Vektör Makinesi (RBF Çekirdeği) | Scikit-learn | SVC | Birleştirilmiş derin öznitelik temsillerinin sınıflandırılması. |
| TensorFlow | Google LLC | Sürüm 2.x | Model eğitimi ve çıkarımı için derin öğrenme çerçevesi. |
| Ubuntu İşletim Sistemi | Canonical Ltd. | Ubuntu 20.04 | Deneysel işletim ortamı. |
Kaynaklar
- Chan S, Reddy V, Myers B, Thibodeaux Q, Brown-Stone N, Liao W. Machine learning in dermatology: current applications, opportunities, and limitations. Dermatol Ther (Heidelb). 2020;10:365-386.
- Olsen CM. Global trends in melanoma mortality differ by sex and age. Br J Dermatol. 2020;183(6):985-986.
- Sun Y, Shen Y, Liu Q, Zhang H, Jia L, Chai Y, et al. Global trends in melanoma burden: a comprehensive analysis from the Global Burden of Disease Study, 1990-2021. J Am Acad Dermatol. 2025;92(1):100-107.
- Monika MK, Vignesh NA, Kumari CU, Kumar M, Lydia EL. Skin cancer detection and classification using machine learning. Mater Today Proc. 2020;33:4266-4270.
- Hosny KM, Elshora D, Mohamed ER, Vrochidou E, Papakostas GA. Deep learning and optimization-based methods for skin lesions segmentation: a review. IEEE Access. 2023.
- Baghdadi NA, Farghaly Abdelaliem SM, Malki A, Gad I, Ewis A, Atlam ES. Advanced machine learning techniques for cardiovascular disease early detection and diagnosis. J Big Data. 2023;10(1):144.
- Veeramani N, Jayaraman P, Krishankumar R, Ravichandran KS, Gandomi AH. DDCNN-F: double decker convolutional neural network feature fusion as a medical image classification framework. Sci Rep. 2024;14(1).
- Veeramani N, Jayaraman P. YOLOv7-XAI: multiclass skin lesion diagnosis using explainable artificial intelligence with fair decision making. Int J Imaging Syst Technol. 2024;34(6).
- Shetty B, Fernandes R, Rodrigues AP, Chengoden R, Bhattacharya S, Lakshmanna K. Skin lesion classification of dermoscopic images using machine learning and convolutional neural network. Sci Rep. 2022;12(1):18134.
- Ali AR, Li J, Yang G, O'Shea SJ. A machine learning approach to automatic detection of irregularity in skin lesion border using dermoscopic images. PeerJ Comput Sci. 2020;6:e268.
- Pham TTH, Luu TN, Nguyen TV, Huynh NT, Phan QH, Le TH. Polarimetric imaging combining optical parameters for classification of mice non-melanoma skin cancer tissue using machine learning. Heliyon. 2023;9(11).
- Liu N, Rejeesh M, Sundararaj V, Gunasundari B. ACO-KELM: anti coronavirus optimized kernel-based softplus extreme learning machine for classification of skin cancer. Expert Syst Appl. 2023;232:120719.
- Masud M, Almars AM, Rokaya MB, Meshref H, Gad I, Atlam ES. A novel lightweight convolutional neural network model to predict Alzheimer's disease applying weighted loss function. J Disabil Res. 2024;3(4):20240042.
- Kumar A, Veeraiah V, Gongada TN, Ahamad S, Khan H, Gupta A. Explainable machine learning models for clinical decision support systems. In: 2024 15th International Conference on Computing Communication and Networking Technologies (ICCCNT). Piscataway (NJ): IEEE; 2024. p. 1-6.
- Shahzad K, Wasim M, Pires IM, Garcia NM. Multi-classification of skin lesions using a deep learning-based convolutional neural network. Procedia Comput Sci. 2024;241:588-593.
- Celebi ME, Kingravi HA, Uddin B, Iyatomi H, Aslandogan YA, Stoecker WV, et al. A methodological approach to the classification of dermoscopy images. Comput Med Imaging Graph. 2007;31(6):362-373.
- Li CX, Shen CB, Xue K, Shen X, Jing Y, Wang ZY, et al. Artificial intelligence in dermatology: past, present, and future. Chin Med J (Engl). 2019;132(17):2017-2020.
- Ramprasad M, Nagesh S, Sahith V, Lankalapalli RK. Hierarchical agglomerative clustering based skin lesion detection with region-based neural networks classification. Meas Sens. 2023;29:100865.
- Khater T, Ansari S, Mahmoud S, Hussain A, Tawfik H. Skin cancer classification using explainable artificial intelligence on pre-extracted image features. Intell Syst Appl. 2023;20:200275.
- Wang H, Ahn E, Bi L, Kim J. Self-supervised multi-modality learning for multi-label skin lesion classification. Comput Methods Programs Biomed. 2025;265:108729.
- Thapar P, Rakhra M, Alsaadi M, Quraishi A, Deka A, Naga Ramesh JV. A hybrid grasshopper optimization algorithm for skin lesion segmentation and melanoma classification using deep learning. Healthc Anal. 2024;5:100326.
- Kumar S, Nath VK, Hazarika D. Blend of deep features and binary tree growth algorithm for skin lesion classification. Symmetry (Basel). 2023;15(12):2213.
- Chandrahaas BV, Mohanty SN, Panda SK, et al. An empirical study on classification of monkeypox skin lesion detection. EAI Endorsed Trans Pervasive Health Technol. 2023;9:e4.
- Talavera-Martínez L, Bibiloni P, Giacaman A, Taberner R, de Paz Hernando LJD, González-Hidalgo M. A novel approach for skin lesion symmetry classification with a deep learning model. Comput Biol Med. 2022;145:105450.
- Ieracitano C, Morabito FC, Hussain A, Suffian M, Mammone N. TIXAI: a trustworthiness index for explainable artificial intelligence in skin lesion classification. Neurocomputing. 2025;630:129701.
- Hasan MK, Elahi MTE, Alam MA, Jawad MT, Martí R. DermoExpert: skin lesion classification using a hybrid convolutional neural network through segmentation, transfer learning, and augmentation. Inform Med Unlocked. 2022;28:100819.
- Koparde S, Kotwal J, Deshmukh S, Adsure S, Chaudhari P, Kimbahune V. Conditional generative adversarial networks and YOLOv5 Darknet-based skin lesion localization and classification using an independent component analysis model. Inform Med Unlocked. 2024;47:101515.
- Padhy S, Dash S, Kumar N, Singh SP, Kumar G, Moral P. Temporal integration of ResNet features with LSTM for enhanced skin lesion classification. Results Eng. 2025;25:104201.
- Xin C, Liu Z, Ma Y, Wang D, Zhang J, Li L, et al. Transformer-guided self-adaptive network for multi-scale skin lesion image segmentation. Comput Biol Med. 2024;169:107846.
- Sulthana R, Chamola V, Hussain Z, Albalwy F, Hussain A. A novel end-to-end deep convolutional neural network-based skin lesion classification framework. Expert Syst Appl. 2024;246:123056.
- Chamarthi S, Fogelberg K, Brinker TJ, Niebling J. Mitigating the influence of domain shift in skin lesion classification: a benchmark study of unsupervised domain adaptation methods. Inform Med Unlocked. 2024;44:101430.
- Maity S, Paul S, Guha S, Dasgupta S, Ghosh M. Automated classification of monkeypox skin lesions using a hybrid deep learning model. Biomed Signal Process Control. 2026;126:110955.
- Nasir S, Bilal M, Khalidi H. Detection and classification of skin cancer by using CNN-enabled cloud storage data access control algorithm based on blockchain technology. Int J Theor Appl Comput Intell. 2025:145-169.
- Saba T. Computer vision for microscopic skin cancer diagnosis using handcrafted and non-handcrafted features. Microsc Res Tech. 2021;84(6):1272-1283.
- Fayyad J, Alijani S, Najjaran H. Empirical validation of conformal prediction for trustworthy skin lesion classification. Comput Methods Programs Biomed. 2024;253:108231.
- Liu P, Qian W, Li H, Cao J. A relationship-aware mutual learning method for lightweight skin lesion classification. Digit Commun Netw. 2025;11(3):603-612.
- Adla D, Reddy GVR, Nayak P, Karuna G. A full-resolution convolutional network with a dynamic graph cut algorithm for skin cancer classification and detection. Healthc Anal. 2023;3:100154.
- Thamizhamuthu R, Maniraj SP. Deep learning-based dermoscopic image classification system for robust skin lesion analysis. Trait Signal. 2023;40(3).
- Di Giammarco M, Santone A, Cesarelli M, Martinelli F, Mercaldo F. A method for skin lesion detection and localization by means of deep learning and reliable prediction explainability. Image Vis Comput. 2025;162:105675.
- Haq IU, Joarder HA, Khan AA, Shi X, Alsayaydeh JAJ, Yusof MFB, et al. XAAI-ledger: an explainable CNN-transformer-based multimodal deep learning framework for early detection of melanoma and non-melanoma skin cancers using dermoscopic and clinical data. Biomed Signal Process Control. 2026;123:110410.
- Saeed K, Shehzad M, Malik MGA, Ahmed S, Azar AT. TransXV2S-NET: a novel hybrid deep learning architecture with dual-contextual graph attention for multi-class skin lesion classification. Knowl Based Syst. 2026;337:115407.
- AbuAlkebash H, Saleh RAA, Ertunç HM. Automated explainable deep learning framework for multiclass skin cancer detection and classification using hybrid YOLOv8 and vision transformer (ViT). Biomed Signal Process Control. 2025;108:107934.
- Hasan MK, Ahamad MA, Yap CH, Yang G. A survey, review, and future trends of skin lesion segmentation and classification. Comput Biol Med. 2023;155:106624.
- Li H, Pan Y, Zhao J, Zhang L. Skin disease diagnosis with deep learning: a review. Neurocomputing. 2021;464:364-393.
- Wu Y, Chen B, Zeng A, Pan D, Wang R, Zhao S. Skin cancer classification with deep learning: a systematic review. Front Oncol. 2022;12:893972.
- Fanconic. Skin cancer: malignant vs benign dataset. Kaggle; 2023. Available from: https://www.kaggle.com/datasets/fanconic/skin-cancer-malignant-vs-benign
- Ribeiro MT, Singh S, Guestrin C. "Why should I trust you?": Explaining the predictions of any classifier. In: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD '16). New York (NY): ACM; 2016. p. 1135-1144.
- Bassel A, Abdulkareem AB, Alyasseri ZAA, Sani NS, Mohammed HJ. Automatic malignant and benign skin cancer classification using a hybrid deep learning approach. Diagnostics (Basel). 2022;12(10):2472.
- Bhardwaj A, Rege PP. Skin lesion classification using deep learning. In: Advances in Signal and Data Processing: Select Proceedings of ICSDP 2019. Singapore: Springer; 2021. p. 575-589.
- Keerthana D, Venugopal V, Nath MK, Mishra M. Hybrid convolutional neural networks with SVM classifier for classification of skin cancer. Biomed Eng Adv. 2023;5:100069.
- Ahmed A, Siam AI, Atwa MA, Atwa EM, Abdelrahim EM, Atlam ES. An explainable YOLO-based deep learning framework for pneumonia detection from chest X-ray images. Algorithms. 2025;18(11):703.
- Farsi M, ZainEldin H, Sayed RF, El-Agamy ES, Atlam SA, Alsaedi M, et al. Deep learning for pathology: YOLOv8 with EigenCAM for reliable colorectal cancer diagnostics. Bioengineering (Basel). 2025;12(11):1203.
- Atwa EA, Atlam ES, Ahmed A, Atwa MA, Abdelrahim EM, Siam AI. Interpretable deep learning models for arrhythmia classification based on ECG signals using the PTB-XL dataset. Diagnostics (Basel). 2025;15(15):1950.