Modifiye XceptionNet Mimarisi Kullanılarak Diz Osteoartriti Derecelendirmesi için Transfer Öğrenmeye Dayalı Derin Öğrenme Yaklaşımı

Summary

X-ışınlarından diz osteoartriti tanımlamasını geliştirmek için bu çalışma, transfer öğrenimi ile modifiye edilmiş XceptionNet kullanan bir derin öğrenme modeli olan OsteoXceptionNet'i önermektedir. Bu model özellik ayıklamayı geliştirir, el ile yorumlama hatalarını azaltır ve daha kesin, otomatik sınıflandırma sağlar.

Abstract

Diz osteoartriti (KOA) dünya çapında milyonlarca kişiyi etkiler ve bilinen bir iyileştirici tedavisi yoktur, bu da onu ciddi bir küresel sağlık sorunu haline getirir. Gelişiminin yönetimi erken keşfe bağlıdır ve X-ışını görüntüleme temel bir tanı tekniğidir. Bununla birlikte, radyologların deneyim düzeylerindeki farklılıklar nedeniyle, manuel X-ışını yorumlaması değişkenliği ve olası yanlışlıkları artırır. Makine öğrenimi ve derin öğrenme tekniklerindeki son gelişmeler, dizdeki osteoartritin radyolojik olarak tanımlanması için otomatik sistemlerin oluşturulmasına yol açmıştır. Bununla birlikte, erken aşama tespiti için daha fazla tahmin doğruluğu elde etmek hala çok önemlidir. Daha büyük bir veri kümesinden toplanan içgörüleri kullanarak, daha küçük, alana özgü veri kümelerinde eğitilen modeller, aktarım öğreniminin kullanılmasıyla daha iyi performans gösterir. Derinliği ve etkinliği nedeniyle, XceptionNet özellikle tıbbi görüntülerin yorumlanmasını içeren işler için çok uygundur. Önceki araştırmaların aksine, bu yöntem, sınıf dengeleme yaklaşımlarını kullanarak, özelleştirilmiş bir ön işleme işlem hattını entegre ederek ve erken aşama KOA tanımlamasını iyileştiren XceptionNet'e özelleştirilmiş mimari iyileştirmeler ekleyerek veri kümesi dengesizliğini verimli bir şekilde ele alır. Bu son teknoloji yöntemlerin kullanılmasıyla, önerilen yaklaşım, dizin radyografik görüntülerinden osteoartriti doğru bir şekilde tanımlama, %97 tahmin doğruluğu, %97.8 hassasiyet, %97.6 hatırlama ve %97.6 F1 ölçümü elde etme potansiyeli göstermektedir. Ek olarak, oluşturulan model %95.94 Cohen'in kappa değerini gösterdi ve bu da iyi bir anlaşmaya işaret ediyor. Çalışma, hasta sonuçlarını iyileştiren ve daha verimli sağlık hizmeti sunumunu kolaylaştıran güvenilir, otomatik hastalık tespit teknolojisi geliştirmeye yönelik daha fazla çabayı desteklemektedir.

Introduction

Diz osteoartriti (KOA), çok sayıda insanı etkileyen ve hem hastalar hem de sağlık kuruluşları üzerinde önemli bir yük oluşturan dünya çapında önemli bir halk sağlığı sorunudur. Diz ekleminin eklem kıkırdağı bu rahatsızlıkta giderek bozulur. Yaş, obezite, eklem travması, biyomekanik değişkenler ve genetik yatkınlığın bir karışımını içeren karmaşık ve çok boyutlu bir etiyolojiye sahiptir¹.

Yapısal bütünlüğün kaybı, kıkırdak incelmesi, çatlama ve nihayetinde erozyon ile sonuçlanır ve alttaki kemiği açığa çıkarır. KOA'nın semptomları geniş bir yelpazede değişebilir ve zaman içinde çok az rahatsızlıktan dayanılmaz ağrıya ve fonksiyon kaybına kadar sıklıkla kötüleşebilir². Diz ağrısının birincil belirtisi genellikle ağırlık taşıyan egzersizler ve uzun süreli aktivitelerle daha da kötüleşir. Yaygın gözlemler arasında özellikle dinlenme dönemlerinde sertlik, ödem, krepitus ve azalmış hareket açıklığı^{bulunur 3}. Bu semptomlar günlük işleyişe ciddi şekilde müdahale eder, bu da fonksiyonel kısıtlamalara ve bunları yaşayanlar için yaşam kalitesinde bir azalmaya neden olur.

Burada test edilen hipotez, otomatik derin öğrenme tabanlı bir modelin, profesyonel radyologlarla eşit tanısal olarak performans gösterebileceği ve Kellgren-Lawrence derecelendirme sistemini kullanarak görüntüleme verilerinden KOA'nın şiddet seviyesini doğru bir şekilde teşhis edebileceğidir.

Bu çalışmanın amacı, diz osteoartritinin tanı ve derecelendirmesinde kullanılan geleneksel yöntemlerle ilişkili doğal sınırlamalardan kaynaklanmaktadır. Geleneksel olarak, eklem hasarının derecesini değerlendirmek için radyografik görüntüleme, özellikle diz röntgeni analizi kullanılır. Bununla birlikte, bu görüntülerin fiziksel muayenesi değişkenliğe karşı hassastır ve zaman alıcı olabilir⁴. Derin öğrenme ve makine öğrenimi (ML) alanlarındaki gelişmeler, KOA algılama ve derecelendirmenin doğruluğunu otomatikleştirmek ve geliştirmek için umut verici bir yol sağlayarak daha standartlaştırılmış ve verimli bir yaklaşım sunar. Bu, özellikle müdahalenin, durum ilerledikçe hastanın yaşam standardındaki değişiklikleri önemli ölçüde etkileyebildiği durumun erken evrelerinde kritik öneme sahiptir.

Makine Öğrenmesi Yaklaşımları: KOA tanımlamasını otomatikleştirmeye yönelik ilk girişimler klasik makine öğrenmesi yöntemlerine dayanıyordu. K-En Yakın Komşular, Destek Vektör Makinesi ve Karar Ağacı gibi stratejiler, diz röntgeni görüntülerinden alınan el yapımı özelliklere dayanıyordu. Bir miktar otomasyon sağlasalar da, manuel olarak türetilen özelliklerin kalitesi ve alaka düzeyi, ne kadar etkili oldukları konusunda önemli bir faktördü. Bu genellikle zayıf genelleştirilebilirlik ve performansla sonuçlandı⁵.

Derin Öğrenme (DL) Yaklaşımları: Evrişimli sinir ağlarının veya derin öğrenmenin ortaya çıkışı, bu alanda önemli bir kilometre taşıydı. Otomatik özellik çıkarma konusundaki itibarı ile Evrişimli Sinir Ağları (CNN'ler), KOA görüntülerinin analizinde giderek daha popüler hale geliyor. Geleneksel makine öğrenimi teknikleriyle karşılaştırıldığında, bu algoritmalar, karmaşık kalıpları doğrudan görüntülerden tanıma kapasitesinin yanı sıra doğruluk açısından da kayda değer bir gelişme göstermiştir ^6,7.

Transfer Öğrenme (TL): Bu, modellerin büyük ölçekli jenerik veri setleri üzerinde önceden eğitildikten sonra tıbbi görüntüleme gerektiren görevler için uyarlanmasını sağlar, son araştırmalarda popülerlik kazanmıştır⁸. Bu yaklaşım, özellikle küçük, özel veri kümelerinin yaygın olduğu tıp alanında iyi çalışır.

KOA şiddet sınıflandırmasındaki iyileştirilmiş sonuçlar, daha büyük görevlerden öğrenilen genel özellikleri kullanan ve bunları tıbbi görüntü analizinin belirli inceliklerine göre uyarlayan TL ile vurgulanmaktadır ^9,10.

Radyografi görüntüleri kullanılarak KOA tanımlama ve derecelendirme için, son yıllarda bir dizi otomatik teknik - özellikle derin öğrenme modelleri - incelenmiştir^11,12. Bununla birlikte, mevcut birçok model ya veri kümesi dengesizliği ve yorumlanabilirliği ile ilgili sorunları yeterince ele almıyor ya da sorunları erken bir aşamada yeterince doğru bir şekilde tespit etmiyor. Burada önerilen yöntem, üç önemli geliştirme ekleyerek bu çerçeveyi genişletir: geliştirilmiş özellik çıkarma için XceptionNet modelinde tasarım değişiklikleri, model güvenilirliğini artırmak için sınıf dengeleme teknikleri ve diz eklemi özelliklerini iyileştirmek için tasarlanmış özelleştirilmiş bir ön işleme boru hattı. Daha kesin ve güvenilir KOA kategorizasyonunu desteklemenin yanı sıra, bu iyileştirmeler geleneksel transfer öğrenme tekniklerine göre önemli bir gelişme sağlar.

DL ve ML, KOA'yı analiz etmede önemli ilerleme kaydetmiş olsa da, esas olarak kesin kategorizasyon elde etme, yorumlanabilirliği geliştirme ve veri dengesizliğini yönetme açısından hala üstesinden gelinmesi gereken zorluklar var. Önerilen çalışma, daha ^kapsamlı, şeffaf ve adil bir değerlendirme sunarak önceki çalışmaları 13,14,15,16,17,18,19,20,21,22 genişletmekte ve bu nedenle otomatik KOA teşhisi ve derecelendirmesinde şu anda mümkün olanın sınırlarını zorlamaktadır. Tablo 1, osteoartrit tespitinde yürütülen mevcut araştırmaların analizini özetlemektedir.

Okumak	Nesnel		Özet
Hu ve ark.13	MR görüntülerini kullanarak diz osteoartritinin ilerlemesini tahmin etmek için DeepKOA'yı geliştirin.		DeepKOA, derin öğrenmenin klinik ortamlardaki potansiyelini vurgulayarak umut verici diz osteoartriti tahmin yetenekleri gösterir. Daha fazla doğrulama gereklidir.
Guida ve ark.14	X-ışını, MRI ve klinik verileri entegre ederek OA şiddet sınıflandırmasını geliştirin.		Bir füzyon modeli, OA sınıflandırma doğruluğunu önemli ölçüde artırarak çok modlu bir yaklaşımın faydalarını vurgular. Gelecekteki araştırmalar genelleştirilebilirliği ele almalıdır.
Bensalma ve ark.15	Multimodal analiz kullanarak diz osteoartriti hastalarında çeşitli faktörler arasındaki ilişkileri belirleyin.		Çalışma, diz OA'sındaki çoklu faktörler arasındaki ilişkileri ortaya koyarak, hedefe yönelik müdahaleler ve daha fazla araştırma için yollar önermektedir.
Koppold ve ark.16	Uzun süreli modifiye oruç tutmanın osteoartrit semptomları üzerindeki etkisini inceleyin.		Modifiye oruç, osteoartrit hastalarında kayda değer semptom iyileşmesi gösterir ve bu da bir tedavi stratejisi olarak potansiyelini gösterir. Daha fazla çalışmaya, özellikle randomize kontrollü çalışmalara ihtiyaç vardır.
Jain ve ark.17	X-ışınlarından Diz OA şiddeti değerlendirmesi için OsteoHRNet'i sunun.		OsteoHRNet, X-ışınlarından Diz OA şiddet sınıflandırmasında gelişmiş doğruluk elde eder ve bu da klinik uygulama potansiyelini gösterir. Daha fazla veri kümesi doğrulaması önerilir.
Afroze ve ark.18	Çeşitli görüntüleme modalitelerinde osteoartrit (OA) tespiti için makine öğrenimi tabanlı yöntemlerin değerlendirilmesi.		İnceleme, makine öğrenimi tabanlı AE tespitindeki kritik boşlukları belirleyerek standartlaştırılmış yaklaşımlara ve ampirik modellere olan ihtiyacı vurguluyor.
Teoh ve ark.19	Radyografiden ayrıntılı OA teşhisi için çok görevli bir model geliştirin.		Çok görevli bir model, bireysel OA özelliklerini ve ağrı yoğunluğunu tahmin ederek OA tanısının doğruluğunu artırır ve kesin müdahaleler için potansiyel olduğunu gösterir. Bu bulguları genişletmek için ek araştırmalar teşvik edilmektedir.
Zhang ve ark.20	MRG'de çok seviyeli diz kıkırdak yaralanması sınıflandırması için bir model oluşturun.		Model, MRG kullanarak diz kıkırdak yaralanması sınıflandırmasında yüksek doğruluk sunar ve non-invaziv bir tanı aracı olarak umut vaat eder. Daha fazla çapraz popülasyon doğrulaması tavsiye edilir.
Li ve ark.21	Çoklu görüntü görüntülerinin ve önceki bilgilerin etkisinin yanı sıra derin öğrenme modelinin X-ışınları kullanarak diz osteoartritini tanımlama ve sınıflandırma yeteneğini incelemek.		KOA'nın KL derecelendirmesi, DL modeli kullanılarak doğru bir şekilde tanımlandı ve kategorize edildi. Ayrıca, önceki bilgi ve çoklu görüntüleme X-ışını görüntüleri sınıflandırma etkinliğini artırdı.
Ratna ve ark.22	Durumun ilerlemesini ve erken teşhisi daha iyi anlamak için diz osteoartriti araştırmalarında makine öğreniminin nasıl kullanıldığını keşfedin.		Çalışma, makine öğreniminin özellikle erken tanı ve anlama geliştirme açısından AE araştırmalarını nasıl etkilediğini vurguluyor ve klinik entegrasyonunu geliştirmek için daha fazla araştırma yapılmasını öneriyor.

Tablo 1: Diz osteoartriti tespitindeki son çalışmalara genel bakış.

Çalışmanın birincil katkıları arasında, diz osteoartriti derecelendirmesi için tasarlanmış modifiye edilmiş bir XceptionNet mimarisi olan OsteoXceptionNet ve tanıda doğruluğu artırmak için özel olarak oluşturulmuş bir ön işleme hattının kullanılması yer alıyor. Osteoartrit Girişimi (OAI) veri seti eğitim için kullanılır ve değerlendirme için birçok temel tasarım kullanılır. Veri seti ve hazırlama teknikleri, ilgili literatürün gözden geçirilmesini takiben çalışmanın sonraki bölümlerinde açıklanmıştır. Deneysel sonuçlara genel bir bakışın ve klinik öneme sahip bir tartışmanın ardından, temel bulguları özetlemeden ve gelecekteki yönergeleri sunmadan önce önerilen model mimarisini daha ayrıntılı olarak inceler.

Veri kümesi ve deneysel yapılandırma
Çeşitli klinik konumlardan zaman içinde toplanan binlerce açıklamalı diz röntgeni görüntüsünden oluşan OAI veri seti, bu çalışmada kullanılmak üzere kamuya açık hale getirilmiştir. Bu çalışma için kullanılan 9786 diz röntgeni görüntüsü ile beş Kellgren-Lawrence (KL) diz osteoartriti sınıfı temsil edildi: Sağlıklı (3857 görüntü), Şüpheli (1770), Minimal (2578), Orta (1286) ve Şiddetli (295). Ön işleme sırasında, tüm görüntüler çift doğrusal enterpolasyon kullanılarak 224 x 224 piksele eşit şekilde ölçeklendirildi. Önerilen OsteoXceptionNet çerçevesi, diz eklemi yapılarını otomatik olarak segmentlere ayırmak ve daha sonra bunları KOA şiddet sınıflarına sınıflandırmak için deneysel ortamda kullanıldı.

Protocol

Bu bölüm, modifiye edilmiş bir XceptionNet modeli kullanarak diz osteoartriti tanısını ve derecelendirmesini geliştirmek için tasarlanmış kapsamlı bir yaklaşım sunmaktadır. Sunulan metodoloji, tümü diz OA görüntülemeyle ilişkili karmaşık sorunları ele almayı amaçlayan dikkatli veri ön işlemeye, kapsamlı model mimarisi özelleştirmesine ve güçlü değerlendirme tekniklerine dayanmaktadır. Şekil 2'de modelin akışı gösterilmiştir.

Şekil 2: Modelin iş akışı. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Veri kümesi açıklaması
Bu araştırmada kullanılan veri seti, KL derecelendirme tekniğine dayalı olarak bir OA derecesi atanmış OAI veri setinden dizin 9.786 X-ışını görüntüsünden oluşmaktadır. KOA'nın çeşitli aşamalarını kapsayan çok çeşitli örnekler sunan bu veri seti, önerilen modelin²⁴ hem eğitimi hem de değerlendirilmesi için gereklidir. Tüm görüntüleri ölçeklendirmek için çift doğrusal enterpolasyon kullanıldı. Bu teknik, her ikisi de dizdeki osteoartritin sınıflandırılması için önemli olan anatomik özelliklerin korunması için gerekli olan hesaplama etkinliği ile görüntünün kalitesini koruma arasında bir uzlaşma sağladığı için seçilmiştir. Veri setinde, dereceler 0-4'tür, Derece 0 sağlıklı bir dizini ve Derece 4 şiddetli osteoartriti temsil eder. Bu sınıf, modelin aşamalar arasındaki küçük değişimleri anlaması için gerekli olan karmaşık bir hastalık evrimi yelpazesi sunar.

Ek olarak, veri kümesi test, doğrulama ve eğitim kümeleri halinde düzenlenmiştir. Modelin performansını değerlendirmek ve eğitim setini aşırı doldurmadan etkili bir şekilde genellemeyi öğrendiğinden emin olmak için bu ayrım çok önemliydi. Test seti, modelin ağırlıklarını değiştirmek için de kullanıldığından, nihai modelin etkinliğinin objektif bir değerlendirmesini sunar. Ayrıca, bir doğrulama seti, eğitim aşaması boyunca hiperparametrelerin ince ayarına ve modellerin değerlendirilmesine yardımcı olur. Veri dağılımının kısa bir özeti Tablo 2'de verilmiştir ve Şekil 3 bunun görsel bir tasvirini sunmaktadır.

Sınıf	Otomatik Test	Test	Tren	Val
0	604	639	2286	328
1	275	296	1046	153
2	403	447	1516	212
3	200	223	757	106
4	44	51	173	27

Tablo 2: Veri setinin kısa açıklaması.

Şekil 3: Veri kümesi dağıtımı. Veri kümesi test, doğrulama ve eğitim kümeleri halinde düzenlenmiştir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Veri ön işleme
Bu adım çok önemlidir ve giriş verilerinin kalitesini artırarak model performansını iyileştirmeyi amaçlar. Ön işlemede yer alan aşamalar aşağıdaki gibidir.

Görüntü Yeniden Boyutlandırma: Tüm görüntü kümesi boyunca tutarlılık sağlamak için her X-ışını görüntüsüne standart bir boyut uygulanır. Bu aşama, modelin görüntüleri tutarlı ve etkili bir şekilde işlemesi için gereklidir. Bu işlemde Denklem 1 kullanılır.

Yeni Görüntü Boyutu = Yeniden Boyutlandır (Orijinal Görüntü, Standart Boyut) (1)

Normalleştirme: Görüntülerdeki piksel değerleri, ortalama sıfır ve standart sapma bir olacak şekilde standartlaştırılmıştır. Bu tür bir normalleştirme, giriş değerlerinin benzer bir aralığa düşmesini sağlar ve bu da eğitim sırasında modelin yakınsamasını hızlandırır. Bu normalleştirme adımını gerçekleştirmek için denklem 2 kullanılır.

(2)

Veri Artırma: Yetersiz veriden kaynaklanan sorunları ele almak ve modelin genelleme kapasitesini artırmak için veri artırma stratejileri kullanılmıştır. Bu yöntemler arasında çevirmeler, yakınlaştırmalar, döndürmeler ve çeviriler bulunur. Eğitim veri kümesine kasıtlı olarak eklenen yeni görüntüleri tanıtırlar. Bu büyütme prosedürünün uygulanmasında Denklem 3 kullanılır.

Artırılmış Görüntü = Dönüşüm Uygula (Orijinal Iamge) (3)

Modelin sağlamlığını artırmak ve aşırı öğrenmeyi en aza indirmek için eğitim setine değişkenlik sağlamak için çeşitli büyütme teknikleri kullanılmıştır. 0,2'lik bir kesme aralığı, 0,8 ila 1,2'lik bir yakınlaştırma aralığı (0,2'lik bir yakınlaştırma faktörüne karşılık gelir) ve -30° ila +30°'lik bir rastgele dönüş aralığının tümü eğitim verisi artırımına dahil edildi. Model genellemesini geliştirmek için hem yatay hem de dikey çevirmeye 0,5 olasılıkla izin verildi. Hem dikey hem de yatay kesme için, 0.1'lik bir kesme faktörü veya 'luk ± bir bozulma faktörü de kullanılmıştır.

Sınıf Dengeleme: Veri kümesinin olası sınıf dengesizliği nedeniyle sınıf ağırlıklandırma algoritmaları kullanıldı (bazı OA sınıflarının diğerlerinden daha fazla görüntüsü ile). Modelin daha yaygın sınıflar lehine yanlılık göstermesini önlemek için, bu yöntem yeterince temsil edilmeyen sınıflara daha büyük ağırlıklar verir. Bu süreçte Denklem 4 kullanılır. Ağırlıkları belirlemek için aşağıdaki değerler kullanılmıştır: Sağlıklı: 3857, Şüpheli: 1770, Minimal: 2578, Orta: 1286 ve Şiddetli: 295, toplam 9786 numunenin ve 5 sınıfın sınıf bazında dağılımlarıdır.

(4)

Tren-Doğrulama Bölünmesi: Veri seti, geleneksel 80:20 oranları kullanılarak doğrulama ve eğitim setleri halinde düzenlendi. Verileri bölmek, modelin eğitim verilerinden öğrenmesine ve doğrulama setini kullanarak performansını düzenli olarak değerlendirmesine olanak tanır. Bu, aşırı uyumun belirlenmesine ve modelin genelleştirme yeteneğinin değerlendirilmesine olanak tanır.

Veri Boru Hattı Optimizasyonu: Model eğitimi sırasında etkili veri işlemeyi garanti etmek için geliştirilmiş bir veri hattı kuruldu. Giriş/çıkış performans sorunlarını azaltmak ve bilgi işlem performansını artırmak için bu işlem hattı toplu işlem, önceden getirme ve paralel veri çıkarma tekniklerinden yararlanır. Eğitim verimliliğini ve verimini artırmak için girdi veri hattı geliştirildi. Dengeli bellek kullanımını ve hesaplama yükünü garanti etmek için, 32'lik bir parti boyutu kullanıldı. Veri girişi verimliliğini artırmak için, veri yükleme ve ön işlemeyi paralel hale getirmek için harita işlevinde num_parallel_calls=4 kullanılmıştır. Ayrıca, G/Ç gecikmesini en aza indirmek için, otomatik ön getirme arabellek boyutu ayarına izin vermek için TensorFlow'un prefetch(buffer_size=tf.data.AUTOTUNE) özelliği kullanılmıştır. Bu, veri ön işleme ve model yürütme ile etkili bir şekilde örtüştü

Şekil 4'te, temel ön işlemeden sonra farklı görüntü sınıflarının birkaç örneği gösterilmiştir.

Şekil 4: Veri kümesinden örnekler. Şekil, temel ön işlemeden sonra farklı görüntü sınıflarının birkaç örneğini göstermektedir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Bu titiz ön işleme adımları sayesinde veri seti, değiştirilmiş XceptionNet modelini eğitmek için sağlam bir temele dönüştürülerek doğru ve güvenilir KOA tespiti ve derecelendirmesi için zemin hazırlanır.

Model mimarisi
Temel Model: Hesaplama verimliliği ve model karmaşıklığı arasında mümkün olan en iyi dengeyi elde etmek için derinlik açısından ayrılabilir evrişimler kullanan farklı tasarımıyla, François Chollet tarafından oluşturulan XceptionNet modeli öne çıkıyor²⁵. Denklem 5, derinlik açısından ayrılabilir evrişimleri uygulamak için kullanıldı.

Derinliksel Ayrılabilir Evrişim(x) = Noktasal (Derinlik(x)) (5)

Birkaç nedenden dolayı bu çalışma ile özellikle ilgilidir. İlk olarak, mimarisi, görüntülerden ayrıntılı ve hiyerarşik özellikler çıkarmasıyla bilinir, bu da ince özelliklerin bir durumun farklı aşamalarını gösterebildiği tıbbi görüntü analizi için çok önemlidir. İkinci olarak, önerilen model, diz osteoartritini tespit etmeyi ve derecelendirmeyi amaçlayan çeşitli görüntü sınıflandırma görevlerinde olağanüstü etkinlik gösteren XceptionNet mimarisine dayanmaktadır²⁶.

Sunulan OsteoXceptionNet, dizdeki osteoartriti X-ışını görüntülerinden otomatik olarak sınıflandırmak için özel olarak oluşturulmuş XceptionNet mimarisinin özel bir versiyonudur. Önemli değişiklikler arasında, diz eklemi yapılarına özgü özellik ekstraksiyonunu iyileştirmek için üç evrişimli bloğun (filtreler: 512, 256 ve 128) eklenmesinin yanı sıra 3 x 3 filtre boyutlarına ve giriş, orta ve çıkış akışları boyunca 32 ila 1024 arasında değişen değişken filtre sayılarına sahip evrişimli katmanlar yer alıyor. Toplu normalleştirme ve ReLU aktivasyonu, her evrişimli katmandan sonra gelir ve aşırı öğrenmeyi en aza indirmek için bırakma katmanları eklenir. Model girişleri için 224 x 224 piksel standardı kullanılır.

İnce ayar ve modifikasyonlar
Değişiklikler: XceptionNet modeli, KOA derecelendirme ve tespiti için uygun hale getirmek için birkaç şekilde stratejik olarak değiştirilmiştir.

İnce ayar: Önceden eğitilmiş XceptionNet modelinin üst katmanları dondurulmadı, bu da modelin diz X-ışını görüntülerine özgü üst düzey özellikleri öğrenmesini sağladı. Model ince ayarı, Denklem 6'ya göre yapılmıştır.

(6)

burada θ_{ince ayarlı} , ince ayardan sonraki parametrelerdir; θ_{Önceden eğitilmiş} , önceden eğitilmiş parametrelerdir; λ öğrenme oranıdır; ∇_{θÖnceden eğitilmiş}Kayıp, kayıp fonksiyonunun önceden eğitilmiş parametrelerle ilgili gradyanıdır.

Ek Evrişimli Katmanlar: Modelin son aşamasında ek evrişimli katmanlar tanıtıldı. Bu katmanlar, farklı OA sınıflarıyla ilgili daha ince ayrıntıları çıkarmaya odaklanmak için daha küçük bir çekirdek boyutuna sahiptir. Denklem 7 kullanılarak kullanılmıştır.

Evrişimli Çıktı = Evrişim(Giriş,Çekirdek) (7)

Toplu Normalleştirme: Eklenen her evrişimli katmanın ardından, öğrenmeyi stabilize etmek ve yakınsama hızını artırmak için toplu normalleştirme uygulanır. Denklem 8 kullanılarak kullanılır.

(8)

burada Normalleştirilmiş çıktıdır; x toplu normalleştirme katmanı girişidir; μ girdi partisinin ortalamasıdır; σ2 girdi partisindeki varyanstır; ε sayısal kararlılık için minimum bir sabittir.

Aktivasyon Fonksiyonları: ReLU aktivasyon fonksiyonları, doğrusal olmayanlığı tanıtmak için ek katmanlarda kullanılır, böylece modelin verilerde daha karmaşık yapılar elde etmesini sağlar. ReLU, denklem 9 kullanılarak hesaplanır.

ReLU(x) = maks(0,x) (9)

burada, x ReLU aktivasyon fonksiyonu girişidir.

Bırakma: Aşırı öğrenmeyi önlemek için, görünmeyen veriler üzerinde bile modelin genelleştirilmesini sağlamak için, özellikle yeni eklenen katmanlardan sonra, bırakma katmanları dahil edilir. Denklem 10 aracılığıyla yapıldı.

Çıkış = Giriş × Maskesi (10)

Çıkış katmanı yapılandırması
Çıktı Katmanı: Orijinal XceptionNet modeli, bir çıktı katmanında Softmax aktivasyon fonksiyonu ile çok sınıflı sınıflandırma için yapılandırılmıştır. Bu uyarlanmış modelde, çıktı katmanı, Derece 0'dan Derece 4'e, yani sağlıklıdan şiddetli seviyeye kadar uzanan beş diz osteoartrit derecesini temsil edecek şekilde özelleştirilmiştir. Kesin olarak, bu katman, her biri OA derecelerinden birine karşılık gelen beş nöron içerir. Softmax aktivasyon fonksiyonu, beş sınıf arasında bir olasılık dağılımı üretmek için bu katmanda kullanıldı ve önerilen modelin belirli bir diz X-ışını görüntüsü için uygun OA derecesini tahmin etmesini sağladı. Bu yaklaşım, modelin çıktısını doğrudan klinik derecelendirme ölçeğiyle uyumlu hale getirerek, modelin sağlık profesyonelleri için tahminlerinin sezgisel ve pratik bir şekilde yorumlanmasını kolaylaştırır.

XceptionNet mimarisi, sunulan çalışmanın dizdeki osteoartritin şiddetini sınıflandırma hedefi için özel olarak uyarlanmıştır - ilk olarak ImageNet veri setinde önceden eğitilmiştir. Model, ImageNet'in önceden eğitilmiş ağırlıklarını kullanarak geniş ve çeşitli bir veri kümesinden öğrenilen özelliklerden yararlandı ve bu da ona güçlü bir temel sağladı. Önerilen araştırma için temel XceptionNet modelini özelleştirmek için birçok yeni katman eklendi.

İlk olarak, 2B evrişimli katmanlar, her biri doğrusal olmama eklemek için ReLU ve toplu normalleştirme ile etkinleştirilen farklı sayıda filtre ve çekirdek boyutuyla birleştirildi. Bu ekstra katmanlar, dizdeki osteoartritin şiddeti ile ilgili özellikleri yakalamak ve büyütmek için tasarlanmıştır. Model daha sonra, önemli verileri tutarken özellik haritasını küçülten bir Küresel Ortalama Havuzlama 2B (GAP) katmanı eklenerek son sınıflandırma aşamasına hazır hale getirildi. Özellikle, GAP işlemi, 7 x 7 x 1024 ila 1 x 1 x 1024 arasında değişebilen derinliği korurken her bir özellik haritasının uzamsal boyutlarını tek bir değere indirerek minimum veri kaybıyla boyutsallığın azaltılmasını sağlar. GAP katmanının çıktısı, logitleri olasılıklara dönüştürerek çok sınıflı sınıflandırmayı mümkün kılan Softmax aktivasyon fonksiyonuna beslendi. Denklem 11, 12, 13, 14, 15, 16 ve 17 sırasıyla GAP, Softmax Aktivasyonu, Öznitelik Haritası Hesaplaması, Öğrenme Oranı Azaltma, Model Derleme, Sınıf Ağırlığı Ayarlaması ve Çok Sınıflı Sınıflandırma Kaybı için kullanılır.

(11)

burada, X_I,J, özellik haritasının i-inci satırının ve j-inci sütununun aktivasyonudur; H, özellik haritası yüksekliğidir; W, özellik haritası genişliğidir.

(12)

burada, x_i , sınıf i için Softmax fonksiyonunun girişidir; n, sınıf sayısıdır.

Özellik Haritası = σ(Evrişim(Giriş,Çekirdek) + Önyargı) (13)

burada, Evrişim bir evrişim işlemidir; i Aktivasyon fonksiyonudur; Giriş, katmanın giriş tensörüdür; Çekirdek, evrişimli çekirdektir; Önyargı, önyargı terimidir.

Yeni Öğrenme Oranı = Öğrenme Oranı × Faktör (14)

Model = Compile(Mimari,Kayıp,Optimizer,Metrikler) (15)

(16)

burada, Ağırlık_sınıfı , bir sınıfa atanan ağırlıktır; Toplam Örnekler, veri kümesinin total_number_of_samples; Number_of_Classes, veri kümesi içindeki ayırt edici sınıfların sayısıdır; Sınıftaki Örnek, belirli bir sınıftaki örneklerin sayısıdır.

(17)

burada, y_i, sınıf i için gerçek olasılık dağılımıdır; P_I, sınıf I olasılık dağılımı tahminidir; N, sınıf sayısıdır.

Son olarak, şimdi özel katmanlarla değiştirilmiş XceptionNet mimarisini içeren model, her sınıf için olasılıkları tahmin etmek için derlendi. Bu modifikasyonlar sayesinde amaç, modelin farklı derecelerde diz osteoartriti şiddeti ile ilişkili nüanslı özellikleri ayırt etme yeteneğini artırmak ve belirli görev için sınıflandırma performansını arttırmaktı.

İstikrarlı ve etkili yakınsama için, modeli 0,0001'lik bir öğrenme oranıyla eğitmek için Adam optimizer kullanıldı ve aşırı öğrenmeyi en aza indirmek için bırakma oranı olarak 0,5 kullanıldı. Model karmaşıklığını sınırlamak ve genelleştirmeyi geliştirmek için hem L1 hem de L2 düzenleme stratejileri kullanıldı. Tamsayı etiketli çok sınıflı sınıflandırma problemleri için, Seyrek Kategorik Çapraz Entropi uygun kayıp fonksiyonuydu. Eğitim 50 dönem boyunca gerçekleştirilmiştir. Son aktivasyon fonksiyonu olan Softmax, sınıf olasılık dağılımları oluşturmak için kullanıldı. Ek olarak, eğitim için 64 adımlı bir boyut kullanıldı.

Eğitim: Eğitim süreci çok önemli bir aşamaydı. Bu aşamada, modifiye edilmiş XceptionNet modeli, radyografik görüntülerde KOA'nın doğru tespitini ve derecelendirilmesini öğrenir. XceptionNet modelini uygulamak için Keras sürüm 2.6.0 ve TensorFlow arka uç sürüm 2.6.0 kullanıldı. Aşağıda, kayıp işlevi, optimize edici, geri aramalar, toplu iş boyutu ve dönemler dahil olmak üzere eğitim aşamasının temel bileşenlerinin ayrıntıları verilmiştir.

Loss_Function: Çok sınıflı sınıflandırma görevi için kategorik cross_entropy kullanıldı. Bu kayıp işlevi, özellikle her örneğin bir kategori²⁷ kümesinden yalnızca bir etikete atanmasının beklendiği sorunlar için uygundur. Modelin performansını, sıfır ve bir içinde olasılık puanı üreterek değerlendirir. Bu kayıp, tahmin edilen olasılık gerçek etiketten farklı olduğunda arttığından, KOA şiddetinin doğru tahmini için bu modeli etkili bir şekilde eğitmek için bir gösterge olarak kullanıldı.

Optimize Edici: Etkinliği ve dinamik öğrenme hızı özellikleri ile iyi bilinen Adam optimizer kullanıldı. Adam, AdaGrad ve RMSProp algoritmalarının avantajlı özelliklerini bir araya getirerek, gürültülü problem ayarlarında seyrek gradyanları yönetmede usta bir optimizasyon algoritması sağlar²⁸.

Adam optimize edici için temel parametreler
Öğrenme Oranı: 0.0001'lik bir öğrenme oranı kullanıldı, bu da optimize edicinin başlangıçta ağırlıklarda önemli ayarlamalar yapmasını ve böylece öğrenme sürecini optimize etmesini sağladı.

Beta1 ve Beta2: Bu parametreler, önceki gradyanların sırasıyla gradyan karesinin ve hareketli ortalamalarının düşme oranlarını düzenler. beta1 için 0,9 ve beta2 için 0,999 varsayılan değerleri kullanılır.

Epsilon: Bu parametre, uygulamada sıfıra yakın küçük bir sayıya ayarlanarak sıfıra bölünmeyi önler.

Geri aramalar: Geri aramalar, eğitim sırasında modelin performansını izlemek ve ayarlamak için kullanılır. Aşağıdaki geri aramalar kullanıldı:

Early_Stopping: Bu, modelin doğrulama kaybını izlemek ve önceden tanımlanmış dönem sayısı (sabır olarak adlandırılır) için kaybın azalması durursa eğitim sürecini durdurmak için kullanılır. Doğrulama verileri artık modelin performansında iyileşme göstermediğinde, eğitim sürecini durdurur ve bu da aşırı öğrenmeyi önlemeye yardımcı olur.

LROn Platosunu Azaltın: Bu geri çağrı, doğrulama kaybı iyileşmeyi bıraktığında öğrenme oranını azaltır, ağırlıklarda daha ince ayarlamalar yapılmasını sağlar ve potansiyel olarak genel model performansının iyileşmesine neden olur²⁹.

Model Denetim Noktası: Bu geri çağırma, modeli belirli bir aralıkta kaydeder, böylece eğitim süreci tamamlandıktan sonra modelin en iyi sürümü alınabilir. Genellikle, doğrulama doğruluğunu veya kaybını izler ve bir geliştirme algılandığında model ağırlığından tasarruf sağlar.

Parti Büyüklüğü ve Dönemler:
Toplu İş Boyutu: 32, hem model yakınsama kararlılığı hem de bilgi işlem verimliliği gereksinimlerini dengelemek için kullanılan tipik toplu iş boyutudur. 32'lik bir parti boyutu, hesaplama optimizasyonlarından yararlanmak için yeterince büyük ve yine de gradyanın kararlı bir tahminini sunacak kadar küçük olan bir denge sağlar.

Dönemler: Model 50 döneme kadar eğitilecek şekilde ayarlanmıştır, ancak EarlyStop geri çağrısı tetiklenirse eğitim erken durabilir. 50 dönem, ağırlıkların ayarlanması ve modelin yakınsaması için yeterli yineleme sağlarken, EarlyStoping, eğitimin gereksiz yere devam etmemesini sağlar.

Bu parametreleri titizlikle ayarlayarak ve geri aramaları kullanarak, eğitim süreci, modelin etkili bir şekilde öğrenmesini ve görünmeyen verilere iyi bir şekilde genellenmesini sağlamak için optimize edildi. Tüm sınıfların model tahminlerinde adil ve doğru bir şekilde temsil edilmesini garanti etmek için, veri dengesizliği problemini ele almak için bir dizi yaklaşım kullanılmıştır. İlk olarak, bazı sınıfların yetersiz temsilini telafi etmek için, eğitim aşaması boyunca sınıf ağırlıklandırması kullanıldı. Daha az örneklemi olan sınıflara daha büyük ağırlıklar verildi. Eğitim sırasında sınıf dengesizliğinin etkilerini daha da azaltmak için, modelin her partide çeşitli sınıflara maruz kaldığından emin olmak için Keras'ın ImageDataGenerator'ı^{da kullanıldı 30}.

Değerlendirme metrikleri
Geliştirilen modelin etkinliğinin değerlendirilmesinde, aşağıda açıklanan çok sayıda parametre kullanılmıştır.

Doğruluk (ACC): Doğru tahmin edilen gözlemlerin tüm gözlemlere oranı bu istatistikle ölçülür. Hedef sınıflar eşit olarak yayıldığında faydalıdır. Hesaplaması denklem 18'e dayanmaktadır.

(18)

Hassasiyet (PR): Modelin hassasiyeti, beklenen tüm pozitifler ve pozitif vakalar arasında ne kadar iyi ayrım yapabildiğini ölçer. Yanlış pozitiflik oranının önemli olduğu durumlarda, bu oldukça önemlidir. Hesaplaması denklem 19'a dayanmaktadır.

 (19)

Geri Çağırma ( R ): Duyarlılık olarak da bilinen hatırlama, doğru şekilde tespit edilen gerçek pozitiflerin yüzdesini ölçer. İyi bir örneği görmezden gelmenin ciddi sonuçları olabileceği durumlarda özellikle önemlidir. Hesaplaması denklem 20'yi içerir.

 (20)

F1_Score: Harmonik kesinlik ortalaması (PR) ve geri çağırma (R), özellikle eşit olmayan bir sınıf dağılımının varlığında adil değerlendirme sağlar. Hesaplaması denklem 21'i içerir.

(21)

ROC AUC: Alıcı Çalışma Özellikleri için Eğrinin Altındaki Alan (ROC AUC), modelin sınıflar arasında ayrım yapma kapasitesini ölçer. Yüksek AUC değerleri, üstün model performansını ifade eder. Hesaplaması denklem 22'ye dayanmaktadır.

(22)

Cohen'in Kappa'sı (CK): Bu metrik, N öğeyi birbirini dışlayan C sınıflarına ayıran iki değerlendirici arasındaki uyumu değerlendirir. Özellikle dengesiz sınıflarla uğraşırken doğruluğa kıyasla daha fazla sağlamlık sunar. Hesaplaması denklem 23'ü içerir.

(23)

Ölçümler Ortalama Mutlak Hata (MAE), Kök Ortalama Kare Hatası (RMSE) ve Ortalama Kare Hatası (MSE): Regresyon görevleri için yaygın olarak kullanılsa da, bu parametreler sınıflandırma senaryolarında, özellikle sıralı sınıflandırmalarda yararlı açıklamalar sağlayabilir. Gerçek ve tahmin edilen değerler arasındaki farkı hesaplarlar. Bu metrikler sırasıyla 24, 25 ve 26 denklemleri kullanılarak hesaplandı.

(24)

(25)

(26)

F2 Puanı: F2 puanı, olumlu bir tahminin gözden kaçırılmasının yanlış bir pozitif oluşturmaktan daha fazla maliyete neden olduğu senaryolarda değerli olan kesinlik yerine hatırlamaya öncelik verir. Hesaplaması denklem 27'yi içerir.

(27)

Hassasiyet ve Geri Çağırma Eğrisi: Bu grafik, geri çağırma ve doğruluğun çeşitli düzeylerde nasıl dengelendiğini gösterir. Bir eğrinin altındaki alan ne kadar büyükse, hem hatırlama hem de hassasiyet seviyeleri o kadar yüksek olur.

Yukarıdaki parametreler, özellikle veri setinin dengesizliği ve diz osteoartritinin çeşitli derecelerini doğru bir şekilde tanımlamanın önemi bağlamında, modelin tüm boyutlardaki performansının kapsamlı bir değerlendirmesini sağlamak için seçilmiştir.

Results

Modelin doğrulama aşaması boyunca, henüz gözlemlenmemiş verilere genellenmesini garanti etmek için birkaç önemli önlem alındı. Başlangıçta, veri kümesi eğitim ve doğrulama kümelerine bölünür. Bu, eğitimde kullanılmayan bir veri kümesinde modelin performansını değerlendirmek için kullanılan yaygın bir yordamdır. Eğitim ve doğrulama için ayrı veri kümeleri sunarak, bu ayrım aşırı uyumu önledi ve model etkinliğinin kapsamlı bir şekilde değerlendirilmesine izin verdi.

Eğitimi daha da geliştirmek v...

Discussion

Çalışma, X-ışını görüntülerini kullanarak KOA derecelendirmesi için otomatik derin öğrenme tabanlı bir teknik sundu. Bir XceptionNet mimarisi kullanan model, bir dizi değerlendirme önleminde kayda değer sağlamlık ve doğruluk gösterdi ve bu da klinik ortamlarda kullanım bulabileceğini düşündürdü.

Mevcut metodolojiye ek olarak, hipotezi daha da doğrulamak ve modelin çeşitli görüntüleme koşulları ve demografik veriler arasında genelleştirilebilirliğini değerlendi...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Jupyter Notebook/Colab	Jupyter Projesi / Google	YOK	Modelleri etkileşimli olarak geliştirmek ve denemek için.
Matplotlib (Sürüm: 3.4.3) & Seaborn (Sürüm: 0.11.2)	Topluluk	YOK	Veri görselleştirme ve sonuç grafikleri için.
Mendeley/Kaggle Verileri	Elsevier; Topluluk	YOK	Veri Kümesi Kaynağı: Diz Osteoartriti Şiddet Derecelendirme Veri Kümesi
OpenCV (Sürüm: 4.5.5)	Intel	YOK	X-ışını görüntülerini önceden işlemek için (yeniden boyutlandırma, CLAHE, Gaussian filtreleme).
Python (Sürüm: 3.8)	Python Yazılım Vakfı	YOK	Model geliştirme için kullanılan programlama dili.
scikit-learn (Sürüm: 1.0.2)	Topluluk	YOK	Veri bölme, performans metrikleri ve temel ML araçları için kullanılır.
TensorFlow/Keras	Google/Topluluk	YOK	XceptionNet tabanlı derin öğrenme modelini uygulamak ve eğitmek için kullanılır. Tensorflow Sürümü: 2.6.0, RRID:SCR_018932. Keras sürümü: 2.6.0, RRID:SCR_018961
Ubuntu İşletim Sistemi	Kurallı	YOK	Tüm yazılım araçlarıyla uyumluluk için kullanılan işletim sistemi. Sürüm 20.04 önerilir.