Podejście oparte na uczeniu głębokim oparte na uczeniu transferowym do oceny choroby zwyrodnieniowej stawu kolanowego przy użyciu zmodyfikowanej architektury XceptionNet

Summary

Aby poprawić identyfikację choroby zwyrodnieniowej stawu kolanowego na podstawie zdjęć rentgenowskich, badanie to sugeruje OsteoXceptionNet, model głębokiego uczenia, który wykorzystuje zmodyfikowany XceptionNet z uczeniem transferowym. Ten model usprawnia wyodrębnianie cech, zmniejsza błędy interpretacji ręcznej i umożliwia bardziej precyzyjną, zautomatyzowaną klasyfikację.

Abstract

Choroba zwyrodnieniowa stawu kolanowego (KOA) dotyka miliony osób na całym świecie i nie ma znanego leczenia leczniczego, co czyni ją poważnym globalnym problemem zdrowotnym. Zarządzanie jego rozwojem zależy od wczesnego odkrycia, a obrazowanie rentgenowskie jest podstawową techniką diagnostyczną. Jednak ze względu na różnice w poziomie doświadczenia radiologów, ręczna interpretacja zdjęć rentgenowskich zwiększa zmienność i możliwe niedokładności. Ostatnie postępy w technikach uczenia maszynowego i głębokiego uczenia się zapoczątkowały stworzenie zautomatyzowanych systemów do radiologicznej identyfikacji choroby zwyrodnieniowej stawów kolanowych. Jednak w przypadku wykrywania na wczesnym etapie uzyskanie większej dokładności przewidywania jest nadal kluczowe. Wykorzystując szczegółowe informacje zebrane z większego zestawu danych, modele wytrenowane na mniejszych, specyficznych dla domeny zestawach danych działają lepiej dzięki zastosowaniu uczenia transferowego. Ze względu na swoją głębię i skuteczność, XceptionNet szczególnie dobrze nadaje się do prac związanych z interpretacją obrazów medycznych. W przeciwieństwie do poprzednich badań, metoda ta skutecznie rozwiązuje problem nierównowagi zbiorów danych, wykorzystując podejścia równoważenia klas, integrując niestandardowy potok przetwarzania wstępnego i dodając niestandardowe ulepszenia architektury do XceptionNet, co poprawia identyfikację KOA na wczesnym etapie. Dzięki zastosowaniu tych najnowocześniejszych metod, sugerowane podejście wykazuje potencjał w prawidłowym identyfikowaniu choroby zwyrodnieniowej stawów na podstawie obrazów radiologicznych kolana, osiągając 97% dokładność przewidywania, 97,8% precyzję, 97,6% zapamiętanie i 97,6% pomiar F1. Dodatkowo wygenerowany model wykazał 95,94% wartości kappa Cohena, co wskazuje na dobrą zgodność. Badanie wspiera dalsze wysiłki na rzecz opracowania godnej zaufania, zautomatyzowanej technologii wykrywania chorób, która poprawia wyniki leczenia pacjentów i ułatwia bardziej efektywne świadczenie opieki zdrowotnej.

Introduction

Choroba zwyrodnieniowa stawu kolanowego (KOA) jest poważnym ogólnoświatowym problemem zdrowia publicznego, który dotyka dużą liczbę osób i stanowi znaczne obciążenie zarówno dla pacjentów, jak i organizacji opieki zdrowotnej. Chrząstka stawowa stawu kolanowego ulega stopniowemu pogorszeniu w tym zaburzeniu. Ma skomplikowaną i wielowymiarową etiologię, która obejmuje mieszankę wieku, otyłości, urazów stawów, zmiennych biomechanicznych i podatności genetycznej¹.

Utrata integralności strukturalnej powoduje ścieńczenie chrząstki, pękanie i ostateczną erozję, odsłaniając leżącą pod spodem kość. Objawy KOA mogą być bardzo różne i często pogarszają się z czasem, od niewielkiego dyskomfortu po nieznośny ból i utratę funkcji². Podstawowym objawem bólu kolana są zwykle nasilane ćwiczenia z obciążeniem i wydłużony czas aktywności. Typowe obserwacje obejmują sztywność, szczególnie w okresach odpoczynku, obrzęk, trzeszczenie i zmniejszony zakres ruchu³. Objawy te poważnie zakłócają codzienne funkcjonowanie, powodując ograniczenia funkcjonalne i obniżenie jakości życia osób, które ich doświadczają.

Testowana tutaj hipoteza jest taka, że zautomatyzowany model oparty na głębokim uczeniu może wykonywać diagnostykę na równi z profesjonalnymi radiologami i prawidłowo diagnozować poziom ciężkości KOA na podstawie danych obrazowych przy użyciu systemu oceniania Kellgrena-Lawrence'a.

Cel tego badania wynika z nieodłącznych ograniczeń związanych z tradycyjnymi metodami diagnozowania i oceny choroby zwyrodnieniowej stawu kolanowego. Tradycyjnie, obrazowanie radiograficzne, zwłaszcza analiza rentgenowska kolana, jest wykorzystywane do oceny stopnia uszkodzenia stawu. Niemniej jednak badanie fizykalne tych obrazów jest podatne na zmienność i może być czasochłonne⁴. Postępy w dziedzinie głębokiego uczenia i uczenia maszynowego (ML) stanowią obiecującą drogę do automatyzacji i zwiększenia dokładności wykrywania i oceniania KOA, oferując bardziej ustandaryzowane i wydajne podejście. Jest to szczególnie ważne we wczesnych stadiach choroby, gdzie interwencja może znacząco wpłynąć na zmiany w standardzie życia pacjenta w miarę postępu choroby.

Podejścia do uczenia maszynowego: Pierwsze próby automatyzacji identyfikacji KOA opierały się na klasycznych metodach uczenia maszynowego. Strategie takie jak K-Najbliżsi Sąsiedzi, Maszyna Wektorów Podporowych i Drzewo Decyzyjne opierały się na ręcznie wykonanych cechach, które zostały zaczerpnięte ze zdjęć rentgenowskich kolana. Chociaż zapewniały one pewną automatyzację, jakość i trafność ręcznie uzyskiwanych cech była głównym czynnikiem wpływającym na ich skuteczność. Często skutkowało to słabą możliwością uogólniania i słabą wydajnością⁵.

Podejścia do głębokiego uczenia (DL): Pojawienie się konwolucyjnych sieci neuronowych lub głębokiego uczenia się było znaczącym kamieniem milowym w tej dziedzinie. Dzięki swojej reputacji w zakresie automatycznej ekstrakcji cech, konwolucyjne sieci neuronowe (CNN) stają się coraz bardziej popularne w analizie obrazów KOA. W porównaniu z konwencjonalnymi technikami uczenia maszynowego algorytmy te wykazały znaczną poprawę pod względem dokładności, a także zdolności do rozpoznawania złożonych wzorców bezpośrednio z obrazów ^6,7.

Uczenie transferowe (TL): Umożliwia to dostosowanie modeli do zadań wymagających obrazowania medycznego po ich wstępnym przeszkoleniu na dużych ogólnych zestawach danych, zyskało popularność w ostatnich badaniach⁸. Takie podejście sprawdza się szczególnie dobrze w medycynie, gdzie powszechne są małe, specjalistyczne zestawy danych.

Lepsze wyniki w klasyfikacji ciężkości KOA są podkreślone przez TL, który wykorzystuje ogólne cechy wyuczone z większych zadań i dostosowuje je do konkretnych subtelności analizy obrazu medycznego ^9,10.

W celu identyfikacji i oceny KOA za pomocą obrazów radiograficznych w ostatnich latach zbadano szereg zautomatyzowanych technik – w szczególności modele głębokiego uczenia^{się 11,12}. Niemniej jednak wiele obecnych modeli albo nie radzi sobie odpowiednio z problemami z nierównowagą i interpretowalnością zestawów danych, albo nie wykrywa problemów na wczesnym etapie wystarczająco dokładnie. Zaproponowana tutaj metoda rozszerza tę strukturę, dodając trzy znaczące ulepszenia: zmiany projektowe w modelu XceptionNet w celu poprawy wyodrębniania cech, techniki równoważenia klas w celu zwiększenia niezawodności modelu oraz dostosowany potok przetwarzania wstępnego zaprojektowany w celu poprawy funkcji stawu kolanowego. Wraz z obsługą bardziej precyzyjnej, niezawodnej kategoryzacji KOA, ulepszenia te zapewniają znaczną poprawę w porównaniu z tradycyjnymi technikami uczenia transferowego.

Mimo że DL i ML wykazały znaczny postęp w analizie KOA, nadal istnieją wyzwania do pokonania, głównie w zakresie osiągnięcia precyzyjnej kategoryzacji, poprawy interpretowalności i zarządzania nierównowagą danych. Proponowane badanie rozszerza poprzednie badania 13,14,15,16,17,18,19,20,21,22^, oferując bardziej dokładną, przejrzystą i sprawiedliwą ocenę, przesuwając w ten sposób granice tego, co jest obecnie możliwe w automatycznej diagnozie i ocenie KOA. Tabela 1 przedstawia analizę aktualnych badań przeprowadzonych w wykrywaniu choroby zwyrodnieniowej stawów.

Studiować	Cel		Streszczenie
Hu i wsp.13	Opracowanie DeepKOA w celu przewidywania postępu choroby zwyrodnieniowej stawu kolanowego za pomocą obrazów MR.		DeepKOA wykazuje obiecujące możliwości przewidywania choroby zwyrodnieniowej stawu kolanowego, podkreślając potencjał głębokiego uczenia się w warunkach klinicznych. Konieczna jest dalsza walidacja.
Guida i wsp.14	Ulepsz klasyfikację ciężkości choroby zwyrodnieniowej stawów, integrując dane rentgenowskie, rezonans magnetyczny i dane kliniczne.		Model fuzyjny znacznie poprawia dokładność klasyfikacji OA, podkreślając korzyści płynące z podejścia multimodalnego. Przyszłe badania powinny koncentrować się na możliwości uogólniania.
Bensalma i wsp.15	Zidentyfikuj powiązania między różnymi czynnikami u pacjentów z chorobą zwyrodnieniową stawu kolanowego za pomocą analizy multimodalnej.		Badanie ujawnia wzajemne powiązania między wieloma czynnikami w chorobie zwyrodnieniowej stawu kolanowego, sugerując możliwości ukierunkowanych interwencji i dalszych badań.
Koppold i wsp.16	Zbadaj wpływ przedłużonego zmodyfikowanego postu na objawy choroby zwyrodnieniowej stawów.		Zmodyfikowany post wykazuje znaczną poprawę objawów u pacjentów z chorobą zwyrodnieniową stawów, co wskazuje na jego potencjał jako strategii leczenia. Konieczne są dalsze badania, zwłaszcza badania z randomizacją.
Jain i wsp.17	Obecny OsteoHRNet do oceny nasilenia choroby zwyrodnieniowej stawu kolanowego na podstawie zdjęć rentgenowskich.		OsteoHRNet osiąga zwiększoną dokładność w klasyfikacji ciężkości choroby zwyrodnieniowej stawu kolanowego na podstawie zdjęć rentgenowskich, co wskazuje na jego potencjał do zastosowania klinicznego. Zalecana jest dalsza walidacja zestawu danych.
Afroze i wsp.18	Ocena metod opartych na uczeniu maszynowym w wykrywaniu choroby zwyrodnieniowej stawów (OA) w różnych modalnościach obrazowania.		Przegląd identyfikuje krytyczne luki w wykrywaniu otwartego dostępu opartego na uczeniu maszynowym, podkreślając potrzebę ustandaryzowanych podejść i modeli empirycznych.
Teoh i wsp.19	Opracowanie wielozadaniowego modelu do szczegółowej diagnostyki choroby zwyrodnieniowej stawów na podstawie radiografii.		Model wielozadaniowy zwiększa dokładność diagnozy choroby zwyrodnieniowej stawów poprzez przewidywanie indywidualnych cech choroby zwyrodnieniowej stawów i intensywności bólu, co sugeruje możliwość precyzyjnych interwencji. Zachęca się do dalszych badań w celu rozszerzenia tych ustaleń.
Zhang i wsp.20	Stworzenie modelu do wielopoziomowej klasyfikacji urazów chrząstki stawu kolanowego w rezonansie magnetycznym.		Model oferuje wysoką dokładność w klasyfikacji urazów chrząstki kolana za pomocą rezonansu magnetycznego, co jest obiecującym narzędziem diagnostycznym. Zaleca się dalszą walidację międzypopulacyjną.
Li i wsp.21	Zbadanie wpływu obrazów wielowidokowych i wcześniejszych informacji, a także zdolności modelu uczenia głębokiego do identyfikacji i klasyfikacji choroby zwyrodnieniowej stawu kolanowego za pomocą promieni rentgenowskich.		Klasyfikacja KL KOA została prawidłowo zidentyfikowana i skategoryzowana przy użyciu modelu DL. Co więcej, wcześniejsza wiedza i wielowidokowe obrazy rentgenowskie zwiększyły skuteczność klasyfikacji.
Ratna i wsp.22	Dowiedz się, w jaki sposób uczenie maszynowe jest wykorzystywane w badaniach nad chorobą zwyrodnieniową stawu kolanowego, aby lepiej zrozumieć postęp choroby i wczesną diagnozę.		Badanie podkreśla, w jaki sposób uczenie maszynowe wpłynęło na badania nad chorobą zwyrodnieniową stawów, zwłaszcza pod względem wczesnej diagnozy i rozwoju zrozumienia, a także zaleca dalsze badania w celu poprawy jego integracji klinicznej.

Tabela 1: Przegląd najnowszych prac w zakresie wykrywania choroby zwyrodnieniowej stawu kolanowego.

Do głównych osiągnięć prac należy OsteoXceptionNet, zmodyfikowana architektura XceptionNet przeznaczona do oceny choroby zwyrodnieniowej stawu kolanowego, a także wykorzystanie specjalnie opracowanego potoku przetwarzania wstępnego w celu zwiększenia dokładności diagnozy. Zestaw danych Inicjatywy Choroby Zwyrodnieniowej Stawów (OAI) jest używany do szkolenia, a wiele projektów bazowych jest używanych do oceny. Zbiór danych i techniki przygotowania opisano w kolejnych częściach badania po dokonaniu przeglądu odpowiedniej literatury. Po przeglądzie wyników eksperymentalnych i dyskusji o znaczeniu klinicznym, zagłębia się w proponowaną architekturę modelu, a następnie podsumowuje kluczowe odkrycia i proponuje przyszłe kierunki.

Zestaw danych i konfiguracja eksperymentalna
Zestaw danych OAI, który składa się z tysięcy opatrzonych adnotacjami zdjęć rentgenowskich kolana zebranych w czasie z różnych lokalizacji klinicznych, jest publicznie dostępny do wykorzystania w tym badaniu. Pięć klas choroby zwyrodnieniowej stawu kolanowego Kellgrena-Lawrence'a (KL) było reprezentowanych przez 9786 zdjęć rentgenowskich kolana wykorzystanych w tym badaniu: Zdrowy (3857 obrazów), Wątpliwy (1770), Minimalny (2578), Umiarkowany (1286) i Ciężki (295). Podczas wstępnego przetwarzania wszystkie obrazy zostały równomiernie przeskalowane do 224 x 224 pikseli przy użyciu interpolacji dwuliniowej. Sugerowany framework OsteoXceptionNet został wykorzystany w warunkach eksperymentalnych do automatycznej segmentacji struktur stawu kolanowego, a następnie sklasyfikowania ich w klasach ciężkości KOA.

Aby zapewnić jak największą równowagę klas, zestaw danych został podzielony na podgrupy do celów szkoleniowych (80%), walidacji (10%) i testów (10%). Pomimo swojej użyteczności zestaw danych ma kilka wad, takich jak nierównowaga klas, przy czym mniej próbek wpada do grupy Ciężkie niż inne. Ponadto zestaw danych obejmuje tylko obrazowanie radiograficzne; brakuje w nim multimodalnych danych wejściowych, takich jak obrazowanie metodą rezonansu magnetycznego (MRI) lub informacji klinicznych, co może ograniczać jego uogólnienie. Kolejnym godnym uwagi wadą jest wypaczenie demograficzne, które ogranicza znaczenie danych do innych grup etnicznych, ponieważ reprezentują one głównie populację Ameryki Północnej. Chociaż w celu złagodzenia tych ograniczeń wykorzystano funkcje utraty ważonej klasą i rozszerzanie danych, gdy było to możliwe, nadal są to kluczowe kwestie podczas analizy wydajności modelu.

Na podstawie wyników radiologicznych metody klasyfikacji, takie jak system klasyfikacji Kellgrena-Lawrence'a (KL), klasyfikują nasilenie KOA w pięciu kategoriach: stopień 0 (zdrowy), stopień 1 (wątpliwy), stopień 2 (minimalny), stopień 3 (umiarkowany) i stopień 4 (ciężki)²³. Na rysunku 1 pokazano różne obrazy gatunków KL.

Rysunek 1: Klasyfikacja KL obrazów kolan. Na podstawie wyników radiologicznych nasilenie KOA podzielono na pięć kategorii: stopień 0 (zdrowy), stopień 1 (wątpliwy), stopień 2 (minimalny), stopień 3 (umiarkowany) i stopień 4 (ciężki). Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Protocol

W tej części przedstawiono kompleksowe podejście mające na celu poprawę diagnostyki i oceny choroby zwyrodnieniowej stawu kolanowego poprzez zastosowanie zmodyfikowanego modelu XceptionNet. Przedstawiona metodologia opiera się na starannym wstępnym przetwarzaniu danych, dokładnym dostosowywaniu architektury modelu i solidnych technikach oceny, z których wszystkie mają na celu rozwiązanie złożonych problemów związanych z obrazowaniem choroby zwyrodnieniowej stawu kolanowego. Na rysunku 2 zilustrowano przebieg modelu.

Rysunek 2: Proces pracy modelu. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

Opis zestawu danych
Zestaw danych wykorzystany w tym badaniu składa się z 9 786 zdjęć rentgenowskich kolana ze zbioru danych OAI, którym przypisano ocenę choroby zwyrodnieniowej stawów w oparciu o technikę oceny KL. Ten zestaw danych, który oferuje szeroki zakres instancji obejmujących różne fazy KOA, jest niezbędny zarówno do trenowania, jak i oceny proponowanego modelu²⁴. Do skalowania wszystkich obrazów użyto interpolacji dwuliniowej. Technika ta została wybrana, ponieważ zapewnia kompromis między efektywnością obliczeniową a utrzymaniem jakości obrazu, które są niezbędne do zachowania cech anatomicznych ważnych dla kategoryzacji choroby zwyrodnieniowej stawu kolanowego. W zestawie danych stopnie wynoszą od 0 do 4, przy czym stopień 0 oznacza zdrowe kolano, a stopień 4 oznacza ciężką chorobę zwyrodnieniową stawów. Stopień ten oferuje złożony zakres ewolucji choroby, który jest niezbędny dla modelu do zrozumienia drobnych różnic między etapami.

Ponadto zestaw danych został zorganizowany w zestawy testowe, walidacyjne i treningowe. Aby ocenić wydajność modelu i upewnić się, że uczy się on skutecznie uogólniać bez nadmiernego dopasowania zestawu treningowego, ten podział był niezbędny. Zestaw testowy oferuje obiektywną ocenę skuteczności sfinalizowanego modelu, ponieważ służył również do modyfikacji wag modelu. Ponadto zestaw walidacji pomaga w dostrajaniu hiperparametrów i ocenie modeli na całym etapie trenowania. Krótkie podsumowanie rozkładu danych znajduje się w tabeli 2, a rysunek 3 przedstawia je w formie wizualnej.

Klasa	Automatyczny test	Test	Pociąg	Val
0	604	639	2286	328
1	275	296	1046	153
2	403	447	1516	212
3	200	223	757	106
4	44	51	173	27

Tabela 2: Krótki opis zbioru danych.

Rysunek 3: Dystrybucja zestawu danych. Zestaw danych został zorganizowany w zestawy testowe, walidacyjne i treningowe. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Wstępne przetwarzanie danych
Ten krok ma kluczowe znaczenie i ma na celu poprawę wydajności modelu poprzez poprawę jakości danych wejściowych. Etapy przetwarzania wstępnego są następujące.

Zmiana rozmiaru obrazu: Do każdego obrazu rentgenowskiego stosowany jest standardowy wymiar, aby zapewnić spójność w całym zestawie obrazów. Ten etap jest niezbędny, aby model mógł przetwarzać obrazy w sposób spójny i efektywny. W tym procesie stosuje się równanie 1.

Nowy rozmiar obrazu = Zmień rozmiar (oryginalny obraz, standardowy wymiar) (1)

Normalizacja: Wartości pikseli na obrazach zostały ustandaryzowane, aby uzyskać średnią równą zero i odchylenie standardowe równe jeden. Ten rodzaj normalizacji zapewnia, że wartości wejściowe mieszczą się w podobnym zakresie, co przyspiesza zbieżność modelu podczas trenowania. Równanie 2 służy do przeprowadzenia tego kroku normalizującego.

(2)

Rozszerzanie danych: Strategie rozszerzania danych zostały wykorzystane do rozwiązania problemów wynikających z niewystarczającej ilości danych i zwiększenia zdolności modelu do uogólniania. Metody te obejmują odwracanie, powiększanie, obracanie i translacje. Wprowadzają one nowe obrazy, które są celowo dodawane do zestawu danych treningowych. Równanie 3 jest używane w realizacji tej procedury augmentacji.

Obraz rozszerzony = Zastosuj transformację (oryginalny obraz) (3)

Zastosowano różne techniki augmentacji, aby zapewnić zmienność zestawu treningowego w celu poprawy niezawodności modelu i zminimalizowania nadmiernego dopasowania. Zakres ścinania 0,2, zakres powiększenia od 0,8 do 1,2 (co odpowiada współczynnikowi powiększenia 0,2) oraz losowy zakres obrotu od -30° do +30° zostały uwzględnione w rozszerzeniu danych treningowych. Dozwolone było zarówno odwracanie w poziomie, jak i w pionie z prawdopodobieństwem 0,5 w celu zwiększenia uogólnienia modelu. Zarówno w przypadku ścinania pionowego, jak i poziomego zastosowano również współczynnik ścinania wynoszący 0,1, czyli ± 10% zniekształcenia.

Równoważenie klas: Algorytmy ważenia klas zostały użyte ze względu na możliwą nierównowagę klas w zbiorze danych (z większą liczbą obrazów niektórych klas OA niż innych). Aby zapobiec stronniczości modelu na korzyść bardziej powszechnych klas, metoda ta nadaje klasom niedostatecznie reprezentowanym większą wagę. W tym procesie wykorzystywane jest równanie 4. Do wyznaczenia wag użyto następujących wartości: Zdrowy: 3857, Wątpliwy: 1770, Minimalny: 2578, Umiarkowany: 1286 i Ciężki: 295 to rozkłady klasowe 9786 wszystkich próbek i 5 klas.

(4)

Podział walidacji pociągu: zestaw danych został zorganizowany w zestawy walidacji i trenowania przy użyciu tradycyjnych współczynników 80:20. Dzielenie danych umożliwia modelowi uczenie się na podstawie danych treningowych i regularną ocenę jego wydajności przy użyciu zestawu walidacji. Pozwala to na zidentyfikowanie nadmiernego dopasowania i ocenę zdolności modelu do uogólnienia.

Optymalizacja potoku danych: Skonfigurowano ulepszony potok danych, aby zagwarantować efektywną obsługę danych podczas trenowania modelu. Aby zmniejszyć wąskie gardła wejścia/wyjścia i zwiększyć wydajność obliczeniową, ten potok wykorzystuje techniki przetwarzania wsadowego, pobierania z wyprzedzeniem i równoległego wyodrębniania danych. Aby poprawić wydajność i przepustowość szkolenia, opracowano potok danych wejściowych. Aby zagwarantować zrównoważone wykorzystanie pamięci i obciążenie obliczeniowe, zastosowano partię o rozmiarze 32. Aby zwiększyć wydajność wprowadzania danych, w funkcji map użyto num_parallel_calls=4 w celu zrównoleglenia ładowania i wstępnego przetwarzania danych. Ponadto, w celu zminimalizowania opóźnień we/wy, użyto prefetch(buffer_size=tf.data.AUTOTUNE) TensorFlow, aby umożliwić automatyczną regulację rozmiaru bufora pobierania z wyprzedzeniem. W ten sposób efektywnie nakładało się na siebie wstępne przetwarzanie danych i wykonywanie modelu

Na rysunku 4 pokazano kilka przykładów obrazów różnych klas po podstawowym przetwarzaniu wstępnym.

Rysunek 4: Wystąpienia z zestawu danych. Na rysunku przedstawiono kilka przykładów obrazów różnych klas po podstawowym przetwarzaniu wstępnym. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Dzięki tym skrupulatnym krokom wstępnego przetwarzania zestaw danych jest przekształcany w solidną podstawę do trenowania zmodyfikowanego modelu XceptionNet, przygotowując grunt pod dokładne i niezawodne wykrywanie i klasyfikację KOA.

Architektura modelu
Model podstawowy: Dzięki charakterystycznej konstrukcji, która wykorzystuje rozłączne zwoje według głębokości w celu osiągnięcia najlepszej możliwej równowagi między wydajnością obliczeniową a złożonością modelu, stworzony przez François Cholleta model XceptionNet wyróżnia się^{na tle innych}. Równanie 5 zostało wykorzystane do zaimplementowania rozłącznych splotów pod względem głębokości.

Konwolucja rozdzielalna według głębokości(x) = Punktowa(Głębokość(x)) (5)

Jest to szczególnie istotne dla tego badania z kilku powodów. Po pierwsze, jego architektura jest znana z wyodrębniania szczegółowych i hierarchicznych cech z obrazów, co ma kluczowe znaczenie dla analizy obrazów medycznych, w której subtelne cechy mogą wskazywać na różne etapy choroby. Po drugie, proponowany model opiera się na architekturze XceptionNet, która wykazała wyjątkową skuteczność w kilku zadaniach klasyfikacji obrazów, mających na celu wykrywanie i ocenę choroby zwyrodnieniowej stawu kolanowego²⁶.

Prezentowany OsteoXceptionNet jest dostosowaną do potrzeb wersją architektury XceptionNet stworzoną specjalnie do automatycznej klasyfikacji choroby zwyrodnieniowej stawu kolanowego na podstawie zdjęć rentgenowskich. Do ważnych zmian należy dodanie trzech dodatkowych bloków konwolucyjnych (filtrów: 512, 256 i 128) w celu poprawy ekstrakcji cech specyficznych dla struktur stawu kolanowego, a także warstw konwolucyjnych o rozmiarach filtrów 3 x 3 i zmiennej liczbie filtrów w zakresie od 32 do 1024 w przepływach wejściowych, środkowych i wyjściowych. Normalizacja wsadowa i aktywacja ReLU następują po każdej warstwie konwolucyjnej, a warstwy dropout są dodawane w celu zminimalizowania nadmiernego dopasowania. Standard 224 x 224 pikseli jest używany dla danych wejściowych modelu.

Dostrajanie i modyfikacje
Modyfikacje: Model XceptionNet został strategicznie zmodyfikowany na kilka sposobów, aby nadawał się do oceniania i wykrywania KOA.

Dostrajanie: Górne warstwy wstępnie wytrenowanego modelu XceptionNet zostały odmrożone, dzięki czemu model może nauczyć się ogólnych funkcji specyficznych dla obrazów rentgenowskich kolana. Dostrajanie modelu przeprowadzono zgodnie z równaniem 6.

(6)

gdzie θ_dostrojone są parametrami po dostrojeniu; θ_{wstępnie wytrenowane} to wstępnie wytrenowane parametry; λ oznacza szybkość uczenia się; ∇_{θwstępnie wytrenowana}Strata to gradient funkcji straty związany z parametrami, które zostały wstępnie wytrenowane.

Dodatkowe warstwy konwolucyjne: Dodatkowe warstwy konwolucyjne zostały wprowadzone w końcowej fazie modelu. Warstwy te mają mniejszy rozmiar ziarna, co pozwala skupić się na wydobyciu drobniejszych szczegółów związanych z różnymi klasami OA. Zastosowano go przy użyciu równania 7.

Wyjście konwolucyjne = Konwolucja(Wejście,Jądro) (7)

Normalizacja wsadowa: Po każdej dodanej warstwie konwolucyjnej stosowana jest normalizacja wsadowa w celu ustabilizowania uczenia się i zwiększenia szybkości konwergencji. Stosuje się go za pomocą równania 8.

 (8)

gdzie jest znormalizowanym wyjściem; x jest wejściem warstwy normalizacji partii; μ jest średnią dla partii danych wejściowych; σ2 jest wariancją w partii danych wejściowych; ε jest minimalną stałą stabilności numerycznej.

Funkcje aktywacji: Funkcje aktywacji ReLU są wykorzystywane w warstwach dodatkowych w celu wprowadzenia nieliniowości, umożliwiając w ten sposób modelowi uzyskanie bardziej skomplikowanych struktur w danych. ReLU oblicza się za pomocą równania 9.

ReLU(x) = max(0,x) (9)

gdzie, x jest wejściem funkcji aktywacji ReLU.

Dropout: Aby zapobiec nadmiernemu dopasowaniu, warstwy dropout są włączane, szczególnie po nowo dodanych warstwach, aby zapewnić uogólnienie modelu nawet na niewidocznych danych. Dokonano tego za pomocą równania 10.

Wyjście = Maska × wejściowej (10)

Konfiguracja warstwy wyjściowej
Warstwa wyjściowa: Oryginalny model XceptionNet jest skonstruowany pod kątem klasyfikacji wieloklasowej z funkcją aktywacji Softmax w warstwie wyjściowej. W tym dostosowanym modelu warstwa wyjściowa jest dostosowana tak, aby reprezentowała pięć stopni choroby zwyrodnieniowej stawu kolanowego, od stopnia 0 do stopnia 4, tj. od poziomu zdrowego do ciężkiego. Dokładnie rzecz biorąc, warstwa ta składa się z pięciu neuronów, z których każdy odpowiada jednemu ze stopni choroby zwyrodnieniowej stawów. W tej warstwie wykorzystano funkcję aktywacji Softmax w celu uzyskania rozkładu prawdopodobieństwa w pięciu klasach, umożliwiając proponowanemu modelowi prognozowanie odpowiedniego stopnia choroby zwyrodnieniowej stawów dla danego zdjęcia rentgenowskiego kolana. Takie podejście dostosowuje wyniki modelu bezpośrednio do skali ocen klinicznych, ułatwiając intuicyjną i praktyczną interpretację przewidywań modelu dla pracowników służby zdrowia.

Architektura XceptionNet jest specjalnie dostosowana — która została najpierw wstępnie przeszkolona na zestawie danych ImageNet — do celu prezentowanego badania, jakim jest klasyfikacja ciężkości choroby zwyrodnieniowej stawów kolanowych. Model wykorzystał wyuczone funkcje z dużego i zróżnicowanego zestawu danych, korzystając ze wstępnie wytrenowanych wag z ImageNet, co dało mu solidną podstawę. Aby dostosować podstawowy model XceptionNet do proponowanych badań, dodano wiele nowych warstw.

Po pierwsze, warstwy konwolucyjne 2D połączono z różną liczbą filtrów i rozmiarami jąder, z których każdy był aktywowany przez ReLU i normalizację wsadową w celu dodania nieliniowości. Te dodatkowe warstwy miały na celu uchwycenie i wzmocnienie cech związanych z ciężkością choroby zwyrodnieniowej stawów kolanowych. Model był następnie gotowy do ostatniego etapu klasyfikacji poprzez dodanie warstwy Global Average Pooling 2D (GAP), która zmniejsza mapę obiektów, zachowując jednocześnie ważne dane. W szczególności operacja GAP pozwala na zmniejszenie wymiarowości przy minimalnej utracie danych poprzez zmniejszenie wymiarów przestrzennych każdej mapy obiektów do jednej wartości przy zachowaniu głębokości, która może wynosić od 7 x 7 x 1024 do 1 x 1 x 1024. Dane wyjściowe warstwy GAP zostały wprowadzone do funkcji aktywacji Softmax, która umożliwiła klasyfikację wieloklasową poprzez konwersję logitów na prawdopodobieństwa. Równania 11, 12, 13, 14, 15, 16 i 17 są używane odpowiednio do GAP, aktywacji Softmax, obliczania mapy cech, redukcji szybkości uczenia się, kompilacji modelu, korekty wagi klasy i utraty klasyfikacji wieloklasowej.

     (11)

gdzie, x_i,j oznacza aktywację i-tego wiersza i j-tej kolumny mapy obiektów; H oznacza wysokość mapy obiektów; W to szerokość mapy obiektów.

     (12)

gdzie, x_i jest danymi wejściowymi funkcji Softmax dla klasy i; n to liczba klas.

Mapa cech = σ(Konwolucja(Wejście,Jądro) + Stronniczość) (13)

gdzie, Konwolucja jest operacją konwolucyjną; i to funkcja aktywacji ; Dane wejściowe to tensor wejściowy do warstwy; Jądro jest jądrem konwolucyjnym; Stronniczość to termin tendencyjny.

Nowy Wskaźnik Uczenia Się = Współczynnik Tempa Uczenia × (14)

Model = Kompilacja(Architektura,Strata,Optymalizator,Metryki) (15)

     (16)

gdzie,_kategoria wagowa jest wagą przypisaną do klasy; Łączna liczba próbek to total_number_of_samples zestawu danych; Number_of_Classes to liczba charakterystycznych klas w zbiorze danych; Próbka w klasie to liczba próbek w określonej klasie.

      (17)

gdzie, y_i jest rzeczywistym rozkładem prawdopodobieństwa dla klasy i; p_i jest prognozą rozkładu prawdopodobieństwa klasy I ; N to liczba klas.

Na koniec skompilowano model, który teraz składa się ze zmodyfikowanej architektury XceptionNet z warstwami niestandardowymi, w celu przewidywania prawdopodobieństw dla każdej klasy. Dzięki tym modyfikacjom celem było zwiększenie zdolności modelu do rozpoznawania niuansów związanych z różnymi stopniami nasilenia choroby zwyrodnieniowej stawu kolanowego, zwiększając jego wydajność klasyfikacyjną dla konkretnego zadania.

Aby zapewnić stabilną i efektywną konwergencję, optymalizator Adam został użyty do wytrenowania modelu ze współczynnikiem uczenia się 0,0001, przy czym 0,5 jest używany jako współczynnik rezygnacji w celu zminimalizowania nadmiernego dopasowania. Aby ograniczyć złożoność modelu i poprawić uogólnienie, zastosowano zarówno strategie regularyzacji L1, jak i L2. W przypadku problemów z klasyfikacją wieloklasową z etykietami liczb całkowitych, odpowiednią funkcją straty była rzadka kategoryczna entropia krzyżowa. Szkolenie prowadzono przez 50 epok. Softmax, końcowa funkcja aktywacji, została wykorzystana do generowania klasowych rozkładów prawdopodobieństwa. Dodatkowo do treningu użyto rozmiaru 64 stopni.

Szkolenie: Proces szkolenia był bardzo ważnym etapem. Na tym etapie zmodyfikowany model XceptionNet uczy się dokładnego wykrywania i klasyfikowania KOA na obrazach radiograficznych. Do implementacji modelu XceptionNet wykorzystano Keras w wersji 2.6.0 oraz backend TensorFlow w wersji 2.6.0. Poniżej znajdują się szczegółowe informacje o kluczowych składnikach fazy trenowania, w tym funkcji straty, optymalizatorze, wywołaniach zwrotnych, rozmiarze partii i epokach.

Loss_Function: W przypadku zadania klasyfikacji wieloklasowej użyto cross_entropy kategorialnych. Ta funkcja strat jest szczególnie przydatna w przypadku problemów, w których oczekuje się, że każde wystąpienie zostanie przypisane do jednej i tylko jednej etykiety z zestawu kategorii²⁷. Ocenia wydajność modelu, generując wynik prawdopodobieństwa w zakresie zera i jednego. Strata ta została wykorzystana jako miernik do skutecznego trenowania tego modelu w celu dokładnego przewidywania dotkliwości KOA, ponieważ wzrasta, gdy przewidywane prawdopodobieństwo różni się od rzeczywistej etykiety.

Optymalizator: Zastosowano optymalizator Adam, który jest dobrze znany ze swojej skuteczności i dynamicznej charakterystyki szybkości uczenia się. Adam łączy korzystne cechy algorytmów AdaGrad i RMSProp, dostarczając algorytm optymalizacyjny biegły w zarządzaniu rzadkimi gradientami w hałaśliwych ustawieniach problemowych²⁸.

Kluczowe parametry optymalizatora Adam
Szybkość uczenia się: Zastosowano współczynnik uczenia się wynoszący 0,0001, co umożliwiło optymalizatorowi wprowadzenie początkowo znacznych korekt wag, optymalizując w ten sposób proces uczenia się.

Beta1 i Beta2: Te parametry regulują szybkość, z jaką odpowiednio maleje gradient kwadratowy i średnie ruchome poprzednich gradientów. Używane są wartości domyślne 0,9 dla beta1 i 0,999 dla beta2.

Epsilon: Ten parametr zapobiega dzieleniu przez zero w implementacji, ustawiając na małą liczbę bliską zero.

Wywołania zwrotne: Wywołania zwrotne są używane podczas trenowania do monitorowania wydajności modelu i dostosowywania. Zastosowano następujące wywołania zwrotne:

Early_Stopping: Służy do monitorowania utraty walidacji modelu, a także do zatrzymywania procesu uczenia, jeśli strata przestaje się zmniejszać przez wstępnie zdefiniowaną liczbę epok (określana jako cierpliwość). Gdy dane walidacji nie wykazują już poprawy wydajności modelu, zatrzymuje on proces trenowania, co pomaga zapobiec nadmiernemu dopasowaniu.

Zmniejsz LROn Plateau: To wywołanie zwrotne zmniejsza szybkość uczenia się, gdy utrata walidacji przestaje się poprawiać, umożliwiając dokładniejsze korekty wag, co potencjalnie skutkuje poprawą ogólnej wydajności modelu²⁹.

Punkt kontrolny modelu: To wywołanie zwrotne zapisuje model w określonych odstępach czasu, dzięki czemu po zakończeniu procesu trenowania można pobrać najlepszą wersję modelu. Zazwyczaj monitoruje dokładność walidacji lub utratę i oszczędza wagę modelu za każdym razem, gdy zostanie wykryte ulepszenie.

Wielkość partii i epoki:
Wielkość partii: 32 to typowa wielkość partii, która została użyta w celu zrównoważenia wymagań dotyczących zarówno stabilności konwergencji modelu, jak i wydajności obliczeniowej. Wielkość partii wynosząca 32 zapewnia równowagę, ponieważ jest wystarczająco duża, aby wykorzystać optymalizacje obliczeniowe, a jednocześnie wystarczająco mała, aby zapewnić stabilne oszacowanie gradientu.

Epoki: model jest ustawiony na trenowanie przez maksymalnie 50 epok, chociaż trenowanie może zostać zatrzymane wcześnie, jeśli zostanie wyzwolone wywołanie zwrotne EarlyStoping. 50 epok zapewnia wystarczającą liczbę iteracji, aby wagi mogły się dostosować, a model był zbieżny, podczas gdy EarlyStopping zapewnia, że trening nie jest niepotrzebnie kontynuowany.

Dzięki skrupulatnemu ustawianiu tych parametrów i wykorzystaniu wywołań zwrotnych proces trenowania został zoptymalizowany, aby zapewnić, że model skutecznie się uczy i dobrze uogólnia na niewidoczne dane. Aby zagwarantować, że wszystkie klasy są sprawiedliwie i dokładnie reprezentowane w przewidywaniach modelowych, zastosowano szereg podejść do rozwiązania problemu nierównowagi danych. Po pierwsze, aby zrekompensować niedostateczną reprezentację niektórych klas, przez całą fazę szkolenia stosowano ważenie klas. Klasom z mniejszą liczbą prób nadano większą wagę. Aby jeszcze bardziej zmniejszyć wpływ nierównowagi klas podczas trenowania, użyto również ImageDataGenerator firmy Kerasa, aby upewnić się, że model jest narażony na różne klasy w każdej partii³⁰.

Metryki oceny
Oceniając skuteczność opracowanego modelu, wykorzystano liczne parametry, które zostały opisane poniżej.

Dokładność (ACC): Stosunek dokładnie przewidywanych obserwacji do wszystkich obserwacji jest określany ilościowo za pomocą tej statystyki. Gdy klasy docelowe rozkładają się równomiernie, jest to korzystne. Jego obliczenie opiera się na równaniu 18.

     (18)

Precyzja (PR): Precyzja modelu mierzy, jak dobrze potrafi on odróżnić wszystkie oczekiwane pozytywne i pozytywne przypadki. W okolicznościach, gdy odsetek wyników fałszywie dodatnich jest znaczny, jest to bardzo ważne. Jego obliczenie opiera się na równaniu 19.

(19)

Przywołanie (R): Przypomnienie, znane również jako czułość, określa ilościowo odsetek prawidłowo wykrytych wyników prawdziwie dodatnich. Jest to szczególnie ważne w sytuacjach, w których zignorowanie dobrego przykładu może mieć poważne konsekwencje. Jego obliczenie obejmuje równanie 20.

(20)

F1_Score: Jest to średnia harmoniczna precyzji (PR) i kompletności (R), zapewnia uczciwą ocenę, szczególnie w przypadku nierównomiernego rozkładu klas. Jego obliczenie obejmuje równanie 21.

      (21)

ROC AUC: Area Under the Curve for Receiver Operating Characteristics (ROC AUC) określa ilościowo zdolność modelu do rozróżniania klas. Podwyższone wartości AUC oznaczają lepszą wydajność modelu. Jego obliczenie opiera się na równaniu 22.

    (22)

Cohen's Kappa (CK): Ta metryka ocenia zgodność między dwoma oceniającymi, którzy kategoryzują N elementów do C wzajemnie wykluczających się klas. Oferuje większą niezawodność w porównaniu z dokładnością, zwłaszcza gdy mamy do czynienia z niezrównoważonymi klasami. Jego obliczenie obejmuje równanie 23.

     (23)

Średni błąd bezwzględny metryk (MAE), błąd średniokwadratowy (RMSE) i błąd średniokwadratowy (MSE): Chociaż parametry te są powszechnie stosowane w zadaniach regresji, mogą dostarczyć użytecznych informacji w scenariuszach klasyfikacji, szczególnie w klasyfikacjach porządkowych. Obliczają różnicę między wartościami rzeczywistymi a przewidywanymi. Metryki te zostały obliczone przy użyciu równań odpowiednio 24, 25 i 26.

   (24)

     (25)

     (26)

Wynik F2: Wynik F2 nadaje priorytet kompletności, a nie precyzji, co jest cenne w scenariuszach, w których przeoczenie pozytywnej prognozy wiąże się z większymi kosztami niż generowanie wyników fałszywie dodatnich. Jego obliczenie obejmuje równanie 27.

      (27)

Krzywa precyzji i kompletności: Ten wykres pokazuje, w jaki sposób równoważone jest zapamiętanie i dokładność na różnych poziomach. Im większy obszar pod krzywą, tym wyższy poziom zarówno kompletności, jak i precyzji.

Powyższe parametry zostały wybrane w celu zapewnienia dokładnej oceny wydajności modelu we wszystkich wymiarach, zwłaszcza w kontekście nierównowagi zestawu danych i znaczenia dokładnej identyfikacji różnych stopni choroby zwyrodnieniowej stawu kolanowego.

Results

W trakcie fazy walidacji modelu podjęto kilka ważnych działań, aby zagwarantować, że zostanie on uogólniony na dane, które nie zostały jeszcze zaobserwowane. Początkowo zestaw danych jest podzielony na zestawy treningowe i walidacyjne. Jest to typowa procedura używana do oceny wydajności modelu na zestawie danych, który nie był używany podczas trenowania. Oferując oddzielne zestawy danych do trenowania i walidacji, separacja ta pozwoliła uniknąć nadmiernego dopasowania i umożliwiła dokładną ocenę skuteczności modelu.

...

Discussion

W badaniu przedstawiono zautomatyzowaną technikę oceny KOA opartą na głębokim uczeniu się przy użyciu obrazów rentgenowskich. Model, w którym wykorzystano architekturę XceptionNet, wykazał się znaczną solidnością i dokładnością w zakresie różnych miar oceny, co sugeruje, że może znaleźć zastosowanie w warunkach klinicznych.

Oprócz obecnej metodologii, walidacja zewnętrznego zestawu danych może być wykorzystana do dalszego potwierdzenia hipotezy i oceny możliwości uogólnienia modelu w różnych w...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Jupyter Notebook/Colab	Projekt Jupyter / Google	N/A	Do interaktywnego tworzenia i eksperymentowania z modelami.
Matplotlib (wersja: 3.4.3) & Seaborn (Wersja: 0.11.2)	Społeczność	N/A	Do wizualizacji danych i wykresów wyników.
Dane Mendeley/Kaggle	Elsevier; Społeczność	N/A	Źródło zestawu danych: Zestaw danych oceny nasilenia choroby zwyrodnieniowej stawu kolanowego
OpenCV (wersja: 4.5.5)	Intel	N/A	Do wstępnego przetwarzania obrazów rentgenowskich (zmiana rozmiaru, CLAHE, filtrowanie Gaussa).
Python (wersja: 3.8)	Fundacja oprogramowania Python	N/A	Język programowania używany do tworzenia modeli.
scikit-learn (Wersja: 1.0.2)	Społeczność	N/A	Służy do dzielenia danych, metryk wydajności i podstawowych narzędzi ML.
TensorFlow/Keras	Google/społeczność	N/A	Służy do implementowania i trenowania modelu uczenia głębokiego opartego na XceptionNet. Wersja Tensorflow: 2.6.0, RRID:SCR_018932. Wersja Keras: 2.6.0, RRID:SCR_018961
System operacyjny Ubuntu	Kanoniczny	N/A	System operacyjny używany w celu zapewnienia kompatybilności ze wszystkimi narzędziami programowymi. Zalecana wersja 20.04.