Aby poprawić identyfikację choroby zwyrodnieniowej stawu kolanowego na podstawie zdjęć rentgenowskich, badanie to sugeruje OsteoXceptionNet, model głębokiego uczenia, który wykorzystuje zmodyfikowany XceptionNet z uczeniem transferowym. Ten model usprawnia wyodrębnianie cech, zmniejsza błędy interpretacji ręcznej i umożliwia bardziej precyzyjną, zautomatyzowaną klasyfikację.
Subskrypcja JoVE jest wymagana do oglądania tego materiału. Zaloguj się lub rozpocznij bezpłatny okres próbny.
Artykuł badawczy
Podejście oparte na uczeniu głębokim oparte na uczeniu transferowym do oceny choroby zwyrodnieniowej stawu kolanowego przy użyciu zmodyfikowanej architektury XceptionNet
W tym artykule
Podsumowanie
Streszczenie
Choroba zwyrodnieniowa stawu kolanowego (KOA) dotyka miliony osób na całym świecie i nie ma znanego leczenia leczniczego, co czyni ją poważnym globalnym problemem zdrowotnym. Zarządzanie jego rozwojem zależy od wczesnego odkrycia, a obrazowanie rentgenowskie jest podstawową techniką diagnostyczną. Jednak ze względu na różnice w poziomie doświadczenia radiologów, ręczna interpretacja zdjęć rentgenowskich zwiększa zmienność i możliwe niedokładności. Ostatnie postępy w technikach uczenia maszynowego i głębokiego uczenia się zapoczątkowały stworzenie zautomatyzowanych systemów do radiologicznej identyfikacji choroby zwyrodnieniowej stawów kolanowych. Jednak w przypadku wykrywania na wczesnym etapie uzyskanie większej dokładności przewidywania jest nadal kluczowe. Wykorzystując szczegółowe informacje zebrane z większego zestawu danych, modele wytrenowane na mniejszych, specyficznych dla domeny zestawach danych działają lepiej dzięki zastosowaniu uczenia transferowego. Ze względu na swoją głębię i skuteczność, XceptionNet szczególnie dobrze nadaje się do prac związanych z interpretacją obrazów medycznych. W przeciwieństwie do poprzednich badań, metoda ta skutecznie rozwiązuje problem nierównowagi zbiorów danych, wykorzystując podejścia równoważenia klas, integrując niestandardowy potok przetwarzania wstępnego i dodając niestandardowe ulepszenia architektury do XceptionNet, co poprawia identyfikację KOA na wczesnym etapie. Dzięki zastosowaniu tych najnowocześniejszych metod, sugerowane podejście wykazuje potencjał w prawidłowym identyfikowaniu choroby zwyrodnieniowej stawów na podstawie obrazów radiologicznych kolana, osiągając 97% dokładność przewidywania, 97,8% precyzję, 97,6% zapamiętanie i 97,6% pomiar F1. Dodatkowo wygenerowany model wykazał 95,94% wartości kappa Cohena, co wskazuje na dobrą zgodność. Badanie wspiera dalsze wysiłki na rzecz opracowania godnej zaufania, zautomatyzowanej technologii wykrywania chorób, która poprawia wyniki leczenia pacjentów i ułatwia bardziej efektywne świadczenie opieki zdrowotnej.
Wprowadzenie
Choroba zwyrodnieniowa stawu kolanowego (KOA) jest istotnym problemem zdrowia publicznego na całym świecie, który dotyka ogromną liczbę osób i stanowi znaczne obciążenie zarówno dla pacjentów, jak i organizacji opieki zdrowotnej. W tym schorzeniu dochodzi do stopniowego niszczenia chrząstki stawowej stawu kolanowego. Ma ono złożoną i wielowymiarową etiologię, obejmującą kombinację wieku, otyłości, urazów stawów, czynników biomechanicznych oraz podatności genetycznej1.
Utrata integralności strukturalnej prowadzi do ścieńczenia, pękania i ostatecznie erozji chrząstki, co odsłania leżącą pod nią kość. Objawy KOA mogą być bardzo zróżnicowane i często nasilają się z czasem – od niewielkiego dyskomfortu po niedo zniesienia ból i utratę funkcji2. Głównym objawem jest ból kolana, który zazwyczaj nasila się podczas ćwiczeń obciążeniowych i długotrwałej aktywności. Do typowych obserwacji należą sztywność, szczególnie w okresach spoczynku, obrzęki, trzeszczenie stawów oraz zmniejszony zakres ruchu3. Objawy te poważnie zakłócają codzienne funkcjonowanie, prowadząc do ograniczeń funkcjonalnych i obniżenia jakości życia osób, których dotyczą.
Hipoteza badana w niniejszej pracy zakłada, że zautomatyzowany model oparty na głębokim uczeniu może osiągnąć wyniki diagnostyczne porównywalne z wynikami profesjonalnych radiologów i poprawnie zdiagnozować stopień zaawansowania zwyrodnienia stawu kolanowego (KOA) na podstawie danych obrazowych, stosując system stopniowania Kellgrena-Lawrence'a.
Cel niniejszego badania wynika z ograniczeń właściwych tradycyjnym metodom diagnostyki i oceny stopnia zaawansowania choroby zwyrodnieniowej stawu kolanowego. Tradycyjnie do oceny stopnia uszkodzenia stawu wykorzystuje się obrazowanie radiologiczne, w szczególności analizę zdjęć rentgenowskich kolana. Niemniej jednak fizyczna ocena tych obrazów jest podatna na zmienność i może być czasochłonna4. Postępy w dziedzinie głębokiego uczenia oraz uczenia maszynowego (ML) stanowią obiecujący kierunek w stronę automatyzacji i zwiększenia dokładności wykrywania i stopnia zaawansowania KOA, oferując bardziej ustandaryzowane i efektywne podejście. Jest to szczególnie istotne we wczesnych stadiach schorzenia, kiedy interwencja może znacząco wpłynąć na zmianę jakości życia pacjenta w miarę postępu choroby.
Podejścia oparte na uczeniu maszynowym: Pierwsze próby zautomatyzowania identyfikacji KOA opierały się na klasycznych metodach uczenia maszynowego. Strategie takie jak K-Nearest Neighbors (K-najbliższych sąsiadów), Support Vector Machine (maszyna wektorów nośnych) oraz Decision Tree (drzewa decyzyjne) opierały się na ręcznie opracowanych cechach wyekstrahowanych z obrazów rentgenowskich kolana. Chociaż zapewniały one pewien stopień automatyzacji, kluczowym czynnikiem wpływającym na ich skuteczność była jakość i istotność cech wyznaczonych ręcznie. Często skutkowało to słabą generalizacją i niską wydajnością5.
Podejścia oparte na głębokim uczeniu (Deep Learning, DL): Pojawienie się splotowych sieci neuronowych, czyli głębokiego uczenia, stanowiło istotny kamień milowy w tej dziedzinie. Dzięki zdolności do zautomatyzowanej ekstrakcji cech, splotowe sieci neuronowe (CNN) stają się coraz popularniejsze w analizie obrazów KOA. W porównaniu z konwencjonalnymi technikami ML, algorytmy te wykazały znaczną poprawę w zakresie dokładności, jak również zdolności do rozpoznawania złożonych wzorców bezpośrednio z obrazów6,7.
Uczenie transferencyjne (Transfer Learning, TL): Metoda ta, która umożliwia dostosowanie modeli do zadań wymagających obrazowania medycznego po ich wcześniejszym przeszkoleniu na dużych, ogólnych zbiorach danych, zyskała popularność w niedawnych badaniach8. Podejście to sprawdza się szczególnie dobrze w dziedzinie medycyny, gdzie powszechne są małe, wyspecjalizowane zbiory danych.
Poprawione wyniki w klasyfikacji stopnia zaawansowania KOA są podkreślone przez TL, która wykorzystuje cechy ogólne wyuczone z większych zadań i dostosowuje je do szczególnych niuansów analizy obrazów medycznych9,10.
W celu identyfikacji i stopniowania KOA na podstawie obrazów radiograficznych w ostatnich latach zbadano szereg technik zautomatyzowanych – w szczególności modele głębokiego uczenia11,12. Niemniej jednak wiele obecnych modeli albo nie radzi sobie w sposób wystarczający z problemami niezbilansowania zbiorów danych i interpretowalnością, albo nie wykrywa problemów we wczesnym stadium z odpowiednią dokładnością. Metoda zaproponowana w niniejszej pracy rozszerza ten schemat poprzez wprowadzenie trzech istotnych ulepszeń: zmian w architekturze modelu XceptionNet w celu poprawy ekstrakcji cech, technik balansowania klas w celu zwiększenia niezawodności modelu oraz dostosowanego potoku przetwarzania wstępnego, zaprojektowanego w celu uwydatnienia cech stawu kolanowego. Wraz ze wspieraniem bardziej precyzyjnej i wiarygodnej kategoryzacji KOA, ulepszenia te stanowią znaczący postęp w stosunku do tradycyjnych technik uczenia transferowego.
Pomimo że DL i ML wykazały znaczący postęp w analizie KOA, wciąż istnieją wyzwania do pokonania, głównie w zakresie uzyskania precyzyjnej kategoryzacji, poprawy interpretowalności oraz zarządzania niezrównoważeniem danych. Proponowane badanie rozwija poprzednie prace13,14,15,16,17,18,19,20,21,22, oferując bardziej kompleksową, przejrzystą i sprawiedliwą ocenę, a tym samym przesuwając granice tego, co jest obecnie możliwe w zautomatyzowanej diagnostyce i stopniowaniu KOA. Tabela 1 przedstawia analizę aktualnych badań prowadzonych w zakresie wykrywania choroby zwyrodnieniowej stawów.
| Badanie | Cel | Streszczenie | |||
| Hu i wsp.13 | Opracowanie modelu DeepKOA w celu przewidywania progresji choroby zwyrodnieniowej stawu kolanowego na podstawie obrazów MR. | DeepKOA wykazuje obiecujące możliwości w zakresie prognozowania choroby zwyrod działowej stawu kolanowego, co podkreśla potencjał głębokiego uczenia w warunkach klinicznych. Wymagana jest dalsza walidacja. | |||
| Guida i wsp.14 | Usprawnienie klasyfikacji stopnia zaawansowania choroby zwyrodnienie stawów (OA) poprzez integrację danych z radiografii rentgenowskiej, rezonansu magnetycznego (MRI) oraz danych klinicznych. | Model fuzji znacząco poprawia dokładność klasyfikacji OA, podkreślając korzyści wynikające z podejścia multimodalnego. Przyszłe badania powinny skupić się na kwestii generalizacji wyników. | |||
| Bensalma i wsp.15 | Identyfikacja powiązań między różnymi czynnikami u pacjentów z chorobą zwyrodnieniową stawu kolanowego z wykorzystaniem analizy multimodalnej. | Badanie ujawnia wzajemne zależności między wieloma czynnikami w przypadku choroby zwyrodnieniowej stawu kolanowego, wskazując na możliwości ukierunkowanych interwencji i dalszych badań. | |||
| Koppold i wsp.16 | Badanie wpływu przedłużonego postu modyfikowanego na objawy choroby zwyrodnieniowej stawów. | Modyfikowany post wykazuje znaczną poprawę objawów u pacjentów z chorobą zwyrodnieniową stawów, co wskazuje na jego potencjał jako strategii terapeutycznej. Niezbędne są dalsze badania, w szczególności randomizowane badania kontrolowane. | |||
| Jain i wsp.17 | Przedstawiamy OsteoHRNet do oceny stopnia zaawansowania choroby zwyrodnieniowej stawu kolanowego na podstawie zdjęć rentgenowskich. | OsteoHRNet zapewnia zwiększoną dokładność w klasyfikacji stopnia zaawansowania choroby zwyrodnieniowej stawu kolanowego na podstawie zdjęć rentgenowskich, co wskazuje na jego potencjał w zastosowaniach klinicznych. Zaleca się przeprowadzenie dalszej walidacji na dodatkowych zbiorach danych. | |||
| Afroze i wsp.18 | Ocena metod opartych na uczeniu maszynowym w wykrywaniu choroby zwyrodnieniowej stawów (OA) w różnych modalnościach obrazowania. | Przegląd identyfikuje krytyczne luki w detekcji OA w oparciu o uczenie maszynowe, podkreślając potrzebę zastosowania ustandaryzowanych podejść i modeli empirycznych. | |||
| Teoh i wsp.19 | Opracuj model wielozadaniowy do szczegółowej diagnostyki choroby zwyrodnieniowej stawów (OA) na podstawie radiografii. | Model wielozadaniowy poprawia dokładność diagnostyki choroby zwyrodnieniowej stawów (OA) poprzez przewidywanie poszczególnych cech OA oraz natężenia bólu, co wskazuje na potencjał do przeprowadzania precyzyjnych interwencji. Zaleca się przeprowadzenie dalszych badań w celu rozszerzenia tych wyników. | |||
| Zhang i wsp.20 | Stworzenie modelu wielopoziomowej klasyfikacji uszkodzeń chrząstki kolanowej w badaniu MRI. | Model oferuje wysoką dokładność w klasyfikacji uszkodzeń chrząstki kolanowej z wykorzystaniem MRI, wykazując potencjał jako nieinwazyjne narzędzie diagnostyczne. Zaleca się przeprowadzenie dalszej walidacji w różnych populacjach. | |||
| Li i wsp.21 | W celu zbadania wpływu obrazów wielowidokowych oraz informacji wstępnych, a także zdolności modelu głębokiego uczenia do identyfikacji i klasyfikacji choroby zwyrodnieniowej stawu kolanowego na podstawie zdjęć rentgenowskich. | Stopień wg skali KL w przypadku KOA został prawidłowo zidentyfikowany i skategoryzowany przy użyciu modelu DL. Ponadto wiedza ekspercka oraz wielowidokowe obrazy rentgenowskie zwiększyły skuteczność klasyfikacji. | |||
| Ratna i wsp.22 | Dowiedz się, w jaki sposób uczenie maszynowe jest wykorzystywane w badaniach nad chorobą zwyrodnieniową stawu kolanowego, aby lepiej zrozumieć progresję tego schorzenia oraz usprawnić wczesną diagnostykę. | Badanie podkreśla wpływ uczenia maszynowego na badania nad chorobą zwyrodnieniową stawów (OA), szczególnie w zakresie wczesnej diagnostyki i zrozumienia rozwoju schorzenia, oraz zaleca prowadzenie dalszych badań w celu usprawnienia jego integracji klinicznej. | |||
Tabela 1: Przegląd ostatnich prac dotyczących wykrywania choroby zwyrodnieniowej stawu kolanowego.
Główne wkłady niniejszej pracy obejmują OsteoXceptionNet, zmodyfikowaną architekturę XceptionNet przeznaczoną do stopniowania choroby zwyrodnieniowej stawów kolanowych, oraz zastosowanie specjalnie opracowanego potoku przetwarzania wstępnego w celu zwiększenia dokładności diagnostyki. Do trenowania modelu wykorzystano zbiór danych Osteoarthritis Initiative (OAI), a do ewaluacji zastosowano wiele projektów bazowych. Zbiór danych oraz techniki przygotowania zostały opisane w kolejnych częściach badania, po przeglądzie odpowiedniej literatury. Po przedstawieniu wyników eksperymentalnych i omówieniu znaczenia klinicznego, szczegółowo opisano zaproponowaną architekturę modelu, a następnie podsumowano kluczowe wnioski i wskazano przyszłe kierunki badań.
Zestaw danych i konfiguracja eksperymentalna
W badaniu wykorzystano publicznie dostępny zestaw danych OAI, składający się z tysięcy opisanych obrazów RTG kolan, zgromadzonych w czasie w różnych ośrodkach klinicznych. Użyte w tej pracy 9786 obrazów RTG kolan reprezentowało pięć klas Kellgrena-Lawrence'a (KL) w zależności od stopnia zaawansowania choroby zwyrodnieniowej stawów kolanowych: zdrowe (3857 obrazów), wątpliwe (1770), minimalne (2578), umiarkowane (1286) oraz ciężkie (295). Podczas wstępnego przetwarzania wszystkie obrazy zostały ujednolicone do rozmiaru 224 x 224 pikseli przy użyciu interpolacji bilinearnej. W konfiguracji eksperymentalnej zastosowano zaproponowaną architekturę OsteoXceptionNet w celu automatycznej segmentacji struktur stawu kolanowego, a następnie ich klasyfikacji pod kątem stopnia zaawansowania KOA.
Aby zapewnić możliwie największą równowagę klas, zbiór danych został podzielony na podgrupy do trenowania (80%), walidacji (10%) oraz testowania (10%). Mimo swojej użyteczności, zbiór danych posiada kilka wad, takich jak niezbalansowanie klas, przejawiające się mniejszą liczbą próbek w grupie Severe w porównaniu do pozostałych. Ponadto zbiór danych obejmuje wyłącznie obrazowanie radiologiczne; brakuje w nim danych multimodalnych, takich jak obrazy z rezonansu magnetycznego (MRI) czy informacje kliniczne, co może ograniczać jego generalizowalność. Kolejną istotną wadą jest stronniczość demograficzna, która ogranicza przydatność danych dla innych grup etnicznych, ponieważ reprezentują one głównie populację Ameryki Północnej. Chociaż w miarę możliwości zastosowano funkcje straty z wagami klas oraz augmentację danych w celu złagodzenia tych ograniczeń, pozostają one kluczowymi kwestiami przy analizie wydajności modelu.
Na podstawie wyników radiologicznych metody stopniowania, takie jak system Kellgrena-Lawrence'a (KL), klasyfikują ciężkość KOA w pięciu kategoriach: Stopień 0 (Zdrowy), Stopień 1 (Wątpliwy), Stopień 2 (Minimalny), Stopień 3 (Umiarkowany) oraz Stopień 4 (Ciężki)23. Różne obrazy odpowiadające stopniom KL przedstawiono na Rysunku 1.
Rycina 1: Gradacja KL obrazów kolana. Na podstawie wyników radiologicznych stopień zaawansowania KOA zaklasyfikowano do pięciu kategorii: stopień 0 (Zdrowy), stopień 1 (Wątpliwy), stopień 2 (Minimalny), stopień 3 (Umiarkowany) i stopień 4 (Ciężki). Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Protokół
Niniejsza sekcja przedstawia kompleksowe podejście opracowane w celu usprawnienia diagnostyki i stopniowania choroby zwyrodnieniowej stawu kolanowego z wykorzystaniem zmodyfikowanego modelu XceptionNet. Przedstawiona metodologia opiera się na starannym wstępnym przetwarzaniu danych, szczegółowej optymalizacji architektury modelu oraz rygorystycznych technikach oceny, co ma na celu rozwiązanie złożonych problemów związanych z obrazowaniem OA kolana. Na Rysunku 2 zilustrowano schemat działania modelu.
Rysunek 2: Przepływ pracy modelu. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Opis zbioru danych
Zbiór danych wykorzystany w niniejszych badaniach obejmuje 9 786 obrazów rentgenowskich kolana z zestawu danych OAI, którym przypisano stopień OA na podstawie techniki gradingowej KL. Zbiór ten, oferujący szeroki zakres przykładów obejmujących różne fazy KOA, jest niezbędny zarówno do trenowania, jak i oceny proponowanego modelu24. Do skalowania wszystkich obrazów zastosowano interpolację dwuliniową. Technikę tę wybrano, ponieważ stanowi ona kompromis między efektywnością obliczeniową a zachowaniem jakości obrazu, co jest kluczowe dla utrzymania cech anatomicznych istotnych dla kategoryzacji choroby zwyrodnieniowej stawu kolanowego. W zbiorze danych stopnie określone są w zakresie 0-4, gdzie stopień 0 reprezentuje zdrowe kolano, a stopień 4 oznacza ciężką postać choroby zwyrodnieniowej. Taki podział odzwierciedla złożony przebieg ewolucji choroby, co jest niezbędne, aby model mógł zrozumieć subtelne różnice między poszczególnymi etapami.
Dodatkowo zestaw danych został podzielony na zbiory testowy, walidacyjny i treningowy. Podział ten był niezbędny do oceny wydajności modelu oraz upewnienia się, że uczy się on skutecznej generalizacji bez nadmiernego dopasowania (overfittingu) do zbioru treningowego. Zbiór testowy zapewnia obiektywną ocenę skuteczności finalnego modelu, ponieważ nie był on wykorzystywany do modyfikacji wag modelu. Ponadto zbiór walidacyjny pomaga w dostrajaniu hiperparametrów i ocenie modeli w trakcie etapu trenowania. Krótkie podsumowanie rozkładu danych przedstawiono w Tabeli 2, a Rysunek 3 zawiera jego wizualną reprezentację.
| Klasa | Autotest | Test | Szkolenie | Val |
| 0 | 604 | 639 | 2286 | 328 |
| 1 | 275 | 296 | 1046 | 153 |
| 2 | 403 | 447 | 1516 | 212 |
| 3 | 200 | 223 | 757 | 106 |
| 4 | 44 | 51 | 173 | 27 |
Tabela 2: Krótki opis zbioru danych.
Rycina 3: Rozkład zbioru danych. Zbiór danych został podzielony na zestawy testowy, walidacyjny i treningowy. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.
Wstępne przetwarzanie danych
Ten krok jest kluczowy i ma na celu zwiększenie wydajności modelu poprzez poprawę jakości danych wejściowych. Etapy wstępnego przetwarzania są następujące.
Zmiana rozmiaru obrazów: Do każdego obrazu rentgenowskiego stosuje się standardowy wymiar, aby zapewnić spójność w całym zestawie obrazów. Ten etap jest niezbędny, aby model mógł przetwarzać obrazy w sposób jednolity i efektywny. W tym procesie wykorzystuje się równanie 1.
Nowy rozmiar obrazu = Resize (Oryginalny obraz, Standardowy wymiar) (1)
Normalizacja: Wartości pikseli w obrazach zostały zestandaryzowane tak, aby średnia wynosiła zero, a odchylenie standardowe jeden. Tego rodzaju normalizacja zapewnia, że wartości wejściowe mieszczą się w podobnym zakresie, co przyspiesza zbieżność modelu podczas trenowania. Do przeprowadzenia tego etapu normalizacji wykorzystano Równanie 2.
(2)
Augmentacja danych: W celu rozwiązania problemów wynikających z niewystarczającej ilości danych oraz zwiększenia zdolności modelu do generalizacji zastosowano strategie augmentacji danych. Metody te obejmują odbicia lustrzane, powiększenia, rotacje oraz translacje. Pozwalają one na wprowadzenie nowych obrazów, które są celowo dodawane do zbioru treningowego. W implementacji tej procedury augmentacji wykorzystano równanie 3.
Obraz rozszerzony = Zastosuj transformację (Obraz oryginalny) (3)
W celu zwiększenia zmienności zbioru treningowego, poprawy odporności modelu i zminimalizowania przeuczenia zastosowano szereg technik augmentacji danych. W ramach augmentacji danych treningowych uwzględniono zakres ścinania wynoszący 0,2, zakres przybliżenia od 0,8 do 1,2 (odpowiadający czynnikowi przybliżenia 0,2) oraz zakres losnej rotacji od -30° do +30°. Aby zwiększyć zdolność modelu do generalizacji, dopuszczono zarówno poziome, jak i pionowe odbicie lustrzane z prawdopodobieństwem 0,5. W przypadku ścinania w pionie i poziomie zastosowano czynnik ścinania 0,1, co odpowiada zniekształceniu ± 10%.
Równoważenie klas: Ze względu na możliwą niezrównoważoną liczebność klas w zbiorze danych (z większą liczbą obrazów dla niektórych klas OA niż dla innych), zastosowano algorytmy ważenia klas. Metoda ta nadaje większe wagi klasom niedoreprezentowanym, aby zapobiec stronniczości modelu na korzyść klas częściej występujących. W tym procesie wykorzystano równanie 4. Do wyznaczenia wag użyto następujących wartości: Zdrowy (Healthy): 3857, Wątpliwy (Doubtful): 1770, Minimalny (Minimal): 2578, Umiarkowany (Moderate): 1286 oraz Ciężki (Severe): 295, co stanowi rozkład dla poszczególnych klas spośród łącznie 9786 próbek podzielonych na 5 klas.
(4)
Podział na zbiór treningowy i walidacyjny: Zestaw danych podzielono na zbiory walidacyjny i treningowy w tradycyjnej proporcji 80:20. Podział danych pozwala modelowi uczyć się na podstawie danych treningowych i regularnie oceniać jego wydajność przy użyciu zbioru walidacyjnego. Umożliwia to identyfikację przeuczenia oraz ocenę zdolności modelu do generalizacji.
Optymalizacja potoku danych: W celu zapewnienia efektywnego zarządzania danymi podczas trenowania modelu skonfigurowano ulepszony potok danych. Aby zredukować wąskie gardła wejścia/wyjścia i zwiększyć wydajność obliczeniową, potok ten wykorzystuje techniki grupowania (batching), prefetchingu oraz równoległej ekstrakcji danych. W celu poprawy wydajności i przepustowości trenowania opracowano potok danych wejściowych. Aby zapewnić zrównoważone wykorzystanie pamięci i obciążenie obliczeniowe, zastosowano rozmiar partii (batch size) wynoszący 32. W celu zwiększenia efektywności wprowadzania danych, w funkcji map wykorzystano parametr num_parallel_calls=4 w celu zrównoleglenia ładowania i wstępnego przetwarzania danych. Ponadto, aby zminimalizować opóźnienia wejścia/wyjścia, zastosowano funkcję prefetch(buffer_size=tf.data.AUTOTUNE) systemu TensorFlow, umożliwiającą automatyczną regulację rozmiaru bufora prefetchingu. Pozwoliło to na efektywne nałożenie etapu wstępnego przetwarzania danych na etap wykonywania modelu
Na Rysunku 4 przedstawiono kilka przykładów obrazów z różnych klas po przeprowadzeniu podstawowego przetwarzania wstępnego.
Rysunek 4: Przykłady z zestawu danych. Rysunek przedstawia kilka przykładów obrazów z różnych klas po podstawowym przetwarzaniu wstępnym. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Dzięki tym skrupulatnym etapom preprocessingu zbiór danych zostaje przekształcony w solidną podstawę do trenowania zmodyfikowanego modelu XceptionNet, co przygotowuje grunt pod dokładną i niezawodną detekcję oraz stopnowanie KOA.
Architektura modelu
Model bazowy: Model XceptionNet opracowany przez François Cholleta wyróżnia się swoją unikalną konstrukcją, w której zastosowano sploty separowalne względem głębokości (depth-wise separable convolutions), aby osiągnąć optymalną równowagę między wydajnością obliczeniową a złożonością modelu25. Do implementacji splotów separowalnych względem głębokości wykorzystano równanie 5.
Splot separowalny głębokościowo(x) = Pointwise(Depthwise(x)) (5)
Jest to szczególnie istotne dla niniejszego badania z kilku powodów. Po pierwsze, jego architektura jest znana z wyodrębniania szczegółowych i hierarchicznych cech z obrazów, co ma kluczowe znaczenie w analizie obrazów medycznych, gdzie subtelne cechy mogą wskazywać na różne stadia schorzenia. Po drugie, proponowany model oparto na architekturze XceptionNet, która wykazała wyjątkową skuteczność w kilku zadaniach klasyfikacji obrazów nakierowanych na wykrywanie i ocenianie stopnia zaawansowania choroby zwyrodnieniowej stawu kolanowego26.
Przedstawiona sieć OsteoXceptionNet jest dostosowaną wersją architektury XceptionNet, stworzoną specjalnie do automatycznej klasyfikacji choroby zwyrodnieniowej stawu kolanowego na podstawie obrazów rentgenowskich. Istotne zmiany obejmują dodanie trzech dodatkowych bloków splotowych (filtry: 512, 256 i 128) w celu usprawnienia ekstrakcji cech specyficznych dla struktur stawu kolanowego, a także warstw splotowych o rozmiarach filtrów 3 x 3 i zmiennej liczbie filtrów od 32 do 1024 w przepływach wejściowym, środkowym i wyjściowym. Po każdej warstwie splotowej zastosowano normalizację wsadową i funkcję aktywacji ReLU, a dodatkowo wprowadzono warstwy dropout w celu zminimalizowania przeuczenia. Do danych wejściowych modelu zastosowano standard rozdzielczości 224 x 224 piksele.
Dostrajanie i modyfikacje
Modyfikacje: Model XceptionNet został strategicznie zmodyfikowany w kilku aspektach, aby dostosować go do oceny stopnia zaawansowania oraz wykrywania KOA.
Dostrajanie (Fine-tuning): Górne warstwy wstępnie wytrenowanego modelu XceptionNet zostały odmrożone, co umożliwiło modelowi naukę wysokopoziomowych cech specyficznych dla obrazów rentgenowskich kolana. Dostrajanie modelu przeprowadzono zgodnie z równaniem 6.
(6)
gdzie θfine-tuned to parametry po dostrojeniu (fine-tuning); θpre-trained to parametry wstępnie wytrenowane; λ to szybkość uczenia; ∇θpre-trainedLoss to gradient funkcji straty w odniesieniu do parametrów, które zostały wstępnie wytrenowane.
Dodatkowe warstwy konwolucyjne: W końcowej fazie modelu wprowadzono dodatkowe warstwy konwolucyjne. Warstwy te mają mniejszy rozmiar jądra, aby skupić się na wyodrębnianiu drobniejszych szczegółów istotnych dla różnych stopni OA. Zastosowano je zgodnie z równaniem 7.
Wynik splotu = Splot(Wejście, Jądro) (7)
Normalizacja wsadowa (Batch Normalization): Po każdej dodanej warstwie splotowej stosowana jest normalizacja wsadowa w celu stabilizacji procesu uczenia i zwiększenia szybkości zbieżności. Jest ona realizowana zgodnie z równaniem 8.
(8)
gdzie 
to znormalizowany wynik; x to wejście warstwy normalizacji wsadowej; μ to średnia dla wsadu wejściowego; σ2 to wariancja w wsadzie wejściowym; ϵ to minimalna stała zapewniająca stabilność numeryczną.
Funkcje aktywacji: W warstwach pomocniczych wykorzystano funkcje aktywacji ReLU w celu wprowadzenia nieliniowości, co pozwala modelowi na wychwytywanie bardziej złożonych struktur w danych. ReLU oblicza się zgodnie z równaniem 9.
ReLU(x) = max(0,x) (9)
gdzie x jest wejściem funkcji aktywacji ReLU.
Dropout: Aby zapobiec przeuczeniu, wprowadzono warstwy dropoutu, szczególnie po nowo dodanych warstwach, aby zapewnić generalizację modelu nawet dla nieznanych danych. Zostało to zrealizowane zgodnie z równaniem 10.
Wynik = Wejście × Maska (10)
Konfiguracja warstwy wyjściowej
Warstwa wyjściowa: Oryginalny model XceptionNet jest skonstruowany do klasyfikacji wieloklasowej z funkcją aktywacji Softmax w warstwie wyjściowej. W tym zaadaptowanym modelu warstwa wyjściowa została dostosowana tak, aby reprezentować pięć stopni choroby zwyrodnieniowej stawów kolanowych, od stopnia 0 do stopnia 4, czyli od stanu zdrowego do stopnia ciężkiego. Dokładniej, warstwa ta składa się z pięciu neuronów, z których każdy odpowiada jednemu z stopni OA. W warstwie tej wykorzystano funkcję aktywacji Softmax w celu wygenerowania rozkładu prawdopodobieństwa dla pięciu klas, co pozwala zaproponowanemu modelowi na przewidywanie odpowiedniego stopnia OA dla danego obrazu rentgenowskiego kolana. Takie podejście bezpośrednio wiąże wyjście modelu z kliniczną skalą oceny, co ułatwia intuicyjną i praktyczną interpretację przewidywań modelu przez pracowników służby zdrowia.
Architektura XceptionNet — która została uprzednio przeszkolona na zbiorze danych ImageNet — została specjalnie dostosowana do celu niniejszego badania, jakim jest klasyfikacja stopnia zaawansowania choroby zwyrodnieniowej stawu kolanowego. Model wykorzystał cechy wyuczone z dużego i zróżnicowanego zbioru danych poprzez zastosowanie wag z ImageNet, co zapewniło mu solidne podstawy. Aby dostosować podstawowy model XceptionNet do proponowanych badań, dodano wiele nowych warstw.
W pierwszej kolejności połączono dwuwymiarowe (2D) warstwy konwolucyjne z różną liczbą filtrów i rozmiarami jąder, z których każda została aktywowana funkcją ReLU oraz normalizacją wsadową (batch normalization) w celu wprowadzenia nieliniowości. Dodatkowe warstwy te miały na celu wychwycenie i wzmocnienie cech związanych z ciężkością zmian zwyrodnieniowych stawu kolanowego. Następnie, poprzez dodanie warstwy globalnego uśredniania pulującego 2D (Global Average Pooling 2D, GAP), model został przygotowany do końcowego etapu klasyfikacji; warstwa ta redukuje mapę cech, zachowując jednocześnie istotne dane. W szczególności operacja GAP umożliwia redukcję wymiarowości przy minimalnej utracie danych poprzez sprowadzenie wymiarów przestrzennych każdej mapy cech do pojedynczej wartości przy zachowaniu głębokości, która mogła zmieniać się z 7 x 7 x 1024 na 1 x 1 x 1024. Wynik z warstwy GAP został przekazany do funkcji aktywacji Softmax, która umożliwiła klasyfikację wieloklasową poprzez konwersję logitów na prawdopodobieństwa. Równania 11, 12, 13, 14, 15, 16 i 17 odnoszą się odpowiednio do GAP, aktywacji Softmax, obliczania mapy cech, redukcji tempa uczenia (learning rate), kompilacji modelu, dostosowania wag klas oraz straty klasyfikacji wieloklasowej.
(11)
gdzie xi,j to aktywacja i-tego wiersza i j-tej kolumny mapy cech; H to wysokość mapy cech; W to szerokość mapy cech.
(12)
gdzie xi jest wartością wejściową funkcji Softmax dla klasy i; n to liczba klas.
Mapa cech = σ(Splot(Wejście,Jądro) + Bias) (13)
gdzie: Convolution to operacja splotu; i to funkcja aktywacji; Input to tensor wejściowy warstwy; Kernel to jądro splotu; Bias to człon obciążenia.
Nowa szybkość uczenia = Szybkość uczenia × Współczynnik (14)
Model = Compile(Architecture,Loss,Optimizer,Metrics) (15)
(16)
gdzie Weightclass to waga przypisana do klasy; Total Samples to całkowita liczba próbek w zbiorze danych; Number_of_Classes to liczba odrębnych klas w zbiorze danych; Sample in Class to liczba próbek w konkretnej klasie.
(17)
gdzie yi jest rzeczywistym rozkładem prawdopodobieństwa dla klasy i; pi to przewidywany rozkład prawdopodobieństwa dla klasy i; N to liczba klas.
Ostatecznie model, składający się obecnie z zmodyfikowanej architektury XceptionNet z niestandardowymi warstwami, został skompilowany w celu przewidywania prawdopodobieństwa dla każdej klasy. Poprzez wprowadzenie tych modyfikacji dążono do zwiększenia zdolności modelu do rozpoznawania subtelnych cech związanych z różnymi stopniami zaawansowania choroby zwyrodnieniowej stawu kolanowego, co miało na celu poprawę wydajności klasyfikacji w tym konkretnym zadaniu.
W celu zapewnienia stabilnej i efektywnej zbieżności, do trenowania modelu wykorzystano optymalizator Adam z szybkością uczenia 0,0001, przyjmując współczynnik dropout na poziomie 0,5 w celu zminimalizowania przeuczenia. Aby ograniczyć złożoność modelu i poprawić generalizację, zastosowano strategie regularyzacji L1 oraz L2. W przypadku problemów klasyfikacji wieloklasowej z etykietami całkowitoliczbowymi, odpowiednią funkcją straty była Sparse Categorical Crossentropy. Trening przeprowadzono przez 50 epok. Jako końcową funkcję aktywacji wykorzystano Softmax do generowania rozkładów prawdopodobieństwa klas. Dodatkowo, podczas trenowania zastosowano wielkość kroku wynoszącą 64.
Trening: Proces trenowania był bardzo ważnym etapem. Na tym etapie zmodyfikowany model XceptionNet uczy się dokładnego wykrywania i klasyfikacji stopnia zaawansowania KOA na obrazach radiologicznych. Do implementacji modelu XceptionNet wykorzystano Keras w wersji 2.6.0 oraz backend TensorFlow w wersji 2.6.0. Poniżej znajdują się szczegóły dotyczące kluczowych komponentów fazy treningu, w tym funkcji straty, optymalizatora, funkcji callback, wielkości partii (batch size) oraz liczby epok.
Funkcja straty: W zadaniu klasyfikacji wieloklasowej zastosowano kategoryczną entropię krzyżową (categorical cross_entropy). Funkcja straty ta jest szczególnie odpowiednia dla problemów, w których każdy przypadek ma zostać przypisany do jednej i tylko jednej etykiety z zestawu kategorii27. Ocenia ona wydajność modelu, generując wynik prawdopodobieństwa w zakresie od zera do jednego. Stratę tę wykorzystano jako miernik do efektywnego trenowania modelu w celu dokładnego przewidywania stopnia zaawansowania KOA, ponieważ jej wartość rośnie, gdy przewidywane prawdopodobieństwo różni się od rzeczywistej etykiety.
Optymalizator: Wykorzystano optymalizator Adam, który jest znany z wysokiej skuteczności oraz charakterystyki dynamicznego tempa uczenia. Adam łączy zalety algorytmów AdaGrad i RMSProp, dostarczając algorytm optymalizacji sprawnie radzący sobie z rzadkimi gradientami w warunkach problemów zaszumionych28.
Kluczowe parametry optymalizatora Adam
Współczynnik uczenia: Zastosowano współczynnik uczenia wynoszący 0.0001, co pozwoliło optymalizatorowi na wprowadzenie istotnych korekt wag w początkowej fazie, optymalizując tym samym proces uczenia.
Beta1 i Beta2: Parametry te regulują odpowiednio tempo spadku kwadratu gradientu oraz średnich kroczących poprzednich gradientów. Wykorzystano wartości domyślne wynoszące 0,9 dla beta1 oraz 0,999 dla beta2.
Epsilon: parametr ten zapobiega dzieleniu przez zero w implementacji; został on ustawiony jako niewielka liczba bliska zeru.
Funkcje wywołania zwrotnego (callbacks): Funkcje wywołania zwrotnego są wykorzystywane podczas trenowania do monitorowania wydajności modelu oraz do jego dostrajania. Zastosowano następujące funkcje wywołania zwrotnego:
Wczesne zatrzymanie (Early_Stopping): Funkcja ta służy do monitorowania straty walidacyjnej modelu, a także do przerywania procesu trenowania, jeśli strata przestaje maleć przez określoną liczbę epok (tzw. patience). Gdy dane walidacyjne nie wykazują już poprawy wydajności modelu, proces trenowania zostaje zatrzymany, co pomaga zapobiegać przeuczeniu.
Reduce LROn Plateau: Ta funkcja wywołana (callback) zmniejsza szybkość uczenia, gdy strata walidacyjna przestaje ulegać poprawie, co pozwala na dokładniejszą korektę wag, potencjalnie skutkując lepszą ogólną wydajnością modelu29.
Punkt kontrolny modelu (Model Checkpoint): Ten mechanizm wywoływany zwrotnie (callback) zapisuje model w określonych odstępach czasu, aby po zakończeniu procesu trenowania można było odzyskać jego najlepszą wersję. Zazwyczaj monitoruje on dokładność walidacyjną lub wartość funkcji straty i zapisuje wagi modelu za każdym razem, gdy zostanie wykryta poprawa.
Wielkość partii i epoki:
Wielkość partii: 32 to typowa wielkość partii, którą zastosowano w celu zrównoważenia wymagań dotyczących stabilności zbieżności modelu oraz wydajności obliczeniowej. Wielkość partii wynosząca 32 stanowi kompromis – jest wystarczająco duża, aby wykorzystać optymalizacje obliczeniowe, a jednocześnie na tyle mała, by zapewnić stabilną estymację gradientu.
Epoki: Model jest ustawiony na trening do 50 epok, choć proces ten może zostać przerwany wcześniej, jeśli zostanie wywołany mechanizm EarlyStopping. 50 epok zapewnia wystarczającą liczbę iteracji do dostrojenia wag i zbieżności modelu, natomiast EarlyStopping zapobiega niepotrzebnemu kontynuowaniu treningu.
Dzięki skrupulatnemu ustawieniu tych parametrów i wykorzystaniu funkcji callback, proces uczenia został zoptymalizowany w celu zapewnienia efektywnej nauki modelu oraz jego dobrej generalizacji dla danych nieznanych. Aby zagwarantować sprawiedliwą i dokładną reprezentację wszystkich klas w predykcjach modelu, zastosowano szereg podejść w celu rozwiązania problemu niezbalansowania danych. Po pierwsze, aby zrekompensować niedoreprezentowanie niektórych klas, w fazie uczenia zastosowano ważenie klas. Klasom z mniejszą liczbą próbek przypisano większe wagi. Aby dodatkowo zmniejszyć wpływ niezbalansowania klas podczas uczenia, wykorzystano ImageDataGenerator z biblioteki Keras, co zapewniło ekspozycję modelu na różnorodność klas w każdej partii danych30.
Metryki oceny
Podczas oceny skuteczności opracowanego modelu wykorzystano liczne parametry, które opisano poniżej.
Dokładność (ACC): Statystyka ta określa stosunek poprawnie przewidzianych obserwacji do wszystkich obserwacji. Jest ona korzystna w sytuacji, gdy klasy docelowe są rozłożone równomiernie. Jej obliczenie opiera się na równaniu 18.
(18)
Precyzja (PR): Precyzja modelu określa, jak dobrze potrafi on odróżnić wszystkie spodziewane wyniki dodatnie od rzeczywistych przypadków dodatnich. Jest ona bardzo istotna w sytuacjach, gdy stopa wyników fałszywie dodatnich jest znacząca. Jej obliczenie opiera się na równaniu 19.
(19)
Czułość (R): Czułość, znana również jako recall, określa procent prawidłowo wykrytych wyników prawdziwie dodatnich. Jest ona szczególnie istotna w sytuacjach, w których pominięcie właściwego przykładu mogłoby mieć poważne konsekwencje. Jej obliczanie opiera się na równaniu 20.
(20)
F1_Score: Jest to średnia harmoniczna precyzji (PR) i czułości (R), która zapewnia rzetelną ocenę, szczególnie w przypadku nierównomiernego rozkładu klas. Jego obliczanie odbywa się zgodnie z równaniem 21.
(21)
ROC AUC: Pole pod krzywą charakterystyki operacyjnej odbiornika (ROC AUC) określa zdolność modelu do rozróżniania klas. Wyższe wartości AUC oznaczają lepszą wydajność modelu. Obliczenia opierają się na równaniu 22.
(22)
Kappa Cohena (CK): Ta metryka ocenia zgodność pomiędzy dwoma sędziami, którzy kategoryzują N elementów do C wzajemnie wykluczających się klas. Wykazuje ona większą odporność w porównaniu do dokładności, zwłaszcza w przypadku niezbilansowanych klas. Jej obliczanie opiera się na równaniu 23.
(23)
Metryki średni błąd bezwzględny (MAE), pierwiastek błędu średniokwadratowego (RMSE) oraz błąd średniokwadratowy (MSE): Choć są one powszechnie stosowane w zadaniach regresji, parametry te mogą dostarczyć przydatnych informacji w scenariuszach klasyfikacji, szczególnie w klasyfikacjach porządkowych. Obliczają one różnicę między wartościami rzeczywistymi a przewidywanymi. Metryki te zostały obliczone odpowiednio za pomocą równań 24, 25 i 26.
(24)
(25)
(26)
Wynik F2: Wynik F2 nadaje priorytet czułości (recall) nad precyzją (precision), co jest wartościowe w scenariuszach, w których pominięcie pozytywnej predykcji wiąże się z większymi kosztami niż wygenerowanie fałszywego wyniku pozytywnego. Jego obliczenie opiera się na równaniu 27.
(27)
Krzywa precyzji i pełności (Precision and Recall Curve): Wykres ten przedstawia zależność i równowagę między pełnością a precyzją na różnych poziomach. Im większy obszar pod krzywą, tym wyższe poziomy zarówno pełności, jak i precyzji.
Powyższe parametry wybrano w celu zapewnienia rzetelnej oceny wydajności modelu we wszystkich wymiarach, szczególnie w kontekście niezrównoważenia zbioru danych oraz znaczenia dokładnej identyfikacji poszczególnych stopni zaawansowania choroby zwyrodnieniowej stawu kolanowego.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Wyniki
Podczas fazy walidacji modelu podjęto szereg istotnych działań, aby zagwarantować jego zdolność do generalizacji danych, które nie były wcześniej obserwowane. Początkowo zbiór danych został podzielony na zestaw treningowy i walidacyjny. Jest to powszechnie stosowana procedura służąca do oceny wydajności modelu na zbiorze danych, który nie brał udziału w procesie uczenia. Dzięki zastosowaniu oddzielnych zbiorów danych do treningu i walidacji uniknięto przeuczenia i umożliwiono dokładną ocenę skuteczności modelu.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Dyskusja
W badaniu przedstawiono zautomatyzowaną technikę oceny KOA opartą na głębokim uczeniu się przy użyciu obrazów rentgenowskich. Model, w którym wykorzystano architekturę XceptionNet, wykazał się znaczną solidnością i dokładnością w zakresie różnych miar oceny, co sugeruje, że może znaleźć zastosowanie w warunkach klinicznych.
Oprócz obecnej metodologii, walidacja zewnętrznego zestawu danych może być wykorzystana do dalszego potwierdzenia hipotezy i oceny możliwości uogólnienia modelu w różnych w...
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Oświadczenia
Autorzy oświadczają, że nie pozostają w konflikcie interesów w związku z publikacją tego manuskryptu. Żadne powiązania finansowe ani osobiste nie wpłynęły na badania, wyniki lub wnioski przedstawione w tej pracy.
Podziękowania
Badania te nie otrzymały żadnego konkretnego grantu od żadnej agencji finansującej w sektorze publicznym, komercyjnym lub non-profit.
Wkład autora:
Konceptualizacja, SHK; metodyka, SHK; oprogramowanie, SHK; walidacja, SMB; kuracja danymi, SHK; Zasoby, SHK; przygotowanie pisemnego projektu oryginalnego, SHK; pisanie, recenzowanie i redagowanie, SHK; wizualizacja, SMB; nadzór, SMB; administracja projektami, SMB.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Materiały
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| Jupyter Notebook/Colab | Projekt Jupyter / Google | N/A | Do interaktywnego tworzenia i eksperymentowania z modelami. |
| Matplotlib (wersja: 3.4.3) & Seaborn (Wersja: 0.11.2) | Społeczność | N/A | Do wizualizacji danych i wykresów wyników. |
| Dane Mendeley/Kaggle | Elsevier; Społeczność | N/A | Źródło zestawu danych: Zestaw danych oceny nasilenia choroby zwyrodnieniowej stawu kolanowego |
| OpenCV (wersja: 4.5.5) | Intel | N/A | Do wstępnego przetwarzania obrazów rentgenowskich (zmiana rozmiaru, CLAHE, filtrowanie Gaussa). |
| Python (wersja: 3.8) | Fundacja oprogramowania Python | N/A | Język programowania używany do tworzenia modeli. |
| scikit-learn (Wersja: 1.0.2) | Społeczność | N/A | Służy do dzielenia danych, metryk wydajności i podstawowych narzędzi ML. |
| TensorFlow/Keras | Google/społeczność | N/A | Służy do implementowania i trenowania modelu uczenia głębokiego opartego na XceptionNet. Wersja Tensorflow: 2.6.0, RRID:SCR_018932. Wersja Keras: 2.6.0, RRID:SCR_018961 |
| System operacyjny Ubuntu | Kanoniczny | N/A | System operacyjny używany w celu zapewnienia kompatybilności ze wszystkimi narzędziami programowymi. Zalecana wersja 20.04. |
Bibliografia
- He, Y., et al. Pathogenesis of osteoarthritis: risk factors, regulatory pathways in chondrocytes, and experimental models. Biology. 9 (8), 194(2020).
- Kulkarni, P., Martson, A., Vidya, R., Chitnavis, S., Harsulkar, A. Pathophysiological landscape of osteoarthritis. Adv Clin Chem. 100, 37-90 (2021).
- Kumavat, R., et al. Biomarkers of joint damage in osteoarthritis: current status and future directions. Mediat Inflamm. 2021, 1-14 (2021).
- Karim, M. R., et al. DeepKneeExplainer: explainable knee osteoarthritis diagnosis from radiographs and magnetic resonance imaging. IEEE Access. 9, 39757-39780 (2021).
- Kokkotis, C., Serafeim, M., Elpiniki, P., Giannis, G., Tsaopoulos, D. E. Machine learning in knee osteoarthritis: A review. Osteoarth Cartil Open. 2 (3), 100069(2020).
- Abdullah, S. S., Rajasekaran, M. P. Automatic detection and classification of knee osteoarthritis using deep learning approach. La Radiol Med. 127 (4), 398-406 (2022).
- Exploring deep learning capabilities in knee osteoarthritis case study for classification. Christodoulou, E., Moustakidis, S., Papandrianos, N., Tsaopoulos, D., Papageorgiou, E. 10th Int Conf Inf Intell Syst Appl, , 1-6 (2019).
- Jahan, M., et al. KOA-CCTNet: An enhanced knee osteoarthritis grade assessment framework using modified compact convolutional transformer model. IEEE Access. 12, 107719-107744 (2024).
- De, A., Mishra, N., Chang, H. T. An approach to the dermatological classification of histopathological skin images using a hybridized CNN-DenseNet model. PeerJ Comp Sci. 10, e1884(2024).
- The diagnostics of osteoarthritis: a fine-tuned transfer learning approach. Salman, A. A. S., Razman, M. A. M., Khairuddin, I. M., Abdullah, M. A., Majeed, A. P. P. A. Int Conf Robot Intell Technol Appl, , 455-461 (2021).
- Ozkan, C., Deniz, C. M. Artificial intelligence in knee osteoarthritis: a comprehensive review for 2022. Osteoarth Imag. 3 (3), 100161(2023).
- Minnig, M. C. C., Yvonne, M. G., Nelson, A. E. Epidemiology of osteoarthritis: literature update 2022-2023. Curr Opin Rheumatol. 36 (2), 108-112 (2024).
- Hu, J., et al. DeepKOA: a deep-learning model for predicting progression in knee osteoarthritis using multimodal magnetic resonance images from the osteoarthritis initiative. Quant Imaging Med Surg. 13 (8), 4852(2023).
- Guida, C., Zhang, M., Shan, J. Improving knee osteoarthritis classification using multimodal intermediate fusion of X-ray, MRI, and clinical information. Neural Comput Appl. 35 (13), 9763-9772 (2023).
- Bensalma, F., et al. Multimodal data analysis of knee osteoarthritis assessment: factors selection for conservative care decision making. Comput Methods Biomech Biomed Eng. 26 (4), 450-459 (2023).
- Koppold, D. A., et al. Effects of prolonged fasting during inpatient multimodal treatment on pain and functional parameters in knee and hip osteoarthritis: A prospective exploratory observational study. Nutrients. 15 (12), 2695(2023).
- Jain, R. K., Sharma, P. K., Gaj, S., Sur, A., Ghosh, P. Knee osteoarthritis severity prediction using an attentive multi-scale deep convolutional neural network. Multimed. Tools Appl. 83 (3), 6925-6942 (2024).
- Afroze, S., Tamilselvi, R., Beham, M. G. P. Machine learning-based osteoarthritis detection methods in different imaging modalities: A review. Curr Med Imaging Rev. (14), 1628-1642 (2023).
- Teoh, Y. X., Othmani, A., Lai, K. W., Goh, S. L., Usman, J. Stratifying knee osteoarthritis features through multitask deep hybrid learning: Data from the osteoarthritis initiative. Comput Methods Programs Biomed. 242, 107807(2023).
- Zhang, L., et al. Multi-level classification of knee cartilage lesion in multimodal MRI based on deep learning. Biomed Signal Process Control. 83, 104687(2023).
- Li, W., et al. Deep learning-assisted knee osteoarthritis automatic grading on plain radiographs: the value of multiview X-ray images and prior knowledge. Quant Imaging Med Surg. 13 (6), 3587(2023).
- Ratna, H. V. K., et al. Machine learning and deep neural network-based learning in osteoarthritis knee. World J. Methodol. 13 (5), 419(2023).
- Köse, Ö, et al. Inter-and intraobserver reliabilities of four different radiographic grading scales of osteoarthritis of the knee joint. J Knee Surg. 31 (3), 247-253 (2018).
- Chen, P. Knee osteoarthritis severity grading dataset. Mendeley Data. 1 (10.17632), 30784984(2018).
- Xception: Deep learning with depthwise separable convolutions. Chollet, F. IEEE Conf Comput Vis Pattern Recognit, , 1251-1258 (2017).
- Alnabi, A., Luqman, D., Ahmed, S. S., Alnabi, N. L. A. Knee osteoarthritis stage classification based on hybrid fusion deep learning framework. Sci J Uni Zakho. 13 (2), 262-278 (2025).
- Taye, M. M. Theoretical understanding of convolutional neural network: Concepts, architectures, applications, future directions. Computation. 11 (3), 52(2023).
- Zhang, Z. Improved Adam optimizer for deep neural networks. 2018 IEEE/ACM 26th Int Symp Quality Serv. , 1-2 (2018).
- Thakur, A., et al. Transformative breast cancer diagnosis using CNNs with optimized ReduceLROnPlateau and Early Stopping Enhancements. Int J Comput Intell Syst. 17 (1), 14(2024).
- Gulli, A., Pal, S. Deep learning with Keras. , Packt Publishing Ltd. (2017).
- Song, J., Zhang, R. A novel computer-assisted diagnosis method of knee osteoarthritis based on multivariate information and deep learning model. Digit. Signal Process. 133, 103863(2023).
- Wang, C. T., et al. Successful real-world application of an osteoarthritis classification deep-learning model using 9210 knees—An orthopedic surgeon's view. J. Orthop. Res. 41 (4), 737-746 (2023).
- Srikijkasemwat, N., et al. KneeXNeT: An Ensemble-Based Approach for Knee Radiographic Evaluation. International Conference on Medical Imaging and Computer-Aided Diagnosis, , Springer Nature. Singapore. 407-416 (2024).
- El-Ghany, S. A., Elmogy, M., Abd El-Aziz, A. A fully automatic fine-tuned deep learning model for knee osteoarthritis detection and progression analysis. Egypt. Inform. J. 24 (2), 229-240 (2023).
- Mohammed, A. S., Hasanaath, A. A., Latif, G., Bashar, A. Knee osteoarthritis detection and severity classification using residual neural networks on preprocessed X-ray images. Diagnostics. 1380 (8), (2023).
- Yeoh, P. S. Q., Lai, K. W., Goh, S. L., Hasikin, K., Wu, X., Li, P. Transfer learning-assisted 3D deep learning models for knee osteoarthritis detection: Data from the osteoarthritis initiative. Front. Bioeng. Biotechnol. 11, 1164655(2023).
- Yoon, J. S., et al. Assessment of a novel deep learning-based software developed for automatic feature extraction and grading of radiographic knee osteoarthritis. BMC Musculoskelet. Disord. 24 (1), 869(2023).
- Pi, S. W., Lee, B. D., Lee, M. S., Lee, H. J. Ensemble deep-learning networks for automated osteoarthritis grading in knee X-ray images. Sci. Rep. 13 (1), 22887(2023).
- Moustakidis, S., Papandrianos, N. I., Christodoulou, E., Papageorgiou, E., Tsaopoulos, D. Dense neural networks in knee osteoarthritis classification: A study on accuracy and fairness. Neural Comput. Appl. 35 (1), 21-33 (2023).
- Apon, T. S., et al. Transforming Precision: A Comparative Analysis of Vision Transformers, CNNs, and Traditional ML for Knee Osteoarthritis Severity Diagnosis. In 2024 6th International Conference on Electrical Engineering and Information & Communication Technology (ICEEICT), , IEEE. 31-36 (2024).
- Yeoh, P. S. Q., et al. Emergence of deep learning in knee osteoarthritis diagnosis. Computational intelligence and neuroscience. 2021 (1), (2021).
- Haq, I., et al. Lung nodules localization and report analysis from computerized tomography (CT) scan using a novel machine learning approach. Applied Sciences. 12 (24), (2022).
- Ghadi, Y. Y., et al. Enhancing patient healthcare with mobile edge computing and 5G: challenges and solutions for secure online health tools. Journal of Cloud Computing. 13 (1), 93(2024).
- Haq, I., et al. YOLO and residual network for colorectal cancer cell detection and counting. Helyion. 10 (2), (2024).
- Rani, S., et al. Deep learning to combat knee osteoarthritis and severity assessment by using CNN-based classification. BMC Musculoskeletal. 25 (1), 817(2024).
- Patil, A. R. Classification and risk estimation of osteoarthritis using deep learning methods. Measurement: Sensors. 35, 101279(2024).
- Ruikar, D., et al. DNN-based knee OA severity prediction system: pathologically robust feature engineering approach. SN Computer Science. 4 (1), 58(2022).
- Haseeb, A., et al. Knee Osteoarthritis Classification Using X-Ray Images Based on. Optimal Deep Neural Network. Syst. Sci. Eng. 47 (2), 2397-2415 (2023).
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.