Transfer-Learning-basierter Deep-Learning-Ansatz für die Einstufung von Kniearthrose unter Verwendung der modifizierten XceptionNet-Architektur

Summary

Um die Identifizierung von Kniearthrose anhand von Röntgenbildern zu verbessern, schlägt diese Studie OsteoXceptionNet vor, ein Deep-Learning-Modell, das modifiziertes XceptionNet mit Transferlernen verwendet. Dieses Modell verbessert die Merkmalsextraktion, verringert manuelle Interpretationsfehler und ermöglicht eine präzisere, automatisierte Klassifizierung.

Abstract

Kniearthrose (KOA) betrifft Millionen von Menschen weltweit und es gibt keine bekannte heilende Behandlung, was sie zu einem ernsthaften globalen Gesundheitsproblem macht. Das Management seiner Entwicklung hängt von einer frühen Entdeckung ab, und die Röntgenbildgebung ist eine grundlegende diagnostische Technik. Aufgrund der unterschiedlichen Erfahrung der Radiologen erhöht die manuelle Röntgeninterpretation jedoch die Variabilität und mögliche Ungenauigkeiten. Jüngste Fortschritte im Bereich des maschinellen Lernens und der Deep-Learning-Techniken haben zur Entwicklung automatisierter Systeme für die radiologische Identifizierung von Arthrose im Knie geführt. Für die Früherkennung ist es jedoch nach wie vor entscheidend, eine höhere Vorhersagegenauigkeit zu erreichen. Durch die Nutzung der Erkenntnisse aus einem größeren Datensatz schneiden Modelle, die mit kleineren, domänenspezifischen Datensätzen trainiert wurden, durch den Einsatz von Transferlernen besser ab. Aufgrund seiner Tiefe und Effektivität eignet sich XceptionNet besonders gut für Arbeiten, bei denen es um die Interpretation medizinischer Bilder geht. Im Gegensatz zu früheren Forschungen behebt diese Methode effizient das Ungleichgewicht von Datensätzen, indem sie Klassenausgleichsansätze verwendet, eine angepasste Vorverarbeitungspipeline integriert und XceptionNet um maßgeschneiderte Architekturverbesserungen erweitert, was die KOA-Identifizierung in der Frühphase verbessert. Mit dem Einsatz dieser hochmodernen Methoden zeigt der vorgeschlagene Ansatz das Potenzial bei der korrekten Identifizierung von Osteoarthritis anhand von Röntgenbildern des Knies, indem eine Vorhersagegenauigkeit von 97 %, eine Genauigkeit von 97,8 %, ein Recall von 97,6 % und eine F1-Messung von 97,6 % erreicht wird. Zusätzlich zeigte das generierte Modell einen Cohen-Kappa-Wert von 95,94 %, was auf eine gute Übereinstimmung hindeutet. Die Studie unterstützt weitere Bemühungen um die Entwicklung einer vertrauenswürdigen, automatisierten Technologie zur Erkennung von Krankheiten, die die Patientenergebnisse verbessert und eine effizientere Gesundheitsversorgung ermöglicht.

Introduction

Kniearthrose (KOA) ist ein bedeutendes weltweites Problem der öffentlichen Gesundheit, das eine große Anzahl von Menschen betrifft und sowohl für die Patienten als auch für die Gesundheitsorganisationen eine erhebliche Belastung darstellt. Der Gelenkknorpel des Kniegelenks verschlechtert sich bei dieser Erkrankung allmählich. Es hat eine komplizierte und mehrdimensionale Ätiologie, die eine Mischung aus Alter, Fettleibigkeit, Gelenktrauma, biomechanischen Variablen und genetischer Anfälligkeit umfasst¹.

Der Verlust der strukturellen Integrität führt zu Knorpelausdünnung, Fissur und schließlich Erosion, wodurch der darunter liegende Knochen freigelegt wird. Die Symptome von KOA können breit gefächert sein und sich im Laufe der Zeit häufig verschlimmern, von geringen Beschwerden bis hin zu unerträglichen Schmerzen und Funktionsverlust². Ein primäres Anzeichen für Knieschmerzen wird in der Regel durch Übungen mit Gewicht und längere Aktivitätsdauer verschlimmert. Häufige Beobachtungen sind Steifheit, insbesondere während der Ruhephasen, Ödeme, Crepitus und verminderter Bewegungsumfang³. Diese Symptome beeinträchtigen das tägliche Funktionieren erheblich, was zu Funktionseinschränkungen und einer Verringerung der Lebensqualität der Betroffenen führt.

Die hier getestete Hypothese ist, dass ein automatisiertes, auf Deep Learning basierendes Modell diagnostisch auf Augenhöhe mit professionellen Radiologen abschneiden und den Schweregrad von KOA anhand von Bildgebungsdaten mit dem Kellgren-Lawrence-Bewertungssystem korrekt diagnostizieren kann.

Der Zweck dieser Studie ergibt sich aus den inhärenten Einschränkungen, die mit den traditionellen Methoden zur Diagnose und Einstufung von Kniearthrose verbunden sind. Traditionell wird die Röntgenbildgebung, insbesondere die Röntgenanalyse des Knies, verwendet, um den Grad der Gelenkschädigung zu beurteilen. Dennoch ist die physische Untersuchung dieser Bilder anfällig für Variabilität und kann zeitaufwändig sein⁴. Fortschritte in den Bereichen Deep Learning und maschinelles Lernen (ML) bieten einen vielversprechenden Weg zur Automatisierung und Verbesserung der Genauigkeit der KOA-Erkennung und -Einstufung und bieten einen standardisierteren und effizienteren Ansatz. Dies ist besonders wichtig in den frühen Stadien der Erkrankung, in denen ein Eingriff die Veränderungen des Lebensstandards des Patienten im Verlauf der Erkrankung erheblich beeinflussen kann.

Ansätze des maschinellen Lernens: Die ersten Versuche, die KOA-Identifizierung zu automatisieren, basierten auf klassischen Methoden des maschinellen Lernens. Strategien wie K-Nearest Neighbors, Support Vector Machine und Decision Tree hingen von handgefertigten Merkmalen ab, die aus Röntgenbildern des Knies entnommen wurden. Obwohl sie eine gewisse Automatisierung ermöglichten, war die Qualität und Relevanz der manuell abgeleiteten Merkmale ein wichtiger Faktor für ihre Wirksamkeit. Dies führte häufig zu einer schlechten Generalisierbarkeit und Leistung⁵.

Deep Learning (DL) Ansätze: Das Aufkommen von Convolutional Neural Networks (Deep Learning) war ein bedeutender Meilenstein in diesem Bereich. Mit ihrem Ruf für die automatisierte Merkmalsextraktion werden Convolutional Neural Networks (CNNs) bei der Analyse von KOA-Bildern immer beliebter. Im Vergleich zu herkömmlichen ML-Techniken haben diese Algorithmen eine bemerkenswerte Verbesserung in Bezug auf die Genauigkeit sowie die Fähigkeit gezeigt, komplexe Muster direkt aus Bildern zu erkennen ^6,7.

Transfer Learning (TL): Dies ermöglicht es, Modelle auf Aufgaben zuzuschneiden, die eine medizinische Bildgebung erfordern, nachdem sie auf großen generischen Datensätzen vortrainiert wurden, was in der jüngsten Forschung an Popularität gewonnen^{hat 8}. Dieser Ansatz funktioniert besonders gut im medizinischen Bereich, wo kleine, spezialisierte Datensätze üblich sind.

Verbesserte Ergebnisse bei der Klassifizierung des Schweregrads von KOA werden durch TL hervorgehoben, das allgemeine Merkmale verwendet, die aus größeren Aufgaben gelernt wurden, und sie auf bestimmte Feinheiten der medizinischen Bildanalyse zuschneidet ^9,10.

Für die KOA-Identifizierung und -Einstufung anhand von Röntgenbildern wurden in den letzten Jahren eine Reihe automatisierter Techniken - insbesondere Deep-Learning-Modelle - untersucht^11,12. Nichtsdestotrotz gehen viele aktuelle Modelle entweder nicht angemessen mit Problemen mit dem Ungleichgewicht der Datensätze und der Interpretierbarkeit um, oder sie erkennen Probleme in einem frühen Stadium nicht genau genug. Die hier vorgeschlagene Methode erweitert dieses Framework um drei wesentliche Verbesserungen: Designänderungen am XceptionNet-Modell für eine verbesserte Merkmalsextraktion, Klassenausgleichstechniken zur Erhöhung der Modellzuverlässigkeit und eine angepasste Vorverarbeitungspipeline zur Verbesserung von Kniegelenksmerkmalen. Zusammen mit der Unterstützung einer präziseren und zuverlässigeren KOA-Kategorisierung stellen diese Verbesserungen eine erhebliche Verbesserung gegenüber herkömmlichen Transfer-Lerntechniken dar.

Auch wenn DL und ML erhebliche Fortschritte bei der Analyse von KOA gezeigt haben, gibt es immer noch Herausforderungen zu bewältigen, vor allem in Bezug auf das Erreichen einer präzisen Kategorisierung, die Verbesserung der Interpretierbarkeit und das Management von Datenungleichgewichten. Die vorgeschlagene Studie erweitert die früheren Studien 13,14,15,16,17,18,19,20,21,22, indem sie eine gründlichere, transparentere und gerechtere Bewertung bietet und damit die Grenzen dessen verschiebt, was derzeit bei der automatisierten KOA-Diagnose und -Einstufung möglich ist. Tabelle 1 zeigt die Analyse der aktuellen Forschung zur Erkennung von Osteoarthritis.

Studieren	Objektiv		Zusammenfassung
Hu et al.13	Entwicklung von DeepKOA zur Vorhersage des Fortschreitens der Kniearthrose anhand von MRT-Bildern.		DeepKOA zeigt vielversprechende Fähigkeiten zur Vorhersage von Kniearthrose und unterstreicht das Potenzial von Deep Learning im klinischen Umfeld. Eine weitere Validierung ist erforderlich.
Guida et al.14	Verbessern Sie die Klassifizierung des OA-Schweregrads durch die Integration von Röntgen-, MRT- und klinischen Daten.		Ein Fusionsmodell verbessert die Genauigkeit der OA-Klassifizierung erheblich und unterstreicht die Vorteile eines multimodalen Ansatzes. Zukünftige Forschung sollte sich mit der Generalisierbarkeit befassen.
Bensalma et al.15	Identifizieren Sie Zusammenhänge zwischen verschiedenen Faktoren bei Patienten mit Kniearthrose mithilfe der multimodalen Analyse.		Die Studie zeigt Zusammenhänge zwischen mehreren Faktoren bei Knie-OA auf und schlägt Wege für gezielte Interventionen und weitere Untersuchungen vor.
Koppold et al.16	Untersuchen Sie die Auswirkungen von längerem modifiziertem Fasten auf Osteoarthritis-Symptome.		Modifiziertes Fasten zeigt eine bemerkenswerte Verbesserung der Symptome bei Osteoarthritis-Patienten, was auf sein Potenzial als Behandlungsstrategie hinweist. Weitere Studien, insbesondere randomisierte kontrollierte Studien, sind notwendig.
Jain et al.17	Präsentieren Sie das OsteoHRNet für die Beurteilung des Schweregrads der Kniearthrose anhand von Röntgenaufnahmen.		OsteoHRNet erreicht eine verbesserte Genauigkeit bei der Klassifizierung des Schweregrads der Kniearthrose anhand von Röntgenbildern, was auf sein Potenzial für die klinische Anwendung hinweist. Eine weitere Validierung des Datensatzes wird empfohlen.
Afroze et al.18	Bewertung von auf maschinellem Lernen basierenden Methoden zur Erkennung von Osteoarthritis (OA) über verschiedene Bildgebungsmodalitäten hinweg.		Die Überprüfung identifiziert kritische Lücken in der auf maschinellem Lernen basierenden Open-Access-Erkennung und unterstreicht die Notwendigkeit standardisierter Ansätze und empirischer Modelle.
Teoh et al.19	Entwickeln Sie ein Multitasking-Modell für eine detaillierte OA-Diagnose aus der Radiographie.		Ein Multitasking-Modell verbessert die Genauigkeit der OA-Diagnose, indem es individuelle OA-Merkmale und die Schmerzintensität vorhersagt, was auf das Potenzial für präzise Interventionen hindeutet. Zusätzliche Forschung wird empfohlen, um diese Ergebnisse zu erweitern.
Zhang et al.20	Erstellen Sie ein Modell für die mehrstufige Klassifizierung von Knieknorpelverletzungen in der MRT.		Das Modell bietet eine hohe Genauigkeit bei der Klassifizierung von Knieknorpelverletzungen mittels MRT und erweist sich als vielversprechendes nicht-invasives Diagnoseinstrument. Eine weitere populationsübergreifende Validierung wird empfohlen.
Li et al.21	Untersuchung des Einflusses von Multiview-Bildern und Vorinformationen sowie der Fähigkeit eines Deep-Learning-Modells, Kniearthrose anhand von Röntgenstrahlen zu erkennen und zu klassifizieren.		Die KL-Einstufung von KOA wurde anhand des DL-Modells korrekt identifiziert und kategorisiert. Darüber hinaus verbesserten Vorkenntnisse und Multiview-Röntgenbilder die Effektivität der Klassifizierung.
Ratna et al.22	Erfahren Sie, wie maschinelles Lernen in der Kniearthroseforschung eingesetzt wird, um das Fortschreiten der Erkrankung und die Früherkennung besser zu verstehen.		Die Studie betont, wie sich maschinelles Lernen auf die Open-Access-Forschung ausgewirkt hat, insbesondere im Hinblick auf die Früherkennung und das Verständnis der Entwicklung, und empfiehlt mehr Forschung, um die klinische Integration zu verbessern.

Tabelle 1: Überblick über die jüngsten Arbeiten zur Erkennung von Kniearthrose.

Zu den wichtigsten Beiträgen der Arbeit gehören OsteoXceptionNet, eine modifizierte XceptionNet-Architektur für die Einstufung von Kniearthrose, und die Verwendung einer speziell entwickelten Preprocessing-Pipeline zur Erhöhung der Diagnosegenauigkeit. Der Datensatz der Osteoarthritis Initiative (OAI) wird für das Training verwendet, und viele Baseline-Designs werden für die Evaluierung verwendet. Der Datensatz und die Aufbereitungstechniken werden in den folgenden Teilen der Studie nach einer Überprüfung der relevanten Literatur beschrieben. Nach einem Überblick über die experimentellen Ergebnisse und einer Diskussion von klinischer Bedeutung geht es weiter in die vorgeschlagene Modellarchitektur ein, bevor die wichtigsten Ergebnisse zusammengefasst und zukünftige Richtungen aufgezeigt werden.

Datensatz- und experimentelle Konfiguration
Der OAI-Datensatz, der aus Tausenden von annotierten Röntgenbildern des Knies besteht, die im Laufe der Zeit an verschiedenen klinischen Orten gesammelt wurden, wird für die Verwendung in dieser Studie öffentlich zugänglich gemacht. Fünf Kellgren-Lawrence (KL)-Klassen von Kniearthrose wurden durch die 9786 Knie-Röntgenbilder repräsentiert, die für diese Studie verwendet wurden: Gesund (3857 Bilder), Zweifelhaft (1770), Minimal (2578), Mäßig (1286) und Schwer (295). Bei der Vorverarbeitung wurden alle Bilder mittels bilinearer Interpolation gleichmäßig auf 224 x 224 Pixel skaliert. Das vorgeschlagene OsteoXceptionNet-Framework wurde in der experimentellen Umgebung verwendet, um Kniegelenksstrukturen automatisch zu segmentieren und dann in KOA-Schweregrade einzuteilen.

Um ein möglichst ausgewogenes Klassenverhältnis zu gewährleisten, wurde der Datensatz in Untergruppen für Training (80 %), Validierung (10 %) und Test (10 %) unterteilt. Das Dataset weist trotz seiner Nützlichkeit mehrere Nachteile auf, wie z. B. ein Klassenungleichgewicht, da weniger Stichproben in die Gruppe "Schwer" fallen als andere. Darüber hinaus enthält der Datensatz nur röntgenologische Bildgebung; Es fehlen multimodale Eingaben wie Magnetresonanztomographie (MRT) oder klinische Informationen, was die Verallgemeinerbarkeit einschränken könnte. Ein weiterer nennenswerter Nachteil ist die demografische Schiefe, die die Relevanz der Daten auf andere ethnische Gruppen einschränkt, da sie überwiegend die nordamerikanische Bevölkerung repräsentieren. Obwohl klassengewichtete Verlustfunktionen und Datenerweiterung verwendet wurden, um diese Einschränkungen nach Möglichkeit zu mildern, sind dies immer noch wichtige Überlegungen bei der Analyse der Leistung des Modells.

Basierend auf röntgenologischen Ergebnissen klassifizieren Einstufungsmethoden, wie z. B. das Kellgren-Lawrence (KL)-Einstufungssystem, den Schweregrad von KOA in fünf Kategorien: Grad 0 (gesund), Grad 1 (zweifelhaft), Grad 2 (minimal), Grad 3 (mittel) und Grad 4 (schwer)²³. In Abbildung 1 sind verschiedene Bilder von KL-Sorten dargestellt.

Abbildung 1: KL-Grading von Kniebildern. Basierend auf den röntgenologischen Ergebnissen wurde der Schweregrad der KOA in fünf Kategorien eingeteilt: Grad 0 (gesund), Grad 1 (zweifelhaft), Grad 2 (minimal), Grad 3 (mittel) und Grad 4 (schwer). Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Protocol

In diesem Abschnitt wird ein umfassender Ansatz vorgestellt, der die Diagnose und Einstufung von Kniearthrose durch die Verwendung eines modifizierten XceptionNet-Modells verbessern soll. Die vorgestellte Methodik basiert auf einer sorgfältigen Datenvorverarbeitung, einer gründlichen Anpassung der Modellarchitektur und starken Bewertungstechniken, die alle darauf abzielen, die komplexen Probleme im Zusammenhang mit der Knie-OA-Bildgebung zu lösen. In Abbildung 2 ist die Strömung des Modells dargestellt.

Abbildung 2: Arbeitsablauf des Modells. Klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Beschreibung des Datensatzes
Der in dieser Studie verwendete Datensatz umfasst 9.786 Röntgenbilder des Knies aus dem OAI-Datensatz, die auf der Grundlage der KL-Grading-Technik mit einer OA-Note versehen wurden. Dieser Datensatz, der eine breite Palette von Instanzen bietet, die die verschiedenen Phasen von KOA abdecken, ist sowohl für das Training als auch für die Evaluierung des vorgeschlagenen Modells²⁴ unerlässlich. Die bilineare Interpolation wurde verwendet, um alle Bilder zu skalieren. Diese Technik wurde ausgewählt, weil sie einen Kompromiss zwischen rechnerischer Effektivität und der Aufrechterhaltung der Bildqualität darstellt, die beide für die Erhaltung anatomischer Merkmale, die für die Kategorisierung von Arthrose im Knie wichtig sind, unerlässlich sind. Im Datensatz sind die Grade 0-4, wobei Grad 0 für ein gesundes Knie und Grad 4 für schwere Arthrose steht. Dieser Grad bietet einen komplexen Bereich der Krankheitsentwicklung, der für das Modell unerlässlich ist, um die winzigen Variationen zwischen den Stadien zu verstehen.

Darüber hinaus wurde das Dataset in Test-, Validierungs- und Trainingssätze unterteilt. Um die Leistung des Modells zu bewerten und sicherzustellen, dass es lernt, effektiv zu generalisieren, ohne den Trainingssatz zu überanpassen, war diese Aufteilung unerlässlich. Der Testsatz bietet eine objektive Bewertung der Wirksamkeit des endgültigen Modells, da er auch zur Modifikation der Gewichte des Modells verwendet wurde. Darüber hinaus hilft ein Validierungsset bei der Feinabstimmung der Hyperparameter und der Bewertung von Modellen während der gesamten Trainingsphase. Eine kurze Zusammenfassung der Datenverteilung ist in Tabelle 2 enthalten, und Abbildung 3 zeigt eine visuelle Darstellung derselben.

Klasse	Automatischer Test	Test	Zug	Val
0	604	639	2286	328
1	275	296	1046	153
2	403	447	1516	212
3	200	223	757	106
4	44	51	173	27

Tabelle 2: Kurze Beschreibung des Datensatzes.

Abbildung 3: Verteilung der Datensätze. Das Dataset wurde in Test-, Validierungs- und Trainingssätze unterteilt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Vorverarbeitung von Daten
Dieser Schritt ist von entscheidender Bedeutung und zielt darauf ab, die Modellleistung zu verbessern, indem die Qualität der Eingabedaten verbessert wird. Die Phasen der Vorverarbeitung sind wie folgt.

Bildgrößenänderung: Auf jedes Röntgenbild wird eine Standarddimension angewendet, um Konsistenz über den gesamten Bildsatz hinweg zu gewährleisten. Diese Phase ist wichtig, damit das Modell Bilder konsistent und effektiv verarbeiten kann. In diesem Prozess wird Gleichung 1 verwendet.

Neue Bildgröße = Größe ändern (Originalbild, Standardabmessung) (1)

Normalisierung: Die Pixelwerte in den Bildern wurden standardisiert, um einen Mittelwert von Null und eine Standardabweichung von eins zu erhalten. Diese Art der Normalisierung stellt sicher, dass die Eingabewerte in einen ähnlichen Bereich fallen, was die Konvergenz des Modells während des Trainings beschleunigt. Gleichung 2 wird verwendet, um diesen Normalisierungsschritt durchzuführen.

(2)

Datenerweiterung: Datenerweiterungsstrategien wurden eingesetzt, um Probleme aufgrund unzureichender Daten zu beheben und die Generalisierungsfähigkeit des Modells zu verbessern. Zu diesen Methoden gehören Spiegeln, Zoomen, Drehen und Verschieben. Sie führen neue Bilder ein, die dem Trainingsdataset absichtlich hinzugefügt werden. Gleichung 3 wird bei der Implementierung dieses Augmentationsverfahrens verwendet.

Augmented Image = Transformation anwenden (Originalbild) (3)

Eine Vielzahl von Augmentationstechniken wurde eingesetzt, um dem Trainingssatz Variabilität zu verleihen, um die Robustheit des Modells zu verbessern und eine Überanpassung zu minimieren. Ein Scherbereich von 0,2, ein Zoombereich von 0,8 bis 1,2 (entsprechend einem Zoomfaktor von 0,2) und ein zufälliger Rotationsbereich von -30° bis +30° wurden alle in die Trainingsdatenerweiterung einbezogen. Sowohl horizontales als auch vertikales Spiegeln wurden mit einer Wahrscheinlichkeit von 0,5 zugelassen, um die Modellgeneralisierung zu verbessern. Sowohl für die vertikale als auch für die horizontale Scherung wurde zusätzlich ein Scherfaktor von 0,1 oder ± 10 % Verzug verwendet.

Klassenausgleich: Aufgrund des möglichen Klassenungleichgewichts des Datensatzes wurden Klassengewichtungsalgorithmen verwendet (mit mehr Bildern einiger OA-Klassen als von anderen). Um zu verhindern, dass das Modell eine Verzerrung zugunsten gebräuchlicherer Klassen aufweist, weist diese Methode unterrepräsentierten Klassen eine größere Gewichtung zu. In diesem Prozess wird Gleichung 4 verwendet. Die folgenden Werte wurden verwendet, um die Gewichtungen zu bestimmen: Fehlerfrei: 3857, Zweifelhaft: 1770, Minimal: 2578, Mittel: 1286 und Schwer: 295 sind die klassenweisen Verteilungen der insgesamt 9786 Stichproben und 5 Klassen.

(4)

Train-Validation Split: Der Datensatz wurde unter Verwendung traditioneller 80:20-Verhältnisse in Validierungs- und Trainingssätze unterteilt. Durch das Teilen der Daten kann das Modell aus den Trainingsdaten lernen und seine Leistung mithilfe des Validierungssatzes regelmäßig bewerten. Dies ermöglicht es, Überanpassungen zu identifizieren und die Generalisierungsfähigkeit des Modells zu bewerten.

Optimierung der Datenpipeline: Es wurde eine verbesserte Datenpipeline eingerichtet, um eine effektive Datenverarbeitung während des Modelltrainings zu gewährleisten. Um Eingabe-/Ausgabeengpässe zu reduzieren und die Rechenleistung zu erhöhen, verwendet diese Pipeline Batching-, Prefetching- und parallele Datenextraktionstechniken. Um die Trainingseffizienz und den Durchsatz zu verbessern, wurde die Eingabedatenpipeline entwickelt. Um eine ausgewogene Speicherauslastung und Rechenlast zu gewährleisten, wurde eine Batchgröße von 32 verwendet. Um die Effizienz der Dateneingabe zu erhöhen, wurde num_parallel_calls=4 in der Map-Funktion verwendet, um das Laden und Vorverarbeiten von Daten zu parallelisieren. Darüber hinaus wurde zur Minimierung der I/O-Latenz TensorFlow's prefetch(buffer_size=tf.data.AUTOTUNE) verwendet, um eine automatische Anpassung der Prefetch-Puffergröße zu ermöglichen. Dadurch wurden die Datenvorverarbeitung und die Modellausführung effektiv überlappt

In Abbildung 4 wurden einige Instanzen verschiedener Bildklassen nach grundlegender Vorverarbeitung gezeigt.

Abbildung 4: Instanzen aus dem Datensatz. Die Abbildung zeigt einige Instanzen verschiedener Bildklassen nach der grundlegenden Vorverarbeitung. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Durch diese akribischen Vorverarbeitungsschritte wird der Datensatz in eine robuste Grundlage für das Training des modifizierten XceptionNet-Modells umgewandelt und schafft so die Voraussetzungen für eine genaue und zuverlässige KOA-Erkennung und -Einstufung.

Modell-Architektur
Basismodell: Mit seinem ausgeprägten Design, das tiefenweise trennbare Faltungen verwendet, um die bestmögliche Balance zwischen Recheneffizienz und Modellkomplexität zu erreichen, sticht das von François Chollet entwickelte XceptionNet-Modell hervor²⁵. Gleichung 5 wurde verwendet, um die tiefenweise trennbaren Faltungen zu implementieren.

Tiefentrennbare Faltung(x) = Punktweise(Tiefe(x)) (5)

Es ist aus mehreren Gründen besonders relevant für diese Studie. Erstens ist seine Architektur dafür bekannt, detaillierte und hierarchische Merkmale aus Bildern zu extrahieren, was für die medizinische Bildanalyse von entscheidender Bedeutung ist, bei der subtile Merkmale auf verschiedene Stadien einer Erkrankung hinweisen können. Zweitens basiert das vorgeschlagene Modell auf der XceptionNet-Architektur, die sich bei mehreren Bildklassifizierungsaufgaben als äußerst effektiv erwiesen hat, die auf die Erkennung und Einstufung von Kniearthrose abzielen²⁶.

Das vorgestellte OsteoXceptionNet ist eine maßgeschneiderte Version der XceptionNet-Architektur, die speziell für die automatische Klassifizierung von Arthrose im Knie aus Röntgenbildern entwickelt wurde. Zu den wichtigen Änderungen gehören das Hinzufügen von drei weiteren Faltungsblöcken (Filter: 512, 256 und 128), um die Merkmalsextraktion zu verbessern, die für Kniegelenksstrukturen spezifisch ist, sowie Faltungsschichten mit Filtergrößen von 3 x 3 und variablen Filterzahlen von 32 bis 1024 über die Eingangs-, Mittel- und Austrittsströme. Die Batch-Normalisierung und die ReLU-Aktivierung erfolgen nach jeder Faltungsschicht, und Dropout-Schichten werden hinzugefügt, um eine Überanpassung zu minimieren. Für die Modelleingaben wird der Standard von 224 x 224 Pixeln verwendet.

Feinabstimmung und Modifikationen
Modifikationen: Das XceptionNet-Modell wurde in vielerlei Hinsicht strategisch modifiziert, um es für die KOA-Einstufung und -Detektion geeignet zu machen.

Feinabstimmung: Die oberen Schichten des vortrainierten XceptionNet-Modells wurden freigegeben, so dass das Modell High-Level-Merkmale erlernen konnte, die für Röntgenbilder des Knies spezifisch sind. Die Feinabstimmung des Modells erfolgte gemäß Gleichung 6.

(6)

wobei θ_{feinabgestimmt} sind die Parameter nach der Feinabstimmung; θ_Vortrainiert sind die vortrainierten Parameter; λ ist die Lernrate; ∇_{θvortrainierter}Verlust ist der Gradient der Verlustfunktion, der sich auf die Parameter bezieht, die vortrainiert wurden.

Zusätzliche Faltungsschichten: In der letzten Phase des Modells wurden zusätzliche Faltungsschichten eingeführt. Diese Schichten haben eine kleinere Korngröße, um sich auf die Extraktion feinerer Details zu konzentrieren, die für die verschiedenen OA-Klassen relevant sind. Es wurde unter Verwendung von Gleichung 7 angewendet.

Faltungsausgabe = Faltung(Eingabe, Kernel) (7)

Batch-Normalisierung: Nach jeder hinzugefügten Faltungsschicht wird die Batch-Normalisierung angewendet, um das Lernen zu stabilisieren und die Konvergenzgeschwindigkeit zu erhöhen. Es wird unter Verwendung von Gleichung 8 verwendet.

(8)

Dabei ist die normierte Ausgabe; x ist die Eingabe der Batch-Normalisierungsschicht; μ ist der Mittelwert für die Charge der Eingabe, σ2 ist die Varianz in der Charge der Eingabe und ε ist eine minimale Konstante für die numerische Stabilität.

Aktivierungsfunktionen: ReLU-Aktivierungsfunktionen werden in den ergänzenden Schichten verwendet, um Nichtlinearität einzuführen und so das Modell in die Lage zu versetzen, kompliziertere Strukturen in den Daten zu erfassen. ReLU wird anhand von Gleichung 9 berechnet.

ReLU(x) = max(0,x) (9)

Dabei ist x der Eingang der ReLU-Aktivierungsfunktion.

Dropout: Um eine Überanpassung zu verhindern, werden Dropout-Layer integriert, insbesondere nach den neu hinzugefügten Layern, um eine Generalisierung des Modells auch bei unsichtbaren Daten zu gewährleisten. Dies geschah mit Hilfe von Gleichung 10.

Ausgang = Eingang × Maske (10)

Konfiguration der Ausgabeschicht
Ausgabeschicht: Das ursprüngliche XceptionNet-Modell ist für die Klassifizierung mehrerer Klassen mit Softmax-Aktivierungsfunktion in einer Ausgabeschicht strukturiert. In diesem angepassten Modell ist die Ausgabeschicht so angepasst, dass sie die fünf Grade der Kniearthrose darstellt, die sich von Grad 0 bis Grad 4 erstrecken, d. h. von gesund bis schwer. Genau genommen besteht diese Schicht aus fünf Neuronen, die jeweils einem der OA-Grade entsprechen. Die Softmax-Aktivierungsfunktion wurde in dieser Schicht verwendet, um eine Wahrscheinlichkeitsverteilung über fünf Klassen zu erzeugen, die es dem vorgeschlagenen Modell ermöglichte, den geeigneten OA-Grad für ein gegebenes Röntgenbild des Knies vorherzusagen. Dieser Ansatz gleicht die Ausgabe des Modells direkt an der klinischen Einstufungsskala ab und ermöglicht eine intuitive und praktische Interpretation der Vorhersagen des Modells für medizinisches Fachpersonal.

Die XceptionNet-Architektur ist speziell auf das Ziel der vorgestellten Studie zugeschnitten, den Schweregrad der Arthrose im Knie zu klassifizieren – und wurde zunächst mit dem ImageNet-Datensatz vortrainiert. Das Modell nutzte erlernte Merkmale aus einem großen und vielfältigen Datensatz, indem es die vortrainierten Gewichtungen von ImageNet verwendete, was ihm eine solide Grundlage gab. Um das grundlegende XceptionNet-Modell für die vorgeschlagene Forschung anzupassen, wurden viele neue Schichten hinzugefügt.

Zunächst wurden 2D-Faltungsschichten mit einer unterschiedlichen Anzahl von Filtern und Kernelgrößen kombiniert, die jeweils durch ReLU und Batch-Normalisierung aktiviert wurden, um die Nichtlinearität zu erhöhen. Diese zusätzlichen Schichten sollten Merkmale erfassen und verstärken, die mit der Schwere der Arthrose im Knie zusammenhängen. Das Modell war dann bereit für die letzte Klassifizierungsphase, indem ein GAP-Layer (Global Average Pooling 2D) hinzugefügt wurde, der die Feature-Karte verkleinert, während wichtige Daten beibehalten werden. Insbesondere wird mit dem GAP-Vorgang eine Dimensionalitätsreduzierung bei minimalem Datenverlust erreicht, indem die räumlichen Dimensionen der einzelnen Feature-Maps auf einen einzigen Wert reduziert werden, während die Tiefe beibehalten wird, die zwischen 7 x 7 x 1024 und 1 x 1 x 1024 variieren kann. Die Ausgabe des GAP-Layers wurde in die Softmax-Aktivierungsfunktion eingespeist, die eine Klassifizierung mehrerer Klassen ermöglichte, indem Logits in Wahrscheinlichkeiten umgewandelt wurden. Die Gleichungen 11, 12, 13, 14, 15, 16 und 17 werden jeweils für die GAP-Gleichung, die Softmax-Aktivierung, die Berechnung der Feature-Map, die Reduzierung der Lernrate, die Modellkompilierung, die Anpassung der Klassengewichtung und den Verlust der Klassifizierung mehrerer Klassen verwendet.

(11)

Dabei ist x_i,j die Aktivierung der i-ten Zeile und der J-ten Spalte der Feature-Map. H ist die Höhe des Feature-Maps. W ist die Breite des Feature-Maps.

(12)

wobei x_i die Eingabe für die Softmax-Funktion für die Klasse i ist; n ist die Anzahl der Klassen.

Merkmalskarte = σ(Faltung(Eingabe,Kern) + Bias) (13)

wobei die Faltung eine Faltungsoperation ist; i ist Aktivierungsfunktion; Input ist der Eingabetensor zur Schicht. Kernel ist der Convolutional Kernel; Bias ist der Begriff der Verzerrung.

Neue Lernrate = Lernrate × Faktor (14)

Modell = Kompilieren(Architektur,Verlust,Optimierer,Metriken) (15)

(16)

wobei_{Gewichtsklasse} das Gewicht ist, das einer Klasse zugewiesen ist; Die Gesamtzahl der Stichproben ist die total_number_of_samples des Datensatzes. Number_of_Classes ist die Anzahl der unterschiedlichen Klassen innerhalb des Datasets. Stichprobe in Klasse ist die Anzahl der Stichproben in einer bestimmten Klasse.

(17)

wobei y_i die tatsächliche Wahrscheinlichkeitsverteilung für die Klasse i ist; p_i ist die Vorhersage der Wahrscheinlichkeitsverteilung der Klasse I ; N ist die Anzahl der Klassen.

Schließlich wurde das Modell, das nun die modifizierte XceptionNet-Architektur mit den benutzerdefinierten Schichten umfasst, kompiliert, um Wahrscheinlichkeiten für jede Klasse vorherzusagen. Ziel war es, die Fähigkeit des Modells zu verbessern, nuancierte Merkmale zu erkennen, die mit verschiedenen Schweregraden der Kniearthrose verbunden sind, und seine Klassifikationsleistung für die spezifische Aufgabe zu verbessern.

Für eine stabile und effektive Konvergenz wurde der Adam-Optimierer verwendet, um das Modell mit einer Lernrate von 0,0001 zu trainieren, wobei 0,5 als Dropout-Rate verwendet wurde, um eine Überanpassung zu minimieren. Um die Modellkomplexität zu begrenzen und die Generalisierung zu verbessern, wurden sowohl L1- als auch L2-Regularisierungsstrategien verwendet. Für Multiklassen-Klassifikationsprobleme mit ganzzahligen Labels war die spärliche kategoriale Kreuzentropie die geeignete Verlustfunktion. Die Ausbildung wurde über 50 Epochen durchgeführt. Softmax, die letzte Aktivierungsfunktion, wurde zur Generierung von Wahrscheinlichkeitsverteilungen der Klassen verwendet. Zusätzlich wurde für das Training eine 64-stufige Größe verwendet.

Training: Der Trainingsprozess war eine sehr wichtige Phase. In dieser Phase lernt das modifizierte XceptionNet-Modell die genaue Erkennung und Einstufung von KOA in Röntgenbildern. Für die Implementierung des XceptionNet-Modells wurden die Keras-Version 2.6.0 und die TensorFlow-Backend-Version 2.6.0 verwendet. Im Folgenden finden Sie Details zu den wichtigsten Komponenten der Trainingsphase, einschließlich der Verlustfunktion, des Optimierers, der Rückrufe, der Batchgröße und der Epochen.

Loss_Function: Für die Klassifizierungsaufgabe mit mehreren Klassen wurde die kategoriale cross_entropy verwendet. Diese Verlustfunktion eignet sich besonders für Probleme, bei denen erwartet wird, dass jede Instanz nur einer Bezeichnung aus einer Menge von Kategorien²⁷ zugewiesen wird. Es bewertet die Leistung des Modells, indem es einen Wahrscheinlichkeitswert zwischen null und eins erstellt. Dieser Verlust wurde als Messgerät verwendet, um dieses Modell effektiv für die genaue Vorhersage des Schweregrads von KOA zu trainieren, da er zunimmt, wenn die vorhergesagte Wahrscheinlichkeit von der tatsächlichen Bezeichnung abweicht.

Optimierer: Zum Einsatz kam der Adam-Optimierer, der für seine Effektivität und seine dynamischen Lernrateneigenschaften bekannt ist. Adam vereint die vorteilhaften Eigenschaften der AdaGrad- und RMSProp-Algorithmen und liefert einen Optimierungsalgorithmus, der in der Lage ist, spärliche Gradienten in verrauschten Problemeinstellungen zu verwalten²⁸.

Wichtige Parameter für den Adam-Optimierer
Lernrate: Es wurde eine Lernrate von 0,0001 verwendet, die es dem Optimierer ermöglichte, anfänglich erhebliche Anpassungen an den Gewichten vorzunehmen und so den Lernprozess zu optimieren.

Beta1 und Beta2: Diese Parameter regulieren die Raten, mit denen der quadrierte Gradient bzw. die gleitenden Durchschnitte früherer Gradienten abnehmen. Es werden die Standardwerte von 0,9 für beta1 und 0,999 für beta2 verwendet.

Epsilon: Dieser Parameter verhindert jede Division durch Null in der Implementierung, die auf eine kleine Zahl nahe Null festgelegt ist.

Callbacks: Callbacks werden während des Trainings verwendet, um die Leistung des Modells zu überwachen und anzupassen. Die folgenden Callbacks wurden verwendet:

Early_Stopping: Dies wird verwendet, um den Validierungsverlust des Modells zu überwachen und den Trainingsprozess zu stoppen, wenn der Verlust für eine vordefinierte Anzahl von Epochen nicht mehr abnimmt (als Geduld bezeichnet). Wenn die Validierungsdaten keine Verbesserung der Leistung des Modells mehr zeigen, wird der Trainingsprozess gestoppt, was dazu beiträgt, eine Überanpassung zu verhindern.

LROn-Plateau reduzieren: Dieser Callback verringert die Lernrate, wenn sich der Validierungsverlust nicht mehr verbessert, und ermöglicht feinere Anpassungen der Gewichtungen, was möglicherweise zu einer verbesserten Gesamtleistung des Modells führt²⁹.

Modell-Checkpoint: Dieser Callback speichert das Modell in einem bestimmten Intervall, sodass die beste Version des Modells abgerufen werden kann, sobald der Trainingsprozess abgeschlossen ist. In der Regel überwacht es die Validierungsgenauigkeit oder den Verlust und speichert das Modellgewicht, wenn eine Verbesserung erkannt wird.

Batchgröße und Epochen:
Batch-Größe: 32 ist die typische Batch-Größe, die verwendet wurde, um die Anforderungen an die Stabilität der Modellkonvergenz und die Recheneffizienz auszugleichen. Eine Batch-Größe von 32 schafft ein Gleichgewicht, da sie groß genug ist, um rechnerische Optimierungen zu nutzen, und dennoch klein genug, um eine stabile Schätzung des Gradienten zu ermöglichen.

Epochen: Das Modell ist so eingestellt, dass es für bis zu 50 Epochen trainiert wird, obwohl das Training vorzeitig beendet werden kann, wenn der EarlyStoping-Callback ausgelöst wird. Die 50 Epochen bieten genügend Iterationen, damit sich die Gewichtungen anpassen und das Modell konvergieren kann, während EarlyStopping sicherstellt, dass das Training nicht unnötig fortgesetzt wird.

Durch die sorgfältige Einstellung dieser Parameter und die Verwendung von Callbacks wurde der Trainingsprozess optimiert, um sicherzustellen, dass das Modell effektiv lernt und sich gut auf unsichtbare Daten verallgemeinern lässt. Um zu gewährleisten, dass alle Klassen in den Modellvorhersagen fair und genau dargestellt werden, wurden eine Reihe von Ansätzen verwendet, um das Problem des Datenungleichgewichts anzugehen. Um die Unterrepräsentation einiger Klassen auszugleichen, wurde erstens während der gesamten Ausbildungsphase eine Klassengewichtung verwendet. Klassen mit weniger Stichproben erhielten größere Gewichte. Um die Auswirkungen eines Klassenungleichgewichts während des Trainings weiter zu verringern, wurde auch der ImageDataGenerator von Keras verwendet, um sicherzustellen, dass das Modell in jeder Charge³⁰ einer Vielzahl von Klassen ausgesetzt war.

Bewertungsmetriken
Bei der Bewertung der Wirksamkeit des entwickelten Modells wurden zahlreiche Parameter herangezogen, die im Folgenden beschrieben werden.

Genauigkeit (ACC): Das Verhältnis der genau vorhergesagten Beobachtungen zu allen Beobachtungen wird durch diese Statistik quantifiziert. Wenn sich die Zielklassen gleichmäßig verteilen, ist dies von Vorteil. Seine Berechnung basiert auf Gleichung 18.

(18)

Präzision (PR): Die Genauigkeit des Modells misst, wie gut es zwischen allen erwarteten positiven und positiven Fällen unterscheiden kann. Unter Umständen, in denen die Rate falsch positiver Ergebnisse hoch ist, ist dies sehr wichtig. Seine Berechnung basiert auf Gleichung 19.

 (19)

Recall (R): Recall, auch bekannt als Sensitivität, quantifiziert den Prozentsatz der richtig positiven Ergebnisse, die korrekt erkannt wurden. Es ist besonders wichtig in Situationen, in denen das Ignorieren eines guten Beispiels schwerwiegende Auswirkungen haben könnte. Seine Berechnung erfolgt mit Gleichung 20.

 (20)

F1_Score: Es handelt sich um den harmonischen Mittelwert von Präzision (PR) und Abruf (R), er bietet eine faire Bewertung, insbesondere bei einer ungleichmäßigen Klassenverteilung. Seine Berechnung erfolgt mit Gleichung 21.

(21)

ROC AUC: Area Under the Curve for Receiver Operating Characteristics (ROC AUC) quantifiziert die Fähigkeit des Modells, zwischen Klassen zu unterscheiden. Erhöhte AUC-Werte bedeuten eine überlegene Modellleistung. Seine Berechnung basiert auf Gleichung 22.

(22)

Cohen's Kappa (CK): Diese Metrik bewertet die Konkordanz zwischen zwei Bewertern, die N Items in sich gegenseitig ausschließende C-Klassen kategorisieren. Es bietet eine höhere Robustheit im Vergleich zur Genauigkeit, insbesondere beim Umgang mit unsymmetrischen Klassen. Seine Berechnung erfolgt mit Gleichung 23.

(23)

Metriken Mean Absolute Error (MAE), Root Mean Squared Error (RMSE) und Mean Squared Error (): Obwohl diese Parameter häufig für Regressionsaufgaben verwendet werden, können sie in Klassifizierungsszenarien, insbesondere in ordinalen Klassifikationen, nützliche Erkenntnisse liefern. Sie berechnen die Differenz zwischen den realen und den vorhergesagten Werten. Diese Metriken wurden mit den Gleichungen 24, 25 bzw. 26 berechnet.

(24)

(25)

(26)

F2-Bewertung: Die F2-Bewertung priorisiert den Abruf vor der Präzision, was in Szenarien wertvoll ist, in denen das Übersehen einer positiven Vorhersage höhere Kosten verursacht als das Generieren eines falsch positiven Ergebnisses. Seine Berechnung erfolgt mit Gleichung 27.

(27)

Precision- und Recall-Kurve: Dieses Diagramm zeigt, wie sich Recall und Genauigkeit auf verschiedenen Ebenen ausgleichen. Je größer der Bereich unter einer Kurve ist, desto höher sind die Erinnerungs- und Genauigkeitswerte.

Die oben genannten Parameter wurden gewählt, um eine gründliche Bewertung der Leistung des Modells in allen Dimensionen zu ermöglichen, insbesondere im Zusammenhang mit dem Ungleichgewicht des Datensatzes und der Bedeutung einer genauen Identifizierung der verschiedenen Grade der Kniearthrose.

Results

Während der Validierungsphase des Modells wurden mehrere wichtige Maßnahmen ergriffen, um sicherzustellen, dass es auf Daten verallgemeinert werden kann, die noch nicht beobachtet wurden. Zunächst wird das Dataset in Trainings- und Validierungssätze unterteilt. Dies ist ein gängiges Verfahren zum Auswerten der Leistung des Modells für ein Dataset, das nicht im Training verwendet wurde. Durch das Angebot separater Datensätze für Training und Validierung wurde eine Überanpassung vermieden und eine gründliche Bewertung der ...

Discussion

In der Studie wurde eine automatisierte, auf Deep Learning basierende Technik für die KOA-Benotung anhand von Röntgenbildern vorgestellt. Das Modell, das eine XceptionNet-Architektur verwendete, zeigte eine bemerkenswerte Robustheit und Genauigkeit über eine Reihe von Bewertungsmaßen hinweg, was darauf hindeutet, dass es in klinischen Umgebungen eingesetzt werden könnte.

Zusätzlich zur aktuellen Methodik kann eine externe Datensatzvalidierung verwendet werden,...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Jupyter Notebook/Colab	Projekt Jupyter / Google	N/A	Für die interaktive Entwicklung und das Experimentieren mit Modellen.
Matplotlib (Version: 3.4.3) & Seaborn (Version: 0.11.2)	Gemeinschaft	N/A	Für Datenvisualisierung und Ergebnisdiagramme.
Mendeley/Kaggle Daten	Elsevier; Gemeinschaft	N/A	Datensatzquelle: Datensatz zur Einstufung des Schweregrads von Kniearthrose
OpenCV (Version: 4.5.5)	Intel	N/A	Zur Vorverarbeitung von Röntgenbildern (Größenänderung, CLAHE, Gaußsche Filterung).
Python (Version: 3.8)	Python-Software-Stiftung	N/A	Programmiersprache, die für die Modellentwicklung verwendet wird.
scikit-learn (Version: 1.0.2)	Gemeinschaft	N/A	Wird für Datenaufteilung, Leistungsmetriken und grundlegende ML-Dienstprogramme verwendet.
TensorFlow/Keras	Google/Gemeinschaft	N/A	Wird zum Implementieren und Trainieren des XceptionNet-basierten Deep-Learning-Modells verwendet. Tensorflow-Version: 2.6.0, RRID:SCR_018932. Keras-Version: 2.6.0, RRID:SCR_018961
Ubuntu-Betriebssystem	Kanonisch	N/A	Verwendetes Betriebssystem für die Kompatibilität mit allen Software-Tools. Version 20.04 empfohlen.