Op transfer learning gebaseerde deep learning-benadering voor het beoordelen van artrose van de knie met behulp van gewijzigde XceptionNet-architectuur

Summary

Om de identificatie van artrose van de knie aan de hand van röntgenfoto's te verbeteren, stelt deze studie OsteoXceptionNet voor, een deep learning-model dat gebruik maakt van gemodificeerd XceptionNet met transfer learning. Dit model verbetert de extractie van functies, vermindert handmatige interpretatiefouten en maakt een nauwkeurigere, geautomatiseerde classificatie mogelijk.

Abstract

Artrose van de knie (KOA) treft wereldwijd miljoenen mensen en heeft geen genezende behandeling bekend, waardoor het een ernstig wereldwijd gezondheidsprobleem is. Het beheer van de ontwikkeling ervan hangt af van vroege ontdekkingen en röntgenbeeldvorming is een fundamentele diagnostische techniek. Vanwege variaties in het ervaringsniveau van radiologen, verhoogt handmatige röntgeninterpretatie echter de variabiliteit en mogelijke onnauwkeurigheden. Recente ontwikkelingen in machine learning en deep learning-technieken hebben geleid tot de creatie van geautomatiseerde systemen voor de radiologische identificatie van artrose in de knie. Voor detectie in een vroeg stadium is het verkrijgen van een grotere voorspellingsnauwkeurigheid echter nog steeds cruciaal. Door gebruik te maken van de inzichten die zijn verzameld uit een grotere dataset, presteren modellen die zijn getraind op kleinere, domeinspecifieke datasets beter door het gebruik van transfer learning. Door zijn diepgang en effectiviteit is XceptionNet bijzonder geschikt voor taken waarbij medische beelden worden geïnterpreteerd. In tegenstelling tot eerder onderzoek pakt deze methode de onbalans in de dataset efficiënt aan door gebruik te maken van klassenbalanceringsbenaderingen, een aangepaste voorverwerkingspijplijn te integreren en aangepaste architectuurverbeteringen toe te voegen aan XceptionNet, wat de KOA-identificatie in een vroeg stadium verbetert. Met het gebruik van deze state-of-the-art methoden toont de voorgestelde aanpak potentieel bij het correct identificeren van artrose op basis van radiografische beelden van de knie, het bereiken van 97% voorspellingsnauwkeurigheid, 97,8% precisie, 97,6% recall en 97,6% F1-meting. Bovendien toonde het gegenereerde model 95,94% Cohen's kappa-waarde, wat wijst op een goede overeenstemming. De studie ondersteunt verdere inspanningen om betrouwbare, geautomatiseerde ziektedetectietechnologie te ontwikkelen, die de patiëntresultaten verbetert en een efficiëntere zorgverlening mogelijk maakt.

Introduction

Artrose van de knie (KOA) is een belangrijk wereldwijd volksgezondheidsprobleem dat een groot aantal mensen treft en een aanzienlijke last vormt voor zowel de patiënten als de zorgorganisaties. Het gewrichtskraakbeen van het kniegewricht verslechtert geleidelijk bij deze aandoening. Het heeft een gecompliceerde en multidimensionale etiologie die een mix van leeftijd, obesitas, gewrichtstrauma, biomechanische variabelen en genetische gevoeligheid omvat¹.

Het verlies van structurele integriteit resulteert in kraakbeenverdunning, kloven en uiteindelijk erosie, waardoor het onderliggende bot bloot komt te liggen. De symptomen van KOA kunnen sterk variëren en verergeren vaak in de loop van de tijd, van weinig ongemak tot ondraaglijke pijn en functieverlies². Een primair teken van kniepijn wordt meestal verergerd door gewichtdragende oefeningen en langere activiteit. Veel voorkomende observaties zijn stijfheid, vooral tijdens rustperiodes, oedeem, crepitus en verminderd bewegingsbereik³. Deze symptomen verstoren het dagelijks functioneren ernstig, wat resulteert in functionele beperkingen en een vermindering van de kwaliteit van leven voor degenen die ze ervaren.

De hypothese die hier wordt getest, is dat een geautomatiseerd op deep learning gebaseerd model diagnostisch kan presteren op gelijke voet met professionele radiologen en het niveau van ernst van KOA correct kan diagnosticeren op basis van beeldvormingsgegevens met behulp van het Kellgren-Lawrence-beoordelingssysteem.

Het doel van deze studie komt voort uit inherente beperkingen die verband houden met de traditionele methoden voor het diagnosticeren en beoordelen van artrose van de knie. Traditioneel wordt radiografische beeldvorming, met name röntgenanalyse van de knie, gebruikt om de mate van gewrichtsschade te evalueren. Desalniettemin is fysiek onderzoek van deze afbeeldingen kwetsbaar voor variabiliteit en kan het tijdrovend zijn⁴. Vooruitgang op het gebied van deep learning en machine learning (ML) biedt een veelbelovend pad om de nauwkeurigheid van KOA-detectie en -beoordeling te automatiseren en te verbeteren, en biedt een meer gestandaardiseerde en efficiënte aanpak. Dit is vooral van cruciaal belang in de vroege stadia van de aandoening, waar interventie veranderingen in de levensstandaard van de patiënt aanzienlijk kan beïnvloeden naarmate de aandoening vordert.

Machine learning-benaderingen: De eerste pogingen om KOA-identificatie te automatiseren waren gebaseerd op klassieke machine learning-methoden. Strategieën zoals K-Nearest Neighbors, Support Vector Machine en Decision Tree waren afhankelijk van handgemaakte functies die werden genomen uit röntgenfoto's van de knie. Hoewel ze enige automatisering boden, was de kwaliteit en relevantie van handmatig afgeleide kenmerken een belangrijke factor in hoe effectief ze waren. Dit resulteerde vaak in slechte generaliseerbaarheid en prestaties⁵.

Deep Learning (DL) benaderingen: De opkomst van convolutionele neurale netwerken, of deep learning, was een belangrijke mijlpaal op dit gebied. Met zijn reputatie voor geautomatiseerde functie-extractie worden Convolutional Neural Networks (CNN's) steeds populairder bij de analyse van KOA-afbeeldingen. Vergeleken met conventionele ML-technieken hebben deze algoritmen een opmerkelijke verbetering laten zien in termen van nauwkeurigheid en het vermogen om complexe patronen rechtstreeks uit afbeeldingen te herkennen ^6,7.

Transfer Learning (TL): Dit maakt het mogelijk om modellen op maat te maken voor taken die medische beeldvorming vereisen nadat ze vooraf zijn getraind op grootschalige generieke datasets, heeft in recent onderzoek aan populariteit gewonnen⁸. Deze aanpak werkt vooral goed in de medische sector, waar kleine, gespecialiseerde datasets gebruikelijk zijn.

Verbeterde resultaten in de KOA-ernstclassificatie worden benadrukt door TL, dat gebruikmaakt van algemene kenmerken die zijn geleerd van grotere taken en deze afstemt op bepaalde subtiliteiten van medische beeldanalyse ^9,10.

Voor KOA-identificatie en -sortering met behulp van radiografiebeelden zijn de afgelopen jaren een aantal geautomatiseerde technieken - met name deep learning-modellen - onderzocht ^11,12. Desalniettemin gaan veel van de huidige modellen niet adequaat om met problemen met onbalans en interpreteerbaarheid van datasets, of detecteren ze problemen niet in een vroeg stadium nauwkeurig genoeg. De hier voorgestelde methode breidt dit raamwerk uit door drie belangrijke verbeteringen toe te voegen: ontwerpwijzigingen in het XceptionNet-model voor verbeterde functie-extractie, klassenbalanceringstechnieken om de betrouwbaarheid van het model te vergroten en een aangepaste voorverwerkingspijplijn die is ontworpen om de kenmerken van het kniegewricht te verbeteren. Samen met het ondersteunen van preciezere, betrouwbaardere KOA-categorisatie, zorgen deze verbeteringen voor een substantiële verbetering ten opzichte van traditionele transfer learning-technieken.

Hoewel DL en ML aanzienlijke vooruitgang hebben geboekt bij het analyseren van KOA, zijn er nog steeds uitdagingen die moeten worden overwonnen, voornamelijk op het gebied van het bereiken van nauwkeurige categorisatie, het verbeteren van de interpreteerbaarheid en het beheren van onevenwichtigheid in gegevens. De voorgestelde studie bouwt voort op eerdere studies 13,14,15,16,17,18,19,20,21,22 door een grondigere, transparantere en billijkere evaluatie aan te bieden, waardoor de grenzen worden verlegd van wat momenteel mogelijk is in geautomatiseerde KOA-diagnose en -beoordeling. Tabel 1 geeft een overzicht van de analyse van het huidige onderzoek naar de opsporing van artrose.

Studeren	Objectief		Samenvatting
Hu et al.13	Ontwikkel DeepKOA om de progressie van artrose van de knie te voorspellen met behulp van MR-beelden.		DeepKOA toont veelbelovende voorspellingsmogelijkheden voor knieartrose, wat het potentieel van deep learning in klinische omgevingen benadrukt. Verdere validatie is nodig.
Guida et al.14	Verbeter de classificatie van de ernst van artrose door röntgenfoto's, MRI en klinische gegevens te integreren.		Een fusiemodel verbetert de nauwkeurigheid van de OA-classificatie aanzienlijk, wat de voordelen van een multimodale aanpak benadrukt. Toekomstig onderzoek moet zich richten op generaliseerbaarheid.
Bensalma et al.15	Identificeer associaties tussen verschillende factoren bij patiënten met knieartrose met behulp van multimodale analyse.		De studie onthult onderlinge relaties tussen meerdere factoren bij knieartrose, wat mogelijkheden suggereert voor gerichte interventies en verder onderzoek.
Koppold et al.16	Onderzoek de impact van langdurig aangepast vasten op de symptomen van artrose.		Aangepast vasten vertoont een opmerkelijke verbetering van de symptomen bij patiënten met artrose, wat wijst op het potentieel ervan als behandelingsstrategie. Er zijn meer studies nodig, met name gerandomiseerde gecontroleerde onderzoeken.
Jain et al.17	Presenteer OsteoHRNet voor beoordeling van de ernst van knieartrose op basis van röntgenfoto's.		OsteoHRNet bereikt een verbeterde nauwkeurigheid in de ernstclassificatie van knieartrose op basis van röntgenfoto's, wat het potentieel voor klinische toepassing aangeeft. Verdere validatie van de dataset wordt aanbevolen.
Afroze et al.18	Beoordeling van op machine learning gebaseerde methoden voor de detectie van artrose (OA) in verschillende beeldvormingsmodaliteiten.		De review identificeert kritieke hiaten in op machine learning gebaseerde OA-detectie, en benadrukt de noodzaak van gestandaardiseerde benaderingen en empirische modellen.
Teoh et al.19	Ontwikkel een multitask-model voor gedetailleerde artrosediagnose op basis van radiografie.		Een multitask-model verbetert de nauwkeurigheid van de diagnose van artrose door individuele artrosekenmerken en pijnintensiteit te voorspellen, wat wijst op mogelijkheden voor nauwkeurige interventies. Aanvullend onderzoek wordt aangemoedigd om deze bevindingen uit te breiden.
Zhang et al.20	Maak een model voor de classificatie van kniekraakbeenletsel op meerdere niveaus in MRI.		Het model biedt een hoge nauwkeurigheid bij de classificatie van kniekraakbeenletsel met behulp van MRI, wat veelbelovend is als een niet-invasief diagnostisch hulpmiddel. Verdere validatie van populaties wordt geadviseerd.
Li et al.21	Het onderzoeken van de invloed van multiview-beelden en voorafgaande informatie, evenals het vermogen van een deep learning-model om artrose van de knie te identificeren en te classificeren met behulp van röntgenstralen.		De KL-classificatie van KOA werd correct geïdentificeerd en gecategoriseerd met behulp van het DL-model. Bovendien verbeterden voorkennis en multiview-röntgenbeelden de effectiviteit van de classificatie.
Ratna et al.22	Ontdek hoe machine learning wordt gebruikt in onderzoek naar artrose van de knie om de progressie van de aandoening en vroege diagnose beter te begrijpen.		De studie benadrukt hoe machine learning artrose-onderzoek heeft beïnvloed, vooral in termen van vroege diagnose en begripsontwikkeling, en beveelt meer onderzoek aan om de klinische integratie te verbeteren.

Tabel 1: Overzicht van recente onderzoeken naar de detectie van knieartrose.

De belangrijkste bijdragen van het werk zijn onder meer OsteoXceptionNet, een aangepaste XceptionNet-architectuur bedoeld voor het beoordelen van artrose van de knie, en het gebruik van een speciaal gemaakte voorverwerkingspijplijn om de nauwkeurigheid van de diagnose te vergroten. De dataset van het Osteoarthritis Initiative (OAI) wordt gebruikt voor training en veel basislijnontwerpen worden gebruikt voor evaluatie. De dataset en voorbereidingstechnieken worden beschreven in de volgende delen van het onderzoek na een overzicht van de relevante literatuur. Na een overzicht van de experimentele resultaten en een bespreking van klinisch belang, gaat het verder in op de voorgestelde modelarchitectuur alvorens de belangrijkste bevindingen samen te vatten en toekomstige richtingen te geven.

Dataset en experimentele configuratie
De OAI-dataset, die bestaat uit duizenden geannoteerde röntgenfoto's van de knie die in de loop van de tijd zijn verzameld op verschillende klinische locaties, wordt openbaar gemaakt voor gebruik in dit onderzoek. Vijf Kellgren-Lawrence (KL) klassen van knieartrose werden vertegenwoordigd door de 9786 röntgenfoto's van de knie die voor deze studie werden gebruikt: Gezond (3857 afbeeldingen), Twijfelachtig (1770), Minimaal (2578), Matig (1286) en Ernstig (295). Tijdens de voorbewerking werden alle afbeeldingen uniform geschaald tot 224 x 224 pixels met behulp van bilineaire interpolatie. Het voorgestelde OsteoXceptionNet-raamwerk werd in de experimentele setting gebruikt om kniegewrichtsstructuren automatisch te segmenteren en vervolgens te classificeren in KOA-ernstklassen.

Om een zo groot mogelijke balans in de klas te garanderen, werd de dataset opgedeeld in subgroepen voor training (80%), validatie (10%) en testen (10%). De dataset heeft ondanks het nut ervan verschillende nadelen, zoals onevenwichtigheid in de klasse, waarbij minder steekproeven in de ernstige-groep vallen dan andere. Bovendien bevat de dataset alleen radiografische beeldvorming; het mist multimodale inputs zoals Magnetic Resonance Imaging (MRI) of klinische informatie, wat de generaliseerbaarheid ervan zou kunnen beperken. De demografische scheefheid, die de relevantie van de gegevens voor andere etnische groepen beperkt omdat ze voornamelijk de Noord-Amerikaanse bevolking vertegenwoordigen, is een ander opmerkelijk nadeel. Hoewel klasse-gewogen verliesfuncties en gegevensvergroting werden gebruikt om deze beperkingen waar mogelijk te beperken, zijn dit nog steeds cruciale overwegingen bij het analyseren van de prestaties van het model.

Op basis van radiografische resultaten classificeren beoordelingsmethoden, zoals het Kellgren-Lawrence (KL) -beoordelingssysteem, de ernst van KOA in vijf categorieën: Graad 0 (Gezond), Graad 1 (Twijfelachtig), Graad 2 (Minimaal), Graad 3 (Matig) en Graad 4 (Ernstig)²³. Verschillende afbeeldingen van KL-cijfers worden weergegeven in figuur 1.

Figuur 1: KL-classificatie van kniebeelden. Op basis van radiografische resultaten werd de ernst van KOA geclassificeerd in vijf categorieën: Graad 0 (Gezond), Graad 1 (Twijfelachtig), Graad 2 (Minimaal), Graad 3 (Matig) en Graad 4 (Ernstig). Klik hier om een grotere versie van deze figuur te bekijken.

Protocol

In dit gedeelte wordt een uitgebreide aanpak gepresenteerd die is ontworpen om de diagnose en classificatie van knieartrose te verbeteren door het gebruik van een aangepast XceptionNet-model. De gepresenteerde methodologie is gebaseerd op zorgvuldige voorverwerking van gegevens, grondige aanpassing van de modelarchitectuur en sterke beoordelingstechnieken, die allemaal bedoeld zijn om de complexe problemen aan te pakken die verband houden met beeldvorming van knieartrose. In figuur 2 is de stroming van het model geïllustreerd.

Figuur 2: Workflow van het model. Klik hier om een grotere versie van deze figuur te bekijken.

Beschrijving van de dataset
De dataset die in dit onderzoek is gebruikt, bestaat uit 9.786 röntgenfoto's van de knie uit de OAI-dataset die een OA-graad hebben gekregen op basis van de KL-beoordelingstechniek. Deze dataset, die een breed scala aan instanties biedt die de verschillende fasen van KOA bestrijken, is essentieel voor zowel de training als de evaluatie van het voorgestelde model²⁴. Bilineaire interpolatie werd gebruikt om alle afbeeldingen te schalen. Deze techniek werd gekozen omdat het een compromis vormt tussen computationele effectiviteit en het behoud van de kwaliteit van het beeld, die beide essentieel zijn voor het behoud van anatomische kenmerken die belangrijk zijn voor de categorisering van artrose in de knie. In de dataset zijn de cijfers 0-4, waarbij graad 0 staat voor een gezonde knie en graad 4 voor ernstige artrose. Deze graad biedt een complex scala aan ziekte-evolutie, wat essentieel is voor het model om de minieme variaties in de stadia te begrijpen.

Bovendien werd de dataset georganiseerd in test-, validatie- en trainingssets. Om de prestaties van het model te evalueren en ervoor te zorgen dat het leert effectief te generaliseren zonder de trainingsset te overdrijven, was deze splitsing essentieel. De testset biedt een objectieve beoordeling van de werkzaamheid van het voltooide model, aangezien deze ook werd gebruikt voor het wijzigen van de gewichten van het model. Bovendien helpt een validatieset bij het verfijnen van de hyperparameters en het beoordelen van modellen tijdens de trainingsfase. Een korte samenvatting van de gegevensverdeling wordt gegeven in tabel 2 en figuur 3 geeft een visuele weergave ervan.

Klas	Automatisch testen	Test	Trein	Val
0	604	639	2286	328
1	275	296	1046	153
2	403	447	1516	212
3	200	223	757	106
4	44	51	173	27

Tabel 2: Korte beschrijving van de dataset.

Figuur 3: Verdeling van de dataset. De dataset was georganiseerd in test-, validatie- en trainingssets. Klik hier om een grotere versie van deze figuur te bekijken.

Voorverwerking van gegevens
Deze stap is cruciaal en heeft tot doel de modelprestaties te verbeteren door de kwaliteit van de invoergegevens te verbeteren. De fasen van de voorbewerking zijn als volgt.

Formaat van afbeelding wijzigen: Op elk röntgenbeeld wordt een standaardafmeting toegepast om consistentie te bieden in de hele reeks afbeeldingen. Deze fase is essentieel voor het model om afbeeldingen consistent en effectief te verwerken. In dit proces wordt vergelijking 1 gebruikt.

Nieuwe afbeeldingsgrootte = Formaat wijzigen (originele afbeelding, standaardafmeting) (1)

Normalisatie: De pixelwaarden in de afbeeldingen zijn gestandaardiseerd om een gemiddelde van nul en een standaarddeviatie van één te krijgen. Dit soort normalisatie zorgt ervoor dat de invoerwaarden in een vergelijkbaar bereik vallen, wat de convergentie van het model tijdens de training versnelt. Vergelijking 2 wordt gebruikt om deze normaliserende stap uit te voeren.

(2)

Gegevensvergroting: Er werden strategieën voor gegevensvergroting gebruikt om problemen als gevolg van onvoldoende gegevens aan te pakken en het generalisatievermogen van het model te vergroten. Deze methoden omvatten spiegelen, zoomen, rotaties en vertalingen. Ze introduceren nieuwe afbeeldingen die opzettelijk worden toegevoegd aan de trainingsdataset. Vergelijking 3 wordt gebruikt bij de implementatie van deze augmentatieprocedure.

Augmented Image = Transformatie toepassen (Original Iamge) (3)

Er werden verschillende augmentatietechnieken gebruikt om variabiliteit aan de trainingsset te bieden om de robuustheid van het model te verbeteren en overfitting tot een minimum te beperken. Een afschuifbereik van 0,2, een zoombereik van 0,8 tot 1,2 (wat overeenkomt met een zoomfactor van 0,2) en een willekeurig rotatiebereik van -30° tot +30° werden allemaal opgenomen in de vergroting van de trainingsgegevens. Zowel horizontaal als verticaal spiegelen werd toegestaan met een waarschijnlijkheid van 0,5 om de modelgeneralisatie te verbeteren. Voor zowel verticale als horizontale afschuiving werd ook een afschuiffactor van 0,1, of ± 10% vervorming, gebruikt.

Klassenbalancering: Algoritmen voor klasseweging werden gebruikt vanwege de mogelijke klasse-onbalans van de dataset (met meer afbeeldingen van sommige OA-klassen dan andere). Om te voorkomen dat het model een vooringenomenheid vertoont ten gunste van meer algemene klassen, geeft deze methode ondervertegenwoordigde klassen een groter gewicht. In dit proces wordt vergelijking 4 gebruikt. De volgende waarden werden gebruikt om de gewichten te bepalen: Gezond: 3857, Twijfelachtig: 1770, Minimaal: 2578, Matig: 1286 en Ernstig: 295 zijn de klassegewijze verdelingen van de 9786 totale steekproeven en 5 klassen.

(4)

Train-Validation Split: De dataset is georganiseerd in validatie- en trainingssets met behulp van traditionele 80:20-verhoudingen. Door de gegevens te verdelen, kan het model leren van de trainingsgegevens en de prestaties regelmatig evalueren met behulp van de validatieset. Dit maakt het mogelijk om overfitting te identificeren en het generalisatievermogen van het model te evalueren.

Data Pipeline Optimization: Er is een verbeterde datapipeline opgezet om een effectieve dataverwerking tijdens de modeltraining te garanderen. Om knelpunten in invoer/uitvoer te verminderen en de rekenprestaties te verbeteren, maakt deze pijplijn gebruik van technieken voor batching, prefetching en parallelle gegevensextractie. Om de efficiëntie en doorvoer van trainingen te verbeteren, werd de pijplijn voor invoergegevens ontwikkeld. Om een evenwichtig geheugengebruik en rekenbelasting te garanderen, werd een batchgrootte van 32 gebruikt. Om de efficiëntie van de gegevensinvoer te verhogen, werd num_parallel_calls=4 gebruikt in de kaartfunctie om het laden en voorverwerken van gegevens te parallelliseren. Om de I/O-latentie te minimaliseren, is bovendien prefetch(buffer_size=tf.data.AUTOTUNE) van TensorFlow gebruikt om geautomatiseerde aanpassing van de buffergrootte van prefetch mogelijk te maken. Dit overlapte effectief de voorverwerking van gegevens en de uitvoering van het model

In Figuur 4 zijn enkele voorbeelden van verschillende klassen afbeeldingen getoond na eenvoudige voorbewerking.

Figuur 4: Instanties uit de dataset. De figuur toont een paar voorbeelden van verschillende klassen afbeeldingen na eenvoudige voorbewerking. Klik hier om een grotere versie van deze figuur te bekijken.

Door deze nauwgezette voorverwerkingsstappen wordt de dataset getransformeerd in een robuuste basis voor het trainen van het aangepaste XceptionNet-model, waarmee de weg wordt geëffend voor nauwkeurige en betrouwbare KOA-detectie en -beoordeling.

Model architectuur
Basismodel: Met zijn uitgesproken ontwerp dat gebruikmaakt van in de diepte scheidbare convoluties om de best mogelijke balans te bereiken tussen rekenefficiëntie en modelcomplexiteit, valt het door François Chollet gemaakte XceptionNet-model op²⁵. Vergelijking 5 werd gebruikt om de dieptegewijze scheidbare convoluties te implementeren.

Diepte Scheidbare Convolutie(x) = Puntsgewijs(Dieptegewijs(x)) (5)

Het is om verschillende redenen bijzonder relevant voor deze studie. Ten eerste staat de architectuur bekend om het extraheren van gedetailleerde en hiërarchische kenmerken uit afbeeldingen, wat cruciaal is voor medische beeldanalyse, waarbij subtiele kenmerken verschillende stadia van een aandoening kunnen aangeven. Ten tweede is het voorgestelde model gebaseerd op de XceptionNet-architectuur, die een uitstekende effectiviteit heeft aangetoond bij verschillende beeldclassificatietaken, gericht op het detecteren en beoordelen van artrose van de knie²⁶.

Het gepresenteerde OsteoXceptionNet is een op maat gemaakte versie van de XceptionNet-architectuur die speciaal is gemaakt voor het automatisch classificeren van artrose in de knie op basis van röntgenfoto's. Belangrijke wijzigingen zijn onder meer de toevoeging van nog drie convolutionele blokken (filters: 512, 256 en 128) om de extractie van functies te verbeteren die specifiek zijn voor kniegewrichtsstructuren, evenals convolutionele lagen met filtergroottes van 3 x 3 en variabele filtertellingen variërend van 32 tot 1024 over de inlaat-, midden- en uitgangsstromen. Batchnormalisatie en ReLU-activering komen na elke convolutionele laag en dropout-lagen worden toegevoegd om overfitting te minimaliseren. De standaard van 224 x 224 pixels wordt gebruikt voor modelinvoer.

Finetuning en modificaties
Wijzigingen: Het XceptionNet-model is op een aantal punten strategisch aangepast om het geschikt te maken voor KOA-sortering en -detectie.

Fijnafstemming: De bovenste lagen van het vooraf getrainde XceptionNet-model werden ontgrendeld, waardoor het model kenmerken op hoog niveau kon leren die specifiek zijn voor röntgenfoto's van de knie. De fijnafstelling van het model werd uitgevoerd volgens vergelijking 6.

(6)

waarbij θ_finetuned de parameters zijn na finetuning; θ_voorgetraind zijn de voorgetrainde parameters; λ is de leersnelheid; ∇_{θvooraf getraind}Verlies is de gradiënt van de verliesfunctie die verband houdt met de parameters die vooraf zijn getraind.

Extra convolutionele lagen: In de laatste fase van het model werden extra convolutionele lagen geïntroduceerd. Deze lagen hebben een kleinere korrelgrootte om zich te concentreren op het extraheren van fijnere details die relevant zijn voor de verschillende OA-kwaliteiten. Het werd gebruikt met behulp van vergelijking 7.

Convolutionele uitvoer = Convolutie(Invoer,Kernel) (7)

Batchnormalisatie: Na elke toegevoegde convolutionele laag wordt batchnormalisatie toegepast om het leren te stabiliseren en de convergentiesnelheid te verbeteren. Het wordt gebruikt met behulp van vergelijking 8.

(8)

waar de genormaliseerde uitvoer is; x de invoer van de batchnormalisatielaag is; μ het gemiddelde is voor de batch invoer; σ2 is de variantie in de batch invoer; ε is een minimale constante voor numerieke stabiliteit.

Activeringsfuncties: ReLU-activeringsfuncties worden in de aanvullende lagen gebruikt om niet-lineariteit te introduceren, waardoor het model meer ingewikkelde structuren in de gegevens kan verwerven. ReLU wordt berekend met behulp van vergelijking 9.

ReLU(x) = max(0,x) (9)

waarbij x de invoer van de ReLU-activeringsfunctie is.

Dropout: Om overfitting te voorkomen, worden dropout-lagen opgenomen, vooral na de nieuw toegevoegde lagen, om generalisatie van het model te garanderen, zelfs op ongeziene gegevens. Het werd gedaan door middel van vergelijking 10.

Uitvoer = invoer × masker (10)

Configuratie van de uitvoerlaag
Uitvoerlaag: Het oorspronkelijke XceptionNet-model is gestructureerd voor classificatie met meerdere klassen met Softmax-activeringsfunctie in een uitvoerlaag. In dit aangepaste model is de outputlaag aangepast om de vijf graden van knieartrose weer te geven, variërend van graad 0 tot graad 4, d.w.z. van gezond tot ernstig niveau. Precies, deze laag bestaat uit vijf neuronen, die elk overeenkomen met een van de OA-graden. De Softmax-activeringsfunctie werd in deze laag gebruikt om een waarschijnlijkheidsverdeling over vijf klassen te produceren, waardoor het voorgestelde model de juiste OA-graad voor een bepaald röntgenbeeld van de knie kon voorspellen. Deze aanpak brengt de output van het model rechtstreeks op één lijn met de klinische beoordelingsschaal, waardoor een intuïtieve en praktische interpretatie van de voorspellingen van het model voor beroepsbeoefenaren in de gezondheidszorg mogelijk wordt.

De XceptionNet-architectuur is specifiek op maat gemaakt - die eerst vooraf werd getraind op de ImageNet-dataset - voor het doel van het gepresenteerde onderzoek om de ernst van artrose in de knie te classificeren. Het model maakte gebruik van geleerde functies uit een grote en diverse dataset door gebruik te maken van de vooraf getrainde gewichten van ImageNet, waardoor het een sterke basis kreeg. Om het fundamentele XceptionNet-model aan te passen voor voorgesteld onderzoek, werden veel nieuwe lagen toegevoegd.

Eerst werden 2D-convolutionele lagen gecombineerd met verschillende aantallen filters en kernelgroottes, die elk werden geactiveerd door ReLU en batchnormalisatie om niet-lineariteit toe te voegen. Deze extra lagen waren bedoeld om kenmerken die verband houden met de ernst van artrose in de knie vast te leggen en te versterken. Het model was vervolgens klaar voor de laatste classificatiefase door een Global Average Pooling 2D (GAP)-laag toe te voegen, die de functiekaart verkleint terwijl belangrijke gegevens behouden blijven. In het bijzonder bereikt GAP-bewerking dimensionaliteitsreductie met minimaal gegevensverlies door de ruimtelijke dimensies van elke functiekaart terug te brengen tot een enkele waarde met behoud van diepte, die kan variëren van 7 x 7 x 1024 tot 1 x 1 x 1024. De uitvoer van de GAP-laag werd ingevoerd in de Softmax-activeringsfunctie, die classificatie met meerdere klassen mogelijk maakte door logits om te zetten in waarschijnlijkheden. Vergelijkingen 11, 12, 13, 14, 15, 16 en 17 worden gebruikt voor respectievelijk de GAP, Softmax-activering, Feature Map Calculation, Learning Rate Reduction, Model Compilation, Class Weight Adjustment en Multi-Class Classification Loss.

(11)

waarbij x_i,j de activering is van de i-de rij en de j-de kolom van de objectiefkaart; H is de hoogte van de functiekaart; W is de breedte van de functie-map.

(12)

waarbij x_i de invoer is voor de Softmax-functie voor klasse i; n is het aantal klassen.

Feature Map = σ(Convolutie(Invoer,Kernel) + Bias) (13)

waarbij convolutie een convolutiebewerking is; i is de activeringsfunctie; Invoer is de ingangstensor voor de laag; Kernel is de convolutionele kernel; Vooringenomenheid is de term voor vooringenomenheid.

Nieuw leertempo = Leersnelheid × factor (14)

Model = Compileren(Architectuur;Verlies;Optimaliseren,Metriek) (15)

(16)

waarbij_{gewichtsklasse} het gewicht is dat aan een klasse is toegewezen; Total Samples is het total_number_of_samples van de dataset; Number_of_Classes is het aantal onderscheidende klassen binnen de dataset; Steekproef in klasse is het aantal steekproeven in een specifieke klasse.

(17)

waarbij y_i de werkelijke kansverdeling voor klasse i is; P_I is de voorspelling van de kansverdeling van klasse I ; N is het aantal klassen.

Ten slotte werd het model, dat nu bestaat uit de gewijzigde XceptionNet-architectuur met de aangepaste lagen, gecompileerd om waarschijnlijkheden voor elke klasse te voorspellen. Door deze aanpassingen was het doel om het vermogen van het model te vergroten om genuanceerde kenmerken te onderscheiden die verband houden met de ernst van verschillende gradaties van knieartrose, waardoor de classificatieprestaties voor de specifieke taak werden verbeterd.

Voor stabiele en effectieve convergentie werd de Adam-optimizer gebruikt om het model te trainen met een leersnelheid van 0,0001, waarbij 0,5 werd gebruikt als uitvalpercentage om overfitting te minimaliseren. Om de complexiteit van het model te beperken en de generalisatie te verbeteren, werden zowel L1- als L2-regularisatiestrategieën gebruikt. Voor classificatieproblemen met meerdere klassen met integer-labels was Sparse Categorical Crossentropy de geschikte verliesfunctie. Er werd getraind voor 50 tijdperken. Softmax, de laatste activeringsfunctie, werd gebruikt voor het genereren van klassenkansverdelingen. Daarnaast werd een maat van 64 stappen gebruikt voor training.

Training: Het trainingsproces was een zeer belangrijke fase. In deze fase leert het aangepaste XceptionNet-model nauwkeurige detectie en gradatie van KOA in radiografische beelden. Keras versie 2.6.0 en TensorFlow backend versie 2.6.0 zijn gebruikt om het XceptionNet-model te implementeren. Hieronder vindt u de details van de belangrijkste componenten van de trainingsfase, waaronder de verliesfunctie, optimizer, callbacks, batchgrootte en epochs.

Loss_Function: Voor classificatietaken met meerdere klassen werd categorisch cross_entropy gebruikt. Deze verliesfunctie is met name geschikt voor problemen waarbij elke instantie naar verwachting wordt toegewezen aan slechts één label uit een set van categorieën²⁷. Het evalueert de prestaties van het model door een waarschijnlijkheidsscore tussen nul en één te produceren. Dit verlies werd gebruikt als een graadmeter om dit model effectief te trainen voor de nauwkeurige voorspelling van de ernst van KOA, aangezien het toeneemt wanneer de voorspelde waarschijnlijkheid afwijkt van het werkelijke label.

Optimizer: Er werd gebruik gemaakt van de Adam-optimizer, die bekend staat om zijn effectiviteit en dynamische leersnelheid. Adam combineert de voordelige eigenschappen van de AdaGrad- en RMSProp-algoritmen en biedt een optimalisatie-algoritme dat bedreven is in het beheren van schaarse gradiënten in luidruchtige probleeminstellingen²⁸.

Belangrijke parameters voor de Adam-optimizer
Leersnelheid: Er werd een leersnelheid van 0,0001 gebruikt, waardoor de optimizer in eerste instantie substantiële aanpassingen aan de gewichten kon maken, waardoor het leerproces werd geoptimaliseerd.

Bèta1 en Bèta2: Deze parameters regelen de snelheid waarmee respectievelijk de gekwadrateerde gradiënt en voortschrijdende gemiddelden van eerdere gradiënten afnemen. De standaardwaarden van 0,9 voor bèta1 en 0,999 voor bèta2 worden gebruikt.

Epsilon: Deze parameter voorkomt elke deling door nul in de implementatie, ingesteld op een klein getal dicht bij nul.

Callbacks: Callbacks worden tijdens de training gebruikt om de prestaties van het model te monitoren en bij te sturen. De volgende callbacks werden gebruikt:

Early_Stopping: Dit wordt gebruikt voor het bewaken van het validatieverlies van het model en voor het stoppen van het trainingsproces als het verlies niet meer afneemt gedurende een vooraf bepaald aantal epochs (ook wel geduld genoemd). Wanneer validatiegegevens geen verbetering meer laten zien in de prestaties van het model, stopt het trainingsproces, wat helpt om overfitting te voorkomen.

LROn-plateau verminderen: Deze callback verlaagt de leersnelheid wanneer het validatieverlies niet meer verbetert, waardoor fijnere aanpassingen in de gewichten mogelijk zijn, wat mogelijk kan resulteren in verbeterde algehele modelprestaties²⁹.

Modelcontrolepunt: met deze callback wordt het model met een bepaald interval opgeslagen, zodat de beste versie van het model kan worden opgehaald zodra het trainingsproces is voltooid. Gewoonlijk controleert het de nauwkeurigheid of het verlies van de validatie en bespaart het het modelgewicht wanneer een verbetering wordt gedetecteerd.

Batchgrootte en tijdperken:
Batchgrootte: 32 is de typische batchgrootte die werd gebruikt om de vereisten voor zowel de stabiliteit van de modelconvergentie als de rekenefficiëntie in evenwicht te brengen. Een batchgrootte van 32 zorgt voor een evenwicht, omdat het voldoende groot is om gebruik te maken van computationele optimalisaties en toch klein genoeg om een stabiele schatting van de gradiënt te bieden.

Epochs: Het model is ingesteld om maximaal 50 epochs te trainen, hoewel de training voortijdig kan stoppen als de EarlyStoping-callback wordt geactiveerd. De 50 epochs bieden voldoende iteraties om de gewichten aan te passen en om het model te convergeren, terwijl EarlyStopping ervoor zorgt dat de training niet onnodig doorgaat.

Door deze parameters nauwkeurig in te stellen en gebruik te maken van callbacks, werd het trainingsproces geoptimaliseerd om ervoor te zorgen dat het model effectief leert en goed generaliseert naar onzichtbare gegevens. Om te garanderen dat alle klassen eerlijk en accuraat worden weergegeven in modelvoorspellingen, werden een aantal benaderingen gebruikt om het probleem van de gegevensonbalans aan te pakken. Ten eerste werd, om de ondervertegenwoordiging van sommige klassen goed te maken, gedurende de hele trainingsfase gebruik gemaakt van klassenweging. Klassen met minder monsters kregen grotere gewichten. Om de gevolgen van onevenwichtigheid in de klas tijdens de training verder te verminderen, werd ook de ImageDataGenerator van Keras gebruikt om ervoor te zorgen dat het model werd blootgesteld aan verschillende klassen in elke batch³⁰.

Evaluatie metriek
Bij het evalueren van de werkzaamheid van het ontwikkelde model werden tal van parameters gebruikt die hieronder worden beschreven.

Nauwkeurigheid (ACC): De verhouding tussen nauwkeurig voorspelde waarnemingen en alle waarnemingen wordt gekwantificeerd door deze statistiek. Wanneer de doelklassen gelijk verdeeld zijn, is dat gunstig. De berekening is gebaseerd op vergelijking 18.

(18)

Precisie (PR): De precisie van het model meet hoe goed het onderscheid kan maken tussen alle verwachte positieve en positieve gevallen. In omstandigheden waarin het aantal vals-positieve resultaten aanzienlijk is, is dit heel belangrijk. De berekening is gebaseerd op vergelijking 19.

 (19)

Terugroepen (R): Terugroepen, ook wel gevoeligheid genoemd, kwantificeert het percentage correct gedetecteerde echte positieven. Het is vooral belangrijk in situaties waarin het negeren van een goed voorbeeld ernstige gevolgen kan hebben. De berekening ervan omvat vergelijking 20.

 (20)

F1_Score: Het is een harmonisch gemiddelde van precisie (PR) en recall (R), het zorgt voor een eerlijke evaluatie, vooral in de aanwezigheid van een ongelijke klassenverdeling. De berekening omvat vergelijking 21.

(21)

ROC AUC: Area Under the Curve for Receiver Operating Characteristics (ROC AUC) kwantificeert het vermogen van het model om onderscheid te maken tussen klassen. Verhoogde AUC-waarden duiden op superieure modelprestaties. De berekening is gebaseerd op vergelijking 22.

(22)

Cohen's Kappa (CK): Deze statistiek beoordeelt de overeenstemming tussen twee beoordelaars die N items categoriseren in C die elkaar uitsluiten. Het biedt een grotere robuustheid in vergelijking met nauwkeurigheid, vooral bij het omgaan met onevenwichtige klassen. De berekening ervan omvat vergelijking 23.

(23)

Metriek Mean Absolute Error (MAE), Root Mean Squared Error (RMSE) en Mean Squared Error (MSE): Hoewel deze parameters vaak worden gebruikt voor regressietaken, kunnen ze nuttige openbaringen bieden in classificatiescenario's, met name in ordinale classificaties. Ze berekenen het verschil tussen de werkelijke en voorspelde waarden. Deze statistieken werden berekend met behulp van respectievelijk vergelijkingen 24, 25 en 26.

(24)

(25)

(26)

F2-score: De F2-score geeft prioriteit aan terugroepen boven precisie, wat waardevol is in scenario's waarin het over het hoofd zien van een positieve voorspelling hogere kosten met zich meebrengt dan het genereren van een vals positief. De berekening omvat vergelijking 27.

(27)

Precisie- en terugroepcurve: Deze grafiek laat zien hoe terugroepen en nauwkeurigheid op verschillende niveaus in evenwicht zijn. Hoe groter het gebied onder een curve, hoe hoger de niveaus van zowel recall als precisie.

De bovenstaande parameters zijn gekozen om een grondige beoordeling te geven van de prestaties van het model op alle dimensies, vooral in de context van de onbalans van de dataset en het belang van het nauwkeurig identificeren van de verschillende graden van knieartrose.

Results

Tijdens de validatiefase van het model werden verschillende belangrijke maatregelen genomen om te garanderen dat het zou generaliseren naar gegevens die nog niet waren waargenomen. In eerste instantie is de dataset onderverdeeld in trainings- en validatiesets. Dit is een veelgebruikte procedure voor het evalueren van de prestaties van het model op een dataset die niet is gebruikt tijdens de training. Door afzonderlijke datasets aan te bieden voor training en validatie, vermeed deze schei...

Discussion

De studie presenteerde een geautomatiseerde op deep learning gebaseerde techniek voor KOA-beoordeling met behulp van röntgenbeelden. Het model, dat een XceptionNet-architectuur gebruikte, vertoonde een opmerkelijke robuustheid en nauwkeurigheid in een reeks beoordelingsmaatregelen, wat suggereert dat het zou kunnen worden gebruikt in klinische omgevingen.

Naast de huidige methodologie kan externe datasetvalidatie worden gebruikt om de hypothese verder te beves...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Jupyter Notebook/Colab	Project Jupyter / Google	N/A	Voor het interactief ontwikkelen en experimenteren met modellen.
Matplotlib (Versie: 3.4.3) & Seaborn (Versie: 0.11.2)	Community	N/A	Voor datavisualisatie en resultaatplots.
Mendeley/Kaggle Data	Elsevier; Community	N/A	Datasetbron: Knee Osteoarthritis Severity Grading Dataset
OpenCV (Versie: 4.5.5)	Intel	N/A	Voor voorverwerking van röntgenbeelden (herschalen, CLAHE, Gaussiaanse filtering).
Python (Versie: 3.8)	Python Software Foundation	N/A	Programmeertaal gebruikt voor modelontwikkeling.
scikit-learn (Versie: 1.0.2)	Community	N/A	Gebaat voor het splitsen van gegevens, prestatiemetrieken en basis ML-hulpmiddelen.
TensorFlow/Keras	Google/Community	N/A	Gebaat voor het implementeren en trainen van het XceptionNet-gebaseerde deep learning model. Tensorflow Versie: 2.6.0, RRID:SCR_018932. Keras versie: 2.6.0, RRID:SCR_018961
Ubuntu OS	Canonical	N/A	Besturingssysteem gebruikt voor compatibiliteit met alle softwaretools. Versie 20.04 aanbevolen.