Geautomatiseerde gewrichtsruimtedetectie verbetert de nauwkeurigheid van botsegmentatie

Summary

De ontwikkeling van een geautomatiseerde workflow voor het detecteren van gewrichtsruimte maakte een high-throughput segmentatie van verschillende muisachterpootbotten mogelijk met >98% nauwkeurigheid bij wilde dieren. Flexibele toepassing op voorpoten en poten met inflammatoir-erosieve artritis werd bereikt, maar met verouderde prestaties die verdere optimalisatie in toekomstige studies met publiek beschikbare gegevens rechtvaardigen.

Abstract

De kwantitatieve beschrijving van complexe anatomische structuren blijft uitdagend vanwege de expertise die nodig is voor handmatige segmentatie, arbeid en variabiliteit tussen de interobservers. Om dit te overwinnen, kan geautomatiseerde detectie van specifieke herkenningspunten worden uitgevoerd met digitale beeldanalysetechnieken, waaronder deep learning (DL)-modellen. Daartoe voerden we supervisie-geautomatiseerde analyse uit van micro-computertomografie (micro-CT) datasets van muisachtige achterpoten en voorpoten. Verder dan eerder gepubliceerde semi-geautomatiseerde (SA) marker-gebaseerde waterscheidingsalgoritmen, voegden we structuurverbetering, tensorstemming en outputdilatatie toe om gezamenlijke ruimtes te identificeren. Segmentatie werd verbeterd door gebruik te maken van een DL joint space prediction model (3D U-Net architectuur, ResNet-18 backbone) waarbij wild-type (WT) achterpandelabels als grondwaarheid worden gebruikt. De voorspelling werd uitgebreid naar achterpoten en voorpoten van WT- en tumornecrosefactor-transgene (TNF-Tg) muizen met inflammatoir-erosieve artritis van beide geslachten over leeftijden. De segmentatienauwkeurigheid verbeterde aanzienlijk met behulp van de DL-methodologie. De nauwkeurigheid nam af met toenemende ernst en leeftijd van de ziekte bij TNF-Tg muizen. Vervolgtests in de voorpoten toonden ook een progressieve afname in nauwkeurigheid met toenemende ernst van artritis. Over het algemeen presteert dit begeleide geautomatiseerde model beter dan recente SA-benaderingen in gezonde gewrichten om het onderzoek naar complexe botanatomie te verbeteren. Hoewel flexibele toepassing op nieuwe en door ziekten gewijzigde datasets achterhaalde prestaties laat zien, kan gebruik toch de ontwikkeling van structuurspecifieke segmentatiemodellen katalyseren.

Introduction

Hoogwaardige beeldanalyse versterkt niet alleen onderzoeksinspanningen, maar heeft ook het potentieel om klinische radiologen te helpen bij het detecteren en kwantificeren van pathologische veranderingen, een taak die essentieel is voor de patiëntenzorg. Beeldanalyse is een gedetailleerde reeks procedures, waaronder feature-extractie, het vertalen van een anders generieke afbeelding naar betekenisvolle labels, en het afleiden van kwantitatieve metrieken¹. Veel van dit proces wordt gedreven door voorkennis, zoals het drempelstructuren op basis van dichtheid of kleur, en vervolgens het toepassen van downstream beeldverwerkingsalgoritmen (d.w.z. dilatatie, erosie, gladmaking, separatie) om de gewenste segmentatie te bereiken. Eenmaal geoptimaliseerd kunnen de gesegmenteerde beelden invoer leveren voor supervised machine learning², inclusief deep learning (DL) dat complexe kenmerken codeert en decodeert met behulp van neurale netwerken,2,3 wat resulteert in verbeterde nauwkeurigheid en doorvoer van beeldsegmentatie.

In feite heeft de implementatie van diverse 3D convolutionele neurale netwerken (CNN's) cruciale vooruitgang geboekt in geautomatiseerde botsegmentatie-algoritmen voor skeletbeeldanalyse, waarbij sommige modellen beter presteren dan menselijke segmentatie⁴. Hoewel 3D-segmentatie-CNN's via verschillende architecturen functioneren (zoals AlexNet, ResNet, UNet), zijn hun output fundamenteel hetzelfde, waarbij een beeldmasker het positief volume van bot vanaf de achtergrond aangeeft. Dergelijke deep learning-modellen in musculoskeletale beeldanalyse zijn in snelle ontwikkeling, en het vakgebied is snel overgestapt van het oplossen van eenvoudige 2D-fracturedetectieproblemen⁵ naar complexe multi-gewrichtsproblemen⁶ , met de mogelijkheid om met artefactische ruis of afwijkende kenmerken in datasets om te gaan. Zo merkten Woo et al. op dat structurele afwijkingen (zoals beenmerglaesies, botcysten) op MRI hun segmentatievoorspellingen voor het gewrichtskraakbeen in kniegewrichten verslechterden. Daarom ontwikkelden zij een segmentatiemodel dat zich bewust is van anomalieën om eerst niet-gerelateerde afwijkende structuren te identificeren, wat de segmentatie van bot en kraakbeen aanzienlijk verbeterde⁷. Hij et al. trainde 14 afzonderlijke modellen, elk gebaseerd op een ROI van belangrijke handgewrichten, om skeletleeftijd te schatten en integreerde vervolgens hun output om voorspellingen van handröntgenfoto's te verbeteren, in plaats van de volledige handstructuur^te gebruiken. Evenzo is aangetoond dat het opnemen van context in modellen, zoals regionale segmentatiekenmerken en globale anatomische relaties, voorspellingen verbetert. Het gebruik van multi-regio CNN's om context te bieden over verwachte segmentatiekenmerken verbetert ook de beoordeling van de skeletvolwassenheid in handröntgenfoto's door het classificatieprobleem te beperken tot anatomisch geschikte locaties⁹. Aanvullende vooruitgangen zijn onder meer SVTNet met CNN-gebaseerde botsegmentatie, gevolgd door verdere verwerking door vision transformer-modellen om globale informatie vast te leggen over de ruimtelijke relatie tussen gesegmenteerde interessegebieden om kwantitatieve uitkomsten zoals botleeftijd¹⁰ te schatten.

Zoals aangetoond in deze segmentatiebenaderingen richt artritisonderzoek zich op het articuleren van oppervlakken tussen twee of meer botten, waarbij methoden voor botscheiding cruciaal zijn voor een succesvolle evaluatie van differentiële pathologische processen in complexe gewrichten. Vooruitgang in beeldverwerkingsalgoritmen heeft een opmerkelijk nut aangetoond in het verhogen van de analytische doorvoer van nauw aangrenzende carpale of tarsale botten^11,12. Echter, beperkte adoptie door onnauwkeurigheden die gebruikersinterventie vereisen en moeilijkheden bij vertaling naar verschillende structuren benadrukt de noodzaak van de implementatie van geoptimaliseerde workflows. Deze meerstapsprocessen kunnen enorm profiteren van discrete tools voor beeldverbetering (bijvoorbeeld botranddetectie¹³). Naast strikt morfologische operaties hebben andere studies registratiegebaseerde technieken geïmplementeerd waarbij gebruikmaken van de typische betrouwbaarheid en consistentie in anatomie voor structuuridentificatie ^14,15,16,17. Het alternatief van handmatige invoer om grondwaarheidslabels te genereren is duur en omslachtig, maar kan even succesvol zijn, waarbij gebruik essentieel kan zijn in ingewikkelde, nauw in elkaar grijpende botten met minder discrete grenzen (bijv. schedel¹⁸). Evenzo vertonen alternatieve beeldvormingsmethoden met variabiliteit in meerdere kleuren/tinten, zelfs binnen een discrete structuur, zoals magnetische resonantiebeeldvorming (MRI 19,20,21) of weefselhistologie ²², ook complexiteit die kan profiteren van initiële handmatige segmentatie om geautomatiseerde processen te sturen. Samen kunnen deze methoden extra voordelen bieden door verdere automatisering te stimuleren, waarbij uitkomsten dienen als trainingsdatasets om DL-benaderingen te implementeren. De voordelen van segmentatieautomatisering zijn talrijk, maar vooral deze methoden maken gedetailleerde ruimtelijk relevante kwantitatieve meetwaarden mogelijk, waaronder regionaal/botspecifieke erosieve volumeveranderingen 23,24,25,26 en het identificeren van gebieden met een hoge vatbaarheid voor schade ²⁷.

Hier bouwen we voort op gevestigde semi-geautomatiseerde (SA) segmentatiemethoden voor de achterpoot^{van muis 12} met verbeteringen in beeldverwerkingsalgoritmen in combinatie met ground truth bone segmentaties²⁸ om DL-modellen te trainen voor detectie van gewrichtsruimte. Deze nieuwe analytische strategie toonde een aanzienlijk verbeterde nauwkeurigheid in individuele botsegmentatie van achterpoten, wat de handmatige inspanningen voor het corrigeren van segmentatiefouten^{verminderde om} de verwerking van downstream kwantitatieve metrics te versnellen. We tonen ook het potentieel aan voor de implementatie van deze technische vooruitgang in nieuwe structuren, waaronder voorpoten en achterpoten met ernstige erosieve artritis. Omdat handmatige segmentatie tijdrovend is en een hoog niveau van expertise vereist,^kunnen vergelijkbare strategieën om sequentieel semi-geautomatiseerde en geautomatiseerde segmentatie te gebruiken om verbeterde invoerfilters te produceren, de drempel voor het ontwikkelen van hoogwaardige CNN's voor specifieke toepassingen verlagen. De bijbehorende methoden ontwikkeld in Amira-software (Supplementary File 1) en de relevante datasets worden openbaar beschikbaar gesteld ter ondersteuning van adoptie en samenwerking in verdere onderzoeksprojecten^28,29.

Protocol

Alle dierproeven werden uitgevoerd volgens IACUC-protocollen die zijn goedgekeurd door het University Committee for Animal Resources van het University of Rochester Medical Center.

Diermodellen
De muizen werden gehuisvest in een door AAALAC geaccrediteerd vivarium. In totaal werden 19 muizen gebruikt voor de beschreven experimenten, waaronder 4 wildtype (WT) mannetjes, 4 WT-vrouwelijke, 4 TNF-transgene (TNF-Tg) mannelijke muizen en 7 TNF-Tg vrouwelijke muizen, met longitudinale maandelijkse beoordelingen. TNF-Tg muizen (3647 lijn, C57BL/6 genetische achtergrond³⁰) werden aanvankelijk verkregen van Dr. George Kollias met voortgezet onderhoud aan de University of Rochester. De TNF-Tg muizen werden gefokt als heterozygoten, waarbij WT-muizen als controles dienden als nestgenoot. Genotypering voor het TNF-transgeen werd uitgevoerd met behulp van de volgende primersequenties: TNF-Tg Forward: 5-TAC-CCC-CTC-CTT-CAG-ACA-CC-3; TNF-Tg Achteruit: 5-GCC-CTT-CAT-AAT-ATC-CCC-CA-3.

TNF-Tg-muizen ontwikkelen chronische, progressieve en spontane inflammatoir-erosieve artritis³¹ met een snellere aanvang van gewrichts- en extra-articulaire manifestaties bij vrouwelijke muizen, wat leidt tot vroege sterfte rond 5-6 maanden³² jaar. Daarom werden extra muizen toegewezen aan de TNF-Tg vrouwelijke cohort. Aangegeven in eerdere beschrijvingen van deze studiecohort²³, n=2 TNF-Tg vrouwen stierven vóór voltooiing van de studie, n=1 vóór 4 maanden, en n=1 vóór 5 maanden. Omdat de TNF-Tg muizen een goed vastgestelde asymmetrische ziekteprogressie vertonen bij^{achterpoten 33,34}, werden individuele ledematen als de meeteenheid beschouwd (2 voorpoten en 2 achterpoten per dier).

Micro-CT beeldcollectie
Micro-CT-datasets werden verzameld zoals eerder beschreven ^12,23. Kort gezegd werden de muizen geplaatst in een Derlin-plastic en heldere acrylbuis met 1%-3% isoflurane-anesthesie voor beeldvorming met een micro-CT onder de volgende parameters: 55 kV, 145 μA, 300 ms integratietijd, 2048 x 2048 pixels, 1000 projecties over 180°, resolutie 17,5 μm isotrope voxels. Voor de veiligheid bij het gebruik van isofluraan werd de juiste persoonlijke beschermingsmiddelen (nitrilhandschoenen, laboratoriumjas of -jas, veiligheidsbril) gebruikt, en de isoflurane-vaporizer werd in een dampkap gehouden met een houtskoolfilter om gasvormig afval op te vangen met goed afgesloten slangen voor continuïteit in het afvoersysteem. De verdampte isofluraan werd gebruikt voor anesthesie-inductie in een afgesloten kamer, waarna de anesthesie werd gehandhaafd door continue isofluranestroom in een muisneusconus in de micro-CT-machine. Zowel de achterpoten als de voorpoten werden aan elkaar geplakt voor stabilisatie tijdens beeldvormingssessies. Elke dataset werd verzameld in ongeveer 30-45 minuten (in totaal 60-90 minuten) met gegevens van achterpoot en voorpoot afkomstig van dezelfde dieren en tijdstippen. De muizen werden maandelijks onderzocht, beginnend vanaf 2 maanden oud tot 5 maanden oud (vrouwtjes, TNF-Tg met vroege sterfte³²) of 8 maanden (mannetjes). Delen van de voor deze studie gebruikte achterpootgegevens waren eerder gepubliceerd (WT:^12,35; WT en TNF-Tg:²³) en zijn openbaar beschikbaar op²⁸. De gegevens van de voorpoot werden voor deze studie openbaar beschikbaar gesteld²⁹.

Joint space segmentatie-algoritme met deep learning-facilitatie
Eerder werd een high-throughput SA-beeldverwerkingsalgoritme ontwikkeld om de individuele botten van de complexe achterpoot bij muizen (30-31 botten) te segmenteren^{, dat} een kader bood om individuele biomarkers van inflammatoir-erosieve artritisprogressie te onderzoeken met behulp van Amira-software²³. Deze basismethode voor SA-segmentatie maakte gebruik van een marker-gebaseerd watershed algoritme³⁶ voor scheiding bij botgrenzen. Het op markers gebaseerde waterscheidingsalgoritme scheidt verschillende objecten in een afbeelding door pixelwaarden te behandelen als lokale topografie op basis van door de gebruiker gedefinieerde markers. Deze botspecifieke markers werden op een SA-manier gegenereerd via verschillende beeldverwerkingsstappen, waaronder zwarte hoge hoed (BTH), om lokale gebieden met grote dichtheidsveranderingen te markeren, zoals botranden en articulaties. Samen creëerde deze benadering een geërodeerde versie van elk individueel bot, die vervolgens werd uitgebreid tot de botranden door het aanbrengen van een binair grensmasker. Hoewel de waterscheidingsmethode verbeterde ten opzichte van het eerdere gebruik van handmatige contouring, was de nauwkeurigheid (botten correct gesegmenteerd / totaal aantal botten) ongeveer 80% per dataset vanwege lage contrastruis die leidde tot overbrugde gewrichtsgebieden (oververbindende botten; 2+ botten als één materiaal) of randmisidentificatie (oversplijting van botten; 1 bot als 2+ materialen). Daarom vereiste de SA-markergeneratie voor de stroomgebiedbenadering consistente en frequente handmatige correctieprocedures¹² om een bron van goudstandaardlabels ^23,28 te ontwikkelen.

De ontwikkeling van het DL-model voor botgewrichtsvoorspelling was gebaseerd op de architectuur van een 3D U-Net met een ResNet-18 backbone. De training verliesfunctie was Dice, de validatiemetriek was intersection over union (IoU), de gradient descent gebruikte Adam-optimalisatie met een initiële leersnelheid van 0,0001, en gewichten werden willekeurig geïnitialiseerd. Het model werd getraind met 20 WT-datasets (40 achterpoten) met gelijke geslachts- en leeftijdsverdeling (van 2-6 maanden), elk verdeeld in 6 subvolumes (3 per achterpoot) van 200 x 200 x 200 voxels met een 25% gerandomiseerde validatieset van subvolumes (30 validaties, in totaal 120) om overfitting te voorkomen. Deze 3D-tegels waren gelijkmatig geplaatst op de tarsalen, distale kootjes en achtergrondgebieden. De trainingspatchmaat was vastgesteld op 96 x 96 x 96 voxels (Aanvullende Figuur 1). Het model werd meer dan 500 tijdperken getraind en duurde ongeveer 6 uur. Ground truth joint-regio's werden verkregen via een automatisch recept van ground truth-labels, waarbij labelinterfaces werden uitgebreid met een 3D-dilatatiegrootte van 5 voor zowel dikte als extent.

In combinatie met de voorspelling van de gewrichtsruimte DL werden verschillende beeldverwerkingsstappen geïmplementeerd om de identificatie van gewrichtsruimte en botsegmentatie te versterken. Deze strategieën omvatten het gebruik van de BTH-methode gecombineerd met structuurverbetering³⁷, membraanversterking en tensorstemming³⁸ om de continuïteit van de gewrichtsruimte te versterken door membraangapen te beperken. Samen versterken deze benaderingen de gewrichtsruimtes voor botscheiding om het segmentatielek tussen aangrenzende botten te beperken, wat vervolgens oververbindingsfouten veroorzaakt terwijl het waterscheidingsalgoritme zich over meerdere botten verspreidt. Het eindresultaat scheidt en segmenteert originele micro-CT-datasets in botspecifieke labels.

Hieronder wordt een gedetailleerd stapsgewijs protocol van de DL-gefaciliteerde segmentatiemethode gegeven.

Stap 1: Open Amira-software (vereist een persoonlijke of institutionele licentie). Stap 2: Open het tabblad Python, selecteer Maak nieuwe Python-omgeving aan met omgevingsnaam: deep-learning-environment-2022_2. Cheque Installeer deep learning-pakketten. Stap 3: Herstart de software, open het Python-tabblad, selecteer de gebruikersomgeving deep-learning-omgeving-2022_2. Stap 4: Open data - DICOM-stacks kunnen worden geladen door alle individuele DICOM-bestanden te selecteren of .am-bestanden te openen die ingesloten DICOM-stacks bevatten, indien beschikbaar. Stap 5: Pas de Deep Learning Prediction-module toe op het geïmporteerde dataobject met de volgende details:
Data: Geïmporteerd dataobject
Architectuur: .json bestand (Aanvullend Dossier 2)
Gewichten: .hdf5-bestand (Aanvullend Dossier 3)
Betegeling: handmatig - optimalisatie mogelijk door de pixelgrootte van tegeling te verkleinen en de tegeloverlap zoveel mogelijk te vergroten, afhankelijk van de computationele hardware. De module zal falen als de verwerkingsvereisten onvoldoende zijn. Zorg ervoor dat in Edit, Preferences, Large Data geheugentoewijzing voor de software zo veel mogelijk wordt gemaximaliseerd.
Tegelbreedte, hoogte, diepte: 352 pixels
Betegelingsoverlap: 0 pixels
Stap 6: Apply Image Recipe Player, klik met de rechtermuisknop Het Projectgebied zonder een specifiek dataobject te targeten. Voer het volgende in/beoordeel het volgende:
Open recept: .hxisp-bestand (Aanvullend Dossier 4)
Data: Geïmporteerd dataobject
Invoerverbindingen: Resultaat van Stap 5 (Deep Learning Voorspelling)
Intensiteitsbereik van stap 3: 2500 - 20000
Stap 7: Evalueer het resulterende verwerkte dataobject dat de uiteindelijke segmentatie bevat - zorg ervoor dat je Colormap aanpast naar Labels256 om het totaal aantal individuele segmentaties te waarderen (standaard is slechts 8 kleuren). Voor 2D: Ortho Slice aanbrengen en voor 3D: volume rendering toepassen. Details over het ingesloten recept (BTH+DL+SEF+MEF_D2.hxisp) toegepast in de onderstaande stap Image Recipe Player (Aanvullend Dossier 5). Let op dat in Image Recipe Designer individuele stappen kunnen worden gevisualiseerd en geëxporteerd indien nodig om stappen voor optimalisatie in bepaalde datasets te evalueren. In het protocol worden specifieke stappen gemarkeerd die aangepast moeten worden voor elke unieke toepassing, omdat deze afhankelijk zijn van beeldvormingsoutput (d.w.z. dichtheid) en/of grootte van objecten (d.w.z. botten):
Stap 1: Pas het mediaanfilter toe met Data: Geïmporteerd dataobject; Interpretatie: 3D; Buurt: 26; Iteraties: 3; Type: Iteratief.
Stap 2: Pas Drempel toe - deze stap vereist optimalisatie afhankelijk van datasets en de specifieke drempel die het object van interesse target, in dit geval het bot met Data: Resultaat van Stap 1 (Mediaan Filter); Intensiteitsbereik: 2500 - 20000.
Stap 3: Sluit toe - deze stap vereist optimalisatie afhankelijk van de grootte van de gewrichtsruimtes tussen botten met Data: Resultaat van Stap 1 (Mediaanfilter); Type: Kubus; Interpretatie: 3D; Buurt: 26; Pixelgrootte: 3.
Stap 4: Pas beeldrekenkunde toe met Input A: Resultaat van stap 3 (Afsluiten); Invoer B: resultaat van stap 1 (mediaanfilter); Resultaatkanalen: zoals invoer A; Uitdrukking: A-B.
Stap 5: Pas drempel toe met data: resultaat van stap 4 (Beeldrekenkunde); Intensiteitsbereik: 750 - 20.000.
Stap 6: Pas beeldrekenkunde toe met Input A: Resultaat van stap 2 (Drempelwaarde); Invoer B: Resultaat van stap 5: (Drempelwaarde); Resultaatkanalen: zoals invoer A; Expressie: A-(B>0)
Stap 7: Pas Structure Enhancement Filter toe met Inputafbeelding: Geïmporteerd dataobject; Interpretatie: 3D; Tensortype: Hessian; Standaarddeviatie min/max: 1 - 3 pixels; Standaarddeviatiestap: 1 pixel; Contrast: Donker; Structuurtype: Vlak.
Stap 8: Pas automatische drempel toe met Inputafbeelding: Resultaat van stap 7 (Structure Enhancement Filter); Type: Auto Threshold High; Interpretatie: 3D; Modus: Min-max; Criterium: Factorisatie.
Stap 9: Pas membraanverbeteringsfilter toe met Data: Geïmporteerd dataobject; Uitvoerselectie: Planeness Tensor Voting; Tensorstem-schaal: 3 pixels; Verdichtingsschaal: 3 pixels; Type: Ridge
Contrast: Donker; Schaal: 1 pixel.
Stap 10: Pas automatische drempel toe met Inputafbeelding: Resultaat van stap 9 (Membraanversterkingsfilter); Type: Auto Threshold High; Interpretatie: 3D; Modus: Min-max; Criterium: Factorisatie.
Stap 11: Pas dilatatie toe - deze stap vereist optimalisatie afhankelijk van de grootte van de gewrichtsruimtes - met Invoerafbeelding: Resultaat van Stap 10 (Automatische Drempelwaarde); Type: Bal; Interpretatie: 3D; Grootte: 1 pixel; Precisie: Sneller.
Stap 12: Pas beeldrekenkunde toe met Invoer A: Resultaat van Stap 11 (Dilatatie); Invoer B: resultaat van stap 8 (automatische drempelwaarde); Invoer C: Resultaat van deep learning-voorspelling; Resultaatkanalen: zoals invoer A; Uitdrukking: A||B||C.
Stap 13: Verwijder kleine vlekken met invoerafbeelding: Resultaat van stap 12 (Afbeeldingsrekenkunde); Interpretatie: 3D; Grootte: 500 pixels.
Stap 14: Beeld Rekenkunde toepassen met invoer A: Resultaat van stap 13 (Verwijder kleine vlekken); Invoer B: Resultaat van stap 6 (Beeldrekenkunde); Resultaatkanalen: zoals invoer A; Uitdrukking:! A*B.
Stap 15: Pas toe Verwijder Kleine Vlekken met Invoerafbeelding: Resultaat van Stap 14 (Afbeeldingsrekenkunde); Interpretatie: 3D; Grootte: 500 pixels.
Stap 16: Label toepassen met invoerafbeelding: resultaat van stap 15 (Verwijder kleine plekjes); Interpretatie: 3D; Buurt: 26.
Stap 17: Pas het Afbeeldingstype Converteren toe met Data: Resultaat van Stap 1 (Mediaanfilter); Uitvoertype: 16-bit ongesigneerd; Normalisatiemodus: Schaalverdeling; Schaalvergroting: Schaal 3, offset 2000.
Stap 18: Pas marker-gebaseerd waterscheidingsgebied aan in het masker met data: resultaat van stap 17 (Afbeeldingstype omzetten); Markers: Resultaat van Stap 16 (Labelen); Binair masker: resultaat van stap 6 (beeldrekenkunde); Splittype: Lage Intensiteit.

Segmentatiemethode-testen en kwantificatie
De segmentatiemethode werd getest door het genereren van een recept dat de DL-gewrichtsvoorspelling combineerde met het downstream beeldverwerkingsrecept in een intensiteitsbereik van 2500 - 20000 Hounsfield-eenheden. Receptgeneratie maakte batchverwerking mogelijk (Apply a Recipe on a Batch of Files) van de originele micro-CT datasets (.am-bestandsformaat als afbeeldingstack, opgeslagen na import van de initiële .dcm bestanden in Amira). Computerhardware bevatte 16 cores van een Intel Xeon Gold 5218 centrale verwerkingsunit (CPU) op 2,30 GHz, 128 GB dubbele datasnelheid vierde generatie (DDR4) foutcorrectiecode (ECC), willekeurig toegangsgeheugen (RAM) bij 2666 megatransfers (MT)/s, en 24 GB virtuele grafische verwerkingseenheid (vGPU/VRAM) op een 64-bits besturingssysteem met Windows 10 (besturingssysteembouw: 19044.4780). Elke achterpootdataset (2 achterpoten) werd gesegmenteerd in ongeveer 32,7 ± 8,42 minuten (gemiddelde ± standaarddeviatie) zonder tussenkomst van de gebruiker. Dit wordt vergeleken met het vorige SA-model, waar segmentatietijd afhankelijk was van de gebruikerservaring, met beginnende gebruikers op 40,5 ± 9,06 minuten per dataset en ervaren gebruikers op 19,3 ± 5,34 minuten per dataset (alleen WT-datasets, inclusief correctie van segmentatiefouten)¹². Zowel DL- als SA-methoden tonen opmerkelijke verbeteringen ten opzichte van eerdere goudstandaard handmatige contouring voor segmentatie met 190,6 ± 30,4 minuten per dataset door een ervaren gebruiker (uitgevoerd met conventionele Scanco-analyse)¹². Voorpootdatasets (2 voorpoten) werden in ongeveer 53,4 ± 23,6 minuten gesegmenteerd zonder tussenkomst van de gebruiker, waarbij een verlengde segmentatietijd kan worden toegeschreven aan extra structuren binnen de oorspronkelijke beeldvormingsdatasets (d.w.z. ruggengraat en ribben), die niet aanwezig zijn in de meer distaal geïsoleerde achterpoten en de segmentatietijd opblaast bij afwezigheid van voorafgaande volumebewerkingsstappen.

Kwantificering van nauwkeurigheid werd uitgevoerd door visuele inspectie (HMK) om de juiste segmentatie of fouttype te identificeren op basis van de verwachte botanatomie (Hindpaw:^12,39; Voorpoot: ⁴⁰). De nauwkeurigheid werd berekend als een percentage door:

waarbij ware positieven correct gesegmenteerde botten waren, ware negatieven gelijk aan 0 (er zijn geen omstandigheden waarin botten zouden moeten ontbreken en achtergrond niet relevant was voor kwantificatie), valse positieven waren overgespleten botten, en valse negatieven oververbonden botten. Nauwkeurigheid werd als een geschikte kwantitatieve maatstaf beschouwd gegeven het single-class probleem (d.w.z. het identificeren van gezamenlijke ruimtes), en echte negatieven (d.w.z. achtergrond) droegen niet bij aan nauwkeurigheidsberekeningen, waardoor het risico op overschatting van prestaties afnam. De geautomatiseerde segmentatiemethode bevat geen botbenaming; De botnamen worden later handmatig door de gebruiker gekoppeld aan gesegmenteerde materialen.

Evaluatie van de achterpoten die bij deze studie betrokken waren, heeft de vaste fusie in de tarsalen van de naviculaire en laterale spijkerschrift (NAVLAT) bij C57BL/6 muizen⁴¹ bevestigd, en bovendien vastgesteld dat de aangrenzende intermediaire spijkerschrift (INT) ook variabel kan zijn samengevoegd met de NAVLAT-structuur (NAVLATINT)^12,39. Vergelijkbare variabele fusie werd gewaardeerd in het carpale gebied van de voorpoten, waar de trapeziumbotten (ZOID; kleinere multangulaire) en centrale (CENT) botten zich kunnen presenteren als een enkele samengevoegde structuur (CENTZOID) of onderverdeeld kunnen zijn in hun individuele botten, vooral bij de voorpoten. Aanvullende carpale botten die onderzocht werden op segmentatienauwkeurigheid waren onder andere het trapezium (ZIUM; greater multangular), capitate (CAP), hamate (HAM), triquetrum (TRI; triangular), pisiform (), scaphoid (naviculair)/lunate (SCAPHATE; vaste fusie) en falciformis (FALC). De voorpoot-metapoten (MET-F; 1-5), proximale vingertoppen (PP-F; 1-5), distale vingertoppen (DP-F; 2-5) en sesamoïden (S-F; 1-10) zijn genummerd van lateraal naar mediaal, in tegenstelling tot achterpoot-tegenhangers (middenvoetsbeentje (MET-H), PP-H, DP-H en S-H), die medial tot lateraal¹² zijn genummerd. Naast NAVLATINT werden extra tarsale botten onderzocht op achterpoten, zoals eerder beschreven^12,23, waaronder de calcaneus (CALC), cuboid (CUB), mediale spijkerschrift (MED), talus (TAL) en tibiale (TIB). Let op dat de algehele cohortnauwkeurigheidskwantificaties licht variëren bij het vergelijken van de beoordeling van de gemiddelde nauwkeurigheid per dataset met een variabel aantal botten door anatomische fusies versus de nauwkeurigheid berekend op basis van het totaal aantal individuele botten.

Statistische analyse
Statistische analyse, waaronder 3-weg of 2-weg mixed-effects analyse met interactie-effecten of Sidak's meervoudige vergelijkingen en Fishers exacte test, werd uitgevoerd zoals nodig in GraphPad Prism (v10.2.0; San Diego, CA, VS). Mannetjes (2-8 maanden) en vrouwen (2-5 maanden) werden afzonderlijk geanalyseerd, met de verschillende evaluatieperiodes gebaseerd op vroege TNF-Tg vrouwelijke sterfte³². De steekproefgroottes van de WT-achterpoten die worden gebruikt voor training/validatie en methodologische tests worden weergegeven in Aanvullende Tabel 1, samen met steekproefgroottegegevens voor geteste WT- en TNF-Tg-achterpoten en voorpoten in Aanvullende Tabel 2, Aanvullende Tabel 3 en Aanvullende Tabel 4. Omdat bepaalde tijdstippen voor WT-achterpotentesten nauwkeurigheidsevaluatie voor <3 achterpoten bevatten, werden interactie-effecten gerapporteerd zonder post-hoc meervoudige vergelijkingen in analyses die WT-achterpoten omvatten. Hele of delen van de achterpoten werden weggelaten bij de analyse als er beeldfouten waren bij onvolledige vangst van de poot, aanzienlijke bewegingsartefacten waardoor de scans onleesbaar waren, en/of als het dier stierf vóór een geplande beeldvormingssessie, aangezien alle gegevens in vivo werden verzameld.

Results

De implementatie van geautomatiseerde identificatie van gewrichtsruimte verbetert de nauwkeurigheid van botsegmentatie
Gezien de heterogeniteit van botvorm en -architectuur in complexe structuren zoals de muisachtpoot, bouwen we voort op ons systematische beeldverwerkingsalgoritme¹² tot DL trainingsvoorspellingen (blauw) in combinatie met beeldverwerkingsstappen voor robuuste identificatie van inter-bot gewrichtsruimtes in micro-CT-datasets (Figuur 1A-B; proces hieronder beschreven en weergegeven in aanvullende figuur 1). De identificatie van ruimtes tussen botten maakte precieze botscheiding en segmentatie van individuele achterpootbotten mogelijk (afzonderlijke kleuren; Figuur 1C). Voor de DL-component bestonden de trainings- en validatiedatasets (WT) uit gelijke leeftijden (2-6 maanden oud, n=8 achterpoten per leeftijd) en geslacht (n=20 achterpoten per geslacht). De overige WT-achterpoten (n=44, van 2-8 maanden oud, exclusief 6 maanden omdat ze allemaal werden gebruikt voor training en validatie) dienden als testdatasets om de nauwkeurigheid van botsegmentatie te kwantificeren (Figuur 1D). Er waren 2 WT-mannelijke achterpoten bij 2 maanden en 2 WT-vrouwelijke achterpoten bij 3 maanden die weggelaten werden weggelaten door beeldvormingsfouten (Aanvullende Tabel 1).

Naast de implementatie bij WT-achterpoten testten we ook de geautomatiseerde segmentatiemethode op achterpoten van TNF-Tg-muizen (n=56 mannelijke achterpoten, n=48 vrouwelijke achterpoten) met spontane inflammatoire-erosieve artritis. Er waren 4 TNF-Tg vrouwelijke achterpoten op zowel 4 als 5 maanden die werden weggelaten door beeldvormingsfouten of vroegtijdige dood vóór het eindpunt na 5 maanden (Aanvullende Tabel 2). Het nieuwe segmentatie-algoritme detecteerde automatisch de gewrichtsruimtes (blauw, links) voor individuele botafscheiding (kleuren, rechts) over beide geslachten en genotypen (Figuur 2A-D). Voor segmentatienauwkeurigheid van individuele botten, weergegeven in Aanvullende Tabel 5 en Aanvullende Tabel 6, presteerde WT beter dan TNF-Tg datasets voor zowel mannen (WT 98,4% versus TNF-Tg 93,1%, p<0,0001) als vrouwen (WT 98,7% versus TNF-Tg 92,1%, p<0,0001). De foutbron werd visueel aangetoond als onvolledige sluiting van gewrichtsruimtes (pijlen in wit gestippelde doos), waardoor per ongeluk twee verschillende botten oververbonden werden tot één segmentatie (Figuur 2C-D). Deze oververbonden fouten die bij TNF-Tg achterpoten worden aangetoond, kunnen gevolgen zijn van chronische schade die leidt tot gewrichtsfusie, waarbij de ruimte tussen de botten niet meer bestaat. Sterker nog, het verschil in nauwkeurigheid tussen WT- en TNF-Tg-datasets wordt in de loop van de tijd duidelijker naarmate de artritisernst toeneemt (Figuur 2E-F), vooral in de tarsale botten (Figuur 2G-H, geel = verhoogde nauwkeurigheid, groen = verminderde nauwkeurigheid) die doorgaans dienen als betrouwbare biomarkers voor het voortschrijden van boterosie²³. Echter, vergeleken met onze eerdere SA-segmentatiebenadering, was er een opmerkelijke verbetering in de algehele nauwkeurigheid van de datasets (Figuur 2E-F; WT mannen: SA 79,39% ± 5,73% versus DL 98,16% ± 1,47%, p<0,0001; WT vrouwelijk: SA 79,16% ± 4,84% versus DL 99,19% ± 1,63%, p<0,0001), wat de robuuste methodologische vooruitgang zowel in automatisering als betrouwbaarheid aantoont. Ons nieuwe strategisch model voor segmentatie van achterpootbotten met DL-gefaciliteerde gewrichtsruimteidentificatie biedt dus een significant verhoogde segmentatienauwkeurigheid in WT-datasets (>98%) vergeleken met eerdere SA-methoden (~79%), maar met iets minder prestaties wanneer toegepast op achterpoten met inflammatoir-erosieve artritis (92%-93%).

Flexibele toepassing van de segmentatiemethode op voorpoten benadrukt uitgesproken gewrichtsbeschadiging en botfusies bij TNF-Tg-muizen, met een snelle vermindering van de segmentatienauwkeurigheid
We breidden de toepassing van de nieuwe segmentatiemethode verder uit op muisvoorpoten (n=55 WT mannelijke voorpoten, n=29 WT vrouwelijke voorpoten, n=54 TNF-Tg mannelijke voorpoten en n=50 TNF-Tg vrouwelijke voorpoten) met unieke botgrootte en anatomie. Er was 1 voorpoot bij 4 maanden van het WT-mannetje, 1 voorpoot op 4 maanden en 2 voorpoten op 5 maanden voor het WT-vrouwtje, 2 voorpoten op 3 maanden voor het TNF-Tg mannetje, en 2 voorpoten op 4 maanden en 4 voorpoten op 5 maanden voor het TNF-Tg vrouwtje, die werden weggelaten vanwege beeldvormingsfouten of vroegtijdige dood vóór het eindpunt. Daarnaast was er een gedeeltelijke beeldvormingsfout voor 1 voorpoot bij 3 maanden bij het WT-vrouwtje, waarbij DP-F3, PP-F3, DP-F4 en PP-F4 werden weggelaten (Aanvullende Tabel 3 en Aanvullende Tabel 4). Voor oriëntatie geven we een model van de WT-voorpoot met elk individueel bot gescheiden door kleur en botspecifieke nomenclatuur, aangegeven vanuit verschillende gezichtspunten (Figuur 3). Eerdere onderzoeken bij TNF-Tg-muizen richtten zich voornamelijk op de achterpoot, terwijl we hier de architectuur van muisvoorpoten bij zowel WT- als TNF-Tg-muizen demonstreren. We benadrukken vooral de carpalen (gele streepvormige cirkel) en sesamoïden (blauwe streepvormige cirkel) die visueel diepgaande erosieve ziekten vertonen, vooral bij TNF-Tg vrouwen (Figuur 4A-D). Als zodanig toonde de vergelijking van de segmentatienauwkeurigheid van achterpoot en voorpootsegmentatie een duidelijke afname van de voorpoten (poottype-effect p<0,0001), voornamelijk veroorzaakt door de sterke achteruitgang van botintegriteit met verhoogde leeftijd en ziekteernst in TNF-Tg-datasets (Figuur 4E-F; paw x genotype effect p=0,0083; mannelijke voorpoten: WT 87,29% ± 2,07% versus TNF-Tg 72,65% ± 11,70%, p<0.0001). Net als bij achterpoten is de afname in de nauwkeurigheid van TNF-Tg-segmentatie met veroudering en ziekteernst sterker bij de carpalen, samen met de sesamoïden (Figuur 4G-H, Aanvullende Tabel 7 en Aanvullende Tabel 8). Deze regionale botpathologie kan worden veroorzaakt door verhoogde erosieve activiteit bij de aangrenzende articulatie van het MET-F en PP-F (metacarpofalangeale gewricht). Evaluatie van het fouttype toonde aan dat TNF-Tg voorpoten doorgaans een hoger aandeel volledig geërodeerde botten vertonen dan achterpoten (aanvullende figuur 2, rood als ontbrekend). Hoewel het zeker representatief is voor de progressieve ernst van artritis, kan het ontbreken van botten in TNF-Tg voorpoten ook een beperking in beeldresolutie aantonen. De ernstige erosie bij TNF-Tg voorpoten wordt verder aangetoond door representatieve beelden door de tijd heen die het carpale gebied (witte pijlen) en de progressieve volledige ontwrichting van de poot van de onderarm (gele pijlen) benadrukken, vooral bij TNF-Tg vrouwtjes (aanvullende figuur 3). Dus toonde de flexibele toepassing van de geautomatiseerde botsegmentatiemethode op unieke structuren van de voorpoot opmerkelijke prestaties in WT-datasets (~87%) met vergelijkbare nauwkeurigheid in TNF-Tg voorpoten met inflammatoir-erosieve artritis (67%-72%).

Beschikbaarheid van gegevens:
Zoals beschreven in de sectie micro-CT beeldverzameling, werden de achterpootgegevens eerder gepubliceerd^op 12,23,35 en zijn ze openbaar beschikbaar om https://doi.org/10.5281/zenodo.11191782²⁸. De gegevens voor nauwkeurigheidskwantificatie in de SA-segmentatiemethode voor WT¹²- en TNF-Tg^23-datasets werden hergebruikt voor directe vergelijking met het hier beschreven nieuwe DL-model. Er werden geen specifieke gegevens uit de aanvullende eerdere studie gebruikt.³⁵ werden hergebruikt, maar dezelfde achterpootdatasets die openbaar beschikbaar zijn,²⁸ werden ook gebruikt. Aanvullende details over licenties en herbestemming van gegevens worden hieronder gegeven. Voor de doeleinden van de beschreven studie zijn de bijbehorende gegevens over de voorpoot ook openbaar beschikbaar gesteld in de Zenode-repository (https://doi.org/10.5281/zenodo.14865639)²⁹.

De nauwkeurigheidsgegevens voor de SA-segmentatiemethode WT-datasets¹² werden hergebruikt in Figuur 2. Hergebruik van dit materiaal is beschermd door de Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode. Als auteurs van het geraadpleegde werk behouden wij het recht om andere afgeleide werken te maken via Auteursrechten van Elsevier https://beta.elsevier.com/about/policies-and-standards/copyright. De datapunten zijn opnieuw gevisualiseerd voor nauwkeurigheid in de loop van de tijd met TNF-Tg-tegenhangers en direct vergeleken met de hier beschreven nieuwe DL-methode.

De nauwkeurigheidsgegevens voor de SA-segmentatiemethode WT en TNF-Tg datasets²³ werden hergebruikt voor Figuur 2, en de WT- en TNF-Tg achterpootdatasets werden verder geëvalueerd voor volumetrische metingen voorheen²³. Hergebruik van het materiaal wordt beschermd door de Creative Commons Attribution License (https://creativecommons.org/licenses/by/4.0/), die onbeperkt gebruik, distributie en reproductie in elk medium toestaat, mits de oorspronkelijke auteur en bron worden vermeld. De datapunten zijn opnieuw gevisualiseerd voor beoordeling van nauwkeurigheid in de loop van de tijd en direct vergeleken met de hier beschreven nieuwe DL-methode.

Dezelfde openbaar beschikbare WT- en TNF-Tg achterpootdatasets²⁸ werden eerder verder gebruikt voor botvolumetrische metingen voor nieuwe vergelijkingen met wielloopcohorten³⁵. Hergebruik van het materiaal wordt beschermd door de Creative Commons Attribution 4.0 International License (https://creativecommons.org/licenses/by/4.0/), die gebruik, delen, aanpassing, distributie en reproductie in elk medium of formaat toestaat, mits je de oorspronkelijke auteur(s) en de bron de juiste vermelding geeft, een link naar de Creative Commons-licentie geeft en aangeeft of er wijzigingen zijn aangebracht. Dezelfde publiek beschikbare datasets^{van 28} zijn gebruikt in het huidige werk, maar zonder specifiek gebruik of wijziging van eerder gepubliceerde datapunten.

Figuur 1: Geautomatiseerde gewrichtsruimtedetectie door strategische beeldverwerking en deep learning-voorspellingen voor botsegmentatie. Muis-micro-CT-datasets met visualisatie van (A) de dorsale (boven) en plantaire (onder) oppervlakken werden verwerkt voor (B) latere geautomatiseerde identificatie van gewrichtsruimtes (blauw) met behulp van een DL-model (beschreven in Aanvullende Figuur 1) ontwikkeld uit goudstandaard botsegmentaties^12,23. (C) De uiteindelijke succesvolle botscheiding (botspecifieke kleuren) werd bereikt door een extra combinatie van beeldverwerkingsstappen, waaronder een zwarte tophoed¹², structuurverbetering³⁷ en membraanversterking met tensorstem³⁸ voor robuuste identificatie van gewrichtsruimte om individuele botten te labelen. (D) Training en validatie (n=40 achterpoten) van de DL-component werden uitgevoerd met WT muisachtige achterpoten van gelijke leeftijd (van 2-6 maanden, n=8 achterpoten per tijdstip) en geslachtsverdeling (n=20 achterpoten man/vrouwtje), waarbij een gerandomiseerde 25% van de subvolumes werd gebruikt voor validatie (3 subvolumes per achterpoot, in totaal 120 subvolumes). De overige WT-achterpoten (n=44) werden geëvalueerd als testgevallen voor verdere analyse. De combinatie van het DL-model en de beeldverwerkingsalgoritmen werd geëvalueerd met behulp van eerder gepubliceerde en publiek beschikbare datasets^23,28. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2: De implementatie van geautomatiseerde identificatie van gewrichtsruimtes met deep learning-facilitatie verbetert de nauwkeurigheid van botsegmentatie. (A-B) Na de ontwikkeling van de geautomatiseerde gewrichtsruimtedetectie hebben we het DL-model toegepast (links: blauwe gewrichtsruimtes; rechts: botspecifieke segmentatiekleuren) op de overige testgevallen voor WT-mannen en vrouwen. (C-D) We beoordeelden ook de prestaties bij leeftijdsgematchte cohorten (mannetjes: 2-8 maanden; vrouwen: 2-5 maanden) van TNF-Tg-muizen met progressieve inflammatoir-erosieve artritis geassocieerd met vroege sterfte bij^{vrouwtjes van 32} jaar. Insetbeelden tonen segmentatiefouten met hoge vergroting (gestreepte vakjes) waarbij disconnecties in voorspelde gewrichtsruimtes (witte pijlen) leiden tot een lek in botlosie, wat resulteert in oververbonden botsegmentatiefouten. (E-F) Let op dat het 6-maanden mannelijke tijdstip werd weggelaten omdat alle WT-datasets werden gebruikt voor training en validatie, waardoor ze niet werden opgenomen in de DL-testcohort. Vergeleken met onze eerdere SA-segmentatie-algoritmen^12,23 was de segmentatienauwkeurigheid (botten correct gesegmenteerd / totale botten) opmerkelijk verbeterd voor zowel WT- als TNF-Tg-datasets met de DL-benadering, ongeacht geslacht (gemiddelde nauwkeurigheidslijnen: effen zwart = DL WT, gestreept zwart = DL TNF-Tg, effen grijs = SA WT, streepje grijs = SA TNF-Tg). De nauwkeurigheid van TNF-Tg-segmentaties nam echter aanzienlijk af in de loop van de tijd en leidde tot progressieve gewrichtsschade vergeleken met WT, hoewel het de SA-methode bleef overtreffen. (G-H) Nauwkeurige heatmaps gespecificeerd voor botcompartimenten (T = tarsalen, MT = middenvoetsbeentjes, PP = proximale kooien, DP = distale koozen, S = sesamoïden) tonen de verhoogde foutpercentage bij TNF-Tg-muizen voornamelijk gelokaliseerd in het tarsale gebied (licht (geel) = hoog (100%), donker (paars) = lage (20%) nauwkeurigheid). Zoals vermeld, benadrukken ingelegde afbeeldingen (C-D) de bron van de fout met losstaande gewrichtsruimtes (pijlen, linkerafbeelding) die leiden tot oververbonden botten (kleuren, rechterafbeelding). In feite waren de fouten voornamelijk oververbonden (2+ botten gesegmenteerd als 1 materiaal; vermeld in aanvullende figuur 2), wat het pathologische proces van gewrichtsfusies met toenemende artritische ernst kan vertegenwoordigen. Statistieken: 3-weg mixed-effects analyse (SA versus DL; methode x genotype x tijd; E-F), tweeweg gemengde-effecten analyse (WT versus TNF; genotype x tijd; E-H); p<0,0001, **p<0,01, *p<0,05 (interactie-effecten); gegevens gepresenteerd als gemiddelde ± standaarddeviatie. Steekproefgroottes: n=34 achterpoten WT mannelijk (n=2 bij 2 maanden, n=4 bij 3 maanden, n=6 bij 4-5 maanden, n=0 bij 6 maanden [alle gegevens gebruikt voor testen], n=8 bij 7-8 maanden), n=10 achterpoten WT vrouwelijk (n=4 bij 2 maanden, n=2 bij 3-5 maanden), n=56 achterpoten TNF-Tg mannelijk (n=8 bij 2-8 maanden), en n=48 achterpoten TNF-Tg vrouwelijk (n=14 bij 2-3 maanden en n=10 bij 4-5 maanden). De gegevens die in deze figuur worden gebruikt, zijn aangepast ten opzichte van eerdere studies^12,23. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3: Flexibele toepassing van deep learning-segmentatie in de gewrichtsruimte op andere complexe structuren benadrukt de anatomie van het muisvoorpootbot. Vervolgens evalueerden we het potentieel van het DL-model voor gewrichtsruimtesegmentatie om botten automatisch te scheiden in complexere structuren buiten de achterpoot. De segmentatiemethode werd geïmplementeerd in de bijbehorende micro-CT-datasets van de voorpoot, gevisualiseerd vanaf de (A) dorsale, (B) plantaire, (C) laterale en (D) mediale oppervlakken met kleuren die individuele gesegmenteerde botten vertegenwoordigen. We identificeerden het potentieel voor nauwkeurige segmentatie van de voorpootbeenderen, waaronder duidelijke carpalen, middenhandsbeentjes (#, MET-F), proximale vingertoppen (^, PP-F), distale vingertoppen (~, DP-F), sesamoïden (gestreepte cirkels, S-F) en klauwen (*) met botspecifieke labeling die overeenkomt met de bekende voorpootanatomie⁴⁰. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 4: TNF-Tg muizen vertonen uitgesproken vernietiging van de voorpootgewrichten en botfusies met een snelle vermindering van segmentatienauwkeurigheid. (A-B) Gezien de complexiteit en kleine architectuur van muisachtige voorpoten, benadrukt door dorsale (links) en plantaire (rechts) visualisatie van micro-CT-beelden van WT mannelijke en vrouwelijke muizen, (C-D) de anatomie en bijbehorende artritis bij TNF-Tg-muizen zijn nog niet eerder onderzocht. De toepassing van onze nieuwe gewrichtsruimte DL-benadering bood een eerste kans om deze complexe structuren te evalueren door de analytische uitdagingen te verminderen met een nauwkeurigheid van >85% van WT voorpoten, hoewel met een tekortschietende nauwkeurigheid vergeleken met achterpoten (gemiddelde nauwkeurigheidslijnen: effen blauw = WT achterpoot, streepje blauw = TNF-Tg achterpoot, effen rood = WT voorpoot, streepje rood = TNF-Tg voorpoot). (E-F) Daarnaast vertoonden TNF-Tg voorpoten een snelle en dramatische afname in segmentatienauwkeurigheid door fouten die gelokaliseerd waren op de wortels (gele gestippelde cirkels in A-D) en sesamoïden (blauw gestippelde cirkels in A-D) in de loop van de tijd. (G-H) De verminderde regionale verminderingen in segmentatienauwkeurigheid worden weergegeven door heatmaps (licht (geel) = hoog (100%), donker (paars) = lage (20%) nauwkeurigheid) van botcompartimenten (C = carpalen, MC = metasemberen, PP = proximale kooien, DP = distale falangen, S = sesamoïden). Let op dat het 6-maanden mannelijke tijdstip werd weggelaten in (E), omdat alle WT-achterpootdatasets werden gebruikt voor training en validatie, en dus niet werden opgenomen in de DL-testcohort. Statistieken: 3-weg gemengde effectenanalyse (achterpoot vs voorpoot, WT vs TNF; poottype x genotype x tijd, interactie-effecten gerapporteerd; E-F), tweeweg gemengde effectenanalyse met Sidaks meervoudige vergelijkingen (WT vs TNF; genotype x tijd; G-H); p<0,0001, **p<0,01, *p<0,05; gegevens gepresenteerd als gemiddelde ± standaarddeviatie. Steekproefgroottes: n=55 voorpoten WT mannelijk (n=8 bij 2-3- en 5-8 maanden, n=7 bij 4 maanden), n=29 voorpoten WT vrouwelijk (n=8 bij 2-3 maanden, n=7 bij 4 maanden, n=6 bij 5 maanden), n=54 voorpoten TNF-Tg mannelijk (n=8 bij 2- en 4-8 maanden, n=6 bij 3 maanden), en n=50 voorpoten (n=14 bij 2-3 maanden, n=12 bij 4 maanden en n=10 bij 5 maanden). DL achterpootgegevens (E-F) gereproduceerd uit Figuur 2E-F voor aanvullende vergelijking met DL voorpootgegevens. Klik hier om een grotere versie van deze figuur te bekijken.

Aanvullende Figuur 1: Ontwikkeling en training van het deep learning-model voor gezamenlijke detectie. (A) Ground truth joint-regio's zijn verkregen uit initiële ground truth botsegmentaties door een automatisch recept met Amira, dat labeluitbreiding, extractie van labelinterfaces, maskering en dilatatie combineert. (B) Voor elk van de 20 trainingsmicro-CT-datasets (40 achterpoten) werden 6 subvolumes van 200 x 200 voxels handmatig geëxtraheerd uit tarsalen, distale vingerkootjes en achtergrondgebieden, gelijk verdeeld over linker- en rechterpoot (3 patches per achterpoot). De resulterende 120 subvolumes werden vervolgens gebruikt als input voor een 3D-segmentatie-Amira-trainingsmodule, samen met bijbehorende gelabelde gezamenlijke regio's als ground truth-doel. Een gerandomiseerde subset van 25% patches werd gebruikt voor validatie om modeloverfitting tijdens de training te controleren. Klik hier om dit bestand te downloaden.

Aanvullende Figuur 2: Duidelijke verdeling van fouttypes tussen achterpoten en voorpoten. Vergelijkbaar met het eerder ontwikkelde SA-segmentatie-algoritme^12,23, produceerde het gewrichtsruimte DL-model het grootste aandeel fouten door botten (groen, 2+ botten gesegmenteerd als 1 materiaal), met name bij de (A-D) achterpoten of (E-F) WT voorpoten. Zoals vermeld in Figuur 2, zullen oververbonden fouten optreden als er een gat is in de gedetecteerde gewrichtsruimte die om verschillende redenen kan optreden, waaronder grotere botnabijheid dan beeldresolutie, bewegingsartefacten die de gewrichtsruimte vervagen, of botremodellering in de context van artritis, wat leidt tot gewrichtsfusies. (G-H) Interessant genoeg vertonen TNF-Tg voorpoten een opmerkelijk groter aandeel ontbrekende botten (rood), wat betekent dat het bot volledig afwezig was in de segmentatie. Deze fouten worden waarschijnlijk toegeschreven aan een combinatie van ernstige erosies en tekorten in beeldresolutie, gezien de relatief kleinere grootte van voorpotenbotten, vooral carpalen en sesamoïden, als de belangrijkste foutbron (Figuur 4), vergeleken met die van achterpoten. Andere soorten fouten zijn over-split (blauw, 1 bot gesegmenteerd als 2+ materialen) of zowel over-connected als over-split (oranje). Taartdiagrammen geven proporties van totale fouten weer die worden toegeschreven aan specifieke foutsubtypes. Klik hier om dit bestand te downloaden.

Aanvullende Figuur 3: Evaluatie van progressieve TNF-Tg voorpootartritis met ernstige boterosie en gewrichtsontwrichtingen. Om de structurele veranderingen in de voorpoten in de loop van de tijd te visualiseren, leverden we representatieve beelden van het dorsale oppervlak van (A) WT-mannetjes, (B) TNF-Tg mannetjes, (C) WT-vrouwtjes vrouwtjes, en (D) TNF-Tg vrouwelijke voorpoten over tijd van 2-5 maanden (van links naar rechts) om vooral het carpale gebied te benadrukken (witte pijlen). Let op de ernstige boterosies en herstructurering die optreden na ongeveer 4 maanden bij vrouwen en 5 maanden bij mannen. Deze periodes zijn ouder dan het typische begin van ernstige boterosie bij achterpoten, ongeveer 5 maanden bij vrouwtjes en 7-8 maanden bij^{mannetjes van 23} jaar. (E) Een zijaanzicht van TNF-Tg vrouwelijke voorpoten wordt ook getoond om de progressieve ontwrichting van de hele poot van de onderarm (gele pijlen) te tonen die samenhangt met de gewrichtsvernietiging. Klik hier om dit bestand te downloaden.

Aanvullende tabel 1: Steekproefgroottes van WT-achterpoten voor DL-training, validatie en methodologische testen. Steekproefgroottes in het aantal achterpoten worden gegeven over leeftijd (maanden 2-8) en georganiseerd op basis van datasets die worden gebruikt voor DL-training/validatie, totale methodologische tests, of die zijn weggelaten door beeldvormingsfouten, ernstige bewegingsartefacten of overlijden vóór de geplande micro-CT-scan. Zwarte cellen van maand 6-8 bij vrouwen geven de geplande stopstop van scans na 5 maanden aan vanwege vroege sterfte van TNF-Tg experimentele tegenhangers. Klik hier om dit bestand te downloaden.

Aanvullende tabel 2: Steekproefgroottes van TNF-Tg achterpoten voor methodologisch testen. Steekproefgroottes in het aantal achterpoten worden gegeven over leeftijd (maanden 2-8) en georganiseerd op basis van datasets die worden gebruikt voor totale methodologische tests of die zijn weggelaten door beeldvormingsfouten, ernstige bewegingsartefacten en/of overlijden vóór de geplande micro-CT-scan. Zwarte cellen van maand 6-8 bij vrouwtjes geven de geplande stopstop van scans na 5 maanden aan vanwege vroege sterfte van TNF-Tg vrouwelijke muizen. Klik hier om dit bestand te downloaden.

Aanvullende tabel 3: Steekproefgroottes van WT-voorpoten voor methodologisch testen. Steekproefgroottes in het aantal voorpoten worden gegeven over leeftijd (maanden 2-8) en georganiseerd op basis van datasets die worden gebruikt voor totale methodologische tests of datasets die zijn weggelaten door beeldvormingsfouten, ernstige bewegingsartefacten en/of overlijden vóór de geplande micro-CT-scan. Zwarte cellen van maand 6-8 bij vrouwen geven de geplande stopstop van scans na 5 maanden aan vanwege vroege sterfte van TNF-Tg experimentele tegenhangers. *Bij 3 maanden voor WT-vrouwtjes had n=1 voorpoot DP-F3, PP-F3, DP-F4 en PP-F4 weggelaten vanwege beeldvormingsfouten, hoewel de rest van de voorpoot werd geëvalueerd. Klik hier om dit bestand te downloaden.

Aanvullende tabel 4: Steekproefgroottes van TNF-Tg voorpoten voor methodologisch testen. Steekproefgroottes in het aantal voorpoten worden gegeven over leeftijd (maanden 2-8) en georganiseerd op basis van datasets die worden gebruikt voor totale methodologische tests of datasets die zijn weggelaten door beeldvormingsfouten, ernstige bewegingsartefacten en/of overlijden vóór de geplande micro-CT-scan. Zwarte cellen van maand 6-8 bij vrouwtjes geven de geplande stopstop van scans na 5 maanden aan vanwege vroege sterfte van TNF-Tg vrouwelijke muizen. Klik hier om dit bestand te downloaden.

Aanvullende tabel 5: Individuele botnauwkeurigheid van mannelijke achterpoten. Om de specifieke botten te identificeren die de segmentatienauwkeurigheid bij TNF-Tg versus WT achterpoten verminderen, worden details gegeven over het aantal correct, onjuist gesegmenteerde botten en het juiste percentage ten opzichte van het totaal aantal botten dat bij mannelijke muizen is geëvalueerd. Binnen het tarsale gebied waar de primaire tekorten voorkomen (Figuur 2), vertoonden de calcaneus (CALC), intermediaire spijkerschrift (niet-gefuseerd, INT) en naviculaire/laterale spijkerschrift (niet-gefuseerd) de meest opvallende afname in nauwkeurigheid voor TNF-Tg achterpoten. Statistieken: Fisher's exacte test; *p<0,05, **p<0,01, ***p<0,001, ****p<0,0001. Klik hier om dit bestand te downloaden.

Aanvullende tabel 6: Individuele botnauwkeurigheid van vrouwelijke achterpoten. Om de specifieke botten te identificeren die de segmentatienauwkeurigheid bij TNF-Tg versus WT achterpoten verminderen, worden details gegeven over het aantal correct, onjuist gesegmenteerde botten en het percentage correct ten opzichte van het totaal aantal botten geëvalueerd bij vrouwelijke muizen. Gezien het gebruik van datasets voor DL-training en validatie, samen met de kortere termijn tot 5 maanden voor vergelijking met TNF-Tg-muizen die een vroege sterfte^{van 32} vertonen, beperkt het totale aantal toegewezen DL-testachterpoten voor WT-vrouwtjes de capaciteit voor individuele botvergelijkingen om de algehele verminderde nauwkeurigheid in TNF-Tg-datasets te verklaren. Statistieken: Fisher's exacte test; p<0,0001. Klik hier om dit bestand te downloaden.

Aanvullende tabel 7: Individuele botnauwkeurigheid van mannelijke voorpoten. Om de specifieke botten te identificeren die de segmentatienauwkeurigheid bij TNF-Tg versus WT voorpoten verminderen, worden details gegeven over het aantal botten dat correct of onjuist is gesegmenteerd en het percentage correct ten opzichte van het totaal aantal botten dat bij mannelijke muizen wordt geëvalueerd. Binnen de carpale en sesamoïde gebieden waar de primaire tekorten voorkomen (Figuur 4), vertoonden de capitate (CAP), triquetrum (TRI), centrale (niet-fusierade, CENT), scafoide/lunate (SCAPHATE), trapezium (ZOID) en sesamoïden 2-10 de meest opvallende afname in nauwkeurigheid voor TNF-Tg voorpoten. Opmerkelijk is dat de nauwkeurigheid van sesamoïden 1 en 2 tekortschiet voor zowel de WT- als de TNF-Tg-datasets. Interessant genoeg liet metacarpaal 1 daadwerkelijk verbeteringen zien in segmentatienauwkeurigheid bij TNF-Tg muizen, mogelijk door nauwe articulaties met aangrenzende botten die leiden tot oververbonden fouten die worden gecompenseerd door artritische erosie. Statistieken: Fisher's exacte test; *p<0.05, **p<0.01, ***p<0.001, ****p<0.0001. Klik hier om dit bestand te downloaden.

Aanvullende tabel 8: Individuele botnauwkeurigheid van vrouwelijke voorpoten. Om de specifieke botten te identificeren die de segmentatienauwkeurigheid bij TNF-Tg versus WT voorpoten verminderen, worden details gegeven over het aantal botten dat correct of onjuist is gesegmenteerd en het percentage correct ten opzichte van het totale aantal botten dat bij vrouwelijke muizen is geëvalueerd. Binnen de carpale en sesamoïde gebieden waar de primaire tekorten voorkomen (Figuur 4), vertoonden de capitate (CAP), hamate (HAM), triquetrum (TRI) en sesamoïden 1-10 de meest opvallende afname in nauwkeurigheid voor TNF-Tg voorpoten. Opmerkelijk is dat de nauwkeurigheid van sesamoïden 1 en 2 tekortschiet voor zowel de WT- als de TNF-Tg-datasets. Statistieken: Fisher's exacte test; *p<0,05, ***p<0,001, ****p<0,0001. Klik hier om dit bestand te downloaden.

Aanvullend Bestand 1: Gezamenlijk segmentatierecept voor deep learning modeltraining. Reeks ingebedde stappen om gesegmenteerde gewrichtsruimtes te extraheren uit goudstandaard voorgesegmenteerde micro-CT achterpoten die werden gebruikt om DL-modellen te trainen voor gewrichtsruimte-identificatie. Klik hier om dit bestand te downloaden.

Aanvullend Bestand 2: Recept voor botsegmentatie met beeldverwerking en deep learning-facilitatie. Reeks ingebedde stappen om originele micro-CT-gegevens om te zetten in segmentaties van individuele botten met behulp van beeldverwerkingsstappen gecombineerd met de output van DL-gewrichtsruimte-identificatie om botscheiding te begeleiden. Klik hier om dit bestand te downloaden.

Aanvullend bestand 3: Deep learning voorspellingsgewichten. Bestand gebruikt als invoer voor gewichten tijdens deep learning-voorspelling van joint-ruimtesegmentatie. Klik hier om dit bestand te downloaden.

Aanvullend Bestand 4: Deep learning voorspellingsarchitectuur. Bestand gebruikt als invoer voor architectuur tijdens deep learning-voorspelling van joint space-segmentatie. Klik hier om dit bestand te downloaden.

Aanvullend bestand 5: Deep learning python-script. Bestand gebruikt als python-script voor deep learning voorspelling van joint space segmentatie. Klik hier om dit bestand te downloaden.

Discussion

Aan het einde van volledig geautomatiseerde analyses van botvolumes bij muizen hebben we verdere verbeteringen gerealiseerd in de segmentatie van micro-CT-gegevens in complexe structuren, met name muisachtige achterpoten. De strategie was om de articuleergewrichten te richten om grenzen te creëren voor botafscheiding, waarbij het focussen op de negatieve ruimte tussen botten flexibele implementatie in alternatieve structuren zoals de voorpoot mogelijk maakte, aangezien de aanpak niet specifiek was voor de vorm en anatomie van de onderscheidende achterpootbeenderen. Hoewel de segmentatienauwkeurigheid afnam bij uitvoering op voorpoten, toonden WT-datasets nog steeds een botnauwkeurigheid van >85%. Goed beschreven corrigerende processen¹² kunnen worden toegepast om vooraf geannoteerde forepaw-modeldatasets voor DL-training te creëren, waardoor de drempels voor het maken van structuurspecifieke algoritmen drastisch worden verlaagd. Deze nieuwe aanpak maakte ook toepassing mogelijk op TNF-Tg poten met ernstige en progressieve inflammatoir-erosieve artritis. Bij TNF-Tg-poten was de afname van segmentatienauwkeurigheid in de loop van de tijd opvallend, wat overeenkwam met de progressieve toename van boterosie en uiteindelijk pathologische bot-botfusies door het herstructureren van geërodeerde oppervlakken met toenemende leeftijd. De opmerkelijk succesvolle toepassing van een geautomatiseerd en zeer nauwkeurig segmentatiemodel in WT-structuren heeft dus het potentieel om toekomstige toepassingen in ziektemodellen of andere complexe gewrichten te sturen. Verder onderzoek zal zich richten op het optimaliseren van segmentatie van arthritische gewrichten die pathologische effecten van boterosie en fusies kunnen kwantificeren om ziektebiomarkers te identificeren, zoals eerder beschreven²³.

Ondanks het succesvolle gebruik van micro-CT-beeldvorming om erosie van kleine botten te monitoren in preklinische artritismodellen 12,23,25,35,42, is er beperkte toepassing van CT-modaliteiten in klinische evaluatie. Met name voor reumatoïde artritis worden scoresystemen voornamelijk toegepast voor MRI⁴³, ultrasoon^44,45 en/of conventionele röntgen⁴⁶ om semi-kwantitatieve en gebruikersafhankelijke metingen van de ernst van de ziekte te genereren, vaak in combinatie met klinische metrics⁴⁷. Aangezien CT wordt beschouwd als de gouden standaard voor de evaluatie van botintegriteit ^48,49, belooft verdere optimalisatie van klinisch vertaalbare analytische benaderingen een enorm voordeel te bieden voor betrouwbare en longitudinale kwantitatieve beoordeling van botvolumes, zowel om metingen van de ernst van de ziekte te informeren als om de therapierespons te evalueren. Hoewel beeldvormingsmethoden zoals MRI een grotere hoeveelheid informatie bieden, waaronder ontstekingsgebieden, veranderingen in het beenmerg en zachte weefselpathologie, bieden nieuwe CT-beeldvormingsmethoden met multi-energie inputs⁵⁰ veelbelovend om het gebruik van CT verder te verlengen dan de botarchitectuur. Ondanks deze voorgestelde voordelen erkennen we ook de enorme uitdagingen in klinische vertaling van ontwikkelde preklinische analytische tools, met het oog op de toepassing op laagresolutie klinische CT-beelden en implementatie in een specifieke menselijke anatomie. Net als onze recente identificatie van botspecifieke biomarkers in preklinische artritismodellen²³, zou een gedetailleerde klinische inspanning die puur kwantitatieve metrieken van boterosie onderzoekt, een grote vooruitgang zijn in ziektemonitoring.

Hoewel ons huidige werk een basis biedt voor klinische implementatie, gezien het potentieel voor flexibele toepassing op nieuwe structuren door gewrichtsruimtes te targeten, is een primaire beperking de afhankelijkheid van een goed gedocumenteerde preklinische, onderzoeksgerichte software in Amira, die niet bedoeld is voor klinische diagnose. De onderliggende algoritmen en het strategische ontwerp kunnen echter gemakkelijk worden geïmplementeerd in alternatieve softwareomgevingen via de gedetailleerde methodologie die wordt geboden. Ongeacht de gebruikte onderzoekssoftware vereist integratie in klinisch gebruik (in plaats van onderzoek) translationele inspanningen die voldoen aan de wettelijke vereisten voor introductie tot de klinische praktijk. Voor de toepassing van de nieuwe segmentatiestrategie is het ook belangrijk om rekening te houden met de mogelijke beperkingen in differentiële beeldresolutie, waarbij we eerder beschreven hebben dat beeldresolutie (d.w.z. voxel/structuurgrootte) een belangrijke factor is voor segmentatienauwkeurigheid met uitsluitend beeldverwerkingsalgoritmen¹². Dit hangt mogelijk samen met de lichte vermindering van segmentatienauwkeurigheid van de voorpoten, waarbij de kleinere grootte van de voorpotstructuren inherent relatief verminderde beeldkwaliteit zou opleveren vergeleken met achterpoten. Het is ook belangrijk om het verschil te erkennen in de leeftijdscategorie van training (2-6 maanden) en testdata (inclusief 7-8 maanden), wat de toepassing en nauwkeurigheid kan beïnvloeden bij leeftijdsgerelateerde veranderingen, waaronder voortgezette botgroei of het verdere begin van gewrichtspathologie. Onze bevindingen ondersteunen de gehandhaafde nauwkeurigheid voor WT-achterpoten in de DL-analyse na 6 maanden oud (Figuur 2E), wat suggereert dat de afname van segmentatieprestaties bij TNF-Tg-tegenhangers waarschijnlijk meer gerelateerd is aan inflammatoir-erosieve progressie, onafhankelijk van de leeftijd zelf. Verdere studies met oudere en oudere wildtypemuizen zijn echter nodig om consistente nauwkeurigheid te waarborgen, onafhankelijk van de specifieke leeftijdscategorie van de DL-trainingscohort. Ten slotte zal het uitbreiden van de beschreven methoden voorbij een enkelvoudige botseparatiebenadering naar een robuuster multi-klasse analysetool dat voorspelde botnamen bevat op basis van structurele architectuur of coördinatenlocatie in vaste anatomie (d.w.z. vergelijkbaar met een atlasboom) zeker essentiële verbeteringen opleveren en waarschijnlijk de adoptie van de methode vergroten.

Tot slot hebben we een nieuwe beeldverwerkings- en DL-gefaciliteerde micro-CT-segmentatiestrategie ontworpen om individuele botten binnen complexe structuren te isoleren. Deze innovatie toont een opmerkelijke verbetering in zowel automatisering als segmentatienauwkeurigheid vergeleken met onze recent gecreëerde SA-workflow¹², die hier de basis vormde voor de productie van talrijke goudstandaardsegmentaties om DL-modellen te trainen en de huidige verbeteringen te optimaliseren. Hoewel de vertaling van segmentatiemethoden bij voorpoten en poten met inflammatoir-erosieve artritis achteruitgaande prestaties liet zien, zou de implementatie van deze DL-segmentatiebenadering de handmatige inspanningen kunnen verminderen die nodig zijn om volledig geannoteerde datasets te genereren zodat er pathologie- of structuurspecifieke DL-trainingsmodellen mogelijk zijn. Het gebruik van deze DL-methode in toekomstige studies zou het mogelijk kunnen maken om botsegmentatie te optimaliseren over verschillende soorten en ziektemodellen in preklinisch onderzoek, zodat gedetailleerde kwantitatieve analyses verder kunnen worden uitgevoerd. We dringen verder aan op de opname van dergelijke strategieën in klinisch onderzoek, omdat dit uiteindelijk voordelen voor de patiëntenzorg belooft.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Computing system	Details provided in Protocol section	Details provided in Protocol section
Image visualization software	ThermoFisher Scientific	v2022.2 or later	Amira
Isoflurane	VetOne	13985-528-60	Fluriso, 1-3% for anesthesia
Mice	University of Rochester Medical Center	N/A	C57BL/6, TNF-transgenic
Micro-CT	Scanco Medical	N/A	VivaCT 40
Statistical software	GraphPad Software, Inc	v10.2.0 or later	GraphPad Prism
Tape	N/A	N/A	To secure animal paws for imaging
Tubing	N/A	N/A	Derlin plastic and clear acrylic for animal stabilization