Research Article

Automatisierte Gelenkraumerkennung verbessert die Genauigkeit der Knochensegmentierung

DOI:

10.3791/69252

⸱

November 28th, 2025

 ,  ,  ,  ,  ,  ,  ,  , 
1Center for Musculoskeletal Research, University of Rochester Medical Center, 2Department of Pathology & Laboratory Medicine, University of Rochester Medical Center, 3Department of Medicine, University of Rochester Medical Center, 4Thermo Fisher Scientific, 5Arthritis and Tissue Degeneration Program, Department of Research, Hospital for Special Surgery, 6Department of Urology, University of Rochester Medical Center, 7Department of Biomedical Engineering, University of Rochester Medical Center, 8Department of Orthopaedics, University of Rochester Medical Center, 9Department of Obstetrics and Gynecology, University of Rochester Medical Center, 10Department of Neuroscience, University of Rochester Medical Center

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Entwicklung eines automatisierten Workflows zur Erkennung von Gelenkräumen ermöglichte eine Hochdurchsatzsegmentierung der unterschiedlichen Maus-Hinterpfotenknochen mit >98 % Genauigkeit bei Wildtyp-Tieren. Eine flexible Anwendung auf Vorderpfoten und Pfoten mit entzündlich-erosiver Arthritis wurde erreicht, jedoch mit einer veralteten Leistung, die eine weitere Optimierung in zukünftigen Studien mit öffentlich verfügbaren Daten rechtfertigt.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die quantitative Beschreibung komplexer anatomischer Strukturen bleibt aufgrund der erforderlichen Fachkompetenz für manuelle Segmentierung, Arbeit und Interobserver-Variabilität eine Herausforderung. Um dies zu umgehen, kann die automatisierte Erkennung spezifischer Orientierungspunkte durch digitale Bildanalysetechniken, einschließlich Deep-Learning-(DL)-Modelle, durchgeführt werden. Zu diesem Zweck führten wir eine überwachte automatisierte Analyse von Mikro-Computertomographie-(Micro-CT)-Datensätzen von Hinterpfoten und Vorderpfoten der Maus durch. Über zuvor veröffentlichte, halbautomatisierte (SA) Marker-basierte Algorithmen hinausgehend, fügten wir Strukturaufwertung, Tensorabstimmung und Ausgabedilatation hinzu, um gemeinsame Räume zu identifizieren. Die Segmentierung wurde durch die Verwendung eines DL-Joint-Space-Vorhersagemodells (3D U-Net-Architektur, ResNet-18-Backbone) verbessert, das Wildtyp-(WT) Hinterpfotenlabels als Grundwahrheit verwendet. Die Vorhersage wurde auf Hinterpfoten und Vorderpfote von WT und Tumornekrosefaktor-transgenen (TNF-Tg) Mäusen mit entzündlich-erosiver Arthritis beider Geschlechter über das Alter hinweg ausgeweitet. Die Segmentierungsgenauigkeit verbesserte sich mit der DL-Methodik dramatisch. Die Genauigkeit nahm mit zunehmender Schwere und zunehmendem Alter bei TNF-Tg-Mäusen ab. Nachfolgende Tests an den Vorderpfoten zeigten zudem eine fortschreitende Abnahme der Genauigkeit mit zunehmender arthritischer Schwere auf. Insgesamt übertrifft dieses überwachte automatisierte Modell neuere SA-Ansätze in gesunden Gelenken, um die Untersuchung komplexer Knochenanatomie zu verbessern. Obwohl die flexible Anwendung auf neuartige und krankheitsmodifizierte Datensätze eine veraltete Leistung zeigt, kann die Nutzung dennoch die Entwicklung strukturspezifischer Segmentierungsmodelle katalysieren.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Eine hochwertige Bildanalyse fördert nicht nur Forschungsprojekte, sondern hat auch das Potenzial, klinische Radiologen dabei zu unterstützen, pathologische Veränderungen zu erkennen und zu quantifizieren – eine Aufgabe von größter Bedeutung für die Patientenversorgung. Bildanalyse ist eine detaillierte Abfolge von Verfahren, einschließlich Merkmalsextraktion, der Übersetzung eines ansonsten generischen Bildes in sinnvolle Labels und der Ableitung quantitativer Metriken1. Ein Großteil dieses Prozesses basiert auf Vorwissen, wie etwa der Strukturverteilung basierend auf Dichte oder Farbe und dem Anwenden von nachgelagerten Bildverarbeitungsalgorithmen (d. h. Dilatation, Erosion, Glättung, Trennung), um die gewünschte Segmentierung zu erreichen. Sobald sie optimiert sind, können die segmentierten Bilder Eingaben für überwachtes maschinelles Lernen2 liefern, einschließlich Deep Learning (DL), das komplexe Merkmale mithilfe neuronaler Netze kodiert und dekodiert,2,3 was zu einer verbesserten Bildsegmentierungsgenauigkeit und -durchsatz führt.

Tatsächlich hat die Implementierung verschiedener 3D-konvolutionaler neuronaler Netze (CNNs) entscheidende Fortschritte bei automatisierten Knochensegmentierungsalgorithmen für die Analyse von Skelettbildern gebracht, wobei einige Modelle die menschliche Segmentierung übertreffen4. Während 3D-Segmentierungs-CNNs durch unterschiedliche Architekturen (z. B. AlexNet, ResNet, UNet) funktionieren, sind ihre Ausgaben im Wesentlichen gleich, wobei eine Bildmaske das positive Knochenvolumen aus dem Hintergrund angibt. Solche Deep-Learning-Modelle in der muskuloskelettalen Bildanalyse befinden sich in rasanter Entwicklung, und das Fachgebiet hat sich rasch von der Lösung einfacher 2D-Frakturerkennungsprobleme5 zu komplexen Mehrgelenksproblemen6 entwickelt, die in der Lage sind, mit Artefaktrauschen oder anomalen Merkmalen in Datensätzen umzugehen. Zum Beispiel stellten Woo et al. fest, dass strukturelle Anomalien (z. B. Knochenmarkläsionen, Knochenzysten) im MRT ihre Segmentierungsvorhersagen für den Gelenkknorpel in Kniegelenken verschlechterten. Daher entwickelten sie ein anomaliebewusstes Segmentierungsmodell, um zunächst nicht verwandte anomale Strukturen zu identifizieren, was die Segmentierung von Knochen und Knorpel dramatisch verbesserte7. Er et al. trainierten 14 separate Modelle, jeweils mit einem ROI wichtiger Handgelenke, um das Skelettalter zu schätzen, und integrierten dann deren Ergebnisse, um Vorhersagen aus Handröntgenbildern zu verbessern, anstatt die gesamte Handstruktur8 zu verwenden. Ebenso wurde gezeigt, dass die Einbeziehung von Kontext in Modelle, wie regionale Segmentierungsmerkmale und globale anatomische Beziehungen, die Vorhersagen verbessert. Die Verwendung von multiregionalen CNNs zur Bereitstellung von Kontext zu erwarteten Segmentierungsmerkmalen verbessert zudem die Bewertung der Skelettreife bei Handröntgenaufnahmen, indem das Klassifikationsproblem auf anatomisch angemessene Stellen beschränktwird 9. Weitere Fortschritte umfassen SVTNet mit CNN-basierter Knochensegmentierung, gefolgt von weiterer Verarbeitung durch Visionstransformer-Modelle, um globale Informationen über die räumliche Beziehung zwischen segmentierten Interessensregionen zu erfassen, um quantitative Ergebnisse wie Knochenalter10 zu schätzen.

Wie in diesen Segmentierungsansätzen gezeigt wird, konzentriert sich die Bildgebung der Arthritis-Forschung auf das Artikulieren von Flächen zwischen zwei oder mehr Knochen, wobei Methoden zur Knochentrennung entscheidend für die erfolgreiche Bewertung differenzierter pathologischer Prozesse in komplexen Gelenken sind. Fortschritte in Bildverarbeitungsalgorithmen haben einen bemerkenswerten Nutzen gezeigt, indem sie den analytischen Durchsatz von nahe benachbarten Karpal- oder Tarsalknochenerhöhen 11,12. Die begrenzte Akzeptanz aufgrund von Ungenauigkeiten, die Benutzerintervention erfordern, und Schwierigkeiten bei der Übersetzung in unterschiedliche Strukturen unterstreicht jedoch die Notwendigkeit optimierter Arbeitsabläufe. Diese mehrstufigen Prozesse können enorm von diskreten Werkzeugen zur Bildverbesserung profitieren (z. B. Knochenkantenerkennung13). Über rein morphologische Operationen hinaus haben andere Studien registrierungsbasierte Techniken implementiert, die die typische Zuverlässigkeit und Konsistenz in der Anatomie zur Strukturidentifikationnutzen 14,15,16,17. Die Alternative manueller Eingaben zur Erstellung von Ground Truth Labels ist teuer und mühsam, kann aber ähnlich erfolgreich sein, wo die Nutzung bei komplizierten, eng ineinandergreifenden Knochen mit weniger diskreten Grenzen (z. B. Schädel18) unerlässlich sein kann. Ebenso weisen alternative Bildgebende Ansätze mit Mehrfarb-/Farbvariabilität selbst innerhalb einer diskreten Struktur, wie die Magnetresonanztomographie (MRI 19,20,21) oder Gewebehistologie 22, ebenfalls eine Komplexität auf, die von einer anfänglichen manuellen Segmentierung zur Steuerung automatisierter Prozesse profitieren kann. Zusammen können diese Methoden zusätzliche Vorteile bieten, indem sie eine weitere Automatisierung fördern, bei der Ergebnisse als Trainingsdatensätze zur Implementierung von DL-Ansätzen dienen. Die Vorteile der Segmentierungsautomatisierung sind zahlreich, aber insbesondere diese Methoden ermöglichen detaillierte, räumlich relevante quantitative Kennzahlen, einschließlich regionaler/knochenspezifischer Erosionsvolumenänderungen 23,24,25,26 sowie die Identifikation von Bereichen mit hoher Anfälligkeit für Schäden 27.

Hier bauen wir auf etablierten semi-automatisierten (SA) Segmentierungsmethoden der Maus-Hinterpfote12 mit Verbesserungen in Bildverarbeitungsalgorithmen in Kombination mit Ground-Truth-Bone-Segmentierungen28 auf, um DL-Modelle für die Detektion des Gelenkraums zu trainieren. Diese neuartige analytische Strategie zeigte eine signifikant verbesserte Genauigkeit bei der einzelnen Knochensegmentierung der Hinterpfoten, was den manuellen Aufwand für Korrekturen von Segmentierungsfehlernreduzierte, um die Verarbeitung nachgelagerter quantitativer Kennzahlen zu beschleunigen. Wir zeigen auch das Potenzial für die Umsetzung dieser technischen Fortschritte in neuartigen Strukturen, darunter Vorderpfoten und Hinterpfoten mit schwerer erosiver Arthritis. Da manuelle Segmentierung zeitaufwendig ist und ein hohes Maß an Fachwissen erfordert,können ähnliche Strategien zur sequentiellen Nutzung halbautomatisierter und automatisierter Segmentierung zur Erstellung verbesserter Eingabefilter die Hürde für die Entwicklung hochwertiger CNNs für spezifische Anwendungen senken. Die zugehörigen Methoden, die in der Amira-Software entwickelt wurden (Supplementary File 1) und die entsprechenden Datensätze werden öffentlich bereitgestellt, um die Einführung und Zusammenarbeit in weiteren Forschungsprojektenzu unterstützen 28,29.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Alle Tierversuche wurden gemäß IACUC-Protokollen durchgeführt, die vom University Committee for Animal Resources am University of Rochester Medical Center genehmigt wurden.

Tiermodelle
Die Mäuse wurden in einem von AAALAC akkreditierten Vivarium untergebracht. Für die beschriebenen Experimente wurden insgesamt 19 Mäuse eingesetzt, darunter 4 Wildtyp-(WT-)männliche, 4 WT-weibliche, 4 TNF-transgene (TNF-Tg) männliche und 7 TNF-Tg-weibliche Mäuse, mit longitudinalen monatlichen Untersuchungen. TNF-Tg-Mäuse (3647 Linien, C57BL/6 genetischer Hintergrund30) wurden zunächst von Dr. George Kollias gewonnen und mit fortgesetzter Pflege an der University of Rochester. Die TNF-Tg-Mäuse wurden als Heterozygoten gezüchtet, wobei WT-Mäuse als Wurfgeschwister-Kontrolle dienten. Die Genotypisierung für das TNF-Transgen erfolgte mit den folgenden Primersequenzen: TNF-Tg Forward: 5-TAC-CCC-CTC-CTT-CAG-ACA-CC-3; TNF-Tg Rückwärtsgang: 5-GCC-CTT-CAT-AAT-ATC-CCC-CA-3.

TNF-Tg-Mäuse entwickeln chronische, fortschreitende und spontane entzündlich-erosive Arthritis31 mit schnellerem Beginn von artikulären und extraartikulären Manifestationen bei weiblichen Mäusen, was zu einer frühen Sterblichkeit etwa im Alter von 5 bis 6 Monatenund 32 Jahren führt. Daher wurden zusätzliche Mäuse der weiblichen TNF-Tg-Kohorte zugeteilt. In den vorherigen Beschreibungen dieser Studienkohorte23 sind n=2 TNF-Tg-Frauen vor Abschluss der Studie gestorben, n=1 vor 4 Monaten und n=1 vor 5 Monaten. Da die TNF-Tg-Mäuse einen gut etablierten asymmetrischen Krankheitsverlauf beiden Hinterpfoten zeigen, wurden einzelne Gliedmaßen als Maßeinheit betrachtet (2 Vorderpfoten und 2 Hinterpfoten pro Tier).

Micro-CT-Bildsammlung
Mikro-CT-Datensätze wurden wie zuvor beschrieben12,23 gesammelt. Kurz gesagt wurden die Mäuse in ein Derlin-Kunststoff- und klares Acrylrohr mit 1%-3 % Isofluran-Anästhesie für die Bildgebung mit Mikro-CT unter folgenden Parametern untergebracht: 55 kV, 145 μA, 300 ms Integrationszeit, 2048 x 2048 Pixel, 1000 Projektionen über 180°, Auflösung 17,5 μm isotrope Voxel. Zur Sicherheit bei der Verwendung von Isofluran wurde geeignete persönliche Schutzausrüstung (Nitrilhandschuhe, Laborkittel oder -kittel, Schutzbrille) verwendet, und der Isofluran-Verdampfer wurde in einer Abzugshaube mit einem Kohlefilter untergebracht, um gasförmige Abfälle mit gut abgedichteten Schläuchen für Kontinuität im Abgabesystem aufzufangen. Das verdampfte Isofluran wurde für die Anästheseinduktion in einer verschlossenen Kammer verwendet, dann wurde die Anästhesie durch kontinuierlichen Isofluranfluss in einen Mausnasenkegel in der Mikro-CT-Maschine aufrechterhalten. Sowohl die Hinter- als auch die Vorderpfoten wurden während der Bildgebenden Sitzungen zur Stabilisierung zusammengeklebt. Jeder Datensatz wurde in etwa 30–45 Minuten (insgesamt 60–90 Minuten) gesammelt, wobei Hinterpfoten- und Vorderpfotendaten von denselben Tieren und Zeitpunkten stammten. Die Mäuse wurden monatlich untersucht, beginnend im Alter von 2 Monaten bis 5 Monaten (Weibchen, TNF-Tg mitFrühsterblichkeit 32) oder 8 Monate (Männchen). Teile der für diese Studie verwendeten Hinterpfotendaten wurden bereits veröffentlicht (WT:12,35; WT und TNF-Tg:23) und sindöffentlich verfügbar. Die Vorderpfotendaten wurden für diese Studie öffentlich zugänglich gemacht29.

Gemeinsamer Raumsegmentierungsalgorithmus mit Deep-Learning-Facilitation
Ein hochdurchsatzfähiger SA-Bildverarbeitungsalgorithmus zur Segmentierung der einzelnen Knochen der komplexen Hinterpfote bei Mäusen (30–31 Knochen) wurde zuvor entwickelt12, der einen Rahmen zur Untersuchung einzelner Biomarker des Progressions der entzündlich-erosiven Arthritis mit der Amira-Software23 bereitstellte. Diese Baseline-SA-Segmentierungsmethode nutzte einen markerbasierten Wassereinzugsgebietsalgorithmus36 zur Trennung an Knochengrenzen. Der markerbasierte Wasserscheide-Algorithmus trennt verschiedene Objekte in einem Bild, indem er Pixelwerte als lokale Topographie basierend auf benutzerdefinierten Markern behandelt. Diese knochenspezifischen Marker wurden auf SA-Weise durch verschiedene Bildverarbeitungsschritte, einschließlich Black Top Hat (BTH), erzeugt, um lokale Bereiche mit großen Dichteänderungen, wie Knochenkanten und Artikulationen, hervorzuheben. Gemeinsam erzeugte dieser Ansatz eine erodierte Version jedes einzelnen Knochens, die dann durch Anwendung einer binären Randmaske auf die Knochengrenzen erweitert wurde. Während die Watershed-Methode sich gegenüber der früheren Anwendung manueller Konturierung verbesserte, lag die Genauigkeit (korrekt segmentierte Knochen / Gesamtknochen) bei etwa 80 % pro Datensatz, da niedriges Kontrastrauschen zu überbrückten Gelenkregionen führte (Überverbindung der Knochen; 2+ Knochen als ein Material) oder Kantenfehlerkennung (Überspaltung der Knochen; 1 Knochen als 2+ Materialien). Daher erforderte die Erzeugung von SA-Markierungen für den Einzugsgebietsansatz konsequente und häufige manuelle Korrekturverfahren12, um eine Quelle von Goldstandard-Labels 23,28 zu entwickeln.

Die Entwicklung des DL-Modells zur Vorhersage von Knochengelenken basierte auf der Architektur eines 3D-U-Netzes mit einem ResNet-18-Backbone. Die Trainingsverlustfunktion war Dice, die Validierungsmetrik war Intersection over Union (IoU), der Gradientenabstieg verwendete Adam-Optimierung mit einer anfänglichen Lernrate von 0,0001, und die Gewichte wurden zufällig initialisiert. Das Modell wurde mit 20 WT-Datensätzen (40 Hinterpfoten) trainiert, mit gleicher Geschlechts- und Altersverteilung (von 2 bis 6 Monaten), die jeweils in 6 Untervolumen (3 pro Hinterpfote) mit jeweils 200 x 200 x 200 Voxeln aufgeteilt sind, mit einem 25%igen randomisierten Validierungsset (30 Validierungen, insgesamt 120), um Überanpassungen zu vermeiden. Diese 3D-Kacheln waren gleichmäßig auf den Tarsalen, distalen Phalangen und Hintergrundbereichen platziert. Die Größe des Trainingsfeldes wurde auf 96 x 96 x 96 Voxel festgelegt (ergänzende Abbildung 1). Das Modell wurde über 500 Epochen trainiert und benötigte etwa 6 Stunden. Ground Truth Gelenkregionen wurden durch ein automatisches Rezept aus Ground Truth Labels gewonnen, das die Label-Interfaces um eine 3D-Dilatationsgröße von 5 sowohl für Dicke als auch für Ausdehnung erweiterte.

In Verbindung mit der Vorhersage des Gelenkraum-DL wurden mehrere Bildverarbeitungsschritte implementiert, um die Identifikation des Gelenkraums und die Knochensegmentierung zu ergänzen. Diese Strategien umfassten den Einsatz der BTH-Methode in Kombination mit Strukturverbesserung37, Membranverstärkung und Tensorstimmen38 , um die Kontinuität des Gelenkraums durch Begrenzung von Membranlücken zu verstärken. Zusammen stärken diese Ansätze die Gelenkräume für die Knochentrennung, um das Segmentierungsverlust zwischen benachbarten Knochen zu begrenzen, das dann Überverbindungsfehler erzeugt, wenn der Wasserscheide-Algorithmus sich über mehrere Knochen ausbreitet. Das Endergebnis trennt und segmentiert die ursprünglichen Mikro-CT-Datensätze in knochenspezifische Labels.

Ein detailliertes Schritt-für-Schritt-Protokoll der DL-unterstützten Segmentierungsmethode ist unten aufgeführt.

Schritt 1: Open Amira-Software (erfordert eine persönliche oder institutionelle Lizenz). Schritt 2: Öffne den Python-Tab, wähle Neue Python-Umgebung erstellen mit Umgebungsname: Deep-Learning-Environment-2022_2. Prüfen Installation von Deep-Learning-Paketen. Schritt 3: Software neu starten, Python-Tab öffnen, Benutzerumgebung auswählen Deep-Learning-Environment-2022_2. Schritt 4: Daten öffnen – DICOM-Stacks können geladen werden, indem man alle einzelnen DICOM-Dateien auswählt oder .am-Dateien öffnet, die eingebettete DICOM-Stacks enthalten, falls verfügbar. Schritt 5: Wenden Sie das Deep Learning Prediction-Modul auf das importierte Datenobjekt mit folgenden Details an:
Daten: Importiertes Datenobjekt
Architektur: .json Datei (Ergänzende Akte 2)
Gewichte: .hdf5-Datei (Ergänzende Akte 3)
Tiling: manuell – Optimierung möglich durch Reduzierung der Tiling-Pixelgröße und Erhöhung der Tiling-Überlappung, abhängig von der rechnergestützten Hardware. Das Modul scheitert, wenn die Verarbeitungsanforderungen unzureichend sind. Stellen Sie in Bearbeiten, Einstellungen, großen Daten sicher, dass die Speicherzuweisung für die Software so weit wie möglich maximiert wird.
Kachelbreite, Höhe, Tiefe: 352 Pixel
Kachelüberlappung: 0 Pixel
Schritt 6: Verwenden Sie den Image Recipe Player, klicken Sie mit der rechten Maustaste Das Projektgebiet ohne ein bestimmtes Datenobjekt anzuvisieren. Geben Sie Folgendes ein/bewerten Sie Folgendes:
Rezept öffnen: .hxisp-Datei (Ergänzende Akte 4)
Daten: Importiertes Datenobjekt
Eingabeverbindungen: Ergebnis von Schritt 5 (Deep-Learning-Vorhersage)
Stufe 3 Intensitätsbereich: 2500 - 20000
Schritt 7: Bewerten Sie das resultierende verarbeitete Datenobjekt, das die endgültige Segmentierung enthält – stellen Sie sicher, dass Sie Colormap auf Labels256 anpassen, um die Gesamtzahl einzelner Segmentierungen zu schätzen (standardmäßig sind es nur 8 Farben). Für 2D: Ortho Slice auftragen und für 3D: Volume-Rendering anwenden. Details zum eingebetteten Rezept (BTH+DL+SEF+MEF_D2.hxisp), angewendet im unten angegebenen Schritt Image Recipe Player (Ergänzende Akte 5). Beachten Sie, dass im Image Recipe Designer einzelne Schritte visualisiert und bei Bedarf exportiert werden können, um Schritte zur Optimierung bestimmter Datensätze zu evaluieren. Im Protokoll werden bestimmte Schritte hervorgehoben, die für jede eindeutige Anwendung angepasst werden müssen, da diese von Bildausgängen (d. h. Dichte) und/oder der Größe von Objekten (z. B. Knochen) abhängen:
Schritt 1: Medianfilter mit Daten anwenden: Importiertes Datenobjekt; Interpretation: 3D; Nachbarschaft: 26; Iterationen: 3; Typ: Iterativ.
Schritt 2: Schwellenwerte anwenden – dieser Schritt erfordert eine Optimierung basierend auf Datensätzen und dem spezifischen Schwellenwert, der das Objekt von Interesse anvisiert, in diesem Fall den Knochen mit Daten: Ergebnis von Schritt 1 (Medianfilter); Intensitätsbereich: 2500 - 20000.
Schritt 3: Schließen anwenden – dieser Schritt erfordert eine Optimierung je nach Größe der Gelenkabstände zwischen den Knochen mit Daten: Ergebnis von Schritt 1 (Medianfilter); Typ: Würfel; Interpretation: 3D; Nachbarschaft: 26; Pixelgröße: 3.
Schritt 4: Anwendung von Bildarithmetik mit Eingabe A: Ergebnis von Schritt 3 (Schließen); Eingabe B: Ergebnis von Schritt 1 (Medianfilter); Ergebniskanäle: wie Eingang A; Ausdruck: A-B.
Schritt 5: Schwellenwerte mit Daten anwenden: Ergebnis von Schritt 4 (Bildarithmetik); Intensitätsbereich: 750 - 20.000.
Schritt 6: Anwendung von Bildarithmetik mit Eingabe A: Ergebnis von Schritt 2 (Schwellenwertung); Eingabe B: Ergebnis von Schritt 5: (Schwellenwertung); Ergebniskanäle: wie Eingang A; Ausdruck: A-(B>0)
Schritt 7: Strukturverbesserungsfilter mit Eingabebild anwenden: Importiertes Datenobjekt; Interpretation: 3D; Tensortyp: Hessian; Standardabweichung Min/Max: 1 - 3 Pixel; Standardabweichungsschritt: 1 Pixel; Kontrast: Dunkel; Strukturtyp: Ebene.
Schritt 8: Automatische Schwellenwertung mit Eingabebild anwenden: Ergebnis von Schritt 7 (Filter zur Strukturverbesserung); Typ: Auto Threshold High; Interpretation: 3D; Modus: Min-max; Kriterium: Faktorisierung.
Schritt 9: Membran-Verbesserungsfilter mit Daten anwenden: Importiertes Datenobjekt; Ausgabeauswahl: Planeness-Tensor-Voting; Tensor-Abstimmungsskala: 3 Pixel; Verdichtungsmaßstab: 3 Pixel; Typ: Ridge
Kontrast: Dunkel; Maßstab: 1 Pixel.
Schritt 10: Automatische Schwellenwertung mit Eingabebild anwenden: Ergebnis von Schritt 9 (Membranverstärkungsfilter); Typ: Auto Threshold High; Interpretation: 3D; Modus: Min-max; Kriterium: Faktorisierung.
Schritt 11: Dilatation anwenden – dieser Schritt erfordert eine Optimierung je nach Größe der Gelenkflächen – mit Eingabebild: Ergebnis von Schritt 10 (Auto-Schwellenwertung); Typ: Ball; Interpretation: 3D; Größe: 1 Pixel; Präzision: Schneller.
Schritt 12: Bildarithmetik mit Eingabe A anwenden: Ergebnis von Schritt 11 (Dilatation); Eingabe B: Ergebnis von Schritt 8 (Auto-Schwellenwertung); Eingabe C: Ergebnis der Deep-Learning-Vorhersage; Ergebniskanäle: wie Eingang A; Ausdruck: A||B||C.
Schritt 13: Kleine Flecken mit Eingabebild entfernen: Ergebnis von Schritt 12 (Bildarithmetik); Interpretation: 3D; Größe: 500 Pixel.
Schritt 14: Bildarithmetik mit Eingabe A anwenden: Ergebnis von Schritt 13 (kleine Flecken entfernen); Eingabe B: Ergebnis von Schritt 6 (Bildarithmetik); Ergebniskanäle: wie Eingang A; Ausdruck:! A*B.
Schritt 15: Kleine Flecken mit Eingabebild entfernen anwenden: Ergebnis von Schritt 14 (Bildarithmetik); Interpretation: 3D; Größe: 500 Pixel.
Schritt 16: Beschriftung mit Eingabebild anwenden: Ergebnis von Schritt 15 (kleine Flecken entfernen); Interpretation: 3D; Nachbarschaft: 26.
Schritt 17: Anwendung des Bildtyps Konvertieren mit Daten: Ergebnis von Schritt 1 (Medianfilter); Ausgabetyp: 16-Bit-unsigned; Normalisierungsmodus: Skalierung; Skalierung: Scale 3, Offset 2000.
Schritt 18: Anwendung eines markerbasierten Einzugsgebieten in der Maske mit Daten: Ergebnis von Schritt 17 (Bildtyp konvertieren); Marker: Ergebnis von Schritt 16 (Beschriftung); Binärmaske: Ergebnis von Schritt 6 (Bildarithmetik); Split-Typ: Niedrige Intensität.

Segmentierungsmethodentest und Quantifizierung
Die Segmentierungsmethode wurde durch die Erstellung eines Rezepts getestet, das die DL-Gelenkvorhersage mit dem nachgelagerten Bildverarbeitungsrezept in einem Intensitätsbereich von 2500 bis 20.000 Hounsfield-Einheiten integrierte. Die Rezeptgenerierung ermöglichte die Batch-Verarbeitung (Anwendung eines Rezepts auf einen Batch von Dateien) der ursprünglichen micro-CT-Datensätze (.am-Dateiformat als Bildstapel, gespeichert nach dem Import der initialen .dcm-Dateien in Amira). Die Computerhardware umfasste 16 Kerne von einer Intel Xeon Gold 5218 Zentralprozessoreinheit (CPU) bei 2,30 GHz, 128 GB Fehlerkorrekturcode der vierten Generation (DDR4), Zugriffsspeicher (RAM) mit 2666 Megatransfers (MT)/s und 24 GB virtuelle Grafikprozessoreinheit (vGPU/VRAM) auf einem 64-Bit-Betriebssystem mit Windows 10 (Betriebssystemaufbau: 19044.4780). Jeder Hinterpfoten-Datensatz (2 Hinterpfoten) wurde in etwa 32,7 ± 8,42 Minuten (Mittelwert ± Standardabweichung) ohne Benutzerintervention segmentiert. Dies steht im Vergleich zum vorherigen SA-Modell, bei dem die Segmentierungszeit von der Nutzererfahrung abhing, mit Anfängern bei 40,5 ± 9,06 Minuten pro Datensatz und erfahrenen Nutzern bei 19,3 ± 5,34 Minuten pro Datensatz (nur WT-Datensätze, einschließlich Korrektur von Segmentierungsfehlern)12. Sowohl DL- als auch SA-Methoden zeigen bemerkenswerte Verbesserungen gegenüber früherer manueller Goldstandardkonturierung für die Segmentierung mit 190,6 ± 30,4 Minuten pro Datensatz durch einen erfahrenen Nutzer (durchgeführt mit konventioneller Scanco-Analyse)12. Vorderpfoten-Datensätze (2 Vorderpfoten) wurden in etwa 53,4 ± 23,6 Minuten ohne Benutzereingriff segmentiert, wobei die erhöhte Segmentierungszeit auf zusätzliche Strukturen innerhalb der ursprünglichen Bilddatensätze (z. B. Wirbelsäule und Rippen) zurückzuführen ist, die in den distal isolierten Hinterpfoten nicht vorhanden sind und die Segmentierungszeit ohne vorhergehende Volumenbearbeitungsschritte aufblähen.

Die Quantifizierung der Genauigkeit erfolgte durch visuelle Inspektion (HMK), um die korrekte Segmentierung oder Fehlertyp basierend auf der erwarteten Knochenanatomie zu identifizieren (Hindpaw:12,39; Vorderpfote: 40). Die Genauigkeit wurde prozentual berechnet durch:

figure-protocol-1

wobei wahre Positive korrekt segmentierte Knochen waren, wahre Negative gleich 0 (es gibt keine Umstände, unter denen Knochen fehlen sollten, und Hintergrund für die Quantifizierung nicht relevant war), falsch Positive übergespaltene Knochen und falsch negative Überverbindungen Knochen. Die Genauigkeit wurde als angemessene quantitative Kennzahl anhand des Ein-Klassen-Problems (d. h. Identifizierung gemeinsamer Räume) eingestuft, und wahre Negative (d. h. Hintergrund) waren in den Genauigkeitsberechnungen nicht maßgeblich, was das Risiko einer Überschätzung der Leistung verringerte. Die automatisierte Segmentierungsmethode beinhaltet keine Knochenbenennen; Die Knochennamen werden später manuell vom Benutzer mit segmentierten Materialien verknüpft.

Die Untersuchung der Hinterpfoten, die an dieser Studie beteiligt waren, bestätigte die fixierte Verschmelzung in den Tarsalen der Navicular- und lateralen Keilschrift (NAVLAT) bei C57BL/6 Mäusen41 und ergab außerdem, dass die benachbarte intermediäre Keilschrift (INT) ebenfalls variabel mit der NAVALAT-Struktur (NAVLATINT) verschmolzen sein kann12,39. Eine ähnliche variable Fusion wurde im Karpalbereich der Vorderpfoten erkannt, wo die Trapezknochen (ZOID; kleiner multangulär) und zentraler (CENT) entweder als einzelne verschmolzene Struktur (CENTZOID) auftreten oder in einzelne Knochen unterteilt sind, insbesondere bei den Vorderpfoten. Weitere auf Segmentierungsgenauigkeit untersuchte Karpalknochen umfassten das Trapezium (ZIUM; Greater multangular), Capitate (CAP), Hamate (HAM), Triquetrum (TRI; dreieckig), Pisiform (PIS), Scaphoid (Navicular)/Lunate (SCAPHATE; fixierte Fusion) und Falciformis (FALC). Die Vorderpfoten-Metaknabbein (MET-F; 1-5), proximale Phalangen (PP-F; 1-5), distale Phalangen (DP-F; 2-5) und Sesamoiden (S-F; 1-10) sind lateral bis medial nummeriert, im Gegensatz zu den Hinterpfoten-Gegenstücken (Metatarsale (MET-H), PP-H, DP-H und S-H), die medial bis lateralmit 12 nummeriert sind. Zusammen mit NAVLATINT wurden zusätzliche Tarsalknochen für Hinterpfoten untersucht, wie zuvorbeschrieben 12,23, darunter der Kalkstein (CALC), Kuboid (CUB), mediale Keilschrift (MED), Talus (TAL) und Tibiale (TIB). Beachten Sie, dass die Quantifizierungen der Gesamtkohortengenauigkeit leicht variieren, wenn man die Bewertung der durchschnittlichen Genauigkeit pro Datensatz mit einer variablen Anzahl von Knochen aufgrund anatomischer Verschmelzungen mit der auf Basis der auf den gesamten einzelnen analysierten Knochen berechneten Genauigkeit vergleicht.

Statistische Analyse
Statistische Analysen, einschließlich 3- oder 2-Wege-Mixed-Effects-Analysen mit Interaktionseffekten oder Sidaks Mehrfachvergleiche und Fishers exaktem Test, wurden entsprechend in GraphPad Prism (v10.2.0; San Diego, CA, USA). Männchen (2–8 Monate) und Frauen (2–5 Monate) wurden getrennt analysiert, basierend auf den unterschiedlichen Bewertungszeiträumen basierend auf der frühen TNF-Tg-weiblichenSterblichkeit 32. Die Stichprobengrößen der WT-Hinterpfoten, die für Training/Validierung und methodische Tests verwendet werden, sind in ergänzender Tabelle 1 dargestellt, zusammen mit Details zur Stichprobengröße für getestete WT- und TNF-Tg-Hinterpfote sowie Vorderpfoten in ergänzenden Tabelle 2, ergänzender Tabelle 3 und ergänzender Tabelle 4. Da bestimmte Zeitpunkte für WT-Hinterpfotentests eine Genauigkeitsbewertung für <3 Hinterpfoten beinhalteten, wurden Interaktionseffekte in Analysen mit WT-Hinterpfoten ohne nachträgliche Mehrfachvergleiche berichtet. Ganze oder Teile der Hinterpfoten wurden aus der Analyse ausgelassen, wenn Bildgebungsfehler bei unvollständiger Aufnahme der Pfote, erhebliche Bewegungsartefakte die Scans uninterpretierbar machten und/oder wenn das Tier vor einer geplanten Bildgebungssitzung starb, da alle Daten in vivo gesammelt wurden.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Implementierung der automatisierten Gelenkraumerkennung verbessert die Genauigkeit der Knochensegmentierung
Angesichts der Heterogenität von Knochenform und -architektur in komplexen Strukturen wie der Maus-Hinterpfote bauen wir auf unserem systematischen Bildverarbeitungsalgorithmus12 bis DL-Trainingsvorhersagen (blau) auf, gekoppelt mit Bildverarbeitungsschritten zur robusten Identifikation von Inter-Knochen-Gelenksräumen in Mikro-CT-Datensätzen (Abbildung 1A-B; Prozess unten beschrieben und in ergänzender Abbildung 1 dargestellt). Die Identifikation von Zwischenräumen zwischen den Knochen ermöglichte eine präzise Knochentrennung und Segmentierung einzelner Hinterpfotenknochen (getrennte Farben; Abbildung 1C). Für die DL-Komponente bestanden die Trainings- und Validierungsdatensätze (WT) aus gleichaltem Alter (2–6 Monate, n=8 Hinterpfoten pro Alter) und Geschlecht (n=20 Hinterpfoten pro Geschlecht). Die übrigen WT-Hinterpfote (n=44, im Alter von 2 bis 8 Monaten, ausgenommen 6 Monate, da alle für Training und Validierung verwendet wurden) dienten als Testdatensätze zur Quantifizierung der Knochensegmentierung (Abbildung 1D). Es gab 2 WT-männliche Hinterpfoten im Alter von 2 Monaten und 2 weibliche Hinterpfoten mit 3 Monaten, die aufgrund von Bildgebungsfehlern weggelassen wurden (ergänzende Tabelle 1).

Neben der Implementierung bei WT-Hinterpfoten testeten wir auch den automatisierten Segmentierungsansatz an Hinterpfoten von TNF-Tg-Mäusen (n=56 männliche Hinterpfoten, n=48 weibliche Hinterpfoten) mit spontaner entzündlich-erosiver Arthritis. Es gab 4 TNF-Tg-weibliche Hinterpfoten im Alter von 4 und 5 Monaten, die aufgrund von Bildgebungsfehlern oder vorzeitigem Tod vor dem Endpunkt nach 5 Monaten weggelassen wurden (ergänzende Tabelle 2). Der neuartige Segmentierungsalgorithmus erkannte automatisch die Gelenkräume (blau, links) für individuelle Knochentrennung (Farbe, rechts) über beide Geschlechter und Genotypen hinweg (Abbildung 2A-D). Für die Segmentierungsgenauigkeit einzelner Knochen, wie in Ergänzungstabelle 5 und Ergänzungstabelle 6 dargestellt, übertraf WT TNF-Tg-Datensätze sowohl bei Männern (WT 98,4 % gegenüber TNF-Tg 93,1 %, p<0,0001) als auch bei Frauen (WT 98,7 % gegenüber TNF-Tg 92,1 %, s<0,0001). Die Fehlerquelle wurde visuell als unvollständiges Verschließen der Gelenkräume (Pfeile in einem weiß gestrichelten Kasten) demonstriert, wodurch zwei unterschiedliche Knochen unbeabsichtigt zu einer einzigen Segmentierung verbunden wurden (Abbildung 2C-D). Diese überverbundenen Fehler, die bei TNF-Tg-Hinterpfoten gezeigt wurden, könnten Folgen chronischer Schäden darstellen, die zu einer Gelenkfusion führen, bei der der Raum zwischen den Knochen nicht mehr existiert. Tatsächlich wird der Unterschied in der Genauigkeit zwischen WT- und TNF-Tg-Datensätzen im Laufe der Zeit deutlicher, je mehr die arthritische Schwere zunimmt (Abbildung 2E-F), insbesondere in den Tarsalknochen (Abbildung 2G-H, gelb = erhöhte Genauigkeit, grün = verringerte Genauigkeit), die typischerweise als zuverlässige Biomarker für den Fortschreiten der Knochenerosiondienen 23. Im Vergleich zu unserem bisherigen SA-Segmentierungsansatz gab es jedoch insgesamt eine bemerkenswerte Verbesserung der Datensatzgenauigkeit (Abbildung 2E-F; WT männlich: SA 79,39 % ± 5,73 % gegenüber DL 98,16 % ± 1,47 %, p<0,0001; WT weiblich: SA 79,16 % ± 4,84 % gegenüber DL 99,19 % ± 1,63 %, S<0,0001), was die robusten methodischen Fortschritte sowohl in Automatik als auch Zuverlässigkeit demonstriert. Daher bietet unser neuartiges strategisches Modell für die Segmentierung der Hinterpfotenknochen unter Verwendung von DL-unterstützter Gelenkraumidentifikation eine signifikant erhöhte Segmentierungsgenauigkeit in WT-Datensätzen (>98 %) im Vergleich zu früheren SA-Methoden (~79 %), jedoch mit leicht veralteter Leistung bei Anwendung auf Hinterpfoten mit entzündlich-erosiver Arthritis (92 %–93 %).

Die flexible Anwendung der Segmentierungsmethode auf Vorderpfoten zeigt ausgeprägte Gelenkzerstörung und Knochenfusionen bei TNF-Tg-Mäusen mit einer schnellen Verringerung der Segmentierungsgenauigkeit
Wir erweiterten die Anwendung der neuartigen Segmentierungsmethode auf Maus-Vorderpfoten (n=55 WT männliche Vorderpfoten, n=29 WT weibliche Vorderpfoten, n=54 TNF-Tg männliche Vorderpfoten und n=50 TNF-Tg weibliche Vorderpfoten) mit einzigartiger Knochengröße und Anatomie. Es gab 1 Vorderpfote mit 4 Monaten vom WT-Männchen, 1 Vorderpfote mit 4 Monaten und 2 Vorderpfoten mit 5 Monaten für das WT-Weibchen, 2 Vorderpfoten mit 3 Monaten für das TNF-Tg-Männchen und 2 Vorderpfoten mit 4 Monaten und 4 Vorderpfoten mit 5 Monaten für das TNF-Tg-Weibchen, die aufgrund von Bildgebungsfehlern oder vorzeitigem Tod vor dem Endpunkt ausgelassen wurden. Außerdem gab es bei der WT-Weibchen bei 3 Monaten einen partiellen Bildgebungsfehler mit dem Wegfall von DP-F3, PP-F3, DP-F4 und PP-F4 (ergänzende Tabelle 3 und ergänzende Tabelle 4). Zur Orientierung stellen wir ein Modell der WT-Vorderpfote bereit, wobei jeder einzelne Knochen durch Farbe und knochenspezifische Nomenklatur aus unterschiedlichen Blickwinkeln getrennt ist (Abbildung 3). Frühere Untersuchungen an TNF-Tg-Mäusen konzentrierten sich hauptsächlich auf die Hinterpfote, während wir hier die Architektur der Maus-Vorderpfoten sowohl bei WT- als auch TNF-Tg-Mäusen demonstrieren. Besonders hervorheben wir die Karpale (gelber gestrichelter Kreis) und die Sesamoiden (blauer gestrichelter Kreis), die eine visuell ausgeprägte erosive Erkrankung zeigen, insbesondere bei TNF-Tg-Weibchen (Abbildung 4A-D). Daher zeigte der Vergleich der Genauigkeit der Segmentierung von Hinterpfoten und Vorderpfoten eine deutliche Reduktion der Vorderpfoten (Pfotentypeffekt p<0,0001), die hauptsächlich durch den starken Rückgang der Knochenintegrität mit erhöhtem Alter und Krankheitsschwere in TNF-Tg-Datensätzen verursacht wurde (Abbildung 4E-F; Pfote x Genotyp-Effekt p=0,0083; männliche Vorderpfoten: WT 87,29 % ± 2,07 % gegenüber TNF-Tg 72,65 % ± 11,70 %) S<0,0001). Ähnlich wie bei den Hinterpfoten ist der Rückgang der TNF-Tg-Segmentierungsgenauigkeit mit Alterung und Krankheitsschwere bei den Karpalen sowie den Sesamoiden stärker ausgeprägt (Abbildung 4G-H, ergänzende Tabelle 7 und ergänzende Tabelle 8). Diese regionale Knochenpathologie kann durch verstärkte erosive Aktivität an der benachbarten Artikulation von MET-F und PP-F (Metakarpophalangealgelenk) verursacht werden. Die Bewertung des Fehlertyps zeigte, dass TNF-Tg-Vorderpfoten tendenziell einen höheren Anteil vollständig erodierter Knochen aufweisen als Hinterpfoten (ergänzende Abbildung 2, rot als fehlend). Obwohl das Fehlen von Knochen in TNF-Tg-Vorderpfoten sicherlich eine fortschreitende Arthritis-Schwere widerspiegelt, könnte es auch eine Begrenzung der Bildauflösung aufzeigen. Die starken Erosisionen der TNF-Tg-Vorderpfoten werden weiter durch repräsentative Bilder über die Zeit hinweg demonstriert, die den Karpalbereich (weiße Pfeile) und die fortschreitende vollständige Verrenkung der Pfote vom Unterarm (gelbe Pfeile) hervorheben, was besonders bei TNF-Tg-Weibchen auffällt (ergänzende Abbildung 3). Daher zeigte die flexible Anwendung der automatisierten Knochensegmentierungsmethode auf einzigartige Strukturen der Vorderpfote eine bemerkenswerte Leistung in WT-Datensätzen (~87 %) mit einer ähnlichen Genauigkeitsreduktion bei TNF-Tg-Vorderpfoten bei entzündlich-erosiver Arthritis (67 %–72 %).

Datenverfügbarkeit:
Wie im Abschnitt zur Micro-CT-Bildsammlung beschrieben, wurden die Hinterpfotendaten zuvorveröffentlicht und sind öffentlich verfügbar unter https://doi.org/10.5281/zenodo.1119178228. Die Daten zur Genauigkeitsquantifizierung in der SA-Segmentierungsmethode für WT12- und TNF-Tg-23-Datensätze wurden für den direkten Vergleich mit dem hier beschriebenen neuartigen DL-Modell umverwendet. Keine spezifischen Daten aus der zusätzlichen vorherigen Studie wurden wiederverwendet.35, aber dieselben Hinterpfoten-Datensätze, dieöffentlich verfügbar sind, wurden ebenfalls verwendet. Weitere Details zur Lizenzierung und Wiederverwendung von Daten finden Sie im Folgenden. Für die Zwecke der beschriebenen Studie wurden die entsprechenden Vorderpfotendaten auch im Zenodo-Repository (https://doi.org/10.5281/zenodo.14865639)29 öffentlich zugänglich gemacht.

Die Genauigkeitsdaten für die SA-Segmentierungsmethode WT-Datensätze12 wurden in Abbildung 2 wiederverwendet. Die Wiederverwendung dieses Materials ist durch die Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode geschützt. Als Autoren des referenzierten Werks behalten wir uns das Recht vor, weitere abgeleitete Werke über die Autorenrechte von Elsevier https://beta.elsevier.com/about/policies-and-standards/copyright vorzubereiten. Die Datenpunkte wurden für den zeitlichen Vergleich mit TNF-Tg-Gegenstücken und direkt mit der hier beschriebenen neuartigen DL-Methode neu visualisiert und mit der hier beschriebenen neuartigen DL-Methode neu visualisiert.

Die Genauigkeitsdaten für die SA-Segmentierungsmethode WT und TNF-Tg-Datensätze23 wurden für Abbildung 2 neu verwendet, und die WT- und TNF-Tg-Hinterpfoten-Datensätze wurden für volumetrische Messungen, diezuvor 23 waren, weiter ausgewertet. Die Wiederverwendung des Materials ist durch die Creative Commons Attribution License (https://creativecommons.org/licenses/by/4.0/) geschützt, die uneingeschränkte Nutzung, Verbreitung und Vervielfältigung in jedem Medium erlaubt, sofern der ursprüngliche Autor und die Quelle genannt werden. Die Datenpunkte wurden zur Bewertung der Genauigkeit im Zeitverlauf neu visualisiert und direkt mit der hier beschriebenen neuartigen DL-Methode verglichen.

Die gleichen öffentlich verfügbaren WT- und TNF-Tg-Hinterpfoten-Datensätze28 wurden zuvor für Knochenvolumenmessungen für neuartige Vergleiche mit Radlaufkohorten35 weiterverwendet. Die Wiederverwendung des Materials ist durch die Creative Commons Attribution 4.0 International License (https://creativecommons.org/licenses/by/4.0/) geschützt, die die Nutzung, das Teilen, die Anpassung, Verbreitung und Vervielfältigung in jedem Medium oder Format erlaubt, solange Sie den ursprünglichen Autor(en) und die Quelle angemessen angeben, einen Link zur Creative Commons-Lizenz angeben und angeben, ob Änderungen vorgenommen wurden. Die gleichen öffentlich verfügbaren Datensätze wie28 wurden in der aktuellen Arbeit verwendet, jedoch ohne spezifische Nutzung oder Änderung zuvor veröffentlichter Datenpunkte.

figure-results-1
Abbildung 1: Automatisierte Gelenkraumerkennung durch strategische Bildverarbeitung und Deep-Learning-Vorhersagen für Knochensegmentierung. Murine Mikro-CT-Datensätze mit Visualisierung von (A) der dorsalen (oben) und der Plantarfläche (unten) wurden verarbeitet, um (B) die anschließende automatisierte Identifikation der Gelenkräume (blau) mit einem DL-Modell (beschrieben in ergänzender Abbildung 1) zu verarbeiten, das aus Goldstandard-Knochensegmentierungen12,23 entwickelt wurde. (C) Die endgültige erfolgreiche Knochentrennung (knochenspezifische Farben) wurde durch eine zusätzliche Kombination von Bildverarbeitungsschritten erreicht, darunter ein schwarzer Zylinder12, Strukturverbesserung37 und Membranverstärkung mitTensor-Voting 38 für eine robuste Gelenkraumerkennung zur Beschriftung einzelner Knochen. (D) Training und Validierung (n=40 Hinterpfoten) der DL-Komponente wurden mit WT-Maus-Hinterpfoten gleichen Alters (von 2-6 Monaten, n=8 Hinterpfoten pro Zeitpunkt) und Geschlechtsverteilung (n=20 Hinterpfoten männlich/weiblich) durchgeführt, wobei zufällig 25 % der Untervolumina zur Validierung verwendet wurden (3 Untervolumen pro Hinterpfote, insgesamt 120 Untervolumen). Die übrigen WT-Hinterpfoten (n=44) wurden als Testfälle für weitere Analysen bewertet. Die Kombination aus DL-Modell und Bildverarbeitungsalgorithmen wurde mit zuvor veröffentlichten und öffentlich verfügbaren Datensätzen23,28 bewertet. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

figure-results-2
Abbildung 2: Die Implementierung der automatisierten Gelenkraumerkennung mit Deep-Learning-Erleichterung verbessert die Knochensegmentierungsgenauigkeit. (A-B) Nach der Entwicklung der automatisierten Gelenkraumerkennung haben wir das DL-Modell (links: blaue Gelenkräume; rechts: knochenspezifische Segmentierungsfarben) auf die verbleibenden Testfälle für WT-Männer und -Frauen angewandt. (C-D) Wir bewerteten außerdem die Leistung bei altersgematchten Kohorten (Männer: 2–8 Monate; Weibchen: 2–5 Monate) von TNF-Tg-Mäusen mit progressiver entzündlich-erosiver Arthritis, die mit früher Sterblichkeit bei Weibchen assoziiert ist,32 Jahre. Einsetzbilder zeigen Segmentierungsfehler mit hoher Vergrößerung (gestrichelte Felder), bei denen Trennungen in vorhergesagten Gelenkräumen (weiße Pfeile) zu einem Leck in der Knochentrennung führen, was zu überverbundenen Knochensegmentierungsfehlern führt. (E-F) Beachten Sie, dass der 6-Monats-Zeitpunkt für Männer weggelassen wurde, da alle WT-Datensätze für Training und Validierung verwendet wurden und sie daher nicht in die DL-Testkohorte aufgenommen wurden. Im Vergleich zu unseren bisherigen SA-Segmentierungsalgorithmen12,23 wurde die Segmentierungsgenauigkeit (korrekt segmentierte Knochen / Gesamtknochen) sowohl für WT- als auch TNF-Tg-Datensätze mit dem DL-Ansatz bemerkenswert verbessert, unabhängig vom Geschlecht (durchschnittliche Genauigkeitslinien: durchgehend schwarz = DL WT, gestrichelt schwarz = DL TNF-Tg, solidgrau = SA WT, gestrichelt grau = SA TNF-Tg). Allerdings nahm die Genauigkeit der TNF-Tg-Segmentierungen mit der Zeit deutlich ab und es kam zu fortschreitenden Gelenkschäden im Vergleich zu WT, obwohl sie weiterhin die SA-Methode übertraf. (G-H) Genauigkeitskarten, die auf Knochenkompartimente festgelegt sind (T = Tarsalen, MT = Metatarsalen, PP = proximale Phalangen, DP = distale Phalangen, S = Sesamoiden) zeigen die erhöhte Fehlerquote bei TNF-Tg-Mäusen, die überwiegend auf den Tarsalbereich beschränkt ist (hell (gelb) = hoch (100 %), dunkel (lila) = geringe (20 %) Genauigkeit). Wie bereits erwähnt, heben eingefügte Bilder (C-D) die Fehlerquelle mit losgelösten Gelenkabstellen hervor (Pfeile, linkes Bild), was zu überverbundenen Knochen führt (Farben, rechtes Bild). Tatsächlich waren die Fehler überwiegend übermäßig verbunden (2+ Knochen als 1 Material segmentiert; in ergänzender Abbildung 2 vermerkt), was den pathologischen Prozess von Gelenkfusionen mit zunehmender arthritischer Schwere darstellen könnte. Statistik: 3-Wege-Mixed-Effects-Analyse (SA versus DL; Methode x Genotyp x Zeit; E-F), 2-Wege-Mixed-Effects-Analyse (WT vs. TNF; Genotyp x Zeit; E-H); p<0,0001, **p<0,01, *p<0,05 (Wechselwirkungseffekte); Daten präsentiert als Mittelwert ± Standardabweichung. Stichprobengrößen: n=34 Hinterpfoten WT männlich (n=2 mit 2 Monaten, n=4 mit 3 Monaten, n=6 bei 4-5 Monaten, n=0 bei 6 Monaten [alle Testdaten], n=8 bei 7-8 Monaten), n = 10 Hinterpfoten WT weiblich (n=4 bei 2 Monaten, n=2 bei 3-5 Monaten), n=56 Hinterpfoten TNF-Tg männlich (n=8 bei 2-8 Monaten), und n=48 Hinterpfoten TNF-Tg weiblich (n=14 im Alter von 2-3 Monaten und n=10 im Alter von 4-5 Monaten). Die in dieser Abbildung verwendeten Daten wurden aus früheren Studien 12,23 modifiziert. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

figure-results-3
Abbildung 3: Flexible Anwendung der Gelenkraum-Deep-Learning-Segmentierung auf andere komplexe Strukturen hebt die Anatomie des Vorderpfotenknochens der Maus hervor. Als Nächstes haben wir das Potenzial des DL-Modells der Gelenkraumsegmentierung bewertet, Knochen automatisch in weiteren komplexen Strukturen jenseits der Hinterpfote zu trennen. Die Segmentierungsmethode wurde in den entsprechenden Mikro-CT-Datensätzen der Vorderpfote implementiert, die von den (A) dorsalen, (B) Plantaren, (C) lateralen und (D) medialen Flächen mit Farben visualisiert wurden, die einzelne segmentierte Knochen repräsentieren. Wir identifizierten das Potenzial für eine genaue Segmentierung der Vorderpfotenknochen, einschließlich deutlicher Karpalen, Metakarpalen (#, MET-F), proximalen Phalangen (^, PP-F), distalen Phalangen (~, DP-F), Sesamoiden (gestrichelte Kreise, S-F) und Krallen (*) mit knochenspezifischer Markierung, die der bekannten Vorderpfotenanatomie40 entsprechen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

figure-results-4
Abbildung 4: TNF-Tg-Mäuse zeigen ausgeprägte Zerstörung des Vorderpfotengelenks und Knochenfusionen mit einer schnellen Verringerung der Segmentierungsgenauigkeit. (A-B) Angesichts der Komplexität und kleinen Architektur der Maus-Vorderpfoten, die durch dorsale (links) und plantare (rechts) Visualisierung von Mikro-CT-Bildern von WT-Männchen und Weibchen hervorgehoben wird, (C-D) die Anatomie und die damit verbundene Arthritis bei TNF-Tg-Mäusen wurden bisher nicht untersucht. Die Anwendung unseres neuartigen Gelenkraum-DL-Ansatzes bot eine erste Gelegenheit, diese komplexen Strukturen zu bewerten, indem die analytischen Herausforderungen mit einer Genauigkeit von >85 % der WT-Vorderpfoten reduziert wurden, allerdings mit einer mangelnden Genauigkeit im Vergleich zu den Hinterpfoten (durchschnittliche Genauigkeitslinien: durchgehend blau = WT Hinterpfote, gestrichelt blau = TNF-Tg Hinterpfote, solide rot = WT Vorderpfote, gestrichelt rot = TNF-Tg Vorderpfote). (E-F) Darüber hinaus zeigten TNF-Tg-Vorderpfoten einen schnellen und dramatischen Rückgang der Segmentierungsgenauigkeit aufgrund von Fehlern, die auf die Karpalen (gelb gepunktete Kreise in A-D) und Sesamoiden (blau gepunktete Kreise in A-D) beschränkt waren. (G-H) Die verringerten regionalen Reduktionen der Segmentierungsgenauigkeit zeigen sich durch Heatmaps (hell (gelb) = hoch (100 %), dunkel (lila) = geringe (20 %) Genauigkeit) der Knochenkompartimente (C = Karpale, MC = Metakarpale, PP = proximale Phalangen, DP = distale Phalangen, S = Sesamoiden). Beachten Sie, dass der 6-Monats-Zeitpunkt für den Mann in (E) ausgelassen wurde, da alle WT-Hinterpfoten-Datensätze für Training und Validierung verwendet wurden und daher nicht in die DL-Testkohorte aufgenommen wurden. Statistiken: 3-Wege-Mixed-Effects-Analyse (Hinterpfote vs. Vorderpfote, WT vs. TNF; Pfotentyp x Genotyp x Zeit, berichtete Interaktionseffekte; E-F), 2-Wege-Mixed-Effects-Analyse mit Sidaks Mehrfachvergleichen (WT vs TNF; Genotyp x Zeit; G-H); p<0,0001, **p<0,01, *p<0,05; Daten präsentiert als Mittelwert ± Standardabweichung. Stichprobengrößen: n=55 Vorderpfoten WT männlich (n=8 bei 2-3 und 5-8 Monaten, n=7 bei 4 Monaten), n = 29 Vorderpfoten WT weiblich (n=8 bei 2-3 Monaten, n=7 bei 4 Monaten, n=6 bei 5 Monaten), n = 54 Vorderpfoten TNF-Tg männlich (n=8 bei 2 und 4-8 Monaten, n=6 bei 3 Monaten), und n=50 Vorderpfoten (n=14 im Alter von 2-3 Monaten, n=12 im Alter von 4 Monaten und n=10 im Alter von 5 Monaten). DL-Hinterpfotendaten (E-F) wurden aus Abbildung 2E-F für zusätzlichen Vergleich mit DL-Vorderpfotendaten wiedergegeben. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Ergänzende Abbildung 1: Entwicklung und Training des Deep-Learning-Modells der gemeinsamen Erkennung. (A) Groundtruth-Gelenkregionen wurden aus den anfänglichen Groundtruth-Knochensegmentierungen durch ein automatisches Rezept mit Amira gewonnen, das Label-Expansion, Extraktion von Label-Interfaces, Maskierung und Dilatation kombiniert. (B) Für jeden der 20 Trainings-Mikro-CT-Datensätze (40 Hinterpfoten) wurden 6 Untervolumen mit 200 x 200 Voxeln manuell aus Tarsalen, distalen Phalangen und Hintergrundregionen extrahiert, gleichmäßig auf linke und rechte Pfoten verteilt (3 Flecken pro Hinterpfote). Die daraus resultierenden 120 Untervolumina wurden dann als Eingabe für ein 3D-Segmentierungs-Amira-Trainingsmodul zusammen mit entsprechenden beschrifteten gemeinsamen Regionen als Ground Truth Target verwendet. Eine randomisierte Teilmenge von 25%-Patches wurde zur Validierung verwendet, um das Modellüberfitting während des Trainings zu kontrollieren. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Abbildung 2: Unterschiedliche Verteilung der Fehlertypen zwischen Hinterpfoten und Vorderpfoten. Ähnlich wie der zuvorentwickelte SA-Segmentierungsalgorithmus 12,23 erzeugte das Gelenkraum-DL-Modell den größten Anteil an Fehlern durch Überverbinden von Knochen (grün, 2+ Knochen als 1 Material segmentiert), am auffälligsten bei den (A-D) Hinterpfoten oder (E-F) WT-Vorderpfoten. Wie in Abbildung 2 erwähnt, treten Überverbindungsfehler auf, wenn eine Lücke im erkannten Gelenkraum besteht, die aus verschiedenen Gründen entstehen kann, darunter größere Knochennäherung als Bildauflösung, Bewegungsartefakte, die den Gelenkraum verwischen, oder Knochenremodellierung im Zusammenhang mit Arthritis, was zu Gelenkfusionen führt. (G-H) Interessanterweise zeigen TNF-Tg-Vorderpfoten einen bemerkenswert erhöhten Anteil an fehlenden Knochen (rot), was bedeutet, dass der Knochen in der Segmentierung vollständig fehlte. Diese Fehler werden wahrscheinlich auf eine Kombination aus starken Erosisionen und Mängeln in der Bildauflösung zurückgeführt, da die Vorderpfotenknochen, insbesondere der Karpalen und Sesamoiden, als vorherrschende Fehlerquelle (Abbildung 4) im Vergleich zu den Hinterpfoten relativ verkleinert sind. Weitere Arten von Fehlern sind Überspaltung (blau, 1 Knochen segmentiert als 2+ Materialien) oder sowohl überverbunden als auch übergespalten (orange). Tortendiagramme stellen Anteile der Gesamtfehler dar, die bestimmten Fehleruntertypen zugeschrieben werden. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Abbildung 3: Untersuchung der fortschreitenden TNF-Tg-Vorderpfotenarthritis mit schweren Knochenerosisionen und Gelenkverrenkungen. Um die strukturellen Veränderungen der Vorderpfoten im Laufe der Zeit zu visualisieren, lieferten wir repräsentative Bilder der dorsalen Oberfläche von (A) WT-männlichen, (B) TNF-Tg-männlichen, (C) WT-weiblichen Vorderpfoten und (D) TNF-Tg-weiblicher Vorderpfoten über die Zeit von 2 bis 5 Monaten (von links nach rechts), um besonders die Karpalregion (weiße Pfeile) hervorzuheben. Beachten Sie die schweren Knochenerosisionen und Umgestaltungen, die bei Frauen etwa 4 Monate und bei Männern 5 Monate später auftreten. Diese Zeiträume liegen vor dem typischen Beginn schwerer Knochenerosisionen bei den Hinterpfoten, etwa 5 Monate bei Weibchen und 7–8 Monate bei Männchen, die23 Jahre alt sind. (E) Eine Seitenansicht der weiblichen Vorderpfoten von TNF-Tg zeigt ebenfalls die fortschreitende Verrenkung der gesamten Pfote vom Unterarm (gelbe Pfeile), die mit der Gelenkzerstörung verbunden ist. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Tabelle 1: Stichprobengrößen von WT-Hinterpfoten für DL-Training, Validierung und methodologische Tests. Stichprobengrößen in der Anzahl der Hinterpfoten werden altersübergreifend (Monate 2–8) angegeben und nach Datensätzen organisiert, die für DL-Training/-validierung, vollständige methodologische Tests oder solche, die entweder aufgrund von Bildfehlern, schwerer Bewegungsartefakte oder Tod vor dem geplanten Mikro-CT-Scan ausgelassen wurden, verwendet werden. Schwarze Zellen von den Monaten 6 bis 8 bei Frauen deuten auf das geplante Abbrechen der Scans nach 5 Monaten aufgrund der frühen Sterblichkeit von TNF-Tg-Experimenten hin. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Tabelle 2: Stichprobengrößen der TNF-Tg-Hinterpfoten für methodologische Tests. Stichprobengrößen in der Anzahl der Hinterpfoten werden altersbedingt (Monate 2–8) angegeben und nach Datensätzen organisiert, die für die Gesamtmethodik verwendet werden oder solche, die aufgrund von Bildgebungsfehlern, schweren Bewegungsartefakten und/oder Tod vor dem geplanten Mikro-CT-Scan ausgelassen wurden. Schwarze Zellen von den Monaten 6 bis 8 bei Weibchen deuten auf das geplante Abbrechen der Scans nach 5 Monaten aufgrund der frühen Sterblichkeit von TNF-Tg-weiblichen Mäusen hin. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Tabelle 3: Stichprobengrößen von WT-Vorderpfoten für methodologische Tests. Stichprobengrößen in der Anzahl der Vorderpfoten werden über das Alter hinweg (Monate 2–8) angegeben und nach Datensätzen organisiert, die für die Gesamtmethodik verwendet werden oder solche, die aufgrund von Bildfehlern, schweren Bewegungsartefakten und/oder Tod vor dem geplanten Mikro-CT-Scan ausgelassen wurden. Schwarze Zellen von den Monaten 6 bis 8 bei Frauen deuten auf das geplante Abbrechen der Scans nach 5 Monaten aufgrund der frühen Sterblichkeit von TNF-Tg-Experimenten hin. *Nach 3 Monaten bei WT-Weibchen hatte n=1 Vorderpfote DP-F3, PP-F3, DP-F4 und PP-F4 aufgrund von Bildgebungsfehlern ausgelassen, obwohl der Rest der Vorderpfote untersucht wurde. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Tabelle 4: Stichprobengrößen von TNF-Tg Vorderpfoten für methodologische Tests. Stichprobengrößen in der Anzahl der Vorderpfoten werden über das Alter hinweg (Monate 2–8) angegeben und nach Datensätzen organisiert, die für die Gesamtmethodik verwendet werden oder solche, die aufgrund von Bildfehlern, schweren Bewegungsartefakten und/oder Tod vor dem geplanten Mikro-CT-Scan ausgelassen wurden. Schwarze Zellen von den Monaten 6 bis 8 bei Weibchen deuten auf das geplante Abbrechen der Scans nach 5 Monaten aufgrund der frühen Sterblichkeit von TNF-Tg-weiblichen Mäusen hin. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Tabelle 5: Individuelle Knochengenauigkeit der männlichen Hinterpfoten. Um die spezifischen Knochen zu identifizieren, die die Segmentierungsgenauigkeit bei TNF-Tg im Vergleich zu WT-Hinterpfoten verringern, werden Details zur Anzahl der korrekt, falsch segmentierten Knochen und zum prozentualen Prozentsatz der bei männlichen Mäusen bewerteten Knochen angegeben. Innerhalb der Tarsalregion, in der die primären Defizite auftreten (Abbildung 2), zeigten die Kalksteine (CALC), die intermediäre Keilschrift (unfusioniert, INT) und die navikuläre/laterale Keilschrift (nicht fusioniert) den deutlichsten Rückgang der Genauigkeit bei TNF-Tg-Hinterpfoten. Statistik: Fishers exakter Test; *p<0,05, **p<0,01, ***p<0,001, ****p<0,0001. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Tabelle 6: Individuelle Knochengenauigkeit der weiblichen Hinterpfoten. Um die spezifischen Knochen zu identifizieren, die die Segmentierungsgenauigkeit bei TNF-Tg im Vergleich zu WT-Hinterpfoten verringern, werden Details zur Anzahl der korrekt oder falsch segmentierten Knochen sowie zum prozentualen Prozentsatz der bei weiblichen Mäusen bewerteten Knochen angegeben. Angesichts der Nutzung von Datensätzen für DL-Training und -Validierung sowie des verkürzten Zeitrahmens auf 5 Monate für den Vergleich mit TNF-Tg-Mäusen, die einefrühe Mortalität von 32 aufweisen, begrenzt die Gesamtzahl der DL-Test-Hinterpfoten für WT-Weibchen die Kapazität für individuelle Knochenvergleiche, um die insgesamt verringerte Genauigkeit in TNF-Tg-Datensätzen zu erklären. Statistik: Fishers exakter Test; S<0,0001. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Tabelle 7: Individuelle Knochengenauigkeit der männlichen Vorderpfoten. Um die spezifischen Knochen zu identifizieren, die die Segmentierungsgenauigkeit bei TNF-Tg vs. WT-Vorderpfoten verringern, werden Details zur Anzahl der korrekt segmentierten Knochen und zum prozentualen Prozentsatz der bei männlichen Mäusen bewerteten Knochen angegeben. Innerhalb der Karpal- und Sesamoidregionen, in denen die primären Defizite auftreten (Abbildung 4), zeigten das Kapitatus (CAP), Triquetrum (TRI), Centrale (nicht fusioniert, CENT), Skaphoid/Lunate (SCAPHAT), Trapez (ZOID) und Sesamoide 2-10 den auffälligsten Rückgang der Genauigkeit bei TNF-Tg Vorderpfoten. Bemerkenswert ist, dass die Genauigkeit der Sesamoiden 1 und 2 sowohl für die WT- als auch für die TNF-Tg-Datensätze mangelhaft ist. Interessanterweise zeigte Metakarpal 1 tatsächlich Verbesserungen bei der Segmentierungsgenauigkeit bei TNF-Tg-Mäusen, möglicherweise aufgrund enger Artikulationen mit benachbarten Knochen, die zu Überverbindungsfehlern führen, die durch arthritische Erosionen gemildert werden. Statistik: Fishers exakter Test; *p<0,05, **p<0,01, ***p<0,001, ****p<0,0001. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Tabelle 8: Individuelle Knochengenauigkeit der weiblichen Vorderpfoten. Um die spezifischen Knochen zu identifizieren, die die Segmentierungsgenauigkeit bei TNF-Tg- vs. WT-Vorderpfoten verringern, werden Details zur Anzahl der korrekt segmentierten Knochen und zum prozentualen Prozentsatz der bei weiblichen Mäusen bewerteten Knochen angegeben. Innerhalb der Karpal- und Sesamoidregionen, in denen die primären Defizite auftreten (Abbildung 4), zeigten der Kapitatus (CAP), der Hamat (HAM), das Triquetrum (TRI) und die Sesamoiden 1–10 den auffälligsten Rückgang der Genauigkeit bei TNF-Tg-Vorderpfoten. Bemerkenswert ist, dass die Genauigkeit der Sesamoiden 1 und 2 sowohl für die WT- als auch für die TNF-Tg-Datensätze mangelhaft ist. Statistik: Fishers exakter Test; *p<0,05, ***p<0,001, ****p<0,0001. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Datei 1: Gemeinsames Segmentierungsrezept für das Training von Deep-Learning-Modellen. Eine Reihe eingebetteter Schritte zur Extraktion segmentierter Gelenkflächen aus goldstandardmäßigen, vorsegmentierten Mikro-CT-Hinterpfoten, die verwendet wurden, um das DL-Modell für die Identifikation des Gelenkraums zu trainieren. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Datei 2: Knochensegmentierungsrezept mit Bildverarbeitung und Deep-Learning-Facilitation. Eine Reihe eingebetteter Schritte zur Umwandlung der ursprünglichen Mikro-CT-Daten in Segmentierungen einzelner Knochen mittels Bildverarbeitungsschritte, kombiniert mit der Ausgabe der DL-Gelenkraumidentifikation zur Steuerung der Knochentrennung. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Datei 3: Deep-Learning-Vorhersagegewichte. Datei, die als Eingabe für Gewichte während der Deep-Learning-Vorhersage der Segmentierung des gemeinsamen Raums verwendet wird. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Datei 4: Deep-Learning-Vorhersagearchitektur. Datei, die als Eingabe für die Architektur während der Deep-Learning-Vorhersage der Segmentierung des gemeinsamen Raums verwendet wird. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Datei 5: Deep-Learning-Python-Skript. Datei, die als Python-Skript zur Deep-Learning-Vorhersage der Segmentierung des gemeinsamen Raums verwendet wird. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bis zum Ende vollautomatisierter Analysen der Knochenvolumina bei Mäusen haben wir weitere Verbesserungen in der Segmentierung von Mikro-CT-Daten in komplexen Strukturen, insbesondere bei Maus-Hinterpfoten, erzielt. Die Strategie bestand darin, die artikulierenden Gelenkräume gezielt zu nutzen, um Grenzen für die Knochentrennung zu schaffen, wobei die Fokussierung auf den negativen Raum zwischen den Knochen eine flexible Umsetzung in alternativen Strukturen wie der Vorderpfote ermöglichte, da der Ansatz nicht speziell auf Form und Anatomie der unterschiedlichen Hinterpfotenknochen abzielte. Obwohl die Segmentierungsgenauigkeit bei der Ausführung an den Vorderpfoten abnahm, zeigten WT-Datensätze dennoch eine Knochengenauigkeit von >85 %. Gut beschriebene Korrekturprozesse12 könnten angewendet werden, um vorannotierte Forepaw-Modell-Datensätze für DL-Training zu erstellen, wodurch die Hürden für die Erstellung strukturspezifischer Algorithmen erheblich gesenkt werden. Dieser neuartige Ansatz ermöglichte auch die Anwendung auf TNF-Tg-Pfoten mit schwerer und fortschreitender entzündlich-erosiver Arthritis. Bei TNF-Tg-Pfoten war der Rückgang der Segmentierungsgenauigkeit im Laufe der Zeit auffällig, was dem fortschreitenden Anstieg von Knochenerosisionen und letztlich pathologischen Knochen-Knochen-Versteifungen durch die Umgestaltung erodierter Oberflächen mit zunehmendem Alter entsprach. Daher hat die bemerkenswert erfolgreiche Anwendung eines automatisierten und hochpräzisen Segmentierungsmodells in WT-Strukturen das Potenzial, zukünftige Anwendungen in Krankheitsmodellen oder anderen komplexen Gelenken zu leiten. Weitere Untersuchungen konzentrieren sich auf die Optimierung der Segmentierung arthritischer Gelenke, die pathologische Effekte von Knochenerosion und -fusionen quantifizieren kann, um Krankheitsbiomarker zu identifizieren, wie bereitsbeschrieben 23.

Trotz des erfolgreichen Einsatzes der Mikro-CT-Bildgebung zur Überwachung der Erosion kleiner Knochen in präklinischen Arthritis-Modellen 12,23,25,35,42 gab es bisher nur begrenzte Anwendung von CT-Modalitäten in der klinischen Bewertung. Insbesondere bei rheumatoider Arthritis werden Bewertungssysteme hauptsächlich für MRI43, Ultraschall44,45 und/oder konventionelles Röntgenbild46 eingesetzt, um halbquantitative und benutzerabhängige Messgrößen des Krankheitsschweres zu erstellen, oft in Verbindung mit klinischen Metriken47. Da CT als Goldstandard für die Bewertung der Knochenintegrität48,49 gilt, verspricht eine weitere Optimierung klinisch übersetzbarer analytischer Ansätze einen enormen Nutzen für eine zuverlässige und längsgeschnittene quantitative Beurteilung von Knochenvolumen, sowohl zur Messung der Krankheitsschwere als auch zur Bewertung der Behandlungsreaktion. Obwohl bildgebende Verfahren wie das MRT eine größere Informationsvielfalt bieten, einschließlich Entzündungsregionen, Knochenmarkveränderungen und Weichteilpathologie, bieten neuartige CT-Bildgebungsmethoden mit Multi-Energie-Eingängen vielversprechende Möglichkeiten, die CT-Nutzung über die Knochenarchitektur hinaus zu erweitern. Trotz dieser vorgeschlagenen Vorteile erkennen wir auch die enormen Herausforderungen bei der klinischen Übersetzung aus entwickelten präklinischen Analysetools an, wobei wir die Anwendung auf niedrigauflösende klinische CT-Bilder und die Implementierung in unterschiedlichen menschlichen Anatomien berücksichtigen. Ähnlich wie bei unserer jüngsten Identifikation knochenspezifischer Biomarker in präklinischen Arthritis-Modellen23 wäre eine detaillierte klinische Untersuchung rein quantitativer Metriken der Knochenerosion ein bedeutender Fortschritt in der Krankheitsüberwachung.

Während unsere aktuelle Arbeit angesichts des Potenzials für eine flexible Anwendung auf neuartige Strukturen durch gezielte Gelenkräume eine Grundlage bildet, ist eine Haupteinschränkung die Abhängigkeit von einer gut dokumentierten präklinischen, forschungsorientierten Software in Amira, die nicht für klinische Diagnosen gedacht ist. Die zugrunde liegenden Algorithmen und das strategische Design können jedoch problemlos in alternativen Softwareumgebungen durch die detaillierte Methodik implementiert werden. Unabhängig von der verwendeten Forschungssoftware erfordert die Integration in den klinischen Einsatz (statt in die Untersuchung) translationale Anstrengungen, die die regulatorischen Anforderungen für die Einführung in die klinische Praxis erfüllen. Für die Anwendung der neuartigen Segmentierungsstrategie ist es auch wichtig, die potenziellen Einschränkungen der unterschiedlichen Bildauflösung zu berücksichtigen, wobei wir bereits beschrieben haben, dass Bildauflösung (d. h. Voxel-/Strukturgröße) ein entscheidender Faktor für die Segmentierungsgenauigkeit ist, ausschließlich unter Verwendung von Bildverarbeitungsalgorithmen12. Tatsächlich hängt dies möglicherweise mit der leichten Verringerung der Segmentierungsgenauigkeit der Vorderpfoten zusammen, wobei die verringerte Größe der Vorderpfotenstrukturen im Vergleich zu den Hinterpfoten zwangsläufig eine relativ geringere Bildqualität führen würde. Es ist auch wichtig, die Diskrepanz im Altersbereich der Ausbildung (2–6 Monate) und der Testdaten (einschließlich 7–8 Monate) anzuerkennen, was die Anwendung und Genauigkeit bei altersbedingten Veränderungen beeinflussen kann, einschließlich weiterem Knochenwachstum oder weiterem Beginn von Gelenkerkrankungen. Unsere Ergebnisse unterstützen eine anhaltende Genauigkeit für WT-Hinterpfoten in der DL-Analyse über das 6. Monatsalter hinaus (Abbildung 2E), was darauf hindeutet, dass die Abnahme der Segmentierungsleistung bei TNF-Tg-Gegenstücken wahrscheinlich eher mit einer entflammerisch-erosiven Progression unabhängig vom Alter zusammenhängt. Weitere Studien mit älteren und älteren Wildtypmäusen sind jedoch erforderlich, um eine konsistente Genauigkeit unabhängig von der jeweiligen Altersgruppe der DL-Trainingskohorte sicherzustellen. Schließlich wird die Erweiterung der beschriebenen Methoden über einen einklassigen Knochentrennungsansatz hinaus auf ein robusteres multiklassiges analytisches Werkzeug, das vorhergesagte Knochennamen basierend auf struktureller Architektur oder Koordinatenposition in fester Anatomie (z. B. ähnlich einem Atlasbaum) einschließt, sicherlich wesentliche Verbesserungen bringen und wahrscheinlich die Einführung der Methode fördern.

Abschließend haben wir eine neuartige Bildverarbeitungs- und DL-unterstützte Mikro-CT-Segmentierungsstrategie entwickelt, um einzelne Knochen innerhalb komplexer Strukturen zu isolieren. Diese Innovation zeigt eine bemerkenswerte Verbesserung sowohl bei der Automatisierung als auch bei der Segmentierungsgenauigkeit im Vergleich zu unserem kürzlich geschaffenen SAWorkflow 12, der hier als Grundlage für die Entwicklung zahlreicher Goldstandard-Segmentierungen diente, um DL-Modelle zu trainieren und die aktuellen Verbesserungen zu optimieren. Obwohl die Übersetzung der Segmentierungsmethoden bei Vorderpfoten und Pfoten mit entzündlich-erosiver Arthritis eine veraltete Leistung zeigte, könnte die Implementierung dieses DL-Segmentierungsansatzes den manuellen Aufwand reduzieren, der erforderlich ist, vollständig annotierte Datensätze zu erstellen, um pathologie- oder strukturspezifische DL-Trainingsmodelle zu ermöglichen. Der Einsatz dieser DL-Methode in zukünftigen Studien könnte eine Optimierung der Knochensegmentierung zwischen verschiedenen Arten und Krankheitsmodellen in präklinischer Forschung ermöglichen, um eine detaillierte quantitative Analyse nachgelagert zu ermöglichen. Wir fordern außerdem die Integration solcher Strategien in die klinische Forschung, da dies langfristige Vorteile für die Patientenversorgung verspricht.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Daniel Lichau und Rémi Blanc sind Mitarbeiter von ThermoFisher Scientific, die an der Entwicklung und Wartung der Amira-Software beteiligt sind, die zur Erstellung der in diesem Manuskript beschriebenen Methoden verwendet wird. Alle anderen Autoren haben nichts offenzulegen.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Finanzierungsquellen: F30AG076326 (HMK), T32GM007356 (HMK), R01AR069000 (CTR), R01AR056702 (EMS) und P30AR069655 (LS, EMS und HAA). HMK war Auszubildender im Medical Scientist Training Program, das vom NIH T32GM007356 finanziert wurde. Der Inhalt liegt ausschließlich in der Verantwortung der Autoren und spiegelt nicht notwendigerweise die offiziellen Ansichten des National Institute of General Medical Science (NIH) wider. Wir möchten der Fakultät und dem Personal des Kerns Histologie, Biochemie und Molekularer Bildgebung, des Kerns für Biomechanik, Biomaterialien und Multimodale Gewebebildgebung sowie dem Center for Musculoskeletal Research am University of Rochester Medical Center für ihre Beiträge zu dieser Arbeit danken.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
RechensystemDetails bereitgestellt im Abschnitt Protokoll Details bereitgestellt im Abschnitt Protokoll 
BildvisualisierungssoftwareThermoFisher Scientificv2022.2 oder späterAmira
IsofluraneVetOne13985-528-60Fluriso, 1-3 % für die Anästhesie
MäuseMedizinisches Zentrum der Universität RochesterN/AC57BL/6, TNF-transgen
Micro-CTScanco MedicalN/AVivaCT 40
StatistiksoftwareGraphPad Software, Incv10.2.0 oder späterGraphPad-Prisma
BandN/AN/AUm Tierpfoten für die Bildgebung zu sichern
RöhrenN/AN/ADerlin-Kunststoff und klares Acryl zur Tierstabilisierung

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Bouxsein, M., et al. Guidelines for assessment of bone microstructure in rodents using micro-computed tomography. J Bone Miner Res. 25 (7), 1468-1486 (2010).
  2. Konnaris, M. A., et al. Computational pathology for musculoskeletal conditions using machine learning: advances, trends, and challenges. Arthritis Res Ther. 24 (1), 68(2022).
  3. Najjar, R. Redefining Radiology: A Review of Artificial Intelligence Integration in Medical Imaging. Diagnostics (Basel). 13 (17), 2760(2023).
  4. Alzubaidi, L., et al. Review of deep learning: concepts, CNN architectures, challenges, applications, future directions. J Big Data. 8 (1), 53(2021).
  5. Wu, J., et al. Convolutional neural network for detecting rib fractures on chest radiographs: a feasibility study. BMC Med Imaging. 23 (1), 18(2023).
  6. Liu, X., et al. Fully automated pelvic bone segmentation in multiparameteric MRI using a 3D convolutional neural network. Insights Imaging. 12 (1), 93(2021).
  7. Woo, B., et al. Automated anomaly-aware 3D segmentation of bones and cartilages in knee MR images from the Osteoarthritis Initiative. Med Image Anal. 93, 103089(2024).
  8. He, M., Zhao, X., Lu, Y., Hu, Y. An improved AlexNet model for automated skeletal maturity assessment using hand X-ray images. Future Generat Comp Syst. 121, 106-113 (2021).
  9. Zhang, Y., et al. SMANet: multi-region ensemble of convolutional neural network model for skeletal maturity assessment. Quant Imaging Med Surg. 12 (7), 3556-3568 (2022).
  10. Wu, J., Mi, Q., Zhang, Y., Wu, T. SVTNet: Automatic bone age assessment network based on TW3 method and vision transformer. Int J Imag Syst Technol. 34 (2), e22990(2024).
  11. Sebastian, T. B., Tek, H., Crisco, J. J., Kimia, B. B. Segmentation of carpal bones from CT images using skeletally coupled deformable models. Med Image Anal. 7 (1), 21-45 (2003).
  12. Kenney, H., et al. A High-Throughput Semi-Automated Bone Segmentation Workflow for Murine Hindpaw Micro-CT Datasets. Bone Rep. 16, 101167(2022).
  13. Besler, B. A., et al. Bone and joint enhancement filtering: Application to proximal femur segmentation from uncalibrated computed tomography datasets. Med Image Anal. 67, 101887(2021).
  14. Baiker, M., et al. Atlas-based whole-body segmentation of mice from low-contrast Micro-CT data. Med Image Anal. 14 (6), 723-737 (2010).
  15. Li, X., Yankeelov, T. E., Peterson, T. E., Gore, J. C., Dawant, B. M. Automatic nonrigid registration of whole body CT mice images. Med Phys. 35 (4), 1507-1520 (2008).
  16. Khmelinskii, A., et al. Articulated whole-body atlases for small animal image analysis: construction and applications. Mol Imaging Biol. 13 (5), 898-910 (2011).
  17. Liu, H., Durongbhan, P., Davey, C. E., Stok, K. S. Image Registration in Longitudinal Bone Assessment Using Computed Tomography. Curr Osteoporos Rep. 21 (4), 372-385 (2023).
  18. Wang, J., et al. Fully automated segmentation in temporal bone CT with neural network: a preliminary assessment study. BMC Med Imaging. 21 (1), 166(2021).
  19. Ambellan, F., Tack, A., Ehlke, M., Zachow, S. Automated segmentation of knee bone and cartilage combining statistical shape knowledge and convolutional neural networks: Data from the Osteoarthritis Initiative. Med Image Anal. 52, 109-118 (2019).
  20. Ramos, J. S., et al. Fast and accurate 3-D spine MRI segmentation using FastCleverSeg. Magn Reson Imaging. 109, 134-146 (2024).
  21. Kushwaha, A., et al. Improved Repeatability of Mouse Tibia Volume Segmentation in Murine Myelofibrosis Model Using Deep Learning. Tomography. 9 (2), 589-602 (2023).
  22. Bell, R. D., et al. Automated multi-scale computational pathotyping (AMSCP) of inflamed synovial tissue. Nat Commun. 15 (1), 7503(2024).
  23. Kenney, H. M., et al. High-throughput micro-CT analysis identifies sex-dependent biomarkers of erosive arthritis in TNF-Tg mice and differential response to anti-TNF therapy. PLoS One. 19 (7), e0305623(2024).
  24. Brown, J. M., et al. Detection and characterisation of bone destruction in murine rheumatoid arthritis using statistical shape models. Med Image Anal. 40, 30-43 (2017).
  25. Cambre, I., et al. Mechanical strain determines the site-specific localization of inflammation and tissue damage in arthritis. Nat Commun. 9 (1), 4613(2018).
  26. Mahdi, H., et al. Open-source pipeline for automatic segmentation and microstructural analysis of murine knee subchondral bone. Bone. , 167(2023).
  27. Saillard, E., et al. Finite element models with automatic computed tomography bone segmentation for failure load computation. Sci Rep. 14 (1), 16576(2024).
  28. Kenney, H., et al. Micro-CT of hind paw. Zenodo. , (2024).
  29. Kenney, H., et al. Micro-CT of hind paw. Zenodo. , (2025).
  30. Keffer, J., et al. Transgenic mice expressing human tumour necrosis factor: a predictive genetic model of arthritis. EMBO J. 10 (13), 4025-4031 (1991).
  31. Li, P., Schwarz, E. The TNF-alpha transgenic mouse model of inflammatory arthritis. Springer Semin Immunopathol. 25 (1), 19-33 (2003).
  32. Bell, R., et al. Selective sexual dimorphisms in musculoskeletal and cardiopulmonary pathologic manifestations and mortality incidence in the tumor necrosis factor-transgenic mouse model of rheumatoid arthritis. Arthritis Rheumatol. 71 (9), 1512-1523 (2019).
  33. Li, J., et al. CD23+/CD21hi B cell translocation and ipsilateral lymph node collapse is associated with asymmetric arthritic flare in TNF-Tg mice. Arthritis Res Ther. 13 (4), R138(2011).
  34. Kenney, H., et al. Persistent popliteal lymphatic muscle cell coverage defects despite amelioration of arthritis and recovery of popliteal lymphatic vessel function in TNF-Tg mice following anti-TNF therapy. Sci Rep. 12 (1), 12751(2022).
  35. Kenney, H., et al. Implementation of automated behavior metrics to evaluate voluntary wheel running effects on inflammatory-erosive arthritis and interstitial lung disease in TNF-Tg mice. Arthritis Res Ther. 25 (1), 17(2023).
  36. Meyer Sm Beucher, F. Mathematical Morphology in Image Processing. , CRC Press. (1992).
  37. Frangi, A. F., Niessen, W. J., Vincken, K. L., Viergever, M. A. Medical Image Computing and Computer-Assisted Intervention - MICCAI'98. Wells, W. M., Colchester, A., Scott, D. , Springer. Berlin Heidelberg. 130-137 (1998).
  38. Martinez-Sanchez, A., Garcia, I., Asano, S., Lucic, V., Fernandez, J. J. Robust membrane detection based on tensor voting for electron tomography. J Struct Biol. 186 (1), 49-61 (2014).
  39. Bab, I., Hajbi-Yonissi, C., Gabet, Y., Müller, R. Micro-tomographic atlas of the mouse skeleton. , Springer Science + Business Media. (2007).
  40. Bab, I., Hajbi-Yonissi, C., Gabet, Y., Müller, R. Micro-Tomographic Atlas of the Mouse Skeleton. , Springer. (2007).
  41. Richbourg, H., Martin, M., Schachner, E., McNulty, M. Anatomical Variation of the Tarsus in Common Inbred Mouse Strains. . Anat Rec (Hoboken). 300 (3), 450-459 (2017).
  42. Proulx, S., et al. Longitudinal assessment of synovial, lymph node, and bone volumes in inflammatory arthritis in mice by in vivo magnetic resonance imaging and microfocal computed tomography. Arthritis Rheumatol. 56 (12), 4024-4037 (2007).
  43. Dakkak, Y., Matthijssen, X., van der Heijde, D., Reijnierse, M., van der Helm-van Mil, A. Reliability of Magnetic Resonance Imaging (MRI)-scoring of the Metatarsophalangeal-joints of the Foot According to the Rheumatoid Arthritis-MRI Score (RAMRIS). J Rheumatol. 47 (8), 1165-1173 (2020).
  44. Dimanti, A., et al. Ultrasound detection of subclinical synovitis in rheumatoid arthritis patients in clinical remission: a new reduced-joint assessment in 3 target joints. Clin Exp Rheumatol. 36 (6), 984-989 (2018).
  45. De Miguel, E., et al. A reduced 12-joint ultrasound examination predicts lack of X-ray progression better than clinical remission criteria in patients with rheumatoid arthritis. Rheumatol Int. 37 (8), 1347-1356 (2017).
  46. Ornbjerg, L., Ostergaard, M. Assessment of structural damage progression in established rheumatoid arthritis by conventional radiography, computed tomography, and magnetic resonance imaging. Best Pract Res Clin Rheumatol. 33 (5), 101481(2019).
  47. England, B., et al. Update of the American College of Rheumatology Recommended Rheumatoid Arthritis Disease Activity Measures. Arthritis Care Res (Hoboken). 71 (12), 1540-1555 (2019).
  48. Dohn, U., et al. Are bone erosions detected by magnetic resonance imaging and ultrasonography true erosions? A comparison with computed tomography in rheumatoid arthritis metacarpophalangeal joints. Arthritis Res Ther. 8 (4), R110(2006).
  49. Dohn, U., et al. Detection of bone erosions in rheumatoid arthritis wrist joints with magnetic resonance imaging, computed tomography and radiography. Arthritis Res Ther. 10 (1), R25(2008).
  50. Jans, L., et al. Dual-energy CT: a new imaging modality for bone marrow oedema in rheumatoid arthritis. Ann Rheum Dis. 77 (6), 958-960 (2018).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Bone SegmentationJoint Space DetectionDeep Learning ModelsMicro Computed TomographyWatershed AlgorithmStructure EnhancementTensor VotingU Net ArchitectureInflammatory ArthritisAutomated Image Analysis

Related Articles